Максим Грамин КРОК. В поисках идеального инструмента

Transcription

1 Максим Грамин КРОК В поисках идеального инструмента

2 Disclaimer Личное мнение на личном опыте

3 Немного о себе

4 Немного о себе

5 Немного о себе

6 Немного о себе

7 Немного о себе

8 Одинаковые проблемы Версионность метаданных Версионность данных Совместная разработка Выбор инструментов

9 Что будет в докладе Анамнез средств разработки БД Поиск путей решения Анализ одного из вариантов

10 Чего не будет 100%-го готового решения «Silver Bullet» Рекламы Антирекламы

11 Основные инструменты разработки БД Version Control Dump tools Migration tools CLI GUI IDE

12 Version Control

13 Version Control Кто удалил мой индекс...??

14 Version Control Необходимо использовать

15 Version Control Необходимо использовать Сложно

16 Version Control Необходимо использовать Сложно Все используют по разному

17 Version Control Необходимо использовать Сложно Все используют по разному только инкремент (миграции) снапшот БД на дату на уровне модели (ORM, db designer etc)

18 Version Control Необходимо использовать Сложно Все используют по разному Где-то вообще не используют

19

20

21

22

23

24

25

26

27

28 Проблемы Не все используют Не все используют правильно Не понятно как правильно

29 DB Dump Tools

30 Dump tools pg_dump mysqldump dbms_datapump, export/import cqlsh - describe schema

31 Dump tools Мощный и крутой инструмент

32 Dump tools Мощный и крутой инструмент Администрирование

33 Dump tools Мощный и крутой инструмент Администрирование Разработка

34 Dump tools Я думал дамп с прода будет поменьше!!

35 Command Line Utilities psql sqlplus mysql cqlsh mongo shell

36 Migration tools Liquibase Flyway Phinx Cassandra Migration

37 GUI IDE

38 Кнопка просмотра плана запроса должна быть где то здесь!.

39 GUI IDE

40 GUI IDE

41 GUI IDE

42 pgadmin DevCenter dbforge MySQL Workbanch Robomongo Navicat phpmyadmin Neo4j browser Toad IBExpert HareDB HeidiSQL SQL Developer PLSQL Developer Dbeaver

43 SQL, *QL, JDBC, ODBC, ADO.NET, OCI, etc GUI IDE

44 SQL (DML, DDL, DCL, TCL) SQL, *QL, JDBC, ODBC, ADO.NET, OCI, etc GUI IDE

45

46 Проблемы «All inclusive»

47 Проблемы «All inclusive» Вторичность кода

48 Проблемы «All inclusive» Вторичность кода Платные/закрытые

49 Проблемы «All inclusive» Вторичность кода Платные/закрытые Расширяемость

50 Проблемы «All inclusive» Вторичность кода Платные/закрытые Расширяемость Интеграция

51 Проблемы «All inclusive» Интеграция Вторичность кода Платформозависимость Платные/закрытые Расширяемость

52 Проблемы «All inclusive» Интеграция Вторичность кода Платформозависимость Платные/закрытые Много Расширяемость

53 Итого «Polyglot Persistence» «Лихие 90-е» «Импортозамещение»

54 «критикуешь предлагай»

55 Как бы он мог выглядеть??

56 Как бы он мог выглядеть?? Полностью конфигурируемый Прозрачный (transparent) Любой flow (code first, db first, model first)

57 «EVERYTHING AS A CODE»

58 «Everything as a Code»

59 «Everything as a Code»

60 «Everything as a Code»

61 «Everything as a Code»

62 «Everything as a Code»

63 И причем тут базы данных?

64 «Everything as a Code»

65 «Everything as a Code» Исходный код объектов БД

66 «Everything as a Code» Исходный код объектов БД Код манипуляции объектами БД

67 «Everything as a Code» Исходный код объектов БД Код манипуляции объектами БД Структура

68 «Everything as a Code» Исходный код объектов БД Код манипуляции объектами БД Структура Шаблоны

69 «Everything as a Code». SQL. Postgresql select, from where and and t.table_schema as "schema" t.table_name as "table" information_schema.tables t t.table_type = 'BASE TABLE' t.table_schema like '$schema' t.table_name like '$table'

70 «Everything as a Code». SQL. Oracle select, from where and t.owner as "schema" t.table_name as "table" all_tables t t.owner like '$schema' t.table_name like '$table'

71 «Everything as a Code». SQL. Cassandra select, from where and keyspace_name as "schema" columnfamily_name as "table" system.schema_columnfamilies keyspace_name = '$schema' columnfamily_name = '$table'

72 «Everything as a Code». SQL alter table persons add column (age number); alter table persons disable all triggers; drop table persons; exec dbms_stats.gather_stats('hr', 'persons');

73 «Everything as a Code». SQL alter database open read only; alter system flush buffer_cache; alter tablespace users offline; alter session set sql_trace = true;

74 «Everything as a Code». Структура <type name="schema"> <type name="table"> <type name="column"/> <type name="pk"/> <type name="index"/> </type> <type name="view"/> <type name="procedure"/> </type>

75 «Everything as a Code». Структура <type name="schema"> <type name="table"> <type name="column"/> <type name="pk"/> <type name="index"/> </type> <type name="view"/> <type name="procedure"/> </type>

76 «Everything as a Code». Структура <type name="schema"> <type name="table"> <type name="column"/> <type name="pk"/> <type name="index"/> </type> <type name="view"/> <type name="procedure"/> </type>

77 «Everything as a Code». Files <database_1> <schema_1> <table_1> <ddl.sql> <pk.sql> <indexes.sql> <data.sql> <test_data.sql> <views> <table_1_vw.sql> <procedues> <get_all_data_prc.sql>...

78 «Everything as a Code». Шаблоны

79 «Everything as a Code». Rest

80 «Everything as a Code». Rest Объекты БД как ресурсы Человекопонятный Простая интеграция Расширяемый Прозрачное кеширование

81 JDBC URI REST API

82 JDBC URI REST API

83 JDBC URI REST API

84 JDBC URI REST API

85 JDBC URI REST API

86 JDBC URI REST API

87 REST API JDBC URI REST API

88 JDBC URI REST API

89 URI schema

90 URI schema type/resource_path method

91 URI schema type/resource_path method

92 URI schema type/resource_path method schema

93 URI schema type/resource_path method schema table

94 URI schema type/resource_path method schema table idx

95 URI schema type/resource_path method schema table idx etc

96 URI schema type/resource_path method schema table idx etc

97 URI schema type/resource_path method schema table idx etc /hr

98 URI schema type/resource_path method schema table idx etc /hr /hr.persons

99 URI schema type/resource_path method schema table idx etc /hr /hr.persons /hr.persons.prs_idx

100 URI schema type/resource_path method schema table idx etc /hr /hr.persons /hr.persons.prs_idx etc

101 URI schema type/resource_path method schema table idx etc /hr /hr.persons /hr.persons.prs_idx etc

102 URI schema type/resource_path method schema table idx etc /hr /hr.persons /hr.persons.prs_idx etc -X GET

103 URI schema type/resource_path method schema table idx etc /hr /hr.persons /hr.persons.prs_idx etc -X GET -X POST

104 URI schema type/resource_path method schema table idx etc /hr /hr.persons /hr.persons.prs_idx etc -X GET -X POST -X DELETE

105 URI schema type/resource_path method schema table idx etc /hr /hr.persons /hr.persons.prs_idx etc -X GET -X POST -X DELETE etc

106 curl X GET api/index/bookings.tickets*.*_idx select,, from where and and i.schemaname as "schema" i.tablename as "table" i.indexname as "index" pg_catalog.pg_indexes i i.schemaname like 'bookings' i.tablename like 'tickets%' i.indexname like '%_idx'

107 curl X GET api/index/bookings.tickets*.*_idx select,, from where and and i.schemaname as "schema" i.tablename as "table" i.indexname as "index" pg_catalog.pg_indexes i i.schemaname like 'bookings' i.tablename like 'tickets%' i.indexname like '%_idx'

108 curl X GET api/index/bookings.tickets*.*_idx select,, from where and and i.schemaname as "schema" i.tablename as "table" i.indexname as "index" pg_catalog.pg_indexes i i.schemaname like 'bookings' i.tablename like 'tickets%' i.indexname like '%_idx'

109 curl X GET api/index/bookings.tickets*.*_idx select,, from where and and i.schemaname as "schema" i.tablename as "table" i.indexname as "index" pg_catalog.pg_indexes i i.schemaname like 'bookings' i.tablename like 'tickets%' i.indexname like '%_idx'

110 curl X GET api/index/bookings.tickets*.*_idx select,, from where and and i.schemaname as "schema" i.tablename as "table" i.indexname as "index" pg_catalog.pg_indexes i i.schemaname like 'bookings' i.tablename like 'tickets%' i.indexname like '%_idx'

111 GET index/bookings.tickets*.*_idx <bookings> <tables> <tickets> <indexes> <ticket_no_idx.sql> <ticket_passid_idx.sql> <ticket_bookref_idx.sql> <ticket_flights> <indexes> <tcktflights_no_idx.sql> <tcktflights_flid_idx.sql> <idx_tcktflights_no.sql>...

112 GET index/bookings.tickets*.*_idx <bookings> <tables> <tickets> <indexes> <ticket_no_idx.sql> <ticket_passid_idx.sql> <ticket_bookref_idx.sql> <ticket_flights> <indexes> <tcktflights_no_idx.sql> <tcktflights_flid_idx.sql> <idx_tcktflights_no.sql>...

113 GET index/bookings.tickets*.*_idx <bookings> <tables> <tickets> <indexes> <ticket_no_idx.sql> <ticket_passid_idx.sql> <ticket_bookref_idx.sql> <ticket_flights> <indexes> <tcktflights_no_idx.sql> <tcktflights_flid_idx.sql> <idx_tcktflights_no.sql>...

114 GET index/bookings.tickets*.*_idx <bookings> <tables> <tickets> <indexes> <ticket_no_idx.sql> <ticket_passid_idx.sql> <ticket_bookref_idx.sql> <ticket_flights> <indexes> <tcktflights_no_idx.sql> <tcktflights_flid_idx.sql> <idx_tcktflights_no.sql>...

115 GET index/bookings.tickets*.*_idx <bookings> <tables> <tickets> <indexes> <ticket_no_idx.sql> <ticket_passid_idx.sql> <ticket_bookref_idx.sql> <ticket_flights> <indexes> <tcktflights_no_idx.sql> <tcktflights_flid_idx.sql> <idx_tcktflights_no.sql>...

116 GET index/bookings.tickets*.*_idx <bookings> <tables> <tickets> <indexes> <ticket_no_idx.sql> <ticket_passid_idx.sql> <ticket_bookref_idx.sql> <ticket_flights> <indexes> <tcktflights_no_idx.sql> <tcktflights_flid_idx.sql> <idx_tcktflights_no.sql>...

117 Шаблоны

118 Шаблон CREATE TABLE "${table.schema}"."${table.name}"( <#list table.columns as column> "${column.name}" ${column.type} ${column.size}, </#list> ); CREATE TABLE "HR"."EMPLOYEES"( "EMPLOYEE_ID" NUMBER(6,0), "FIRST_NAME" VARCHAR2(20), "LAST_NAME" VARCHAR2(25), " " VARCHAR2(25), "PHONE_NUMBER" VARCHAR2(20), "HIRE_DATE" DATE, "JOB_ID" VARCHAR2(10), "SALARY" NUMBER(8,2));

119 curl X GET table/hr.*/relations select, from join join where s.relname as master_table t.relname as slave_table pg_catalog.pg_constraint c pg_catalog.pg_class s on s.oid = c.confrelid pg_catalog.pg_class t on t.oid = c.conrelid c.contype = 'f' and s.relkind = 'r' digraph DbObjectsRelations { <#list tables as table> "${table.master_table}" -> "${table.slave_table}" </#list> }

120 curl X GET table/hr.*/relations digraph DbObjectsRelations { "aircrafts" -> "flights" "airports" -> "flights" "airports" -> "flights" "aircrafts" -> "seats" "flights" -> "ticket_flights" "tickets" -> "ticket_flights" "bookings" -> "tickets" "ticket_flights" -> "boarding_passes" }

121 curl X POST -H "Accept: image/png" table/hr.*/relations

122

123 «предлагаешь делай»

124 Ядро

125

126 Конфигурации

127

128

129

130 «Reader»

131 «Reader»

132 «Reader» SqlReader GitReader JdbcReader HgReader FileSystemReader SvnReader RestReader etc

133 «Generator»

134 «Generator» PlainTextGenerator FileBaseGenerator SqlGenerator

135 «Aggregator» TextAggregator JsonAggregator XmlAggregator HtmlAggregator ZipAggregator

136

137 Dockerfile FROM mgramin/sql-boot ADD conf conf/postgresql RUN curl

138

139

140

141

142

143 Собственная конфигурация

144

145 Перспективы Language Server Protocol

146 Выводы Everything As a Code Transparency Open Source Community

147 Вопросы? github.com/mgramin/sql-boot