http://2013.codefest.ru/doklad/44

1. Чернышев Артём,
2ГИС
Пути миграции
перелётных данных

2. Миграция это - ETL

3. Миграция это - ETL
Extract

4. Миграция это - ETL
Extract Transform

5. Миграция это - ETL
Extract Transform Load

6. Откуда я знаю про миграцию
Data warehousing

7. Откуда я знаю про миграцию
Business Intelligence

8. Откуда я знаю про миграцию
Big Data Management

9. Покажу на примере

10. Самый первый пример

11. Самый первый пример
• Есть логи скачиваний пакетов с сервера

12. Самый первый пример
• Есть логи скачиваний пакетов с сервера
• … но они в бинарном виде 

13. Самый первый пример
• Есть логи скачиваний пакетов с сервера
• Нужен отчёт заданного вида в excel
• … но они в бинарном виде 

14. Самый первый пример
• Есть логи скачиваний пакетов с сервера
• Нужен отчёт заданного вида в excel
• … но они в бинарном виде 
• Каждый первый понедельник месяца

15. Самый первый пример

16. Самый первый пример@Чудеса
Сервер доставлял не сразу
Два горячих чая этому господину

17. Самый первый пример@Чудеса
Изменилась периодичность

18. Самый первый пример@Чудеса
Увеличился объём данных

19. Самый первый пример@Чудеса
Вид отчёта постоянно менялся

20. Самый первый пример@Выводы
Никому не верь

21. Умей отличить заказчика от пользователя
Самый первый пример@Выводы

22. Знай роль данных в бизнес-процессах
Самый первый пример@Выводы

23. Мигрируй чаще
Самый первый пример@Выводы

24. Самый первый пример
Периодичность

25. Самый первый пример
Периодичность

26. Самый первый пример
Актуальность

27. Самый первый пример
• Понавставляли timestamp’ы
• Начали лить в RDBMS
• Разделили миграцию и представление
• Миграция по расписанию
Работа над ошибками
• Начали общаться с пользователями

28. Второй пример

29. Второй пример
• Появились клики

30. Второй пример
• Много других новых метрик
• Появились клики

31. Второй пример
• Много других новых метрик
• Появились клики
• Необходима связь со справочниками

32. Второй пример
• Много других новых метрик
• Появились клики
• Стало больше пользователей
• Необходима связь со справочниками

33. Второй пример

34. Второй пример@Чудеса
MySql не любит, когда много данных

35. Второй пример@Чудеса
Данные стали критичными для бизнеса

36. Второй пример@Чудеса
Больше данных – больше ошибок

37. Второй пример@Выводы
Важные данные нужно проверять

38. Второй пример@Выводы
Важные данные нужно надёжно хранить

39. Второй пример@Чудеса
Управлять данными в коде

40. Второй пример@Выводы
Используй верные инструменты

41. Второй пример@Выводы
Используй верные инструменты
Один источник

42. Второй пример@Выводы
Используй верные инструменты
Один источник
Одно назначение
+

43. Второй пример@Выводы
Используй верные инструменты
Один источник
Одно назначение
+
=
Простая логика
+

44. Второй пример@Выводы
Используй верные инструменты
Один источник
Одно назначение
+
=SQL - скрипт
Простая логика
+

45. Второй пример@Выводы
Используй верные инструменты
Много источников

46. Второй пример@Выводы
Используй верные инструменты
Много источников
Много назначений
+
=

47. Второй пример@Выводы
Используй верные инструменты
Много источников
Много назначений
+
=
ETL Tools (тысячи их)

48. Второй пример@Выводы
Используй верные инструменты
Много источников
Много назначений
+
=
ETL Tools (тысячи их)

49. Второй пример@Выводы
Используй верные инструменты
Много источников
Много назначений
+
=
ETL Tools (тысячи их)

50. Второй пример@Выводы
Используй верные инструменты
Много источников
Много назначений
+
=
ETL Tools (тысячи их)

51. Второй пример@Выводы
Используй верные инструменты
Много источников
Много назначений
+

52. Второй пример@Выводы
Используй верные инструменты
Много источников
Много назначений
+
=
Real - time
+

53. Второй пример@Выводы
Используй верные инструменты
Много источников
Много назначений
+
=Message Broker
Real - time
+

54. Второй пример@Выводы
Используй верные инструменты
Во всех остальных случаях
Пишите код, пожалуйста

55. Второй пример
Доступность
Когда просят
Когда сможем
VS

56. Второй пример
Достоверность

57. Второй пример
Ценность

58. Второй пример
• Миграцию перевели на SSIS
• Перешли на MS SQL Server
• Смастерили систему проверок
• Начали формализовывать требования
Работа над ошибками

59. Чужой пример

60. Чужой пример
• Жила-была престарелая CRM

61. Чужой пример
• Много баз дислокации
• Жила-была престарелая CRM

62. Чужой пример
• Много баз дислокации
• Жила-была престарелая CRM
• Решили сделать новую

63. Чужой пример
• Много баз дислокации
• Жила-была престарелая CRM
• Решили сделать новую
• С одинокой базёнкой

64. Чужой пример
• Много баз дислокации
• Жила-была престарелая CRM
• Решили сделать новую
• С одинокой базёнкой
• Совершить миграцию поручили DBA

65. Чужой пример
Старая CRM Новая CRM
Пакет SSIS

66. Чужой пример@Чудеса
DBA не понимает бизнес-логику

67. Чужой пример@Чудеса
Проблемы выявлялись не сразу

68. Чужой пример@Чудеса
Проблемы решались долго

69. Чужой пример@Выводы
Исполнитель должен быть в контексте

70. Чужой пример@Выводы
Много сущностей

71. Чужой пример@Выводы
Много сущностей
Много данных
+

72. Чужой пример@Выводы
Много сущностей
Много данных
+
=
Много бизнес-логики
+

73. Чужой пример@Выводы
Много сущностей
Много данных
+
=Промежуточная база
Много бизнес-логики
+

74. Чужой пример@Выводы
Делай все возможные констрэйнты

75. Чужой пример
Целостность

76. Хороший пример

77. Хороший пример
• Жила-была старая карта

78. Хороший пример
• Так же много баз дислокации
• Жила-была старая карта

79. Хороший пример
• Так же много баз дислокации
• Жила-была старая карта
• Сделать новую карту с одной базой

80. Хороший пример
• Так же много баз дислокации
• Жила-была старая карта
• Сделать новую карту с одной базой
• Миграцию для прототипа делал
разработчик

81. Хороший пример
Старая карта Новая карта

82. Хороший пример@Кусок кода

83. Хороший пример@Всё в память

84. Хороший пример@Переписал

85. Хороший пример
• Стали выходить из прототипа

86. Хороший пример
• Изменили модель данных на EAV
• Стали выходить из прототипа

87. Хороший пример
• Изменили модель данных на EAV
• Стали выходить из прототипа
• Нужно было переписать миграцию

88. Хороший пример
… и написать пакет SSIS

89. Хороший пример

90. Хороший пример@Вывод

91. Итого@Требования

92. Итого@Требования
• Периодичность

93. Итого@Требования
• Актуальность
• Периодичность

94. Итого@Требования
• Доступность
• Актуальность
• Периодичность

95. Итого@Требования
• Доступность
• Актуальность
• Периодичность
• Достоверность

96. Итого@Требования
• Доступность
• Актуальность
• Периодичность
• Достоверность
• Ценность

97. Итого@Требования
• Доступность
• Актуальность
• Периодичность
• Достоверность
• Ценность
• Целостность

98. Конец

99. Чернышев Артём,
2ГИС
cai@2gis.ru
@chernyshev_art
Вопросы?