Максим Трегубов, CUSTIS. Миграция данных из Oracle в Postgres. Доклад о том, как мы для одного из заказчиков тестировали переход с СУБД Oracle на Postgres. Расскажем о выборе инструмента миграции данных, настройке тестовой среды и о полученных результатах. Также немного затронем модную тему DevOps и покажем роль Ansible в миграции данных.

1. 15 сентября 2015 года
Миграция данных
из Oracle в Postgres
Максим Трегубов
Ведущий системный администратор

2. О себе
 18 лет Oracle-бэкграунда (Dev + DBA)
 Python (Shell + Web App)
 *nix power user
 Hadoop, MongoDB, Elasticsearch…
2/24

3. Текущая ситуация
 Приложение на этапе внедрения
 Трехзвенная архитектура
 СУБД Oracle
3/24

4. Почему Postgres?
 Три коммитера ядра в России
 Сертификация ФСТЭК
 Лицензия BSD
 Существует компания Postgres Professional:
http://postgrespro.ru
4/24

5. Текущая ситуация
Web App
Hibernate SQL
Oracle
5/24

6. Текущая ситуация
Web App
Hibernate SQL
Oracle
6/24

7. Задачи
 Оценить возможность миграции данных
 Оценить трудозатраты в случае изменения
движка отчетов
7/24

8. Требования к инструменту миграции
 Возможность воссоздания структуры
данных (таблиц, индексов, constraints…)
 Быстрота миграции данных (около 50 Гб)
 Простота в освоении и надежность
 …
 Бесплатность
8/24

9. Наш выбор – Ora2Pg
 Богатый функционал
 Активное развитие проекта на протяжении 15 лет
 Open Source, лицензия GPLv3
9/24

10. Подготовка тестового стенда
 Создание или обновление стендов
для разработки и тестирования
 Oracle, WebLogic, WebSphere, Hadoop, Postgres
 Более 100 серверов
10/24

11. Подготовка тестового стенда
11/24

12. Подготовка тестового стенда
 Oracle Enterprise Linux
 Oracle Client 11.2.0.3
 Postgres 9.4
 Ora2Pg 15x
12/24

13. Подготовка тестового стенда
VM1
Oracle 11.2.0.3
Oracle Enterprise Linux
VM2
Postgres 9.4
Oracle Client 11.2.0.3
Ora2Pg 15.2
CentOS 6.6
TCP 1521
13/24

14. Подготовка тестового стенда
 DEMO
14/24

15. Конфигурация Ora2Pg
 ora2pg --init_project tst_owner
tst_owner/
├── config
├── data
├── reports
├── schema
│ ├── dblinks
│ ├── directories
…
15/24

16. Конфигурация Ora2Pg
 Откуда
 ORACLE_HOME /usr/lib/oracle/11.2/client64
 ORACLE_DSN
dbi:Oracle:host=oracle_host.domain.ru;sid=<SID>
 ORACLE_USER SYSTEM
 ORACLE_PWD MANAGER
 EXPORT_SCHEMA 1
 SCHEMA TST_OWNER
16/24

17. Конфигурация Ora2Pg
 Куда
 PG_DSN dbi:Pg:dbname=qqq;host=localhost;port=5432
 PG_USER tst_owner
 PG_PWD tst_onwer
 PG_SCHEMA tst_owner
17/24

18. Конфигурация Ora2Pg
 Как
 TYPE TABLE,COPY
 Разное
 DEFAULT_NUMERIC numeric
18/24

19. Конфигурация Ora2Pg
 ./export_schema.sh
 $psql -d qqq -U test_owner < schema/tables/table.sql
 $ora2pg -t COPY -o data.sql -b ./data -c
./config/ora2pg.conf
 $psql -d qqq -U test_owner <
schema/tables/INDEXES_table.sql
 $psql -d qqq -U test_owner <
schema/tables/CONSTRAINTS_table.sql
19/24

20. Конфигурирование Ora2Pg
 DEMO
20/24

21. SQL
 Переписали часть SQL-движка, избавившись
от Oracle-специфичных выражений
 Connect by prior
 Decode
 (+)
 …
21/24

22. Итоги
 Подтвердили возможность перехода
 Не поменяли ни строчки кода в Java
 Трудозатраты составили ~ 100 часов
 Приложение без PL/SQL
 Объем БД – 50 Гб
 10 отчетов
 35 таблиц
22/24

23. Дальнейшие шаги
 Проверить возможность миграции приложения
с логикой на PL/SQL
23/24

24. Спасибо!
Вопросы?
24/24
Максим Трегубов
mtregubov@custis.ru