Доклад с gisconf.ru 2015 года о том, как быстро организовать переводы специфических данных на другие языки методами машинного обучения и изолентой.

1. Локализация географии
Дорофей «Коmяpa» Пролесковский
#gisconf, 2015, Москва

2. OpenStreetMap.org:
● name 16 000 000
● name:en 1 300 000
● name:ru 600 000

3. Нужно больше минералов
● «Релиз через месяц»
● 1 500 000 названий — без переводов
● Без русского — никак

4. Не самые популярные названия

5. Перевод людьми
● Красиво!
● Качественно!
● Обязательно будет!
● ETA ~41 год

6. Онлайн-сервисы
● Transscriba
● Транскриптор студии Лебедева

7. «Но у нас нет переводчиков с
арабского на китайский!»

8. Машинный перевод

9. RNN

12. Референсная имплементация:
● https://github.com/sjtufs/GroundHog
● CUDA, Python, Theano

13. Буквы — это слова!

14. Five Springs Number 2 Reservoir
Фив-Спрингс-Намберское водохранилище

15. Flag Mountain
Флажная гора

16. Notch Mound
Ноичженский автономный уезд

17. Точность померяна!
● "Nosiv","Носов","0,0011399616"
● "Nosivka","Носовка","0,0001293496"
● "Nosivky","Носовки","6,07E-05"
● "Nosivtsi","Носовцы","3,42E-05"
DELETE …. where cost > 1;

18. Скучное сделается само
ru be
Копти Копці
Ватылька Ватылька
Куюм Куюм
Ямная Ямная
Стрельникова Стрэльнікава
Заза Заза
Кудаш Кудаш
Якла Якла
Канака Канака
Шумка Шумка
Гужа Гужа
Дубянка Дубянка

19. Мостовой переход через реку Куохара на сумму 27903709,51
съезд с М4 на с.Дегтево и обратно
Автобусный маршрут №29 (Карандашная фабрика - Спичечная фабрика "Сибирь")
вдольтрассовая ВЛ-10 кВ ПС "Нагорная" "Восток"
Подъезд к с. Девлетяково от а/д подъезд к с. Бутаково
Подъезд к с. Константиновка от а/д подъезд к с. Уч. Майдан
вдольтрассовая ВЛ-10 кВ ПС "Нагорная" "Запад"
Подъезд к д. Кудеяровка от а/д подъезд к с. Апраксино
Витязи (а/д М1) - Лисичино - Духовщина - Белый - Нелидово
Опытный участок монорельсовой дороги на магнитном подвесе
Подъезд к паромной переправе через реку Северную Двину к пос. Зеленник
автодорожный мост через реку Обь в районе г. Сургута с подходами
Официальный зимник Нижний Бестях - Хатассы (22.12.13)

20. Кто поможет?
● Есть
– Proof of Concept
● Надо:
– UI
– Носители языков

21. Спасибо!

22. Секретный слайд
● Проект вживую в продакшене: https://ru.wargaming.net/globalmap/
● Данные, использованные в проекте, сделанные нейросетями:
https://github.com/wgnet/globalmap/tree/master/data/rnn
● In-database функции для локализации, докрученные до
приемлемых результатов:
https://github.com/wgnet/globalmap/blob/master/code/postgres_functi
ons/translate.sql
● Оригинальный пейпер: http://arxiv.org/pdf/1409.0473.pdf
● оригинальная имплементация:
https://github.com/lisa-groundhog/GroundHog/blob/master/experi
ments/nmt/README.md
● Версия с изолентой:
https://github.com/Komzpa/GroundHog/tree/master/experiments/nmt