Industry players have understood and reconsidered their first impression of the latest generation of machine translation. The technology no longer seems to be so frightening and incomprehensible. For InText, acquaintance with it has raised a number of important questions: how to monitor the quality of the machine, which engine is better in a specific combination of subject matter and language pair, how to measure the results of post-editors' work, and so on. We would like to share with the audience our experience in implementing digital indicators for monitoring the quality of machine translation.

1. Машинный перевод:
соблюдайте дистанцию!
25.07.2020
Максим Гамий,
руководитель отдела
переводов,
InText Translation Company

2. 2
Внедрение машинного перевода
Цели:
• подготовиться к росту объема
• адаптировать процессы
• понять подходящие критерии

3. 3
Машинный перевод в InText
• МП только с согласия клиента
• MTPE больше относится к переводу,
чем редактированию
• Если МП оказался бесполезен,
оплачиваем как за перевод
• Очень важна длина сегмента
• Ошибки исходника — бедствие для МП
• Теги CAT-программ могут быть проблемой
• Движки МП «мыслят» посегментно
• Аномалии неизбежны
Необходима система измерения качества

4. 4
Cложность в вопросе качества
• Движки динамично развиваются
• Оценивать качество следует регулярно
• Оценки исполнителя недостаточно

5. 5
Дистанция редактирования / Edit Distance
• Измеряет схожесть МП и измененного текста
• Отражает трудозатраты
• Требует четкого понимания задачи
• Применима для обычного редактирования

6. 6
Как измерить дистанцию редактирования?
• Проблемы с запуском
• Получение Edit Distance времязатратно
• Расхождение с мнением переводчика
SDLXLIFF
Compare
Qualitivity Post-Edit Compare

7. 7
InText Comparison Tool
• Работа с mqxliff, mqxlz, sdlxliff,
sdlppx и sdlrpx
• Улучшенная формула Edit
Distance
• Определение пар файлов и
быстрое сравнение
• Выгрузка отчетов в html и xlsx и
гибкие настройки для сравнения

8. 8
Безопасная дистанция
Edit Distance Польза от движка
< 50 % Скорее бесполезен
50—60 % Скорее полезен
> 60 % Однозначно полезен
56%30%
14%
150 последних работ с МП
Однозначно полезен Скорее полезен Скорее бесполезен

9. 9
Соблюдаем дистанцию
• Сравниваем с оценкой переводчика
• Ведем учет Edit Distance
• Обрабатываем расхождения

10. 10
Автоматизируем критерии для МП
Автоматические подсказки:
- учитывают критерии заказа
- быстро кастомизируются

11. 11
Чего мы достигли
• Время на оценивание: 30 минут => 10 минут
• Рост спроса на МП: 0,01% => 1,5%
• Положительная реакция переводчиков

12. 12
Делимся с коллегами
• Стандарт по переводу с помощью МП:
https://intext.eu/en/company/Стандарт компании ИнТекст для
MTPE.pdf
• Программа InText Comparison Tool:
https://intext.eu/en/service/InTextCT.zip

13. 13
Спасибо за внимание!