3. 3
„Qualitative Anforderungen“ und „Wirtschaftliche Anforderungen“ sind zwei
Gründe für die Einführung Maschineller Übersetzung in Unternehmen.
Warum kann die Einführung Maschineller Übersetzung scheitern? Mögliche
Gründe liegen in der Art und Weise der Integration.
Dieser Vortrag beschreibt den Ansatz, den die RWS Group verfolgt hat.
9.11.2016
RWS Group - www.rws-group.de
4. Zunächst einmal die Frage, warum ein Unternehmen MT einführt.
Letztendlich kann man die Gründe auf zwei Faktoren zurückführen:
1. Qualitative Anforderungen beziehen sich auf die Übersetzungsqualität.
Nicht jeder Text in einem Unternehmen muss auf höchstem Niveau
übersetzt werden.
2. Wirtschaftliche Anforderungen sind leicht erklärt: man will Geld und Zeit
sparen.
4
9.11.2016
RWS Group - www.rws-group.de
5. Eine denkbare Skalierung für die qualitativen Anforderungen ist folgende:
Texte müssen verständlich und gegebenenfalls fehlerfrei sein. Dabei kann es
sich um interne Kommunikation handeln. Für eine solche Übersetzung genügt
in der Regel ein Maschinelles Übersetzungssystem und ggf. etwas Post
Editing Aufwand. Der Anspruch an die Übersetzungsqualität ist im unteren
Niveaubereich.
Sollen die Texte an externe Leser vielleicht sogar zur Publikation gegeben
werden, muss die Qualität ein höheres Level erreichen. Ein mögliches
Szenario hier wäre Maschinelle Übersetzung mit vollem Post Editing und
Qualitätscheck. Der Anspruch an die Übersetzungsqualität ist im höheren
Niveaubereich.
Rechtssichere Texte und Texte, die eine Akzeptanz erreichen sollen, müssen
auf höchstem Qualitätsniveau erstellt werden. Der Anspruch an die
Übersetzungsqualität ist im höchsten Niveaubereich.
5
9.11.2016
RWS Group - www.rws-group.de
6. Man möchte nur für die Qualität zahlen, die benötigt wird. Die Übersetzung
soll schneller erstellt werden.
Das sind zwei wirtschaftliche Anforderungen.
Zusammenfassend: Die Ansprüche an die Qualität sind nicht immer gleich
und es soll Zeit und Geld gespart werden.
6
9.11.2016
RWS Group - www.rws-group.de
7. Um ein MT System zu etablieren, werden einfachsten Falls folgende Schritte
durchgeführt:
- Man wählt ein MT System aus.
- Erstellt eine Vorübersetzung, die an die Übersetzer geschickt wird.
- Das Zieldokument wird zum Kunden geliefert.
7
9.11.2016
RWS Group - www.rws-group.de
8. Dieser Weg birgt Risiken.
- Das falsche System kann gewählt werden, z.B.
- es ist zu teuer,
- erfüllt die Anforderungen nicht,
- ist in der Handhabung zu aufwendig oder
- kann nicht alle Sprachen bedienen.
- Die Qualität reicht nicht aus
- Terminologie wird nicht einbezogen
- Es eignet sich nicht für Post Editing
- Übersetzer sind nicht für Post Editing qualifiziert
- Realer Post Editing Aufwand ist zu hoch
- Übersetzer sind demotiviert
- Der Kunde ist nicht zufrieden
- Qualität, Preis und Termin konnten nicht eingehalten werden
8
9.11.2016
RWS Group - www.rws-group.de
10. Was sind die Befürchtungen der Übersetzer (Post Editoren)?
Viele Übersetzer (Post Editoren) sehen in der Maschinellen Übersetzung eine
potentielle Gefahr für ihren Arbeitsplatz und bemängeln die Qualität der MT.
Genau diese Befürchtungen haben wir bei der RWS Group aufgegriffen
und wollten sie von Beginn an abbauen.
10
9.11.2016
RWS Group - www.rws-group.de
12. Der erste Schritt bestand aus einer Vorauswahl potentieller Systeme.
Diese mussten folgende Voraussetzungen erfüllen:
- Die Einbindung in Trados musste gewährleistet sein
- Die Integration in den Übersetzungsworkflow durfte nicht zu kompliziert
sein
- Unsere ausgewählten Sprachpaare mussten bedient werden
Es war uns bewusst, dass wir nicht primär eine Evaluation von MT Systemen
durchführen, sondern den Post Editoren in den Fokus stellen wollten.
12
9.11.2016
RWS Group - www.rws-group.de
13. Um die Übersetzer von Beginn an mit ins Boot zu holen, gab es zu Beginn
des Evaluationsprojektes ein gemeinsames Gespräch.
Wir redeten über
- Befürchtungen gegenüber der MT
- Bisherige Erfahrungen
- Weiteren Input
Somit wurden die Übersetzer vom ersten Moment an in die
Entscheidungsprozesse involviert.
13
9.11.2016
RWS Group - www.rws-group.de
14. Aus den Gesprächen ergab sich, dass Übersetzer teilweise nicht genau
wussten, was Post Editing ist und auch noch keine Erfahrung mit MT gemacht
hatten.
Daher wurde eine Post Editoren Schulung entwickelt.
Die Schulung gliederte sich in drei Teile:
- Vermittlung von Hintergrundwissen
- Einführung in MT Technologien
- Theorie und Praxis des Post Editing
Definition Post Editing: Anpassung des maschinell übersetzten Outputs an
die gewünschte Zielqualität
14
9.11.2016
RWS Group - www.rws-group.de
15. - Im ersten Teil der Schulung wurden Begriffe definiert und die Geschichte
der MT kurz beleuchtet
- Auch wurden die Ängste der Übersetzer wieder aufgeführt und versucht
abzubauen.
- Weiterhin ging es in diesem ersten Teil der Schulung um die Anwendungs-
fälle der MT. Diese wurden hier schon in den qualitativen Anforderungen
beschrieben (Übersetzung ohne MT vs. Post Editing vs. Maschinelle
Vollübersetzung).
15
9.11.2016
RWS Group - www.rws-group.de
16. Der zweite Teil beinhaltete einen Einblick in die verschiedenen Technologien
der Maschinellen Übersetzung.
Zunächst wurden regelbasierte und statistische Systeme erklärt.
- Wie funktioniert diese Technologie?
- Was sind die Vor- und Nachteile bei einem Einsatz eines regelbasierten
Systems?
- Außerdem wurden typische Fehler angesprochen, was gerade für die
Übersetzer wichtig ist, da sie sich auf diese Fehler einstellen müssen,
wenn sie den Output eines regelbasierten Systems post editieren müssen.
Weiterhin wurden sogenannte hybride Systeme eingeführt.
Den Abschluss des zweiten Teils bildete eine Einführung in die
Qualitätsbewertung.
- Automatische Scores
- Feedback Formulare
16
9.11.2016
RWS Group - www.rws-group.de
17. Der dritte Teil beschäftigte sich ausschließlich mit dem Post Editing. Er
begann mit einer theoretischen Einführung.
Grundaussage war, dass ein Post Editor lernen muss, die Fehler der MT zu
lesen und schnell zu entscheiden, welche Teile der MT er wie
wiederverwenden kann. Er muss ein Auge dafür entwickeln.
Nach der theoretischen Einführung trainierten die Post Editoren erstmals die
Praxis anhand von Beispielen und Übungen.
17
9.11.2016
RWS Group - www.rws-group.de
18. Mit der Schulung hatten wir die Vorbereitungen abgeschlossen.
Bevor wir mit der Durchführung begonnen haben, wurden Engines trainiert
(SMT) und Terminologie integriert (RBMT).
Die Evaluation bei RWS Group bestand aus vier Phasen:
- dem ersten Kontakt mit Post Editing und dem Testen der verschiedenen
Integrationsarten,
- dem eigentlichen Post Editing der von den MT Systemen übersetzten
Dokumente,
- dem Feedback und den Messungsergebnissen
- und dem Abschlussgespräch.
18
9.11.2016
RWS Group - www.rws-group.de
19. Die Post Editoren testeten drei verschiedene Integrationsarten des MT
Outputs:
- Vollvorübersetzung
- Zusätzliche Fuzzy Matches
- Integration durch AutoSuggest
Die Empfindungen der einzelnen Post Editoren waren völlig verschieden.
Final konnte man sagen, dass je besser die Qualität der MT ist, desto
angenehmer ist es, mit der Vollvorübersetzung zu arbeiten.
19
9.11.2016
RWS Group - www.rws-group.de
20. Die zweite Phase war der umfangreichste und bedeutendste Teil der
Evaluation.
Dokumente aus verschiedenen Bereichen wurden mit mehreren MT
Systemen übersetzt und die Post Editoren korrigierten den Output.
20
9.11.2016
RWS Group - www.rws-group.de
21. Neben dem persönlichen Feedback der Post Editoren setzten wir das Plug-In
Qualitivity ein, mit dessen Reports man die
- Dauer des Editings und die
- Anzahl der Edits feststellen kann.
Das Feedback Formular fragte den Post Editoren nach Bewertung bezüglich
der
- Qualität der MT und
- des Nutzens der MT.
- Außerdem hatte er Gelegenheit, seine Meinung einzubringen.
PEM: Prozentualer Anteil der Zeichen, die von den Post Editoren nicht
geändert werden mussten, um zum gewünschten Output zu gelangen.
21
9.11.2016
RWS Group - www.rws-group.de
22. Das Abschlussgespräch bot allen Post Editoren noch einmal die Möglichkeit,
die Meinung über MT und der Qualität auszudrücken.
Besonders interessant waren die Meinungsunterschiede zwischen geschulten
und ungeschulten Post Editoren (Kontrollgruppe).
Die Aussagen der Ungeschulten erinnerten oft an die Befürchtungen, die
bereits zu Beginn des Vortrages vorgestellt wurden.
22
9.11.2016
RWS Group - www.rws-group.de
23. Was haben wir herausgefunden?
Diese Tabellen zeigen einen Ausschnitt aus den Ergebnissen.
Die Ergebnisse zeigen, dass es in nahezu jedem Fall zu Zeitersparnissen
gekommen ist, es ist aber genauso offensichtlich, dass kein System auffällig
besser war.
Es konnte festgestellt werden, dass die Zeitersparnis höher wurde, je
mehr/häufiger ein Übersetzer/Post Editor post editiert hatte.
Es ist zu sehen, dass Zeitersparnis und PEM Wert, also
Wiederverwendbarkeit, nicht in Relation stehen.
23
9.11.2016
RWS Group - www.rws-group.de
24. Diese Folie zeigt einen Gesamtüberblick über die Zeiten der einzelnen MT
Systeme über alle Dokumente und alle Sprachrichtungen.
Man sieht, dass die Zeiten sehr ähnlich sind und auch der PEM Werte nahezu
identisch.
24
9.11.2016
RWS Group - www.rws-group.de
25. Was positiv aufgefallen ist, dass die Post Editoren vom „Gefühl her“ von einer
großen Zeitersparnis redeten.
Außerdem erzählten sie von einem schnellen Wissensaufbau bezüglich des
Post Editings und einer steilen Lernkurve.
Man kann auch aufgrund des Redens über MT mit den geschulten Post
Editoren durchaus sagen, dass eine Akzeptanz bei ihnen geschaffen wurde.
Was negativ anzumerken ist, dass die Qualität der MT teilweise noch als
schlecht eingeschätzt wurde.
Außerdem kann es schwierig sein, für den Aufbau einer Domäne genügend
Trainingsdaten zu bekommen.
25
9.11.2016
RWS Group - www.rws-group.de
26. Was sind die Lehren, die wir aus dieser Evaluation gezogen haben?
- Übersetzer müssen geschult werden, nicht nur um Akzeptanz zu schaffen
- Übersetzer sollten in den Prozess der MT Integration involviert werden
- Die Qualität wurde als kritisch eingeschätzt, obwohl die Wiederver-
wendbarkeit sehr hoch war.
- Die Qualität der MT hängt von Domäne, Sprachrichtung und Dokumenttyp
ab. Außerdem natürlich von der Engine bei SMT bzw. den Wörterbüchern
bei RBMT Systemen.
- Die Präsentationsart der MT ist individuell verschieden. Wenn es möglich
ist, sollte der Post Editor mit seiner präferierten Art arbeiten.
26
9.11.2016
RWS Group - www.rws-group.de
27. Was sind mögliche nächste Schritte?
- Definieren, wo Maschinelle Übersetzung konkret eingesetzt werden kann
- Die Qualität der Maschinellen Übersetzung verbessern
- MT in den Workflow integrieren
27
9.11.2016
RWS Group - www.rws-group.de
