Die Motivation für das Projekt FedXtract zur Entwicklung einer KI-Lösung auf Basis von Federated Learning für die Verarbeitung komplexer Dokumente sind insbesondere das enorme neue Potential großer Sprachmodelle.

1. Motivation zur Entwicklung
einer KI-Lösung auf Basis von
Federated Learning für die
Verarbeitung komplexer
Dokumente
GEFÖRDERT VOM PROJEKTTRÄGER

2. © Fraunhofer IAIS
Der Startschuss: im Juni 2020 stellt OpenAI GPT-3 vor
7. November 2023, Folie adaptiert von Jörg
Bienert

3. © Fraunhofer IAIS
Die Fähigkeiten großer KI-Sprachmodelle
7. November 2023, Folie adaptiert von Jörg
Bienert

4. © Fraunhofer IAIS
GPT-Modelle und ihre emergenten Eigenschaften
07.11.2023
Seite 4
Was ist das besondere an generativer KI?
https://ai.googleblog.com/2022/04/pathways-
language-model-palm-scaling-to.html

5. © Fraunhofer IAIS
Google PaLM - Erläuterung eines Witzes
7. November 2023

6. 07.11.2023 © Fraunhofer IAIS Seite 6
Zusammenfassung im Bereich Legal
Modell: Luminous von Aleph Alpha
Scan eines Mietvertrags
OCR des Mietvertrags

7. © Fraunhofer IAIS
In den letzten 3 Jahren gab es bemerkenswerte Entwicklungen
7
Marktpotenzial:
› Allein die weltweiten Umsätze von NLP-
Lösungen werden bis 2025 auf über 43 Mrd. US$
geschätzt
Einsatzgebiete:
› Sprachassistenten, Chatbots, intelligente Suche
› NLP Anwendungen, Textgenerierung,
Textanalytik
Enormes Disruptionspotential von KI-Sprachmodellen
Disruption ist Dank LLMs in vollem
Gang!

8. © Fraunhofer IAIS
Mono- und Oligopole
USA und China
Große KI-Sprachmodelle werden fast ausschließlich von
amerikanischen und chinesischen Unternehmen entwickelt (z.B.
GPT-3, Wu Dao 2.0)
Der Zugang zu zahlreichen großen KI-Sprachmodellen steht der
Wirtschaft und der Forschung nicht offen zur Verfügung
Europa benötigt somit eigene große KI-Sprachmodelle, um seine
Innovationskraft zu stärken und seine Wettbewerbsfähigkeit zu
sichern
OpenGPT-X sichert die Digitale Souveränität im Bereich KI und schafft
neue Sprachapplikations-Services

9. © Fraunhofer IAIS
Ziel von OpenGPT-X ist der Aufbau eines Gaia-X Knotens für große KI-
Sprachmodelle und innovative Sprachapplikations-Services<
Seite 9
Erstellung von großen KI-Sprachmodellen
basierend auf vertrauenswürdiger Integration
der Unternehmensdaten durch Gaia-X
› Erzeugung offener Sprachmodelle und
deren Einsatz als Advanced Smart
Services in ausgewählten Gaia-X
Domänen
› Digitale Souveränität durch die
Erstellung von KI-Sprachmodellen auf
Basis von Gaia-X
› Die praxisnahe Anwendung durch
Projektpartner wirkt der drohenden
Monopolisierung entgegen / stärkt den
Gedanken der Wahlfreiheit
› Projektvolumen: 19 Mio. €

10. © Fraunhofer IAIS
Sprachmodelle mit einem Fokus auf die deutsche Sprache -
Architektur
 Transformer-Decoder-basierte Modelle
 Causal Language Modelling
 ALiBi positional Embeddings
 6,7 Milliarden Parameter
 13 Milliarden Parameter
Modell #Layers Hidden Dim # Heads Head Dim. Batch Size
6,7B 32 4096 32 128 2,1 Mio.
13B 40 5120 40 129 1,97 Mio.

11. OpenGPT-X Use Cases
Partner Next Steps
Use Case Media WDR, Fraunhofer  Finetuning
 Factual correctness
Use Case Insurance Control Expert,
Fraunhofer
 Finetuning
 Multimodality
Use Case Mobility Fraunhofer, assoziiert
BMW
 Knowledge Graph
Modelling