FedXtract - Architektur
•
0 gefällt mir•63 views
Für das FedXtract Projekt wurde eine Architektur und Modelle für das verteilte Training zur Verarbeitung komplexer Dokumente entwickelt.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Ähnlich wie FedXtract - Architektur
Ähnlich wie FedXtract - Architektur (20)
FedXtract - Architektur
- 1. Architektur und Modelle für ein verteiltes Training zur Verarbeitung komplexer Dokumente GEFÖRDERT VOM PROJEKTTRÄGER
- 2. © Fraunhofer IAIS 2 FedXtract › Problem: Viele KMUs möchten moderne Deep Learning-Architekturen einsetzen, verfügen aber für sich allein nicht über genügend Daten › Ziel: Entwicklung einer Open Source-Lösung zur einfachen Organisation moderner KI-Verfahren › Föderiertes Lernen ermöglicht dabei verschiedenen Kunden das Training gemeinsamer Modelle, ohne dass Daten die eigenen Server verlassen › Fraunhofer IAIS entwickelt hier eine geeignete Modell- Architektur für einen Use Case in der Dokumentenanalyse Föderierte KI-Lösung zur Verarbeitung komplexer Dokumente Ermöglicht KMUs den gemeinsamen Einsatz moderner großer KI-Architekturen
- 3. © Fraunhofer IAIS 3 FedXtract Föderierte KI-Lösung zur Verarbeitung komplexer Dokumente Ermöglicht KMUs den gemeinsamen Einsatz moderner großer KI-Architekturen › Ein zentrales Modell wird vom Server erstellt und an die lokalen Geräte verteilt, z.B vortrainiertes von HuggingFace › Jeder KMU trainiert mit seinen Daten. Dabei wird der individuelle Loss und der Gradient berechnet. .
- 4. © Fraunhofer IAIS 4 Dokumentenanalyse Wichtigste Eigenschaften: • Transformer-basierter Ansatz zur Extraktion von Inhalten aus Dokumenten • Pretraining auf ungelabelten Daten › Multilingual Masked Visual-Language Modeling › Bestimme maskiertes Wort basierend auf umgebenden Wörtern und Layout/Bild- Features vorher › Text-Image Alignment › Maskiere Text auf Bild. Modell soll für jedes Wort bestimmen, ob es maskiert ist › Text-Image Matching › Bestimme, ob Text und Bild vom selben Dokument stammen • Feintuning auf Downstream-Tasks › Z.B. Named Entity Recognition, Reading Order Detection, Document Classification,… › Gelabelte Daten notwendig LayoutXLM
- 6. © Fraunhofer IAIS 6 Workflow Wichtigste Eigenschaften: • gemeinsames Modell • Training auf gelabelten Daten › Finetuning auf C€ Daten Gemeinsames Modell
- 7. © Fraunhofer IAIS 7 Total Dataset Size Daniel Lanz Data Dataset Size Daniel Lanz delivery 1 342 MB Daniel Lanz delivery 2 565 MB
- 9. © Fraunhofer IAIS 10 Some Annotated Examples Daniel Lanz Data
- 10. © Fraunhofer IAIS 11 Some Annotated Examples Daniel Lanz Data
- 11. © Fraunhofer IAIS 12 Some Annotated Examples Daniel Lanz Data
- 12. © Fraunhofer IAIS 13 Dokumentenanalyse Input Image Retrieval-Enhanced Transformer -Retro Document Store Embedding Encoder Embedding Model
- 13. © Fraunhofer IAIS 14 Dokumentenanalyse Input Image Retro Modified Embedding Encoder Document Store Embedding Model Layout Info + Layout Info’s
- 14. © Fraunhofer IAIS 15 Dokumentenanalyse LayoutXLM Position Embeddings 2D Position Embeddings Multi-Modal Transformer Visual and text Embeddings Source: Yiheng Xu et al, LayoutXLM: Multimodal Pre-training for Multilingual Visually-rich Document Understanding, Sept 21
- 15. © Fraunhofer IAIS 16 Entity frequency of the 1st Delivery * The entities street_num, street_num_add and co are missing from the first delivery bank_blz 4 bank_account 5 date 161 street_name 64 email_adress 19 amount_of_money 236 mail_box 4 last_name 67 postcode 67 company_name 109 title 7 city 74 bank_bic 7 street_num 63 unspecified 51 country 7 phone_number 29 bank_iban 9 first_name 63 register_num 9 Daniel Lanz Data
- 16. © Fraunhofer IAIS 17 Entity frequency of the 2nd Delivery bank_blz 58 bank_account 60 date 1804 street_name 583 email_adress 171 amount_of_money 3071 mail_box 36 bank_blz 58 bank_account 60 date 1804 street_name 583 email_adress 171 amount_of_money 3071 mail_box 36 bank_blz 58 bank_account 60 date 1804 street_name 583 email_adress 171 amount_of_money 3071 mail_box 36 Daniel Lanz Data
- 17. © Fraunhofer IAIS 18 Entity frequency of the 3rd Delivery Daniel Lanz Data bank_blz 58 bank_account 60 date 1880 street_name 597 email_adress 176 amount_of_money 3159 mail_box 38 last_name 652 postcode 671 company_name 1216 title 69 city 903 bank_bic 128 street_num 63 unspecified 12 country 190 phone_number 325 bank_iban 153 first_name 600 register_num 107 street_num_add 9 co 2 street_num 578
- 18. © Fraunhofer IAIS 19 Dokumentenanalyse Text Embeddings Retrieval-Enhanced Transformer -Retro Only considers textual similarity
- 19. © Fraunhofer IAIS 20 Dokumentenanalyse Feature Embeddings Retro-Modification Multi-Model Transforme r Considers multiple features Multi-Model Transforme r Multi-Model Transformer