SlideShare ist ein Scribd-Unternehmen logo
#ittage
#ittage
Dr. Anja Pilz
Können Large Language Models helfen,
meinen Patienten zu verstehen?
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Über mich
aplz
2
● Promotion in Machine Learning & Natural Language
Processing an der Universität Bonn & Fraunhofer IAIS.
● Seit 2016 hauptsächlich im Bereich Medizin und
Gesundheitswesen.
● Head of Data & AI bei DAMEDIC. DAMEDIC kombiniert AI
und menschliche Expertise für Medizin Controlling
(Abrechnung in Kliniken).
● NLP setzen wir ein um Struktur in unstrukturierte
medizinische Dokumentation zu bringen.
● Domänenwissen: ich bin keine Medizinerin ;)
Dr. Anja Pilz, IT-Tage 2023
Dieser Talk ist
● keine Einführung in Foundation Models (Large Language Model nur größer)
○ hier: Foundation Models for Natural Language Processing
● kein Tutorial wie man eigene (Large) Language Models trainiert
○ hier: GitHub - karpathy/nanoGPT: The simplest, fastest repository for
training/finetuning medium-sized GPTs
● keine quantitative Studie. Es gibt keine (deutschen) medizinischen Benchmark
Daten für unseren Use Case :(
Erwartungsmanagement
3
Paaß & Giesselbach, Foundation Models for Natural
Language Processing, Springer 2023
Dr. Anja Pilz, IT-Tage 2023
Erwartungsmanagement
Dieser Talk
● veranschaulicht Eigenheiten medizinischer Dokumentation
● zeigt was das für Information Extraktion & Retrieval aus Electronic Health Records
(EHRs) bedeutet
● demonstriert an Beispielen, wie Large Language Models (LLMs) die
Informationsextraktion verbessern und die medizinische Kodierung (Abrechnung)
unterstützen können
4
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz, IT-Tage 2023
Medizinische Daten
5
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Demographische Daten
6
Demographische Daten beschreiben (unter
anderem) das Alter und das Geschlecht der
Patient:innen.
Kategorische oder numerische Daten.
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Labor: Bluttests
7
Bluttests werden für Diagnose- und/oder
Beobachtungszwecke verwendet.
In der Regel strukturierte Tabellen.
Alves et al., Hematuria as the first sign of multiple
myeloma. Clinical Case Reports 5, 2017
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Labor: Mikrobiologische Tests
8
Mikrobiologische Tests weisen bspw.
bakteriellen Infektion nach.
Sie können zu direkten Maßnahmen führen,
z. B. der Isolation im Falle von MRSA.
Sollten als strukturierte, tabellarische Daten
vorliegen, enthalten manchmal auch
Begleitinformationen.
Jones et al., Identification of methicillin-resistant
Stahylococcus aureus within the Nation’s Veteran Affairs
Medical Centers using natural language processing.
BMC medical informatics and decision making 12, 2012
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Pflege: Intensiv- und Normalstation
9
Krankenblätter auf der Intensivstation
werden (noch) oft handschriftlich geführt.
Eine manchmal wilde Mischung aus
strukturierten und unstrukturierten Daten.
Digital? Eher nicht.
Pankhurst et al, Benefits of electronic charts in
intensive care and during a world health pandemic:
advantages of the technology age.
BMJ Open Quality 2023
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Radiologie
10
Radiologische Bilder dienen der Diagnostik
und der Beurteilung des Verlaufs nach
einem Eingriff (Heilung eines Bruchs).
Mischung aus unstrukturiertem Text
(Befund) und Bildern.
Johnson et al., MIMIC-CXR, a de-identified publicly
available database of chest radiographs with
free-text reports. Sci Data 6, 317 (2019)
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Pathologen formulieren Befunde, z.B. das
Ergebnis der Untersuchung eines
Gewebestücks, in Texten.
Mischung aus Tabellen, unstrukturiertem
Text und Bildern.
Pathologie
11
Zoya et al., Integrated Pathology Informatics
Enables High-Quality Personalized and Precision
Medicine: Digital Pathology and Beyond, Archives of
pathology & laboratory medicine, 2017
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Operationsberichte
12
Operationsberichte dokumentieren die
Einzelheiten einer Operation.
Enthalten zum Beispiel
● verwendetes Material, wie
Osteosynthesematerial, spezielle
Verbände, Nägel, ...
● Medikation vor und nach der Operation...
Typischerweise unstrukturierter Text. https://xn--hftarthroskopie-berlin-slc.de/wp/wp-co
ntent/uploads/AGA_DOKUMENTATIONSBOGEN_H
uefte_interaktiv.pdf
https://www.doccheck.com/de/detail/d
ocuments/4664-muster-op-bericht-leis
tenhernienreparation-nach-shouldice
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Klinische Verlaufsnotizen
13
Ärzt:innen und Pflegepersonal notieren
Beobachtungen, Medikamentengabe, Eingriffe…
während oder nach der Visite.
In der Regel (sehr) unstrukturierte Textdaten.
Johnson et al., MIMIC-III, a freely accessible critical
care database, Scientific Data 3, 2016
https://pqsg.de/seiten/openpqsg/hintergrund-dokuschu
le-berichtsblatt.htm
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Entlassungsberichte
14
Entlassungsberichte dienen der Kommunikation
der Klinik mit den Ärzt:innen in der Praxis. Sie
beschreiben den klinischen Behandlungsverlauf
und den weiteren Behandlungsplan.
Sie werden oft von Ärzten in der Ausbildung
verfasst, manchmal im Voraus.
Mischung aus strukturierten und unstrukturierten
Daten, kann auch Bilder enthalten.
https://www.aerzteblatt.de/archiv/52611/Elektronischer-
Arztbrief-Standards-erleichtern-den-Austausch
Dr. Anja Pilz, IT-Tage 2023
Take Away
Medizinische Daten sind
● divers
● unstrukturiert, strukturiert, semi-strukturiert
● manchmal unvollständig, manchmal dupliziert
● oft in Krankenhausinformationssystemen (KIS) vergraben
● sensitiv
● rar
Warum betrifft das jeden? Die Erstellung der Dokumentation kann 50% der Zeit
ausmachen. Diese Zeit fehlt den Patienten.
15
Dr. Anja Pilz, IT-Tage 2023 16
“Medicine traditionally puts the patient first. Now, however, it
feels like documentation comes first.”
Danielle Ofri, The Patients vs. Paperwork Problem for Doctors, New York Times, 2017
Warum medizinische Dokumentation?
Dr. Anja Pilz, IT-Tage 2023
Warum medizinische Dokumentation?
17
● Behandlung. Dokumentation ist notwendig für die Kommunikation zwischen
Ärzten, die einen Patienten im Laufe der Zeit betreuen.
● Verteidigung. Im Falle einer Klage (z.B. Kunstfehler), ist die Dokumentation
zwingend erforderlich für die Verteidigung.
● Abrechnung. Dokumentation ist die Voraussetzung für die Bezahlung durch
Versicherungen. Dies wird als der zeitaufwändigste Aspekt angesehen, was auch
an der Komplexität des Abrechnungssystems liegt.
Dr. Anja Pilz, IT-Tage 2023
Ansatz 1: Reduziere Zeit, die für die Erstellung der Dokumentation benötigt wird
Nicht einfach, aber möglich
● Verwendung von Templates in Kombination mit Freitextfeldern und Natural
Language Generation
● vielleicht sogar speech2text (privacy!)
● UX von EHR-Systemen verbessern (bis zu 5 Klicks für ein Medikament)
Wir bauen nicht das nächste KIS.
Wie lösen wir das?
18
Dr. Anja Pilz, IT-Tage 2023
Ansatz 2: Beschleunige das Verständnis und die Suche in der Dokumentation.
Auch nicht einfach, aber so kann es gehen
● kombiniere NLP mit anderen Information Extraktion Techniken um alle relevanten
Aspekte der Behandlung zu finden
● mache die Masse der Dokumentation kompakter und leichter durchsuchbar
● vereinfache die Patientenübersicht und damit den Transfer zwischen Ärzt:innen
● beschleunige die Abrechnung (medizinische Kodierung)
Warum ist Search & Retrieval mit medizinischen Texten schwierig?
Wie lösen wir das?
19
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz, IT-Tage 2023
Warum ist Retrieval
nicht trivial?
20
Dr. Anja Pilz, IT-Tage 2023
Anders als Standard NLP-Daten (Nachrichten, social media, etc)
● Aufzählungsstil: extrem komprimiert und kurz, Verben sind Mangelware
● Voller Abkürzungen, Akronyme und Fachbegriffe (z. B. AML, GVHD, Rx)
● "gemeinsame" Terminologie (SNOMED) existiert, wird in der Praxis aber nicht
durchgängig verwendet, ist auch kein “natural fit” für die medizinische
Dokumentation (ICD-10, OPS)
Medizinische Sprache ist kompliziert(er)
Indikation: Akute Hypoxie. Rezidivierte AML,
GVHD und Nierenversagen mit neuer Hypoxie bei
klarem Rx Thorax.
21
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Beispiel: Diabetes
22
● ICD-10: mehr als 100 Einträge für
verschiedene Formen von Diabetes
mellitus.
● Katalognamen unterscheiden sich durch
"kleine" Nuancen: "mit Komplikation" oder
"ohne Komplikation".
● Zur Unterscheidung dieser Kodes braucht
man kontextsensitives Sprachverständnis
und domänenspezifisches Wissen.
Wie können Large Language Models helfen?
https://www.dimdi.de/static/de/klassifikationen/icd/icd-10-gm
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz, IT-Tage 2023
Large Language
Models
23
Dr. Anja Pilz, IT-Tage 2023
In a Nutshell
24
● Language Model: beschreibt die Generierung von Sprache durch die
gemeinsame oder bedingte Wahrscheinlichkeit von Wörtern (in Sammlungen von
Texten)
● Large Language Model: Language Model mit (sehr) vielen Parametern (Neuronen
und ihre Gewichte).
● Darstellung von Worten: statisch (word2vec) oder nicht-statisch. Contextualized
Embeddings bilden das Wort (Token) in Kombination mit seinen Nachbarn ab.
● Schlüsselkomponenten sind cleveres Engineering, und Attention.
Dr. Anja Pilz, IT-Tage 2023 25
Paaß & Giesselbach, Foundation Models for Natural
Language Processing, Springer 2023
BERT: Self-Attention und Contextual
Embeddings
● Token embedding: bildet
Wort(teile) (Word Pieces) in Index
über Vokabular ab
● Position embedding: bildet
Position des Tokens im Segment
ab (wichtig, weil alle Token
gleichzeitig prozessiert werden)
● Segment embedding: bildet ab, in
welchem Segment das Token
vorkommt (erster/zweiter Satz).
● Embedding Vektor x: Addition der
drei für jedes Token
Dr. Anja Pilz, IT-Tage 2023 26
Paaß & Giesselbach, Foundation Models for Natural
Language Processing, Springer 2023
BERT: Self-Attention und Contextual
Embeddings
● Query, Key & Value Vektoren:
Multiplikation des Embedding
Vektors x mit Weight Matrices W(q),
W(k) und W(v)
● Semantic Role Relationship: W(q) und
W(k) bilden ab, wie Token sich
beeinflussen (“attend to each other”),
während des Training gelernt.
(Magic, Kookkurrenz)
● Association Score: Skalarprodukt aus
Query Vektor und Key Vektoren aller
anderen Token.
● Dieser Wert ist am höchsten für
mouse-mouse und mouse-cheese
(Attention).
Dr. Anja Pilz, IT-Tage 2023 27
BERT: Self-Attention und Contextual
Embeddings
● Softmax normalisiert association
scores zu
“Wahrscheinlichkeitswerten”
● Multiplikation dieser Werte mit
Value Vektor ergibt gewichtete
Value Vektoren.
● Contextual Embedding: Summe
über alle gewichteten Value
Vektoren ergibt neues,
kontextsensitives Embedding des
Tokens.
● Fertig.
Paaß & Giesselbach, Foundation Models for Natural
Language Processing, Springer 2023
Dr. Anja Pilz, IT-Tage 2023
Attention Mechanismus ermöglicht die effiziente Berechnung der contextual
embeddings.
Mit großen Datenmengen trainiert, können LLMs dadurch feine Nuancen erfassen und
ein Wort in seinem gesamten Kontext "verstehen".
Take Away
28
Dr. Anja Pilz, IT-Tage 2023
Google: "Vor Bert wurde dem Wort
"curb" zu viel Bedeutung beigemessen
und das Wort "no" ignoriert, ohne zu
verstehen, wie bedeutsam es hier für
die Suchanfrage ist."
Vor allem im medizinischen Kontext
kann ein "kein" oder "nicht"
entscheidend sein und darf nie
vernachlässigt werden!
Attention im Alltag
29
Understanding searches better than ever before,
google blog
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz, IT-Tage 2023
LLMs für medizinische
Kodierung (Abrechnung)
30
Dr. Anja Pilz, IT-Tage 2023
Eine Patientin wird für eine bestimmte Diagnose im Krankenhaus behandelt.
Damit die Klinik für die Aufwände entlohnt werden kann, müssen aus der Akte alle
Aufwände und Behandlungen, die an der Patientin vorgenommen wurden (Medikation,
Operation, Diagnostik) hervorgehen. Wie finden wir diese Informationen?
Unser erster Ansatz:
● entwickle ein Medical Entity Recognition & Linking Model: recognition um
Aufwände zu identifizieren, linking um sie der Diagnose zuzuordnen
● haben gefunden: coverage ist ziemlich gut aber nicht perfekt
Aufgabe in der medizinischen Kodierung
31
Dr. Anja Pilz, IT-Tage 2023 32
��
��
��
Manually created toy data.
Dr. Anja Pilz, IT-Tage 2023
Zweiter Ansatz:
● Frage chatGPT: "finde all Aufwände für S2710" in der Patientenakte
● Haben gefunden: hohes Risiko für Halluzinationen und recht unspezifische bzw.
generische Antworten
(Einfache) Suche mit chatGPT
33
Dr. Anja Pilz, IT-Tage 2023
Konkretisierung und Reduktion der Halluzination: erweitern Suchanfrage an chatGPT
um mehr Fachwissen (domänen- bzw. kontextspezifisch).
Rezept:
● Ingest: Erstelle Index über eine medizinische Wissensbank (Amboss, Flexikon,...).
● Retrieve: Finde Dokumente, die für die Diagnose am relevantesten sind.
● Augment: nutze die Therapie-Informationen aus diesen Dokumenten als
zusätzlichen Kontext. Prompt chatGPT: finde alle Erwähnungen dieser Therapien
in der Dokumentation.
● Done.
Retrieval Augmented Search
34
Building a Personal Assistant With GPT and
Haystack: How to Feed Facts to Large Language
Models and Reduce Hallucination, Mathis Lucka,
PyData 2023
Dr. Anja Pilz, IT-Tage 2023 35
OPS 5-790.5f: Geschlossene Reposition einer Fraktur oder
Epiphysenlösung mit Osteosynthese: Durch Marknagel mit
Gelenkkomponente: Femur proximal
Manually created toy data.
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz
Dr. Anja Pilz, IT-Tage 2023
Take Away
36
Ja. LLMs können helfen, wenn sie richtig genutzt
werden.
chatGPT: It's generative AI, not deductive AI.
Kann keine Entscheidungen treffen. Manche
sagen sogar, es ist nur user experience.
Nischen- oder Special-Interest Daten:
Fine-Tuning und Augmented Retrieval helfen,
insofern Daten verfügbar sind.
Bias und blinde Flecken bleiben Probleme.
Dr. Anja Pilz, IT-Tage 2023
Dr. Anja Pilz, IT-Tage 2023
Fragen? Ideen?
Hallo sagen?
Danke!
37

Weitere ähnliche Inhalte

Ähnlich wie Können Large Language Models helfen, meinen Patienten zu verstehen?

Management im Gesundheitswesen III: eHealth
Management im Gesundheitswesen III: eHealthManagement im Gesundheitswesen III: eHealth
Management im Gesundheitswesen III: eHealth
2kd1
 
NPK2011: Pflegeplanung mit POP Pflegediagnostik
NPK2011: Pflegeplanung mit POP PflegediagnostikNPK2011: Pflegeplanung mit POP Pflegediagnostik
NPK2011: Pflegeplanung mit POP Pflegediagnostik
Niederrheinischer Pflegekongress
 
Papierlose Klinische Dokumentation - ein "irrealer" Traum?
Papierlose Klinische Dokumentation - ein "irrealer" Traum?Papierlose Klinische Dokumentation - ein "irrealer" Traum?
Papierlose Klinische Dokumentation - ein "irrealer" Traum?
DVMD
 
Gesundheitsinformation.de_Wie_unsere_Informationen_entstehen.pdf
Gesundheitsinformation.de_Wie_unsere_Informationen_entstehen.pdfGesundheitsinformation.de_Wie_unsere_Informationen_entstehen.pdf
Gesundheitsinformation.de_Wie_unsere_Informationen_entstehen.pdf
unn | UNITED NEWS NETWORK GmbH
 
SeHF 2014 | IHE-Thementrack: Lösungsansätze für die Integration und Interoper...
SeHF 2014 | IHE-Thementrack: Lösungsansätze für die Integration und Interoper...SeHF 2014 | IHE-Thementrack: Lösungsansätze für die Integration und Interoper...
SeHF 2014 | IHE-Thementrack: Lösungsansätze für die Integration und Interoper...
Swiss eHealth Forum
 
Pricheck Broschüre
Pricheck BroschürePricheck Broschüre
Pricheck Broschüre
PriCons
 
Vision: Interprofessionelle Tagesziele im Akutspital – Empfehlungen für die P...
Vision: Interprofessionelle Tagesziele im Akutspital – Empfehlungen für die P...Vision: Interprofessionelle Tagesziele im Akutspital – Empfehlungen für die P...
Vision: Interprofessionelle Tagesziele im Akutspital – Empfehlungen für die P...
kalaidos-gesundheit
 
SeHF 2014 | Voraussetzungen für den Nutzen von eHealth für die Alters- und Pf...
SeHF 2014 | Voraussetzungen für den Nutzen von eHealth für die Alters- und Pf...SeHF 2014 | Voraussetzungen für den Nutzen von eHealth für die Alters- und Pf...
SeHF 2014 | Voraussetzungen für den Nutzen von eHealth für die Alters- und Pf...
Swiss eHealth Forum
 
Icnp 2.0 Expertengespräch Bremen 2010-02-19
Icnp 2.0 Expertengespräch Bremen 2010-02-19Icnp 2.0 Expertengespräch Bremen 2010-02-19
Icnp 2.0 Expertengespräch Bremen 2010-02-19
tbnext
 
AOK-Positionspapier Medizinprodukte.pdf
AOK-Positionspapier Medizinprodukte.pdfAOK-Positionspapier Medizinprodukte.pdf
AOK-Positionspapier Medizinprodukte.pdf
unn | UNITED NEWS NETWORK GmbH
 
Intelligente Suchmaschine in einer ELGA-Umgebung: Vinzenzgruppe, Mindbreeze I...
Intelligente Suchmaschine in einer ELGA-Umgebung: Vinzenzgruppe, Mindbreeze I...Intelligente Suchmaschine in einer ELGA-Umgebung: Vinzenzgruppe, Mindbreeze I...
Intelligente Suchmaschine in einer ELGA-Umgebung: Vinzenzgruppe, Mindbreeze I...
Daniel Fallmann
 
Allgeier Präsentation am Swiss eHealth Forum 2017
Allgeier Präsentation am Swiss eHealth Forum 2017Allgeier Präsentation am Swiss eHealth Forum 2017
Allgeier Präsentation am Swiss eHealth Forum 2017
Allgeier (Schweiz) AG
 
Relevanz von Laienzusammenfassungen von Studienergebnissen für Patienten
Relevanz von Laienzusammenfassungen von Studienergebnissen für Patienten Relevanz von Laienzusammenfassungen von Studienergebnissen für Patienten
Relevanz von Laienzusammenfassungen von Studienergebnissen für Patienten
jangeissler
 
Pressestatement von Dr. Irmgard Stipper (Vorstandsvorsitzende der AOK Bayern)...
Pressestatement von Dr. Irmgard Stipper (Vorstandsvorsitzende der AOK Bayern)...Pressestatement von Dr. Irmgard Stipper (Vorstandsvorsitzende der AOK Bayern)...
Pressestatement von Dr. Irmgard Stipper (Vorstandsvorsitzende der AOK Bayern)...
AOK-Bundesverband
 
Telemedizin und ihre Möglichkeiten
Telemedizin und ihre MöglichkeitenTelemedizin und ihre Möglichkeiten
Telemedizin und ihre Möglichkeiten
Ulrich Fischer-Hirchert
 
SeHF 2015 | Standardisierung und Digitalisierung des medizinischen Zuweisun...
SeHF 2015 |  	Standardisierung und Digitalisierung des medizinischen Zuweisun...SeHF 2015 |  	Standardisierung und Digitalisierung des medizinischen Zuweisun...
SeHF 2015 | Standardisierung und Digitalisierung des medizinischen Zuweisun...
Swiss eHealth Forum
 
Interprofessionelles Ausbilden in Schweden: Zukunft oder Utopie?
Interprofessionelles Ausbilden in Schweden: Zukunft oder Utopie?Interprofessionelles Ausbilden in Schweden: Zukunft oder Utopie?
Interprofessionelles Ausbilden in Schweden: Zukunft oder Utopie?
kalaidos-gesundheit
 
SeHF 2014 | COBEDIAS® - die Patientendokumentation für den Arzt , die eKG für...
SeHF 2014 | COBEDIAS® - die Patientendokumentation für den Arzt , die eKG für...SeHF 2014 | COBEDIAS® - die Patientendokumentation für den Arzt , die eKG für...
SeHF 2014 | COBEDIAS® - die Patientendokumentation für den Arzt , die eKG für...
Swiss eHealth Forum
 
Gesundheitstelematik E-Health
Gesundheitstelematik E-HealthGesundheitstelematik E-Health
Gesundheitstelematik E-Health
Marcel Knust
 
Schutz von Sozialdaten im Bereich der ambulanten Pflege
Schutz von Sozialdaten im Bereich der ambulanten PflegeSchutz von Sozialdaten im Bereich der ambulanten Pflege
Schutz von Sozialdaten im Bereich der ambulanten Pflege
Ulrich Fischer-Hirchert
 

Ähnlich wie Können Large Language Models helfen, meinen Patienten zu verstehen? (20)

Management im Gesundheitswesen III: eHealth
Management im Gesundheitswesen III: eHealthManagement im Gesundheitswesen III: eHealth
Management im Gesundheitswesen III: eHealth
 
NPK2011: Pflegeplanung mit POP Pflegediagnostik
NPK2011: Pflegeplanung mit POP PflegediagnostikNPK2011: Pflegeplanung mit POP Pflegediagnostik
NPK2011: Pflegeplanung mit POP Pflegediagnostik
 
Papierlose Klinische Dokumentation - ein "irrealer" Traum?
Papierlose Klinische Dokumentation - ein "irrealer" Traum?Papierlose Klinische Dokumentation - ein "irrealer" Traum?
Papierlose Klinische Dokumentation - ein "irrealer" Traum?
 
Gesundheitsinformation.de_Wie_unsere_Informationen_entstehen.pdf
Gesundheitsinformation.de_Wie_unsere_Informationen_entstehen.pdfGesundheitsinformation.de_Wie_unsere_Informationen_entstehen.pdf
Gesundheitsinformation.de_Wie_unsere_Informationen_entstehen.pdf
 
SeHF 2014 | IHE-Thementrack: Lösungsansätze für die Integration und Interoper...
SeHF 2014 | IHE-Thementrack: Lösungsansätze für die Integration und Interoper...SeHF 2014 | IHE-Thementrack: Lösungsansätze für die Integration und Interoper...
SeHF 2014 | IHE-Thementrack: Lösungsansätze für die Integration und Interoper...
 
Pricheck Broschüre
Pricheck BroschürePricheck Broschüre
Pricheck Broschüre
 
Vision: Interprofessionelle Tagesziele im Akutspital – Empfehlungen für die P...
Vision: Interprofessionelle Tagesziele im Akutspital – Empfehlungen für die P...Vision: Interprofessionelle Tagesziele im Akutspital – Empfehlungen für die P...
Vision: Interprofessionelle Tagesziele im Akutspital – Empfehlungen für die P...
 
SeHF 2014 | Voraussetzungen für den Nutzen von eHealth für die Alters- und Pf...
SeHF 2014 | Voraussetzungen für den Nutzen von eHealth für die Alters- und Pf...SeHF 2014 | Voraussetzungen für den Nutzen von eHealth für die Alters- und Pf...
SeHF 2014 | Voraussetzungen für den Nutzen von eHealth für die Alters- und Pf...
 
Icnp 2.0 Expertengespräch Bremen 2010-02-19
Icnp 2.0 Expertengespräch Bremen 2010-02-19Icnp 2.0 Expertengespräch Bremen 2010-02-19
Icnp 2.0 Expertengespräch Bremen 2010-02-19
 
AOK-Positionspapier Medizinprodukte.pdf
AOK-Positionspapier Medizinprodukte.pdfAOK-Positionspapier Medizinprodukte.pdf
AOK-Positionspapier Medizinprodukte.pdf
 
Intelligente Suchmaschine in einer ELGA-Umgebung: Vinzenzgruppe, Mindbreeze I...
Intelligente Suchmaschine in einer ELGA-Umgebung: Vinzenzgruppe, Mindbreeze I...Intelligente Suchmaschine in einer ELGA-Umgebung: Vinzenzgruppe, Mindbreeze I...
Intelligente Suchmaschine in einer ELGA-Umgebung: Vinzenzgruppe, Mindbreeze I...
 
Allgeier Präsentation am Swiss eHealth Forum 2017
Allgeier Präsentation am Swiss eHealth Forum 2017Allgeier Präsentation am Swiss eHealth Forum 2017
Allgeier Präsentation am Swiss eHealth Forum 2017
 
Relevanz von Laienzusammenfassungen von Studienergebnissen für Patienten
Relevanz von Laienzusammenfassungen von Studienergebnissen für Patienten Relevanz von Laienzusammenfassungen von Studienergebnissen für Patienten
Relevanz von Laienzusammenfassungen von Studienergebnissen für Patienten
 
Pressestatement von Dr. Irmgard Stipper (Vorstandsvorsitzende der AOK Bayern)...
Pressestatement von Dr. Irmgard Stipper (Vorstandsvorsitzende der AOK Bayern)...Pressestatement von Dr. Irmgard Stipper (Vorstandsvorsitzende der AOK Bayern)...
Pressestatement von Dr. Irmgard Stipper (Vorstandsvorsitzende der AOK Bayern)...
 
Telemedizin und ihre Möglichkeiten
Telemedizin und ihre MöglichkeitenTelemedizin und ihre Möglichkeiten
Telemedizin und ihre Möglichkeiten
 
SeHF 2015 | Standardisierung und Digitalisierung des medizinischen Zuweisun...
SeHF 2015 |  	Standardisierung und Digitalisierung des medizinischen Zuweisun...SeHF 2015 |  	Standardisierung und Digitalisierung des medizinischen Zuweisun...
SeHF 2015 | Standardisierung und Digitalisierung des medizinischen Zuweisun...
 
Interprofessionelles Ausbilden in Schweden: Zukunft oder Utopie?
Interprofessionelles Ausbilden in Schweden: Zukunft oder Utopie?Interprofessionelles Ausbilden in Schweden: Zukunft oder Utopie?
Interprofessionelles Ausbilden in Schweden: Zukunft oder Utopie?
 
SeHF 2014 | COBEDIAS® - die Patientendokumentation für den Arzt , die eKG für...
SeHF 2014 | COBEDIAS® - die Patientendokumentation für den Arzt , die eKG für...SeHF 2014 | COBEDIAS® - die Patientendokumentation für den Arzt , die eKG für...
SeHF 2014 | COBEDIAS® - die Patientendokumentation für den Arzt , die eKG für...
 
Gesundheitstelematik E-Health
Gesundheitstelematik E-HealthGesundheitstelematik E-Health
Gesundheitstelematik E-Health
 
Schutz von Sozialdaten im Bereich der ambulanten Pflege
Schutz von Sozialdaten im Bereich der ambulanten PflegeSchutz von Sozialdaten im Bereich der ambulanten Pflege
Schutz von Sozialdaten im Bereich der ambulanten Pflege
 

Mehr von Anja Pilz

Natural Language Processing for Medical Data
Natural Language Processing for Medical DataNatural Language Processing for Medical Data
Natural Language Processing for Medical Data
Anja Pilz
 
Entity Linking to Wikipedia
Entity Linking to WikipediaEntity Linking to Wikipedia
Entity Linking to Wikipedia
Anja Pilz
 
Biomedical Entity Linking - Introduction, approaches, challenges
Biomedical Entity Linking - Introduction, approaches, challengesBiomedical Entity Linking - Introduction, approaches, challenges
Biomedical Entity Linking - Introduction, approaches, challenges
Anja Pilz
 
A career path in Data Science
A career path in Data ScienceA career path in Data Science
A career path in Data Science
Anja Pilz
 
A Case for automated Tests
A Case for automated TestsA Case for automated Tests
A Case for automated Tests
Anja Pilz
 
Using machine learning to improve the user experience in online health care c...
Using machine learning to improve the user experience in online health care c...Using machine learning to improve the user experience in online health care c...
Using machine learning to improve the user experience in online health care c...
Anja Pilz
 

Mehr von Anja Pilz (6)

Natural Language Processing for Medical Data
Natural Language Processing for Medical DataNatural Language Processing for Medical Data
Natural Language Processing for Medical Data
 
Entity Linking to Wikipedia
Entity Linking to WikipediaEntity Linking to Wikipedia
Entity Linking to Wikipedia
 
Biomedical Entity Linking - Introduction, approaches, challenges
Biomedical Entity Linking - Introduction, approaches, challengesBiomedical Entity Linking - Introduction, approaches, challenges
Biomedical Entity Linking - Introduction, approaches, challenges
 
A career path in Data Science
A career path in Data ScienceA career path in Data Science
A career path in Data Science
 
A Case for automated Tests
A Case for automated TestsA Case for automated Tests
A Case for automated Tests
 
Using machine learning to improve the user experience in online health care c...
Using machine learning to improve the user experience in online health care c...Using machine learning to improve the user experience in online health care c...
Using machine learning to improve the user experience in online health care c...
 

Können Large Language Models helfen, meinen Patienten zu verstehen?

  • 1. #ittage #ittage Dr. Anja Pilz Können Large Language Models helfen, meinen Patienten zu verstehen?
  • 2. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Über mich aplz 2 ● Promotion in Machine Learning & Natural Language Processing an der Universität Bonn & Fraunhofer IAIS. ● Seit 2016 hauptsächlich im Bereich Medizin und Gesundheitswesen. ● Head of Data & AI bei DAMEDIC. DAMEDIC kombiniert AI und menschliche Expertise für Medizin Controlling (Abrechnung in Kliniken). ● NLP setzen wir ein um Struktur in unstrukturierte medizinische Dokumentation zu bringen. ● Domänenwissen: ich bin keine Medizinerin ;)
  • 3. Dr. Anja Pilz, IT-Tage 2023 Dieser Talk ist ● keine Einführung in Foundation Models (Large Language Model nur größer) ○ hier: Foundation Models for Natural Language Processing ● kein Tutorial wie man eigene (Large) Language Models trainiert ○ hier: GitHub - karpathy/nanoGPT: The simplest, fastest repository for training/finetuning medium-sized GPTs ● keine quantitative Studie. Es gibt keine (deutschen) medizinischen Benchmark Daten für unseren Use Case :( Erwartungsmanagement 3 Paaß & Giesselbach, Foundation Models for Natural Language Processing, Springer 2023
  • 4. Dr. Anja Pilz, IT-Tage 2023 Erwartungsmanagement Dieser Talk ● veranschaulicht Eigenheiten medizinischer Dokumentation ● zeigt was das für Information Extraktion & Retrieval aus Electronic Health Records (EHRs) bedeutet ● demonstriert an Beispielen, wie Large Language Models (LLMs) die Informationsextraktion verbessern und die medizinische Kodierung (Abrechnung) unterstützen können 4
  • 5. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz, IT-Tage 2023 Medizinische Daten 5
  • 6. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Demographische Daten 6 Demographische Daten beschreiben (unter anderem) das Alter und das Geschlecht der Patient:innen. Kategorische oder numerische Daten.
  • 7. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Labor: Bluttests 7 Bluttests werden für Diagnose- und/oder Beobachtungszwecke verwendet. In der Regel strukturierte Tabellen. Alves et al., Hematuria as the first sign of multiple myeloma. Clinical Case Reports 5, 2017
  • 8. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Labor: Mikrobiologische Tests 8 Mikrobiologische Tests weisen bspw. bakteriellen Infektion nach. Sie können zu direkten Maßnahmen führen, z. B. der Isolation im Falle von MRSA. Sollten als strukturierte, tabellarische Daten vorliegen, enthalten manchmal auch Begleitinformationen. Jones et al., Identification of methicillin-resistant Stahylococcus aureus within the Nation’s Veteran Affairs Medical Centers using natural language processing. BMC medical informatics and decision making 12, 2012
  • 9. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Pflege: Intensiv- und Normalstation 9 Krankenblätter auf der Intensivstation werden (noch) oft handschriftlich geführt. Eine manchmal wilde Mischung aus strukturierten und unstrukturierten Daten. Digital? Eher nicht. Pankhurst et al, Benefits of electronic charts in intensive care and during a world health pandemic: advantages of the technology age. BMJ Open Quality 2023
  • 10. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Radiologie 10 Radiologische Bilder dienen der Diagnostik und der Beurteilung des Verlaufs nach einem Eingriff (Heilung eines Bruchs). Mischung aus unstrukturiertem Text (Befund) und Bildern. Johnson et al., MIMIC-CXR, a de-identified publicly available database of chest radiographs with free-text reports. Sci Data 6, 317 (2019)
  • 11. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Pathologen formulieren Befunde, z.B. das Ergebnis der Untersuchung eines Gewebestücks, in Texten. Mischung aus Tabellen, unstrukturiertem Text und Bildern. Pathologie 11 Zoya et al., Integrated Pathology Informatics Enables High-Quality Personalized and Precision Medicine: Digital Pathology and Beyond, Archives of pathology & laboratory medicine, 2017
  • 12. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Operationsberichte 12 Operationsberichte dokumentieren die Einzelheiten einer Operation. Enthalten zum Beispiel ● verwendetes Material, wie Osteosynthesematerial, spezielle Verbände, Nägel, ... ● Medikation vor und nach der Operation... Typischerweise unstrukturierter Text. https://xn--hftarthroskopie-berlin-slc.de/wp/wp-co ntent/uploads/AGA_DOKUMENTATIONSBOGEN_H uefte_interaktiv.pdf https://www.doccheck.com/de/detail/d ocuments/4664-muster-op-bericht-leis tenhernienreparation-nach-shouldice
  • 13. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Klinische Verlaufsnotizen 13 Ärzt:innen und Pflegepersonal notieren Beobachtungen, Medikamentengabe, Eingriffe… während oder nach der Visite. In der Regel (sehr) unstrukturierte Textdaten. Johnson et al., MIMIC-III, a freely accessible critical care database, Scientific Data 3, 2016 https://pqsg.de/seiten/openpqsg/hintergrund-dokuschu le-berichtsblatt.htm
  • 14. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Entlassungsberichte 14 Entlassungsberichte dienen der Kommunikation der Klinik mit den Ärzt:innen in der Praxis. Sie beschreiben den klinischen Behandlungsverlauf und den weiteren Behandlungsplan. Sie werden oft von Ärzten in der Ausbildung verfasst, manchmal im Voraus. Mischung aus strukturierten und unstrukturierten Daten, kann auch Bilder enthalten. https://www.aerzteblatt.de/archiv/52611/Elektronischer- Arztbrief-Standards-erleichtern-den-Austausch
  • 15. Dr. Anja Pilz, IT-Tage 2023 Take Away Medizinische Daten sind ● divers ● unstrukturiert, strukturiert, semi-strukturiert ● manchmal unvollständig, manchmal dupliziert ● oft in Krankenhausinformationssystemen (KIS) vergraben ● sensitiv ● rar Warum betrifft das jeden? Die Erstellung der Dokumentation kann 50% der Zeit ausmachen. Diese Zeit fehlt den Patienten. 15
  • 16. Dr. Anja Pilz, IT-Tage 2023 16 “Medicine traditionally puts the patient first. Now, however, it feels like documentation comes first.” Danielle Ofri, The Patients vs. Paperwork Problem for Doctors, New York Times, 2017 Warum medizinische Dokumentation?
  • 17. Dr. Anja Pilz, IT-Tage 2023 Warum medizinische Dokumentation? 17 ● Behandlung. Dokumentation ist notwendig für die Kommunikation zwischen Ärzten, die einen Patienten im Laufe der Zeit betreuen. ● Verteidigung. Im Falle einer Klage (z.B. Kunstfehler), ist die Dokumentation zwingend erforderlich für die Verteidigung. ● Abrechnung. Dokumentation ist die Voraussetzung für die Bezahlung durch Versicherungen. Dies wird als der zeitaufwändigste Aspekt angesehen, was auch an der Komplexität des Abrechnungssystems liegt.
  • 18. Dr. Anja Pilz, IT-Tage 2023 Ansatz 1: Reduziere Zeit, die für die Erstellung der Dokumentation benötigt wird Nicht einfach, aber möglich ● Verwendung von Templates in Kombination mit Freitextfeldern und Natural Language Generation ● vielleicht sogar speech2text (privacy!) ● UX von EHR-Systemen verbessern (bis zu 5 Klicks für ein Medikament) Wir bauen nicht das nächste KIS. Wie lösen wir das? 18
  • 19. Dr. Anja Pilz, IT-Tage 2023 Ansatz 2: Beschleunige das Verständnis und die Suche in der Dokumentation. Auch nicht einfach, aber so kann es gehen ● kombiniere NLP mit anderen Information Extraktion Techniken um alle relevanten Aspekte der Behandlung zu finden ● mache die Masse der Dokumentation kompakter und leichter durchsuchbar ● vereinfache die Patientenübersicht und damit den Transfer zwischen Ärzt:innen ● beschleunige die Abrechnung (medizinische Kodierung) Warum ist Search & Retrieval mit medizinischen Texten schwierig? Wie lösen wir das? 19
  • 20. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz, IT-Tage 2023 Warum ist Retrieval nicht trivial? 20
  • 21. Dr. Anja Pilz, IT-Tage 2023 Anders als Standard NLP-Daten (Nachrichten, social media, etc) ● Aufzählungsstil: extrem komprimiert und kurz, Verben sind Mangelware ● Voller Abkürzungen, Akronyme und Fachbegriffe (z. B. AML, GVHD, Rx) ● "gemeinsame" Terminologie (SNOMED) existiert, wird in der Praxis aber nicht durchgängig verwendet, ist auch kein “natural fit” für die medizinische Dokumentation (ICD-10, OPS) Medizinische Sprache ist kompliziert(er) Indikation: Akute Hypoxie. Rezidivierte AML, GVHD und Nierenversagen mit neuer Hypoxie bei klarem Rx Thorax. 21
  • 22. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Beispiel: Diabetes 22 ● ICD-10: mehr als 100 Einträge für verschiedene Formen von Diabetes mellitus. ● Katalognamen unterscheiden sich durch "kleine" Nuancen: "mit Komplikation" oder "ohne Komplikation". ● Zur Unterscheidung dieser Kodes braucht man kontextsensitives Sprachverständnis und domänenspezifisches Wissen. Wie können Large Language Models helfen? https://www.dimdi.de/static/de/klassifikationen/icd/icd-10-gm
  • 23. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz, IT-Tage 2023 Large Language Models 23
  • 24. Dr. Anja Pilz, IT-Tage 2023 In a Nutshell 24 ● Language Model: beschreibt die Generierung von Sprache durch die gemeinsame oder bedingte Wahrscheinlichkeit von Wörtern (in Sammlungen von Texten) ● Large Language Model: Language Model mit (sehr) vielen Parametern (Neuronen und ihre Gewichte). ● Darstellung von Worten: statisch (word2vec) oder nicht-statisch. Contextualized Embeddings bilden das Wort (Token) in Kombination mit seinen Nachbarn ab. ● Schlüsselkomponenten sind cleveres Engineering, und Attention.
  • 25. Dr. Anja Pilz, IT-Tage 2023 25 Paaß & Giesselbach, Foundation Models for Natural Language Processing, Springer 2023 BERT: Self-Attention und Contextual Embeddings ● Token embedding: bildet Wort(teile) (Word Pieces) in Index über Vokabular ab ● Position embedding: bildet Position des Tokens im Segment ab (wichtig, weil alle Token gleichzeitig prozessiert werden) ● Segment embedding: bildet ab, in welchem Segment das Token vorkommt (erster/zweiter Satz). ● Embedding Vektor x: Addition der drei für jedes Token
  • 26. Dr. Anja Pilz, IT-Tage 2023 26 Paaß & Giesselbach, Foundation Models for Natural Language Processing, Springer 2023 BERT: Self-Attention und Contextual Embeddings ● Query, Key & Value Vektoren: Multiplikation des Embedding Vektors x mit Weight Matrices W(q), W(k) und W(v) ● Semantic Role Relationship: W(q) und W(k) bilden ab, wie Token sich beeinflussen (“attend to each other”), während des Training gelernt. (Magic, Kookkurrenz) ● Association Score: Skalarprodukt aus Query Vektor und Key Vektoren aller anderen Token. ● Dieser Wert ist am höchsten für mouse-mouse und mouse-cheese (Attention).
  • 27. Dr. Anja Pilz, IT-Tage 2023 27 BERT: Self-Attention und Contextual Embeddings ● Softmax normalisiert association scores zu “Wahrscheinlichkeitswerten” ● Multiplikation dieser Werte mit Value Vektor ergibt gewichtete Value Vektoren. ● Contextual Embedding: Summe über alle gewichteten Value Vektoren ergibt neues, kontextsensitives Embedding des Tokens. ● Fertig. Paaß & Giesselbach, Foundation Models for Natural Language Processing, Springer 2023
  • 28. Dr. Anja Pilz, IT-Tage 2023 Attention Mechanismus ermöglicht die effiziente Berechnung der contextual embeddings. Mit großen Datenmengen trainiert, können LLMs dadurch feine Nuancen erfassen und ein Wort in seinem gesamten Kontext "verstehen". Take Away 28
  • 29. Dr. Anja Pilz, IT-Tage 2023 Google: "Vor Bert wurde dem Wort "curb" zu viel Bedeutung beigemessen und das Wort "no" ignoriert, ohne zu verstehen, wie bedeutsam es hier für die Suchanfrage ist." Vor allem im medizinischen Kontext kann ein "kein" oder "nicht" entscheidend sein und darf nie vernachlässigt werden! Attention im Alltag 29 Understanding searches better than ever before, google blog
  • 30. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz, IT-Tage 2023 LLMs für medizinische Kodierung (Abrechnung) 30
  • 31. Dr. Anja Pilz, IT-Tage 2023 Eine Patientin wird für eine bestimmte Diagnose im Krankenhaus behandelt. Damit die Klinik für die Aufwände entlohnt werden kann, müssen aus der Akte alle Aufwände und Behandlungen, die an der Patientin vorgenommen wurden (Medikation, Operation, Diagnostik) hervorgehen. Wie finden wir diese Informationen? Unser erster Ansatz: ● entwickle ein Medical Entity Recognition & Linking Model: recognition um Aufwände zu identifizieren, linking um sie der Diagnose zuzuordnen ● haben gefunden: coverage ist ziemlich gut aber nicht perfekt Aufgabe in der medizinischen Kodierung 31
  • 32. Dr. Anja Pilz, IT-Tage 2023 32 �� �� �� Manually created toy data.
  • 33. Dr. Anja Pilz, IT-Tage 2023 Zweiter Ansatz: ● Frage chatGPT: "finde all Aufwände für S2710" in der Patientenakte ● Haben gefunden: hohes Risiko für Halluzinationen und recht unspezifische bzw. generische Antworten (Einfache) Suche mit chatGPT 33
  • 34. Dr. Anja Pilz, IT-Tage 2023 Konkretisierung und Reduktion der Halluzination: erweitern Suchanfrage an chatGPT um mehr Fachwissen (domänen- bzw. kontextspezifisch). Rezept: ● Ingest: Erstelle Index über eine medizinische Wissensbank (Amboss, Flexikon,...). ● Retrieve: Finde Dokumente, die für die Diagnose am relevantesten sind. ● Augment: nutze die Therapie-Informationen aus diesen Dokumenten als zusätzlichen Kontext. Prompt chatGPT: finde alle Erwähnungen dieser Therapien in der Dokumentation. ● Done. Retrieval Augmented Search 34 Building a Personal Assistant With GPT and Haystack: How to Feed Facts to Large Language Models and Reduce Hallucination, Mathis Lucka, PyData 2023
  • 35. Dr. Anja Pilz, IT-Tage 2023 35 OPS 5-790.5f: Geschlossene Reposition einer Fraktur oder Epiphysenlösung mit Osteosynthese: Durch Marknagel mit Gelenkkomponente: Femur proximal Manually created toy data.
  • 36. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz Dr. Anja Pilz, IT-Tage 2023 Take Away 36 Ja. LLMs können helfen, wenn sie richtig genutzt werden. chatGPT: It's generative AI, not deductive AI. Kann keine Entscheidungen treffen. Manche sagen sogar, es ist nur user experience. Nischen- oder Special-Interest Daten: Fine-Tuning und Augmented Retrieval helfen, insofern Daten verfügbar sind. Bias und blinde Flecken bleiben Probleme.
  • 37. Dr. Anja Pilz, IT-Tage 2023 Dr. Anja Pilz, IT-Tage 2023 Fragen? Ideen? Hallo sagen? Danke! 37