Vortragspräsentation zum Online Vortrag von Martin Gossen am 7.3.24.

1. Es wird Zeit KI zu nutzen 1 | 41
Projekte. Beratung. Spezialisten.
Es wird Zeit KI zu nutzen
07.03.2024
Martin Gossen
Wie es mit Azure KI Services und .NET MAUI gelingt

2. Es wird Zeit KI zu nutzen 2 | 41
Agenda
Einführung
Einrichtung KI-Dienste
Beispiel-Apps
Grounding & Hilfsdienste
Herausforderungen, Kosten & Datenschutz
Fazit

3. Es wird Zeit KI zu nutzen 3 | 41
Agenda
Einführung
Einrichtung KI-Dienste
Beispiel-Apps
Grounding & Hilfsdienste
Herausforderungen, Kosten & Datenschutz
Fazit

4. Es wird Zeit KI zu nutzen 4 | 41
Fragestellung
Wie kann ich KI-Lösungen
mit möglichst wenig
Aufwand entwickeln?
Software-Entwicklung ü Data Science û
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

5. Es wird Zeit KI zu nutzen 5 | 41
Zu erstellende Apps
Assist
Translate
Pronounce
Was ist ITIL?
ITIL steht für "Information Technology Infrastructure
Library". Es handelt sich um einen Satz von
detaillierten Praktiken für IT-Service-Management…
Wir bedanken uns für Ihr Vertrauen.
Merci de votre confiance.
Benvenuti in Germania.
Score: 96 Accuracy: 94 Fluency: 98
:
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit
::

6. Es wird Zeit KI zu nutzen 6 | 41
Large Language Models (LLMs) & Chatbots
BERT
GPT-3.5 GPT-4
LlaMA-2
Claude 2
Falcon 180B
Mixtral 8x7B
ChatGPT
Copilot
Claude
Lumi
Stable LM Zephyr
Luminous
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit
PaLM-2
Gemini

7. Es wird Zeit KI zu nutzen 7 | 41
Microsoft KI-Dienste
Azure OpenAI Service
Texterzeugung / -vervollständigung
Azure AI Übersetzer
Texübersetzung
Azure AI Speech
Spracherkennung
Sprachsynthese
Sprachübersetzung
$$$
GPT-4
DALL·E
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

8. Es wird Zeit KI zu nutzen 8 | 41
GPT-Serie
GPT-3
Allgemeines Sprachmodell für
Textübersetzung und –erzeugung
175 Milliarden Parameter
GPT-3.5 (Turbo)
Für Chat-Dialoge
1,3 Milliarden Parameter
Feinabstimmung durch Reinforcement
Learning mit Feedback durch Menschen
Klein, schnell und günstig
GPT-4
Für Texterzeugung aller Art, inkl. Chat-Dialoge
100 Billionen Parameter
Multimodal (Text & Bilder)
Vielseitig und beste Ergebnisse
ChatGPT
Software-Anwendung (Chatbot)
Nutzt GPT-3.5 Turbo oder GPT-4
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

9. Es wird Zeit KI zu nutzen 9 | 41
Software-Architektur
Desktop-Anwendung
Web-Server On-Premise
Web-Server
in Cloud
App
Web-Browser
Azure OpenAI Service
Azure KI Übersetzer
Azure KI Speech
Azure.AI.OpenAI
Microsoft.CognitiveServices.Speech
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

10. Es wird Zeit KI zu nutzen 10 | 41
Agenda
Einführung
Einrichtung KI-Dienste
Beispiel-Apps
Grounding & Hilfsdienste
Herausforderungen, Kosten & Datenschutz
Fazit

11. Es wird Zeit KI zu nutzen 11 | 41
Azure-Dienste anlegen
https://portal.azure.com
Spracheingabe/-ausgabe
Sprachübersetzung
Textübersetzung
Azure OpenAI
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

12. Es wird Zeit KI zu nutzen 12 | 41
Verbindungsdaten
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

13. Es wird Zeit KI zu nutzen 13 | 41
Azure AI Studio
https://oai.azure.com
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

14. Es wird Zeit KI zu nutzen 14 | 41
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

15. Es wird Zeit KI zu nutzen 15 | 41
Speech Studio
https://speech.microsoft.com
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

16. Es wird Zeit KI zu nutzen 16 | 41
Agenda
Einführung
Einrichtung KI-Dienste
Beispiel-Apps
Grounding & Hilfsdienste
Herausforderungen, Kosten & Datenschutz
Fazit

17. Es wird Zeit KI zu nutzen 17 | 41
Programmiersprachen & Plattformen für Entwicklung
Sprache Plattform
Assistent
(Chatbot)
Sprach-
übersetzung
Aussprache-
bewertung
C# Windows, Linux, macOS, Android, iOS, UWP, Unity ü ü ü
C++ Windows, Linux, macOS
ü ü
Go Linux
ü ü ü
Java Windows, Linux, macOS, Android ü ü ü
JavaScript Browser, Node.js ü ü ü
Objective-C maxOS, iOS
ü ü
Python Windows, Linux, macOS
ü ü ü
Swift macOS, iOS ü ü
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

18. Es wird Zeit KI zu nutzen 18 | 41
Eingesetzte Plattform
Visual Studio Code
Visual Studio
Cross-Plattform-Lösungen (laufen auf
Windows, macOS, Linux, Android und iOS)
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

19. Es wird Zeit KI zu nutzen 19 | 41
App 1: IKS Assist
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

20. Es wird Zeit KI zu nutzen 20 | 41
Prompt Engineering
User Message
Do penguins have knees?
Assistant Message
Yes, penguins do have knees. While they may not be
visible because they are covered by feathers and
located inside their bodies, …
User Message
What's the shoe size of Arnold
Schwarzenegger?
Assistant Message
I'm sorry, but I don't have access to
personal information about
individuals unless it has been shared
with me in the course of our
conversation. I respect user privacy.
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit
User Message
And sharks?
Assistant Message
No, sharks do not have knees. Sharks are fish and
their skeletons are made of cartilage, not bone. They
have fins, not legs, …

21. Es wird Zeit KI zu nutzen 21 | 41
Prompt Engineering
System Message
You are a helpful assistant. Give short answers. If you don’t know the answer, say “I’m sorry, I can’t
answer that”.
User Message
What's the shoe size of Arnold Schwarzenegger?
Assistant Message
I’m sorry, I can’t answer that.
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit
Prompt
User Message
Do penguins have knees?
Assistant Message
Yes, penguins do have knees.
User Message
And sharks?
Assistant Message
No, sharks do not have knees.

22. Es wird Zeit KI zu nutzen 22 | 41
Benutzerdefinierte Systemnachricht
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

23. Es wird Zeit KI zu nutzen 23 | 41
Benutzerdefinierte Systemnachrichten
Silly: You are a helpful assistant who gives answers in a funny way…
First Aid Professional: You act as a first aid professional that reacts to an emergency situation…
Fallacy Finder: I want you to act as a fallacy finder. You will be on the lookout for invalid arguments…
Donald Duck: You act like Donald Duck, using the tone, manner and vocabulary Donald Duck would
use…
https://github.com/f/awesome-chatgpt-prompts/blob/main/prompts.csv
Urheber-, Marken- und Persönlichkeitsrechte beachten!
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

24. Es wird Zeit KI zu nutzen 24 | 41
Sequenzdiagramm
Person App
Sprach-
erkennung
1a. Speak
2. Recognize speech
3. Recognized text
4. System message + text
5. Chat response text
7. Synthesize text
8. Audio
9. Play audio
OpenAI-
Dienst
Sprach-
synthese
1b. Send
6. Display text
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

25. Es wird Zeit KI zu nutzen 25 | 41
App 2: IKS Translate
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

26. Es wird Zeit KI zu nutzen 26 | 41
App 3: IKS Pronounce
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

27. Es wird Zeit KI zu nutzen 27 | 41
Entwicklungsaufwand
Jede App:
Aufwand
[Tage]
Vorbereitung 1
Proof-of-Concept 1
Programmierung 10
Tests & Dokumentation 5
Bezieht sich auf App-Funktionen,
nicht auf die KI-Dienste!
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

28. Es wird Zeit KI zu nutzen 28 | 41
Agenda
Einführung
Einrichtung KI-Dienste
Beispiel-Apps
Grounding & Hilfsdienste
Herausforderungen, Kosten & Datenschutz
Fazit

29. Es wird Zeit KI zu nutzen 29 | 41
Grounding / RAG
Retrieval-Augmented Generation
Einbinden eigener Informationsquellen
Quellenverweise
Query
• „Wieviel
Sonderurlaub
steht mir zu?“
Retrieval
• Urlaub.pdf
• Betriebsvereinbarung.doc
• …
Prompt
• Du bist ein hilfreicher
Assistent
• Beantworte diese Frage:
„Wieviel Sonderurlaub
steht mir zu?“
• Nutze nur die folgenden
Informationen: …
LLM
• Jeder angestellten
Person stehen die
folgenden Tage
Sonderurlaub zu:
• Umzug 1 Tag
• Hochzeit 2 Tage
• …
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit
www…

30. Es wird Zeit KI zu nutzen 30 | 41
Hilfsdienste für Grounding
Azure KI-Suche
Suchplattform, die eigene Inhalte (Website-Inhalte, Dokumente, Daten) mithilfe
von RAG bereitstellen kann.
Azure KI Dokument Intelligenz
Plattform, mit der man Text, Schlüssel-Wert-Paare, Tabellen und Kontrollkästchen
automatisch aus Dokumenten auslesen kann.
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

31. Es wird Zeit KI zu nutzen 31 | 41
Weitere Dienste
Azure KI Language
Fertige Modelle für die Verarbeitung natürlicher Sprache: Erkennen von Begriffen
und Ausdrücken, Stimmungsanalyse, Textzusammenfassung.
Azure KI Inhaltssicherheit
Plattform zur Inhaltsmoderation, die anstößige oder unangemessene Inhalte in
Texten und Bildern erkennt.
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

32. Es wird Zeit KI zu nutzen 32 | 41
Agenda
Einführung
Einrichtung KI-Dienste
Beispiel-Apps
Grounding & Hilfsdienste
Herausforderungen, Kosten & Datenschutz
Fazit

33. Es wird Zeit KI zu nutzen 33 | 41
Herausforderungen
Herausforderungen
Halluzinationen
Datenschutz
Schädliche oder beleidigende Antworten
Prompt Injection
Missbrauch der Ergebnisse
Qualität nimmt im laufenden Betrieb ab
Lösungsansätze
• Optimierung durch menschl. Feedback
• Prompt Engineering
• Auf Quellen verlinken
• Haftungsausschluss
• Inhaltsfilter
• Nur authentifizierte Nutzung
• LLMOps
ü
ü
ü

34. Es wird Zeit KI zu nutzen 34 | 41
Kosten
Azure OpenAI Service
Azure KI Speech / Azure KI Übersetzer
Prompt (1.000 Tokens) Antwort (1.000 Tokens)
GPT-3.5-Turbo (4K) 0,0014 € 0,0019 €
GPT-4 (32 K) 0,055 € 0,109 €
Freikontingent (F0) Kosten (S0)
Spracherkennung (Sprache-zu-Text) 5 Audiostunden / Monat 0,901 € / h
Sprachsynthese (Text-zu-Sprache) 0,5 Mio. Zeichen / Monat 14,408 € / 1 Mio. Zeichen
Sprachübersetzung (Sprache-zu-Sprache) 5 Audiostunden / Monat 2,26 € / h
Textübersetzung (Text-zu-Text) 2 Mio. Zeichen / Monat 9,005 € / 1 Mio. Zeichen
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

35. Es wird Zeit KI zu nutzen 35 | 41
Datenschutz
Kundendaten (nicht personenbezogene Daten)
Microsoft verwendet Ihre Daten nur mit Ihrer Zustimmung und ausschließlich zur Bereitstellung der von
Ihnen gebuchten Dienste.
Wir schützen Ihre Daten bei der Speicherung und Übertragung.
Microsoft speichert oder verarbeitet Kundendaten außerhalb der vom Kunden angegebenen Geografie
(EMEA, Asien-Pazifik, Amerika) nicht ohne Ihre Genehmigung.
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

36. Es wird Zeit KI zu nutzen 36 | 41
Datenschutz
Kundendaten (nicht personenbezogene Daten)
Speech-Dienste: Es werden keine Kundendaten außerhalb der Region gespeichert oder verarbeitet, in der
der Kunde die Dienstinstanz bereitstellt.
OpenAI Service: Eingaben und Antworten …
u stehen anderen Kunden nicht zur Verfügung
u stehen OpenAI nicht zur Verfügung
u werden nicht genutzt, um OpenAI-Modelle zu verbessern
u werden nicht genutzt, um Microsoft-Produkte oder –Dienste … zu verbessern
Übersetzer: Eingegebener Text wird nicht gespeichert.
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit
Aber: Missbrauchsüberwachung

37. Es wird Zeit KI zu nutzen 37 | 41
Agenda
Einführung
Einrichtung KI-Dienste
Beispiel-Apps
Grounding & Hilfsdienste
Herausforderungen, Kosten & Datenschutz
Fazit

38. Es wird Zeit KI zu nutzen 38 | 41
Fazit
LLMs haben enormes Potential (und werden in unserem Leben eine große Rolle spielen).
Model as a Service erleichtert das Entwickeln von KI-Lösungen.
Mit Microsoft‘s .NET MAUI lassen sich schnell Cross-Plattform-Apps entwickeln.
Spezialisierte Chatbots lassen sich durch Prompt Engineering erstellen.
Grounding ermöglicht es, eigene Dokumente und Daten einzuschließen.
Es gibt noch Herausforderungen zu meistern.
Microsoft bietet Tools an, um die Herausforderungen anzugehen.
Achten Sie auf Datenschutz und rechtliche Aspekte.
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit

39. Es wird Zeit KI zu nutzen 39 | 41
Referenzen
Microsoft KI-Dienste
https://azure.microsoft.com/de-de/products/ai-services
Dokumentation zu Azure OpenAI Service
https://learn.microsoft.com/de-de/azure/ai-services/openai
Dokumentation für den Speech-Dienst
https://learn.microsoft.com/de-de/azure/ai-services/speech-service
Dokumentation zum Azure KI Übersetzer
https://learn.microsoft.com/de-de/azure/ai-services/translator
Datenschutz
https://learn.microsoft.com/de-de/azure/ai-services/speech-service/regions
https://learn.microsoft.com/de-de/legal/cognitive-services/openai/data-privacy
Kosten
https://azure.microsoft.com/de-de/pricing/details/cognitive-services
Einführung | Einrichtung KI-Dienste | Beispiel-Apps | Grounding & Hilfsdienste | Herausforderungen, Kosten & Datenschutz | Fazit