2. Språkteknologi
Hantera språkdata i datorsystem
Automatisera repetitiva uppgifter
Möjliggöra nya insikter
• Annan skala
• Annan information
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
3. Språkteknologi
Hantera språkdata i datorsystem
Automatisera repetitiva uppgifter
Möjliggöra nya insikter
• Annan skala
• Annan information
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
4. Språkteknologi
Hantera språkdata i datorsystem
Automatisera repetitiva uppgifter
Möjliggöra nya insikter
• Annan skala
• Annan information
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
5. Språkteknologi
Hantera språkdata i datorsystem
Automatisera repetitiva uppgifter
Möjliggöra nya insikter
• Annan skala
• Annan information
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
6. Språkteknologi
Hantera språkdata i datorsystem
Automatisera repetitiva uppgifter
Möjliggöra nya insikter
• Annan skala
• Annan information
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
7. Språkteknologi
Hantera språkdata i datorsystem
Automatisera repetitiva uppgifter
Möjliggöra nya insikter
• Annan skala
• Annan information
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
13. Maskininlärning
Maskinen lär sig känna igen något utifrån exempel
(övervakad inlärning)
Kräver tillräckligt många och tillräckligt representativa exempel
Att samla in exempel kallas för annotering
(vi kommer tillbaka till detta senare!)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
14. Maskininlärning
Maskinen lär sig känna igen något utifrån exempel
(övervakad inlärning)
Kräver tillräckligt många och tillräckligt representativa exempel
Att samla in exempel kallas för annotering
(vi kommer tillbaka till detta senare!)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
15. Maskininlärning
Maskinen lär sig känna igen något utifrån exempel
(övervakad inlärning)
Kräver tillräckligt många och tillräckligt representativa exempel
Att samla in exempel kallas för annotering
(vi kommer tillbaka till detta senare!)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
16. Maskininlärning
Maskinen lär sig känna igen något utifrån exempel
(övervakad inlärning)
Kräver tillräckligt många och tillräckligt representativa exempel
Att samla in exempel kallas för annotering
(vi kommer tillbaka till detta senare!)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
29. Språkmodell
En modell som lär sig en sannolikhetsfördelning över språket
the cat sat on the
the cat on the mat
• Ger en sannolikhet för en mening
• Kan generera text
• Lär sig en “meningsfull” representation av text
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
30. Språkmodell
En modell som lär sig en sannolikhetsfördelning över språket
the cat sat on the
the cat on the mat
• Ger en sannolikhet för en mening
• Kan generera text
• Lär sig en “meningsfull” representation av text
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
31. Språkmodell
En modell som lär sig en sannolikhetsfördelning över språket
the cat sat on the
the cat on the mat
• Ger en sannolikhet för en mening
• Kan generera text
• Lär sig en “meningsfull” representation av text
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
32. Språkmodell
En modell som lär sig en sannolikhetsfördelning över språket
the cat sat on the
the cat on the mat
• Ger en sannolikhet för en mening
• Kan generera text
• Lär sig en “meningsfull” representation av text
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
36. Representationsinlärning
Ordrepresentationer (embeddings) lär sig semantiska
representationer för ord
Språkmodeller lär sig kontextkänsliga semantiska representationer
för ord och meningar
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
37. Representationsinlärning
Ordrepresentationer (embeddings) lär sig semantiska
representationer för ord
Språkmodeller lär sig kontextkänsliga semantiska representationer
för ord och meningar
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
38. Representationsinlärning
Ordrepresentationer (embeddings) lär sig semantiska
representationer för ord
Språkmodeller lär sig kontextkänsliga semantiska representationer
för ord och meningar
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
44. Förbättrade representationer
Carlsson et al. (2021) Semantic Re-Tuning with Contrastive Tension, ICLR
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
45. Förbättrade representationer
Carlsson et al. (2021) Semantic Re-Tuning with Contrastive Tension, ICLR
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
46. Språkmodeller för svenska myndigheter
Finansierat av Vinnova, 2019-2022
RISE, LTU, AI Sweden, Peltarion, Arbetsförmedlingen,
Skatteverket, Tillväxtverket, Kungliga biblioteket
Referensgrupp: SKR, Polisen, SCB, Trafikverket,
Försäkringskassan, Socialstyrelsen, Bolagsverket, DIGG,
Riksrevisionen, PRV, ESV, Riksarkivet, E-hälsomyndigheten, SGU,
Tillväxtanalys...
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
47. Språkmodeller för svenska myndigheter
Finansierat av Vinnova, 2019-2022
RISE, LTU, AI Sweden, Peltarion, Arbetsförmedlingen,
Skatteverket, Tillväxtverket, Kungliga biblioteket
Referensgrupp: SKR, Polisen, SCB, Trafikverket,
Försäkringskassan, Socialstyrelsen, Bolagsverket, DIGG,
Riksrevisionen, PRV, ESV, Riksarkivet, E-hälsomyndigheten, SGU,
Tillväxtanalys...
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
48. Språkmodeller för svenska myndigheter
Finansierat av Vinnova, 2019-2022
RISE, LTU, AI Sweden, Peltarion, Arbetsförmedlingen,
Skatteverket, Tillväxtverket, Kungliga biblioteket
Referensgrupp: SKR, Polisen, SCB, Trafikverket,
Försäkringskassan, Socialstyrelsen, Bolagsverket, DIGG,
Riksrevisionen, PRV, ESV, Riksarkivet, E-hälsomyndigheten, SGU,
Tillväxtanalys...
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
49. Språkmodeller för svenska myndigheter
Finansierat av Vinnova, 2019-2022
RISE, LTU, AI Sweden, Peltarion, Arbetsförmedlingen,
Skatteverket, Tillväxtverket, Kungliga biblioteket
Referensgrupp: SKR, Polisen, SCB, Trafikverket,
Försäkringskassan, Socialstyrelsen, Bolagsverket, DIGG,
Riksrevisionen, PRV, ESV, Riksarkivet, E-hälsomyndigheten, SGU,
Tillväxtanalys...
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
50. Språkmodeller för svenska myndigheter
Möjliggöra för myndigheter att använda den senaste (och bästa!)
språkteknologin (dvs språkmodeller)
Bättre tjänster för medborgarna
Mer effektiva myndigheter
Bidra med algoritmer, kod, tränade modeller, data, samt
tillämpningar
Främja svensk språkteknologi generellt
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
51. Språkmodeller för svenska myndigheter
Möjliggöra för myndigheter att använda den senaste (och bästa!)
språkteknologin (dvs språkmodeller)
Bättre tjänster för medborgarna
Mer effektiva myndigheter
Bidra med algoritmer, kod, tränade modeller, data, samt
tillämpningar
Främja svensk språkteknologi generellt
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
52. Språkmodeller för svenska myndigheter
Möjliggöra för myndigheter att använda den senaste (och bästa!)
språkteknologin (dvs språkmodeller)
Bättre tjänster för medborgarna
Mer effektiva myndigheter
Bidra med algoritmer, kod, tränade modeller, data, samt
tillämpningar
Främja svensk språkteknologi generellt
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
53. Språkmodeller för svenska myndigheter
Möjliggöra för myndigheter att använda den senaste (och bästa!)
språkteknologin (dvs språkmodeller)
Bättre tjänster för medborgarna
Mer effektiva myndigheter
Bidra med algoritmer, kod, tränade modeller, data, samt
tillämpningar
Främja svensk språkteknologi generellt
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
54. Resultat (1)
Databeredskap för språkteknologi (mer om detta senare!)
(nlp-data-readiness.readthedocs.io)
SuperLim (utvärderingsramverk)
(ai.se/en/node/81535/superlim)
Svenska språkmodeller (BERT, ALBERT, ELECTRA, GPT,
DeBERTa...)
Förbättrade representationer från språkmodeller
(huggingface.co/Contrastive-Tension)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
55. Resultat (1)
Databeredskap för språkteknologi (mer om detta senare!)
(nlp-data-readiness.readthedocs.io)
SuperLim (utvärderingsramverk)
(ai.se/en/node/81535/superlim)
Svenska språkmodeller (BERT, ALBERT, ELECTRA, GPT,
DeBERTa...)
Förbättrade representationer från språkmodeller
(huggingface.co/Contrastive-Tension)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
56. Resultat (1)
Databeredskap för språkteknologi (mer om detta senare!)
(nlp-data-readiness.readthedocs.io)
SuperLim (utvärderingsramverk)
(ai.se/en/node/81535/superlim)
Svenska språkmodeller (BERT, ALBERT, ELECTRA, GPT,
DeBERTa...)
Förbättrade representationer från språkmodeller
(huggingface.co/Contrastive-Tension)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
57. Resultat (1)
Databeredskap för språkteknologi (mer om detta senare!)
(nlp-data-readiness.readthedocs.io)
SuperLim (utvärderingsramverk)
(ai.se/en/node/81535/superlim)
Svenska språkmodeller (BERT, ALBERT, ELECTRA, GPT,
DeBERTa...)
Förbättrade representationer från språkmodeller
(huggingface.co/Contrastive-Tension)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
58. Resultat (2)
NER och aktiv maskininlärning på Arbetsförmedlingen
(github.com/af-ai-center/nerblackbox)
Textkategorisering och maskinöversättning på Skatteverket
Svenska NLP-webinariet
(ai.se/en/swedish-nlp-webinars)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
59. Resultat (2)
NER och aktiv maskininlärning på Arbetsförmedlingen
(github.com/af-ai-center/nerblackbox)
Textkategorisering och maskinöversättning på Skatteverket
Svenska NLP-webinariet
(ai.se/en/swedish-nlp-webinars)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
60. Resultat (2)
NER och aktiv maskininlärning på Arbetsförmedlingen
(github.com/af-ai-center/nerblackbox)
Textkategorisering och maskinöversättning på Skatteverket
Svenska NLP-webinariet
(ai.se/en/swedish-nlp-webinars)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
61. Framtiden (är redan här)
Multimodala modeller
(lär sig från fler typer av data samtidigt)
Text och bild:
• Skapa text utifrån en bild (bildbeskrivningar)
• Skapa bild utifrån text
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
62. Framtiden (är redan här)
Multimodala modeller
(lär sig från fler typer av data samtidigt)
Text och bild:
• Skapa text utifrån en bild (bildbeskrivningar)
• Skapa bild utifrån text
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
63. Framtiden (är redan här)
Multimodala modeller
(lär sig från fler typer av data samtidigt)
Text och bild:
• Skapa text utifrån en bild (bildbeskrivningar)
• Skapa bild utifrån text
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
64. Framtiden (är redan här)
Multimodala modeller
(lär sig från fler typer av data samtidigt)
Text och bild:
• Skapa text utifrån en bild (bildbeskrivningar)
• Skapa bild utifrån text
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
65. Framtiden (är redan här)
fof.se/artikel/smartare-ai-nar-text-kopplas-till-bild
github.com/FreddeFrallan/Multilingual-CLIP
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
66. Framtiden (är redan här)
Stefan Löfven looking like a zombie
(Ariel Ekgren, RISE)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
67. Framtiden (är redan här)
A space ship at the speed of light
(Ariel Ekgren, RISE)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se
68. Framtiden (är redan här)
Satan playing with skulls
(Ariel Ekgren, RISE)
RISE - Research Institutes of Sweden · magnus.sahlgren@ri.se