SlideShare ist ein Scribd-Unternehmen logo
Wenn Maschinen Menschen bewerten:
To-dos für Teilhabe
Berlin, 1. September 2017
Konrad Lischka
Ich habe nicht die Lösung.
 Empirie zum Status quo: Was geschieht?
 Leitbild: Welchen gesellschaftlichen Zielen
soll algorithmic decision-making dienen?
 Lösungen: Was könnte dabei helfen?
01.09.2017 |To-dos für Teilhabe 2
Aber Ideen.
To-Dos, keine Forderungen.
In drei Bereichen:
1. Vielfalt schaffen.
2. Gesellschaftliche Angemessenheit sichern.
3. ADM-Entscheidungen prüfen, erklären &
falsifizieren.
Denn wir wissen zu wenig:
Die Diskussion fokussiert auf Maschinen, mit denen eine Macht
Menschen beurteilt.
01.09.2017 |To-dos für Teilhabe 3
Mensch im Mittelpunkt
 Ich überprüfe, wie ungewöhnlich
mein ALG-II-Bescheid ist
 Ich prüfe, was ich beruflich wirklich
gut und gerne tue
 Ich schätze, wie wahrscheinlich
Grubenstollen unter einem
Grundstück liegen
 Ich bewerte, wie sicher ich einen
Kredit tilgen kann
Mensch als Objekt von ADM
 Der Staat prognostiziert vor
Gericht Rückfallwahrscheinlichkeit
 Arbeitgeber wählen Bewerber
vorab aus
 Versicherungen berechnen
Prämien mit Kreditscoring-Werten
Mein Anspruch: Der Mensch nutzt Maschinen, um sich in einer unübersichtlichen Welt zu orientieren.
Es fehlt: Der Mensch als Subjekt.
Positive, gemeinwohlfördernde Gestaltung umfasst mehr als Abwehr und
Nachsorge durch Regulierung. Staat in einer Doppelrolle.
01.09.2017 |To-dos für Teilhabe 4
zu kontrollierender ADM-Anwender Ermöglicher einer positiven Ordnung
Bekannte Herausforderung, Beispiel: Schaffen einer positive Ordnung für Meinungsvielfalt.
Wir brauchen vielfältige Expertise, wie wir algorithmische
Entscheidungsfindung in den Dienst der Gesellschaft stellen.
01.09.2017 |To-dos für Teilhabe 5
USA Deutschland
?
1. Vielfalt schaffen
01.09.2017 |To-dos für Teilhabe 6
Herausforderung: Diversität von Verfahren, Betreibern und Zielen stärkt
Innovation und Gemeinwohl, doch zwei Faktoren begünstigt Konzentration.
.
01.09.2017 |To-dos für Teilhabe 7
Skalierbarkeit
 Einmal entwickelte Entscheidungslogik
ist auf viele Fälle anwendbar, ohne
dass die Kosten substanziell steigen.
 Je größer die Reichweite ist, desto
schwieriger ist es für den Einzelnen,
sich den Verfahren zu entziehen.
Trainingsdaten
 Wer Trainingsdaten kontrolliert, hat
Vorteile bei der Entwicklung
 Wer Fall- und Trainingsdaten hat, kann
Fehler finden.
01.09..2017 |To-dos für Teilhabe 8
“Ethics”byMarkMorganislicensedunderCCBY2.0
Ansätze Trainingsdaten: Gemeinwohl taugt nicht immer zum
Geschäftsmodell. Deshalb braucht es vielfältige Betreibermodelle & Ziele.
Vorbild Projekt Common Voice
der Mozilla Foundation. Basis für
Spracherkennung für alle.
Trainingsdatenallmende
Biobanken an Universitäten
sammeln Proben und
Spenderinfos für Forschung
Datentreuhänder
Öffentlich nutzbare Daten aus
öffentlich geförderter Forschung
generieren
Open Access für Trainingsdaten
01.09.2017 |To-dos für Teilhabe 9
Ansätze System-Vielfalt: Wenn es viele richtige Operationalisierungen
eines sozialen Konzepts gibt, sind unterschiedliche Systeme sinnvoll.
Öffentliche Förderprogramme
wie z.B. Prototype Fund
für gemeinwohlförderliche
ADM-Projekte
Entwicklung fürs Gemeinwohl
Unterschiedliche
Relevanzkonzepte in
Sprachversionen,
unterschiedliche
Zulassungsverfahren (z.B. Bot
Approvals Group)
Wikipedia-Bots
Im öffentlichen Sektor z.B.
analog zu Nachhaltigkeit.
Je nach Einsatzgebiet
vielleicht absolute Vielfalt
verpflichtend (analog zu
Zweitgutachter)
Vielfalt als Vergabekriterium
2. Gesellschaftliche Angemessenheit
sichern
01.09.2017 |To-dos für Teilhabe 10
Herausforderung: Dass ein ADM-System zuverlässig und nachvollziehbar
arbeitet, sagt wenig über seinen gesellschaftlichen Sinn aus.
01.09.2017 |To-dos für Teilhabe 11
Negativbeispiele Operationalisierung
 Messgröße für Jobeignung:
Wer zu weit entfernt von Firmensitz
wohnt, wird als Bewerber aussortiert
 Messgröße für Rückfallrisiko:
Je ähnlicher ein Angeklagter einen
Fragebogen beantwortet wie Inhaftierte,
desto höher die Risikoprognose
Negativbeispiele Anwendung
 Institutionslogik: ADM-System soll
Gefährdete zwecks Prävention finden,
wird aber für Ermittlungen genutzt
 Zweckentfremdung: Kreditscoring
beeinflusst Höhe von
Versicherungsprämien und
Bewerberauswahl
01.09.2017 |To-dos für Teilhabe 12
Lösungsansätze:
Diskurs über die Messbarmachung vor der Messbarmachung führen
Erprobte Messgrößen
übertragen, z.B.
Armutskennzahlen aus
Demographic and Health Survey
für Analyse via Satellitenfotos
fachöffentlich
Öffentliche Konsultationen bei
Konstruktion von
Entscheidungssysteme. Analog
z.B. zu Beteiligungsverfahren
in der Stadtplanung
gesellschaftlich breit
Lösungsansätze: Reflexion der Angemessenheit institutionalisieren
01.09.2017 |To-dos für Teilhabe 13
©flickr/magicatwork,RileeYandt,CCBY-NC-ND2.0
“Ethics”byMarkMorganislicensedunderCCBY2.0
Pressekodex & Presserat:
Reflektion von Fallbeispielen
ergänzt Kodex.
klinische Ethik-Komitees:
Fallbesprechung in
interdisziplinären Teams.
Freiwillige Ethikinstitutionen
Professionsethik als Pflichtteil
universitärer Informatik-
Ausbildung
(wie z.B. Pflichtvorlesungen
Medizinethik)
Kompetenzvermittlung
Medizin: Ethikkommissionen an
Unis & bei berufsständischen
Vereinigungen. Bei bestimmter
Forschung Zustimmung
gesetzlich vorgeschrieben
Ethikkommissionen
3. Maschinelle Entscheidungen
überprüfen & falsifizieren
01.09.2017 |To-dos für Teilhabe 14
Transparenz allein schafft keine Öffentlichkeit. Überprüfbarkeit sichert
nicht Überprüfung. Deshalb braucht es vielfältige Wächter-Institutionen.
01.09.2017 |To-dos für Teilhabe 15
Beispiele für institutionalisierte Aufsicht für Staat & Wirtschaft:
SvenTeschkeCCBY-SA3.0de
Medikamentenzulassung
Baugenehmigung
Kfz-Zulassung
Deutsche Akkreditierungsstelle
Vorab
Bundesstelle für
Flugunfalluntersuchung
Nachträglich
Lebensmittelkontrolle
Finanzaufsicht
Wirtschaftsprüfer
Rechnungshöfe
Fortwährend
Für breite Öffentlichkeit braucht es jedoch mehr als öffentliche Aufsicht.
01.09.2017 |To-dos für Teilhabe 16
rechtliche Grundlagen
mögliche Ansatzpunkte:
 Informationspflichten wie Hinweispflicht
auf algorithmische Bewertung
 Auskunftsrechte
 Recht auf Zweitmeinung
 Verbandsklagerechte
Wissenschaft & Zivilgesellschaft
 Wissenschaft: Werkzeuge und
Methoden für Recherchen, Expertise
für Einordnung von Fällen.
 Zivilgesellschaftliche Watchdogs als
Beschwerdeinstanzen mit niedrigen
Zugangshürden, für Aggregation und
Verifikation, Storytelling und
Bottom-up-Mobilisierung
2. Behörden, Unternehmen,
zivilgesellschaftliche
Organisationen
1. Individuen3. Werte,
Normen
Fazit: Handlungsbedarf und Lösungsansätze auf allen Ebenen des
Gemeinwesens
01.09.2017 |To-dos für Teilhabe 17
Gesell-
schaftliche
Gestaltung
 Werte: individuelle
Selbstbestimmung,
abgeleitet
Ermessensspielräume,
Prognosen
≠ Gewissheiten
 Gesetzgebung:
rechtliche Basis und
Aufsicht, wo nötig (z.B.
Informationsrechte,
Vielfaltssicherung)
 klar verteilte Verantwortlichkeit
zwischen Instanzen in
Entwicklung und Einsatz.
 Professionsethik &
handwerkliche Standards
 Berufungsinstanzen
 öffentliche Aufsicht
 Watchdogs
 Vielfalt als Vergabekriterium
 Gestaltungskompetenz bei
Entwicklern, Anwendern,
Nutzern
 Wissen über ADM-Fähigkeiten
und Fehlerquellen, damit z.B.
Beschwerden zu Falsifikation
führen
www.bertelsmann-stiftung.de
Besuchen Sie uns auch auf
Danke!
Slides: www.algorithmenethik.de
@algoethik
konrad.lischka@bertelsmann-stiftung.de

Weitere ähnliche Inhalte

Ähnlich wie Wenn Maschinen Menschen bewerten: To-dos für Teilhabe

Software, die der Gesellschaft nützt.
Software, die der Gesellschaft nützt.Software, die der Gesellschaft nützt.
Software, die der Gesellschaft nützt.
Konrad Lischka
 
Evidenzbasierte Bildung mit Learning Analytics - Teil 4 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 4 FRANKFURT 2019Evidenzbasierte Bildung mit Learning Analytics - Teil 4 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 4 FRANKFURT 2019
Wolfgang Greller
 
Was kommt nach Open Innovation?
Was kommt nach Open Innovation?Was kommt nach Open Innovation?
Was kommt nach Open Innovation?
NETBAES
 
Erfolgsmessung Social Collaboration
Erfolgsmessung Social CollaborationErfolgsmessung Social Collaboration
Erfolgsmessung Social Collaboration
Jürgen Mirbach
 
Social Media Excellence 12 Universität St. Gallen
Social Media Excellence 12   Universität St. GallenSocial Media Excellence 12   Universität St. Gallen
Social Media Excellence 12 Universität St. Gallen
Olaf Frankfurt
 
Next Corporate Communication Studie 2012
Next Corporate Communication Studie 2012Next Corporate Communication Studie 2012
Next Corporate Communication Studie 2012
Alexander Rossmann
 
RoX 2017 - Customer Experiencing: Community Design Thinking
RoX 2017 - Customer Experiencing: Community Design ThinkingRoX 2017 - Customer Experiencing: Community Design Thinking
RoX 2017 - Customer Experiencing: Community Design Thinking
USECON
 
Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...
 Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld... Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...
Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...
Jörg Hoewner
 
Abbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdf
Abbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdfAbbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdf
Abbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdf
Lag-Soziale-Brennpunkte-Niedersachsen
 
Dipl.-Ing. Marc Haarmeier (Prime Force Group Int. AG)
Dipl.-Ing. Marc Haarmeier (Prime Force Group Int. AG)Dipl.-Ing. Marc Haarmeier (Prime Force Group Int. AG)
Dipl.-Ing. Marc Haarmeier (Prime Force Group Int. AG)
Praxistage
 
INFECT 2011 | Social Media Measurement
INFECT 2011 | Social Media MeasurementINFECT 2011 | Social Media Measurement
INFECT 2011 | Social Media Measurement
Alexander Rossmann
 
Social Media Strategie
Social Media StrategieSocial Media Strategie
Social Media Strategie
Alexander Rossmann
 
Praxisnahe Evaluation von Kommunikation im Social Web
Praxisnahe Evaluation von Kommunikation im Social WebPraxisnahe Evaluation von Kommunikation im Social Web
Praxisnahe Evaluation von Kommunikation im Social Web
Stefan Klix
 
Big Data Studie - 7 Thesen für eine Good Data Governance
Big Data Studie - 7 Thesen für eine Good Data GovernanceBig Data Studie - 7 Thesen für eine Good Data Governance
Big Data Studie - 7 Thesen für eine Good Data Governance
Beat Estermann
 
People, Platforms, Processes: Der holistische Blick auf erfolgreiche Deployme...
People, Platforms, Processes: Der holistische Blick auf erfolgreiche Deployme...People, Platforms, Processes: Der holistische Blick auf erfolgreiche Deployme...
People, Platforms, Processes: Der holistische Blick auf erfolgreiche Deployme...
Christoph Bauer
 
Umfrage_zu_Big_Data_in_der_Schweiz_20151105
Umfrage_zu_Big_Data_in_der_Schweiz_20151105Umfrage_zu_Big_Data_in_der_Schweiz_20151105
Umfrage_zu_Big_Data_in_der_Schweiz_20151105
Beat Estermann
 
Nutzerzentrierte Informationssysteme
Nutzerzentrierte InformationssystemeNutzerzentrierte Informationssysteme
Nutzerzentrierte Informationssysteme
Prof. Dr. Alexander Maedche
 
Wohin geht die Reise? Das Digitale im Arbeits- und Lernalltag
Wohin geht die Reise? Das Digitale im Arbeits- und LernalltagWohin geht die Reise? Das Digitale im Arbeits- und Lernalltag
Wohin geht die Reise? Das Digitale im Arbeits- und Lernalltag
Jochen Robes
 
Top 10 der Business Intelligence-Trends für das Jahr 2014
Top 10 der Business Intelligence-Trends für das Jahr 2014Top 10 der Business Intelligence-Trends für das Jahr 2014
Top 10 der Business Intelligence-Trends für das Jahr 2014
Tableau Software
 
Social Media Market Research
Social Media Market ResearchSocial Media Market Research
Social Media Market Research
Holger Lütters
 

Ähnlich wie Wenn Maschinen Menschen bewerten: To-dos für Teilhabe (20)

Software, die der Gesellschaft nützt.
Software, die der Gesellschaft nützt.Software, die der Gesellschaft nützt.
Software, die der Gesellschaft nützt.
 
Evidenzbasierte Bildung mit Learning Analytics - Teil 4 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 4 FRANKFURT 2019Evidenzbasierte Bildung mit Learning Analytics - Teil 4 FRANKFURT 2019
Evidenzbasierte Bildung mit Learning Analytics - Teil 4 FRANKFURT 2019
 
Was kommt nach Open Innovation?
Was kommt nach Open Innovation?Was kommt nach Open Innovation?
Was kommt nach Open Innovation?
 
Erfolgsmessung Social Collaboration
Erfolgsmessung Social CollaborationErfolgsmessung Social Collaboration
Erfolgsmessung Social Collaboration
 
Social Media Excellence 12 Universität St. Gallen
Social Media Excellence 12   Universität St. GallenSocial Media Excellence 12   Universität St. Gallen
Social Media Excellence 12 Universität St. Gallen
 
Next Corporate Communication Studie 2012
Next Corporate Communication Studie 2012Next Corporate Communication Studie 2012
Next Corporate Communication Studie 2012
 
RoX 2017 - Customer Experiencing: Community Design Thinking
RoX 2017 - Customer Experiencing: Community Design ThinkingRoX 2017 - Customer Experiencing: Community Design Thinking
RoX 2017 - Customer Experiencing: Community Design Thinking
 
Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...
 Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld... Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...
Cognitive PR: Datengetriebene Kommunikation und KI in der PR - Handlungsfeld...
 
Abbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdf
Abbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdfAbbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdf
Abbau von Vorurteilen durch Kontaktmaßnahmen in der Gemeinwesenarbeit.pdf
 
Dipl.-Ing. Marc Haarmeier (Prime Force Group Int. AG)
Dipl.-Ing. Marc Haarmeier (Prime Force Group Int. AG)Dipl.-Ing. Marc Haarmeier (Prime Force Group Int. AG)
Dipl.-Ing. Marc Haarmeier (Prime Force Group Int. AG)
 
INFECT 2011 | Social Media Measurement
INFECT 2011 | Social Media MeasurementINFECT 2011 | Social Media Measurement
INFECT 2011 | Social Media Measurement
 
Social Media Strategie
Social Media StrategieSocial Media Strategie
Social Media Strategie
 
Praxisnahe Evaluation von Kommunikation im Social Web
Praxisnahe Evaluation von Kommunikation im Social WebPraxisnahe Evaluation von Kommunikation im Social Web
Praxisnahe Evaluation von Kommunikation im Social Web
 
Big Data Studie - 7 Thesen für eine Good Data Governance
Big Data Studie - 7 Thesen für eine Good Data GovernanceBig Data Studie - 7 Thesen für eine Good Data Governance
Big Data Studie - 7 Thesen für eine Good Data Governance
 
People, Platforms, Processes: Der holistische Blick auf erfolgreiche Deployme...
People, Platforms, Processes: Der holistische Blick auf erfolgreiche Deployme...People, Platforms, Processes: Der holistische Blick auf erfolgreiche Deployme...
People, Platforms, Processes: Der holistische Blick auf erfolgreiche Deployme...
 
Umfrage_zu_Big_Data_in_der_Schweiz_20151105
Umfrage_zu_Big_Data_in_der_Schweiz_20151105Umfrage_zu_Big_Data_in_der_Schweiz_20151105
Umfrage_zu_Big_Data_in_der_Schweiz_20151105
 
Nutzerzentrierte Informationssysteme
Nutzerzentrierte InformationssystemeNutzerzentrierte Informationssysteme
Nutzerzentrierte Informationssysteme
 
Wohin geht die Reise? Das Digitale im Arbeits- und Lernalltag
Wohin geht die Reise? Das Digitale im Arbeits- und LernalltagWohin geht die Reise? Das Digitale im Arbeits- und Lernalltag
Wohin geht die Reise? Das Digitale im Arbeits- und Lernalltag
 
Top 10 der Business Intelligence-Trends für das Jahr 2014
Top 10 der Business Intelligence-Trends für das Jahr 2014Top 10 der Business Intelligence-Trends für das Jahr 2014
Top 10 der Business Intelligence-Trends für das Jahr 2014
 
Social Media Market Research
Social Media Market ResearchSocial Media Market Research
Social Media Market Research
 

Wenn Maschinen Menschen bewerten: To-dos für Teilhabe

  • 1. Wenn Maschinen Menschen bewerten: To-dos für Teilhabe Berlin, 1. September 2017 Konrad Lischka
  • 2. Ich habe nicht die Lösung.  Empirie zum Status quo: Was geschieht?  Leitbild: Welchen gesellschaftlichen Zielen soll algorithmic decision-making dienen?  Lösungen: Was könnte dabei helfen? 01.09.2017 |To-dos für Teilhabe 2 Aber Ideen. To-Dos, keine Forderungen. In drei Bereichen: 1. Vielfalt schaffen. 2. Gesellschaftliche Angemessenheit sichern. 3. ADM-Entscheidungen prüfen, erklären & falsifizieren. Denn wir wissen zu wenig:
  • 3. Die Diskussion fokussiert auf Maschinen, mit denen eine Macht Menschen beurteilt. 01.09.2017 |To-dos für Teilhabe 3 Mensch im Mittelpunkt  Ich überprüfe, wie ungewöhnlich mein ALG-II-Bescheid ist  Ich prüfe, was ich beruflich wirklich gut und gerne tue  Ich schätze, wie wahrscheinlich Grubenstollen unter einem Grundstück liegen  Ich bewerte, wie sicher ich einen Kredit tilgen kann Mensch als Objekt von ADM  Der Staat prognostiziert vor Gericht Rückfallwahrscheinlichkeit  Arbeitgeber wählen Bewerber vorab aus  Versicherungen berechnen Prämien mit Kreditscoring-Werten Mein Anspruch: Der Mensch nutzt Maschinen, um sich in einer unübersichtlichen Welt zu orientieren. Es fehlt: Der Mensch als Subjekt.
  • 4. Positive, gemeinwohlfördernde Gestaltung umfasst mehr als Abwehr und Nachsorge durch Regulierung. Staat in einer Doppelrolle. 01.09.2017 |To-dos für Teilhabe 4 zu kontrollierender ADM-Anwender Ermöglicher einer positiven Ordnung Bekannte Herausforderung, Beispiel: Schaffen einer positive Ordnung für Meinungsvielfalt.
  • 5. Wir brauchen vielfältige Expertise, wie wir algorithmische Entscheidungsfindung in den Dienst der Gesellschaft stellen. 01.09.2017 |To-dos für Teilhabe 5 USA Deutschland ?
  • 6. 1. Vielfalt schaffen 01.09.2017 |To-dos für Teilhabe 6
  • 7. Herausforderung: Diversität von Verfahren, Betreibern und Zielen stärkt Innovation und Gemeinwohl, doch zwei Faktoren begünstigt Konzentration. . 01.09.2017 |To-dos für Teilhabe 7 Skalierbarkeit  Einmal entwickelte Entscheidungslogik ist auf viele Fälle anwendbar, ohne dass die Kosten substanziell steigen.  Je größer die Reichweite ist, desto schwieriger ist es für den Einzelnen, sich den Verfahren zu entziehen. Trainingsdaten  Wer Trainingsdaten kontrolliert, hat Vorteile bei der Entwicklung  Wer Fall- und Trainingsdaten hat, kann Fehler finden.
  • 8. 01.09..2017 |To-dos für Teilhabe 8 “Ethics”byMarkMorganislicensedunderCCBY2.0 Ansätze Trainingsdaten: Gemeinwohl taugt nicht immer zum Geschäftsmodell. Deshalb braucht es vielfältige Betreibermodelle & Ziele. Vorbild Projekt Common Voice der Mozilla Foundation. Basis für Spracherkennung für alle. Trainingsdatenallmende Biobanken an Universitäten sammeln Proben und Spenderinfos für Forschung Datentreuhänder Öffentlich nutzbare Daten aus öffentlich geförderter Forschung generieren Open Access für Trainingsdaten
  • 9. 01.09.2017 |To-dos für Teilhabe 9 Ansätze System-Vielfalt: Wenn es viele richtige Operationalisierungen eines sozialen Konzepts gibt, sind unterschiedliche Systeme sinnvoll. Öffentliche Förderprogramme wie z.B. Prototype Fund für gemeinwohlförderliche ADM-Projekte Entwicklung fürs Gemeinwohl Unterschiedliche Relevanzkonzepte in Sprachversionen, unterschiedliche Zulassungsverfahren (z.B. Bot Approvals Group) Wikipedia-Bots Im öffentlichen Sektor z.B. analog zu Nachhaltigkeit. Je nach Einsatzgebiet vielleicht absolute Vielfalt verpflichtend (analog zu Zweitgutachter) Vielfalt als Vergabekriterium
  • 11. Herausforderung: Dass ein ADM-System zuverlässig und nachvollziehbar arbeitet, sagt wenig über seinen gesellschaftlichen Sinn aus. 01.09.2017 |To-dos für Teilhabe 11 Negativbeispiele Operationalisierung  Messgröße für Jobeignung: Wer zu weit entfernt von Firmensitz wohnt, wird als Bewerber aussortiert  Messgröße für Rückfallrisiko: Je ähnlicher ein Angeklagter einen Fragebogen beantwortet wie Inhaftierte, desto höher die Risikoprognose Negativbeispiele Anwendung  Institutionslogik: ADM-System soll Gefährdete zwecks Prävention finden, wird aber für Ermittlungen genutzt  Zweckentfremdung: Kreditscoring beeinflusst Höhe von Versicherungsprämien und Bewerberauswahl
  • 12. 01.09.2017 |To-dos für Teilhabe 12 Lösungsansätze: Diskurs über die Messbarmachung vor der Messbarmachung führen Erprobte Messgrößen übertragen, z.B. Armutskennzahlen aus Demographic and Health Survey für Analyse via Satellitenfotos fachöffentlich Öffentliche Konsultationen bei Konstruktion von Entscheidungssysteme. Analog z.B. zu Beteiligungsverfahren in der Stadtplanung gesellschaftlich breit
  • 13. Lösungsansätze: Reflexion der Angemessenheit institutionalisieren 01.09.2017 |To-dos für Teilhabe 13 ©flickr/magicatwork,RileeYandt,CCBY-NC-ND2.0 “Ethics”byMarkMorganislicensedunderCCBY2.0 Pressekodex & Presserat: Reflektion von Fallbeispielen ergänzt Kodex. klinische Ethik-Komitees: Fallbesprechung in interdisziplinären Teams. Freiwillige Ethikinstitutionen Professionsethik als Pflichtteil universitärer Informatik- Ausbildung (wie z.B. Pflichtvorlesungen Medizinethik) Kompetenzvermittlung Medizin: Ethikkommissionen an Unis & bei berufsständischen Vereinigungen. Bei bestimmter Forschung Zustimmung gesetzlich vorgeschrieben Ethikkommissionen
  • 14. 3. Maschinelle Entscheidungen überprüfen & falsifizieren 01.09.2017 |To-dos für Teilhabe 14
  • 15. Transparenz allein schafft keine Öffentlichkeit. Überprüfbarkeit sichert nicht Überprüfung. Deshalb braucht es vielfältige Wächter-Institutionen. 01.09.2017 |To-dos für Teilhabe 15 Beispiele für institutionalisierte Aufsicht für Staat & Wirtschaft: SvenTeschkeCCBY-SA3.0de Medikamentenzulassung Baugenehmigung Kfz-Zulassung Deutsche Akkreditierungsstelle Vorab Bundesstelle für Flugunfalluntersuchung Nachträglich Lebensmittelkontrolle Finanzaufsicht Wirtschaftsprüfer Rechnungshöfe Fortwährend
  • 16. Für breite Öffentlichkeit braucht es jedoch mehr als öffentliche Aufsicht. 01.09.2017 |To-dos für Teilhabe 16 rechtliche Grundlagen mögliche Ansatzpunkte:  Informationspflichten wie Hinweispflicht auf algorithmische Bewertung  Auskunftsrechte  Recht auf Zweitmeinung  Verbandsklagerechte Wissenschaft & Zivilgesellschaft  Wissenschaft: Werkzeuge und Methoden für Recherchen, Expertise für Einordnung von Fällen.  Zivilgesellschaftliche Watchdogs als Beschwerdeinstanzen mit niedrigen Zugangshürden, für Aggregation und Verifikation, Storytelling und Bottom-up-Mobilisierung
  • 17. 2. Behörden, Unternehmen, zivilgesellschaftliche Organisationen 1. Individuen3. Werte, Normen Fazit: Handlungsbedarf und Lösungsansätze auf allen Ebenen des Gemeinwesens 01.09.2017 |To-dos für Teilhabe 17 Gesell- schaftliche Gestaltung  Werte: individuelle Selbstbestimmung, abgeleitet Ermessensspielräume, Prognosen ≠ Gewissheiten  Gesetzgebung: rechtliche Basis und Aufsicht, wo nötig (z.B. Informationsrechte, Vielfaltssicherung)  klar verteilte Verantwortlichkeit zwischen Instanzen in Entwicklung und Einsatz.  Professionsethik & handwerkliche Standards  Berufungsinstanzen  öffentliche Aufsicht  Watchdogs  Vielfalt als Vergabekriterium  Gestaltungskompetenz bei Entwicklern, Anwendern, Nutzern  Wissen über ADM-Fähigkeiten und Fehlerquellen, damit z.B. Beschwerden zu Falsifikation führen
  • 18. www.bertelsmann-stiftung.de Besuchen Sie uns auch auf Danke! Slides: www.algorithmenethik.de @algoethik konrad.lischka@bertelsmann-stiftung.de