Caspar Oesterheld (Wissenschaftlicher Mitarbeiter, Foundational Research Insitute), Effective Altruism Global X Berlin, 8 Oct 2016

1. Künstliche Intelligenz und Effektiver
Altruismus
Caspar Oesterheld
Foundational Research Institute

2. Caspar Oesterheld
Foundational Research Institute 2
Die ethische Relevanz der Zukunft
Gegenwart – Direkt beeinflussbar
Vergangenheit –
Sehr schwer zu beeinflussen
Zukunft

3. Caspar Oesterheld
Foundational Research Institute 3
Die ethische Relevanz der Zukunft

4. Caspar Oesterheld
Foundational Research Institute 4
Die ethische Relevanz der Zukunft

5. Caspar Oesterheld
Foundational Research Institute 5
Die ethische Relevanz der Zukunft

6. Caspar Oesterheld
Foundational Research Institute 6
Die ethische Relevanz der Zukunft

7. Caspar Oesterheld
Foundational Research Institute 7
Unabsehbarkeit der langfristigen
Konsequenzen direkter Intervention
Daniel Dennett: Darwin‘s Dangerous Idea, p. 498

8. Caspar Oesterheld
Foundational Research Institute 8
„Poor Meat Eater“ und andere Probleme
• Mehr Fleischkonsum => mehr Tierleid
• Überpopulation

9. Caspar Oesterheld
Foundational Research Institute 9
Evaluability Bias
Caviola et al. (2014): The evaluability bias in charitable giving.
http://journal.sjdm.org/14/14402a/jdm14402a.pdf
„…the evaluability bias influences decision making in the
context of charitable giving: people tend to have a strong
preference for charities with low overhead ratios (lower
administrative expenses) but not for charities with high
cost-effectiveness (greater number of saved lives per
dollar), because the former attribute is easier to evaluate
than the latter.“

10. Caspar Oesterheld
Foundational Research Institute 10
Einfluss auf Institutionen
" Institutionen können im Angesicht von Black Swans in
unserem Sinne re-evaluieren.
" Institutionen haben langfristigen Einfluss.
EA Institutionen
Werte
Wildtierleid
Armut
Massentierhaltung
…
„Black Swans“

11. Caspar Oesterheld
Foundational Research Institute 11
Einfluss auf Institutionen
• Regierungen
• Allgemeine Bevölkerung
• Andere wohltätige Organisationen
• Unternehmen
• Religionen?
• Kultur
• Künstliche Intelligenz

12. Caspar Oesterheld
Foundational Research Institute 12
Künstliche Intelligenz
Legg und Hutter (2007): Universal Intelligence: A Definition of Machine Intelligence.
https://arxiv.org/abs/0712.3329
Künstlich = Von Menschen erstellt
und kein Imitat natürlicher Lebewesen
Intelligenz = Die kognitive Fähigkeit
eines Agenten, in einer Vielzahl von
Umgebungen Ziele zu erreichen

13. Caspar Oesterheld
Foundational Research Institute 13
Warum Künstliche Intelligenz

14. Caspar Oesterheld
Foundational Research Institute 14
Warum Künstliche Intelligenz

15. Caspar Oesterheld
Foundational Research Institute 15
Die Relevanz von Künstlicher Intelligenz im
Vergleich zu anderen Institutionen
• Scope
• Tractability
• Neglectedness
Benjamin Todd (2014): Which cause is most effective?
https://80000hours.org/2014/01/which-cause-is-most-effective-300/

16. Caspar Oesterheld
Foundational Research Institute 16
Künstliche Intelligenz – Scope
=> Langfristig ist der Einfluss von KI wahrscheinlich größer als der von
Menschen

17. Caspar Oesterheld
Foundational Research Institute 17
Orthogonalität von „Intelligenz“ und Zielen
Intelligenz
Ziele
Menschen
„Büroklammer-
Maximierer“
" Gute Nachricht: Mit unseren Zielen
kompatible KI ist möglich.
" Schlechte Nachricht: Wenn man sich
nicht darum bemüht, hat eine KI
wahrscheinlich inkompatible Ziele.
Nick Bostrom (2012): The Superintelligent Will.
http://www.nickbostrom.com/superintelligentwill.pdf

18. Caspar Oesterheld
Foundational Research Institute 18
Auch eine KI mit menschlichen Werten könnte
schlecht sein...

19. Caspar Oesterheld
Foundational Research Institute 19
Auch eine KI mit menschlichen Werten könnte
schlecht sein...
Evan G. Williams (2015): The Possibility of an Ongoing Moral Catastrophe.
http://link.springer.com/article/10.1007/s10677-015-9567- 7

20. Caspar Oesterheld
Foundational Research Institute 20
Ziel-Erhaltung

21. Caspar Oesterheld
Foundational Research Institute 21
Künstliche Intelligenz – Tractability
Mnih et al. (2015)

22. Caspar Oesterheld
Foundational Research Institute 22
Künstliche Intelligenz – Tractability
EA Institutionen
Armut Massentierhaltung
…
Künstliche Intelligenz
Wildtierleid
Armut
Massentierhaltung…„Black Swans“
Brian Tomasik: International Cooperation vs. AI Arms Race.
https://foundational-research.org/international-cooperation-vs-ai-arms-race/

23. Caspar Oesterheld
Foundational Research Institute 23
Machbarkeit
Technische Probleme der KI-Sicherheit:
• Entscheidungstheorie
• Maschinenethik
• Stabile Selbstverbesserung
Nate Soares: A Guide to MIRI’s Research.
https://intelligence.org/research-guide/

24. Caspar Oesterheld
Foundational Research Institute 24
Machbarkeit – Kooperation
Brian Tomasik: Gains from Trade through Compromise.
https://foundational-research.org/gains-from-trade-through-compromise/

25. Caspar Oesterheld
Foundational Research Institute 25
Machbarkeit – Kooperation
Lukas Gloor (2016): Suffering-focused AI safety
https://foundational-research.org/files/suffering-focused-ai-safety.pdf
Konsequenzen, die die meisten
Menschen sehr schlecht finden
Hedonium
Florierende
posthumane
Zivilisation
Brave
new
world
Islamischer Staat

26. Caspar Oesterheld
Foundational Research Institute 26
www.openphilanthropy.org/focus/global-catastrophic-risks/potential-risks-
advanced-artificial-intelligence/ai-timelines
• 10-20 Vollzeitstellen
• Gegenargument: „Um KI können und werden sich zukünftige
Wissenschaftler kümmern.“
KI-Sicherheitsforschung als
vernachlässigtes Feld

27. Caspar Oesterheld
Foundational Research Institute 27http://www.overcomingbias.com/2010/06/near-far-summary.html
Warum die Zukunft als Ziel wohltätigen Handelns kontra-intuitiv ist?
Construal Level Theory

28. Weiterführende Ressourcen
E-Mail: caspar.oesterheld@foundational-research.org
Organisationen:
Foundational Research Institute
http://foundational-research.org/
Machine Intelligence Research Institute
https://intelligence.org/
Future of Humanity Institute
https://www.fhi.ox.ac.uk/
28
Caspar Oesterheld
Foundational Research Institute