Ai ethics

AI Ethics 관련 세계적 동향
및 대응 방안
김종욱
인공지능·로보틱스 연구실
동아대학교
2019. 07. 08
Naver TechTalk
1

목 차
 Why must AI have Ethics?
 Global AI Ethics Principles and Guidelines
 Asilomar 원칙: 미국
 AI 연구개발 가이드라인: 일본
 지능정보사회 윤리 가이드라인: 한국
 Ethically Aligned Design: IEEE
 Ethics Guidelines for Trustworthy AI: European Commission
 Preliminary Study on the Ethics of AI: UNESCO
 Recommendation of the Council on AI: OECD
 기업의 AI윤리원칙: 카카오, Google
 How to Implement Trustworthy AI?
2

인공지능이란?
지각(Perception), 학습(Learning), 추론(Inference), 이해(Understanding),
기억(Memory) 등 인간 수준의 지적 능력을 갖는 소프트웨어
• Data Mining
• 에이전트
• 로봇
• Fuzzy 이론
• Expert 시스템
• 신경망.기계학습
• 자연어 처리/이해
• 영상인식/합성
• 음성인식/합성
• 계획과 문제풀이
• 탐색
• 지식표현
• 불확실성 기본
지능
지각
활용
추론/
분류
4

혜성같이 나타난 딥러닝!!
 ImageNet Challenge (ILSVRC)
 1000개 클래스와 140만 장의 사진 파일
 Amazon Mechanical Turk에서 라벨링
 주제: Object localization, Object detection, Object detection from video
 Convolutional Neural Networks (CNN) : AlexNet (2012), VGG
(2014), GoogLeNet (2014), ResNet (2015) ...
https://medium.com/@sidereal/cnns-architectures-lenet-alexnet-vgg-googlenet-resnet-and-more-666091488df5
vs
5

CNN의 원리
 ANN의 은닉층(hidden layer)을 다층(3층 이상)으로 쌓은 구조
 end-to-end learning: 내부의 표현(representation)이나 특성(feature)
을 자동으로 학습
 Convolution layer와 Pooling layer로 구성
https://github.com/vdumoulin/conv_arithmetic
7

딥러닝의 원리
 드롭 아웃:
overfitting 방지
https://www.slideshare.net/yongho/ss-79607172
 활성화 함수: ReLU
8

Reinforcement
learning
Unsupervised learningSupervised learning
딥러닝의 구분
Generative
Adversarial
Network (GAN)
Variational
Autoencoder
(VAE)
Convolutional
Neural Network
(CNN)
Recurrent
Neural Network
(RNN)
Labels (O) Labels (X)
Discriminative model Generative model
Deep Q-
Network (DQN)
Actor-Critic
Policy gradient
9

요즘 CNN
AlexNet (2012)
VGG (2014)
GoogLeNet (2014) ResNet (2014)
10

AI 적용분야
 컴퓨터 비전과 패턴 인식
 흑백 사진과 영상에 색 복원하기
 사진, 동영상 설명하기
 실시간 동작 추정 및 행동분석
 번역, 텍스트 이해
 새로운 이미지 만들기
 음성, 영상 합성
 AI 스피커
 컴퓨터 게임, 로봇공학
 NPC 에이전트
 자율주행차의 도로, 주변상황 인식
 AI 로봇
1111

AI 적용분야
 예술
 음악 작곡
 셰익스피어 스타일의 글쓰기
 유명화가의 화풍 따라서 그리기
 초상화 화가 Obvious
 금융
 주식 트레이드
 콜센터
 산업
 Smart Farm
 Smart Factory
1212

문제적 AI 적용분야
 아마존의 직무역량 평가
 COMPAS의 범죄 재범 가능성 평가
 AI 면접관
13
http://m.chosun.com/svc/article.html?sname=news&contid=201805
1401786&Dep0=m.facebook.com#Redyho

AI의 기만 가능 기술: 영상·음성 합성 기술
15

AI의 공격 가능 기술: Adversarial Attack
16

세계적 우려
 “AI를 사용하는 Killer 로봇은 인류의 재앙”
 인류 전체, 각 분야 전문가의 협력이 필수
 AI의 설계, 개발, 사용 전단계에서 공통의 원칙, 가이드라인 구축 필요
Taranis drone(영국) Sea Hunter(미국)
휴머노이드로봇
표도르(러시아)
IJCAI 2017
17

II. Global AI Ethics
Principles and
Guidelines
18

Asilomar AI 원칙: 미국
 Future of Life Institute의 아실로마(Asilomar) AI 원칙(’17.01)
인공지능이 가져올 변화와 위협, 이 기술이 인류에 혜택을 줄 수 있게 하는 23개 원칙
연구이슈 윤리와 가치 장기적 이슈
• 연구 목표
• 연구비 지원
• 과학-정책 연계
• 연구 문화
• 경쟁 회피
• 안전
• 오류 투명성
• 사법적 투명성
• 책임성
• 가치의 준수
• 인간의 가치
• 개인정보 보호
• 자유와 개인정보
• 이익 공유
• 공동 번영
• 인간의 통제
• 사회전복 방지
• AI 무기경쟁 억제
• 능력치에 대한 주의
• 계획 및 관리
• 위험성
• 재귀적 자기개선 통제
• 공공선
19

AI 연구개발 가이드라인: 일본
 일본 총무성, AI 연구개발 가이드라인(Draft) (’17)
• AI네트워크화의 건전한 촉진과 AI시스템 편익증진에 관한 원칙
1. 협력성: 개발자는 AI시스템의 상호접속성과 상호운용성에 유의한다.
• AI시스템의 위험 억제에 관한 원칙
2. 투명성: 개발자는 AI시스템 입출력의 검증 가능성과 판단 결과의 설명 가능성에 유의
한다.
3. 제어 가능성: 개발자는 AI시스템의 제어 가능성에 유의한다.
4. 안전성: 개발자는 AI시스템이 액추에이터 등을 통해 이용자와 제3자의 생명·신체·재산에
위해를 미치는 것이 없게 배려한다.
5. 보안성: 개발자는 AI시스템의 보안에 유의한다.
6. 프라이버시의 원칙: 개발자는 AI시스템에 의해 이용자와 제3자의 프라이버시가 침해되지 않
도록 배려한다.
7. 윤리의 원칙: 개발자는 AI시스템 개발에 있어서 인간의 존엄과 개인의 자율을 존중한다.
• 이용자 등의 수용성 향상에 관한 원칙
8. 이용자 지원성: 개발자는 AI시스템이 이용자를 지원해 이용자에게 선택의 기회를
적절히 제공하는 것이 가능하도록 배려한다.
9. 책임성(accountability): 개발자는 이용자를 포함한 이해 관계자에 대해 책임을 완수하도
록 노력한다. 20

지능정보사회 윤리 가이드라인: 한국
 지능정보사회 윤리 가이드라인, 정보문화포럼 윤리분과(’17.09)
1. 공공성(Publicness): 지능정보기술은 가능한 많은 사람들에게 도움을 주어야 하며,
지능정보기술에 의해 창출된 경제적 번영은 모든 인류의 혜택을 위해 광범위하게 공
유되어야 한다.
2. 책무성(Accountability): 지능정보기술 및 서비스에 의한 사고 등의 책임 분배를 명
확히 하고, 안전과 관련한 통제장치 마련 등 사회적 의무를 충실히 수행해야 한다.
3. 통제성(Controllability): 지능정보기술 및 서비스에 대한 인간의 제어 가능성 및 오
작동에 대한대비책을 미리 마련해야 한다.
4. 투명성(Transparency): 기술개발, 서비스설계, 제품기획 등 의사결정 과정에서 이용
자·소비자·시민 등의 의견을 반영하도록 노력해야 하며, 이용 단계에서 예상되는 위험
과 관련한 정보를 공개·공유해야 한다.
21

Ethically Aligned Design: IEEE
 Ethically Aligned Design, IEEE Global Initiative on Ethics of
Autonomous and Intelligent Systems, v1(’16), v2(’17), e1(’19)
<General 8 Principles>
The ethical and values-based design, development, and implementation of
autonomous and intelligent systems should be guided by the following General
Principles:
1. Human Rights
A/IS shall be created and operated to respect, promote, and protect internationally
recognized human rights.
2. Well-being
A/IS creators shall adopt increased human well-being as a primary success criterion
for development.
3. Data Agency
A/IS creators shall empower individuals with the ability to access and securely
share their data, to maintain people’s capacity to have control over their identity.
22

IEEE EAD
<General 8 Principles> Cnt’d
4. Effectiveness
A/IS creators and operators shall provide evidence of the effectiveness and fitness
for purpose of A/IS.
5. Transparency
The basis of a particular A/IS decision should always be discoverable.
6. Accountability
A/IS shall be created and operated to provide an unambiguous rationale for all
decisions made.
7. Awareness of Misuse
A/IS creators shall guard against all potential misuses and risks of A/IS in operation.
8. Competence
A/IS creators shall specify and operators shall adhere to the knowledge and skill
required for safe and effective operation.
23

IEEE EAD
 Chapters of EAD
1. From Principles to Practice
2. General Principles
3. Classical Ethics in A/IS
4. Well-being
5. Affective Computing
6. Personal Data and Individual Agency
7. Methods to Guide Ethical Research and Design
8. A/IS for Sustainable Development
9. Embedding Values into Autonomous and Intelligent Systems
10. Policy
11. Law
24

IEEE EAD
 Chapters of EAD
1. From Principles to Practice
2. General Principles
3. Classical Ethics in A/IS
4. Well-being
5. Affective Computing
6. Personal Data and Individual Agency
7. Methods to Guide Ethical Research and Design
8. A/IS for Sustainable Development
9. Embedding Values into Autonomous and Intelligent Systems
10. Policy
11. Law
25

IEEE EAD
 Pillars Mapped to General Principles
26

IEEE EAD: Embedding Values in AIS
 Section 1. Identifying Norms for AIS
 Issue 1: Which norms should be identified?
 Issue 2: The need for norm updating
 Issue 3: A/IS will face norm conflicts and need methods to resolve them.
 Section 2. Implementing Norms in AIS
 Issue 1: Many approaches to norm implementation are currently
available, and it is not yet settled which ones are most suitable.
 Issue 2: The need for transparency from implementation to deployment
 Issue 3: Failures will occur.
 Section 3. Evaluating the Implementation of A/IS
 Issue 1: Not all norms of a target community apply equally to human and
artificial agents
 Issue 2: A/IS can have biases that disadvantage specific groups
 Issue 3: Challenges to evaluation by third parties
27

Ethics Guidelines for Trustworthy AI: European
Commission
 Written by AI HLEG(High-Level Expert Group on AI), ’19
28

Trustworthy AI
29
 Maximize the benefits of AI systems while at the same time
preventing and minimizing their risks.
 Develop, deploy, and use AI systems in a way that the 4 Ethical
Principles and 7 Key Requirements
<4 Ethical Principles>
1. Respect for human autonomy
2. Prevention of harm
3. Fairness
4. Explicability

30
<7 Key Requirements>
1. Human agency and oversight
fundamental rights, human agency and human oversight
2. Technical robustness and safety
resilience to attack and security, fall back plan and general safety, accuracy,
reliability and reproducibility
3. Privacy and data governance
respect for privacy, quality and integrity of data, and access to data
4. Transparency
traceability, explainability and communication
5. Diversity, non-discrimination and fairness
avoidance of unfair bias, accessibility and universal design, and stakeholder
participation
6. Environmental and societal well-being
sustainability and environmental friendliness, social impact, society and
democracy
7. Accountability
auditability, minimisation and reporting of negative impact, trade-offs and
redress

Trustworthy AI Assessment List (Pilot Version)
31
3. Privacy and data governance
Respect for privacy and data Protection:
Depending on the use case, did you establish a mechanism allowing
others to flag issues related to privacy or data protection in the AI
system’s processes of data collection (for training and operation) and data
processing?
Did you assess the type and scope of data in your data sets (for example
whether they contain personal data)?
Did you consider ways to develop the AI system or train the model
without or with minimal use of potentially sensitive or personal data?
Did you build in mechanisms for notice and control over personal data
depending on the use case (such as valid consent and possibility to
revoke, when applicable)?
Did you take measures to enhance privacy, such as via encryption,
anonymisation and aggregation?
Where a Data Privacy Officer (DPO) exists, did you involve this person at
an early stage in the process?

Trustworthy AI Assessment List (Pilot Version)
32
3. Privacy and data governance Cnt’d
Quality and integrity of data:
Did you align your system with relevant standards (for example ISO, IEEE) or
widely adopted protocols for daily data management and governance?
Did you establish oversight mechanisms for data collection, storage,
processing and use?
Did you assess the extent to which you are in control of the quality of the
external data sources used?
Did you put in place processes to ensure the quality and integrity of your data?
Did you consider other processes? How are you verifying that your data sets
have not been compromised or hacked?
Access to data:
What protocols, processes and procedures did you follow to manage and
ensure proper data governance?
Did you assess who can access users’ data, and under what circumstances?
Did you ensure that these persons are qualified and required to access the
data, and that they have the necessary competences to understand the details
of data protection policy?
Did you ensure an oversight mechanism to log when, where, how, by whom
and for what purpose data was accessed?

Preliminary Study on the Ethics of AI: UNESCO
 Written by COMEST (the World Commission on the Ethics of Scientific
Knowledge and Technology) Extended Working Group, ’19
33
(a) Human rights
(b) Inclusiveness
(c) Flourishing
(d) Autonomy
(e) Explainability
(f) Transparency
(g) Awareness and literacy
(h) Responsibility
(i) Accountability
(j) Democracy: AI should be developed, implemented and used in line with
democratic principles.
(k) Good governance: Governments should provide regular reports about
their use of AI in policing, intelligence, and security.
(l) Sustainability: environmental impact of the entire AI and IT production
cycle.

Preliminary Study on the Ethics of AI: UNESCO
 Specific focus of UNESCO
34
(a) Education
(b) Science
(c) Culture
(d) Communication and information
(e) Peace
(f) Africa
(g) Gender
(h) Environment

Recommendation of the Council on AI: OECD
 Written by AIGO (AI Group of experts at the OECD), ’19
35
<5 Complementary values-based principles for the
responsible stewardship of trustworthy AI>
1. inclusive growth, sustainable development and well-being;
2. human-centred values and fairness;
3. transparency and explainability;
4. robustness, security and safety;
5. accountability.

Recommendation of the Council on AI: OECD
36
<5 recommendations to policy-makers>
1. investing in AI research and development;
2. fostering a digital ecosystem for AI;
3. shaping an enabling policy environment for AI;
4. building human capacity and preparing for labour market
transformation;
5. international co-operation for trustworthy AI.

기업의 AI 윤리원칙: 카카오
 카카오 알고리즘 윤리 헌장(`18.01)
1. (카카오 알고리즘의 기본 원칙) 카카오는 알고리즘과 관련된 모든 노력을 우리 사
회 윤리 안에서 다하며, 이를 통해 인류의 편익과 행복을 추구한다.
2. (차별에 대한 경계) 알고리즘 결과에서 의도적인 사회적 차별이 일어나지 않도록
경계한다.
3. (학습 데이터 운영) 알고리즘에 입력되는 학습 데이터를 사회 윤리에 근거하여 수
집∙분석∙활용한다.
4. (알고리즘의 독립성) 알고리즘이 누군가에 의해 자의적으로 훼손되거나 영향받는
일이 없도록 엄정하게 관리한다.
5. (알고리즘에 대한 설명) 이용자와의 신뢰 관계를 위해 기업 경쟁력을 훼손하지 않
는 범위 내에서 알고리즘에 대해 성실하게 설명한다.
37

기업의 AI 윤리원칙: Google
 Google, 인공지능 기술의 향후 사용 시 중요한 7대 원칙 발표(’18. 06)
인공지능 기술이 사용되지 않아야 할 부문
1. 사회적으로 유익해야 한다.
2. 불공정한 편견을 만들거나 심화시키지 않아야 한다.
3. 안전이 우선 되어야 한다.
4. 인간의 지시와 통제를 받아야 한다.
5. 강력한 개인 정보 보호와 데이터 사용에 대한 투명성이 보장되어야 한다.
6. 높은 수준의 과학적 우수성과 기술의 공유.
7. 잠재적 위험을 막기 위해 원칙에 부합하는 용도로 사용되어야 한다.
1. 전반적인 피해를 끼치거나 그럴 가능성이 있는 기술
2. 인명 피해를 야기하거나 직접적 피해를 입히는 것이 주요 목적인 무기 또는 관련 기술
3. 국제적으로 인정된 규범을 위반하는 감시 기술
4. 국제법과 기본 인권에 위배되는 기술
38

III. How to
Implement
Trustworthy AI?
39

딥러닝의 약점
 구조적 문제
 복잡한 구조로 인해 개발자조차 성능이 왜 잘(안) 나오는지 설명할 수 없
음
 비정상 값 출력 혹은 오류 발생 시 원인 파악의 어려움
 딥러닝을 사회 인프라에 적용 시 긴급 복구·정비 불가능
 변화의 대처에 취약
 새로운 데이터나 기능 추가
 시스템의 변화 또는 적용 분야의 변화
40

딥러닝의 약점
 데이터 관련 문제
 방대한 양의 데이터 필요
 가능한 모든 경우에 대한 데이터 확보
 데이터의 편향 가능성 고려
 학습 상황과 다른 상황에서 적용 시 문제
41

해결책: Explainability, Transparency
 딥러닝은 복잡한 블랙박스!
 딥러닝의 오용, 남용, 실패에 대비
 설명가능성과 투명성 없이는 딥러닝을 신뢰(trust)할 수 없고, 실제 문제
에 적용하는데 한계가 있음(ex. 자율주행자동차)
 해결책
 Human-in-the-loop machine learning
 eXplainable AI(XAI)
 Transparent Machine Learning, …
42

해결책: Explainability, Transparency
 딥러닝의 설명성, 투명성을 위한 방안
 딥러닝 프로세스의 시각화(visualization)
 딥러닝 알고리즘 설명
 Feature/instance contribution to DL models
 Mathematical models for DL model explanation
 사용자의 Cognitive Response Communication: DL 결과에 대한 사용자의
trust, 그 결과를 기반으로 판단 시 confidence(확신)가 중요 척도임
 Domain knowledge 사용
 태스크 흐름 일지 쓰기
43

시각화: Class activation map (CAM)
44

알고리즘: 수도관 고장 예측 적용 예
Domain data
Interviewing with
domain experts
Data cleaning
Overview of
domain data
Converting
domain data to
ML features
ML
modelling
Visualization
of ML resultsExplanation
of ML results
Domain
experts
Feedback
- Ground truth
- Significant factors
- …
Decision
making
45

Ai ethics

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Ähnlich wie Ai ethics

Ähnlich wie Ai ethics (20)

Mehr von NAVER Engineering

Mehr von NAVER Engineering (20)

Ai ethics