제 16회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [Secret X 팀] : XAI를 활용한 수능 영어영역 문제풀이

2023학년도 여름 보아즈 컨퍼런스 발표
XAI를 이용한 수능 영어 문제 풀이
제 3 교시
팀명 비밀집단 수험번호 2 0 2 2 - 0 7 2 3
팀장: 이수경 (분석 17기), 팀원: 김지수 (분석 17기), 권강미 (분석 17기)
답안지의 필적 확인란에 다음의 문구를 정자로 기재하시오.
비밀집단만큼 사랑스러운 팀을 본 일이 없다 …

목차
① 주제선정 배경
1 2 3 4 5
② XAI란? ③ 프로젝트 목표 ① SHAP ② IG ③ LRP
① 평가지표 ② 문법 모델링 ③ 맥락 모델링
④ 평가결과
① 최종모델 ② Pipeline ③ XAI시연
④ 의의 및 한계
① 데이터수집 ② 문법 데이터 ③ 맥락 데이터

1. 소개 1 2 3 4 5
밈 1 밈 3
17기 분석 이수경 17기 분석 김지수 17기 분석 권강미
비밀집단..
성균관대학교 데이터사이언스 고려대학교 통계학과 연세대학교 문헌정보학과
크롤링, 전처리, 문법 모델링 보조,
맥락 모델링 총괄, XAI 총괄
크롤링, 문법 모델링 총괄,
맥락 모델링 보조, XAI 보조
크롤링, 문법 모델링 보조,
맥락 모델링 보조, XAI 보조
1 2 3 4 5

1. 소개
쳌
쳌
쳌
주제선정배경
XAI란?
프로젝트 목표

1. 소개 1 2 3 4 5
주제선정 배경
AI기술이 발전함에 따라 AI를 활용한 교육 또한 활성화되고 있음
수학 학습에서 학습자의 개념 단위
학습 과정을 파악하고 적절한 피드백과
힌트를 제공해주는 학습지원 시스템
MATHia
AI 진단을 통해 자신의 실력을 분석하고
취약한 파트를 알려줌으로써 토익
학습에 도움을 주는 서비스
산타토익
데이터 베이스 내의 문제 풀이를 물어보
면 그를 알려주는 소프트웨어. 해당 풀이
가 DB내에 없다면 유사 문제를 제공
QUANDA
사용자의 수준에 맞춘 문제와 풀이를
제공하며 사용자의 학습 속도와 수준에
따라 적절한 동영상 강의를 추천해줌
KHAN ACADEMY

1. 소개 1 2 3 4 5
주제선정 배경
현재 교육현장에서의 AI는 학습 수준 진단, 학습 솔루션 제공 등
학습 방향성의 보조자 역할을 하고 있음
산타토익
QUANDA
KHAN ACADEMY
MATHia

1. 소개 1 2 3 4 5
주제선정 배경
현재 교육현장에서의 AI는 학습 수준 진단, 학습 솔루션 제공 등
학습 방향성의 보조자 역할을 하고 있습니다.
산타토익
QUANDA
KHAN ACADEMY
MATHia
학습 방향성이 아닌 학습 자체를 보조한다면
보다 자기주도 학습에 도움을 줄 수 있지 않을까?

1. 소개 1 2 3 4 5
주제선정 배경
학습에 있어서 문제 풀이는 자신이 모르는 개념을 확인할 수 있는 필수적인 과정임
올바른 공부의 흐름
개념 공부
문제 풀이
틀렸다
맞았다!
문제 풀이의 중요성

1. 소개 1 2 3 4 5
주제선정 배경
학습에 있어서 문제 풀이는 자신이 모르는 개념을 확인할 수 있는 필수적인 과정임
올바른 공부의 흐름
개념 공부
문제 풀이
틀렸다
맞았다!
문제 풀이의 중요성
선생님이 해 주는 문제 풀이처럼
답과 답의 근거를 함께 알려주는 AI를 통해
자기주도 학습자들의 학습을 돕고자 함

1. 소개 1 2 3 4 5
XAI란?
eXplainable Artificial Intelligence, XAI
인공지능 모델이 특정 결론을 내리기까지 어떤 근거로 의사 결정을 내렸는지를 알 수 있게
설명 가능성을 추가하는 기법으로, 인공지능에 설명 능력을 부여해
기계와 인간의 상호작용에 합리성을 확보할 수 있도록 함
출처: XAI 설명가능한 인공지능, 인공지능을 해부하다

1. 소개 1 2 3 4 5
XAI란?
XAI는 단순히 ‘왜’이런 결과를 냈는지 알려주는 데 그치는 것이 아니라
기존 인공지능이 어떠한 체제로 동작하고 동작하지 않는지,
시스템이 왜 실패하고 성공하는지를 파악할 수 있도록 합니다!
저는 제 모델이 왜 이런 결과를 냈는지 별로 안 궁금한데요??
오전 1:23
오전 1:26
아하!
오전 1:38

1. 소개 1 2 3 4 5
해당 데이터를 각 라벨로 분류할 확률에 기여한 픽셀들을 확인할 수 있음
XAI란?
이미지 데이터에서의 XAI

1. 소개 1 2 3 4 5
XAI란?
해당 데이터를 각 라벨로 분류할 확률에 기여한 단어들을 확인할 수 있음
텍스트 데이터에서의 XAI

1. 소개 1 2 3 4 5
프로젝트 목표
XAI를 이용해 해답의 근거까지
설명할 수 있는 모델을 구현하자!
목표 1
목표 2
수능 영어 문제를 풀 수 있는 모델 구현
XAI 기법을 이용해 해답의 근거 밝히기
데이터 수집 전처리 모델링
문법
맥락
XAI
SHAP
IG
LRP
최종 모델 선정
유형별 모델링 결과와 함께
XAI 결과를 정성평가해

2. 데이터
쳌
쳌
쳌
데이터수집
문법 데이터
맥락 데이터

2. 데이터 1 2 3 4 5
데이터 선정
총 16개의 문제 유형 중 선지와 본문 모두 영어이고 그림, 도표 없이
텍스트로만 이루어져 있는 문제유형 다섯 가지를 선정
대학수학능력시험 영어 영역 문제 유형
듣기
글의 목적
글의 주제
함의 추론
글의 분위기/심경 파악
내용 일치/불일치
실용문 일치/불일치
단어의 적절성 판단
도표 이해
요약문 완성
장문 독해
문법
빈칸 추론
무관한 문장 고르기
문장 삽입
문단 순서

2. 데이터 1 2 3 4 5
데이터 선정
문제 풀이 방식에 따라 두 가지 유형으로 분류
맥락에 대한 이해가
필요 없는 유형
맥락에 대한 이해가
필요한 유형
VS
a.k.a 흐름
빈칸추론
문법 무관한 문장 고르기 문장삽입 문단순서

2. 데이터 1 2 3 4 5
문제유형 본문 선지1 선지2 선지3 선지4 선지5 문제번호 답 출처_년도 출처_월 출처_학년
문법
Despite all
the high-te
ch devices
that seem
has that using dependently did 29 4 2022 6월 고1
빈칸추론
Such _____
are likely to
stretch part
icipants be
yond.
restrictions
responsibili
ties
memories coincidences traditions 31 1 2022 6월 고1
데이터 수집
모의고사, EBS 연계교재로부터 문제 유형별로 데이터 수집
모의고사 EBS
- 대상: 고1, 고2, 고3
- 기간: 2011년~2022년도 3, 4, 6, 7, 9, 10, 11월
- 수능특강, 수능완성 : 2012년~2023년도
- 영어독해연습 : 2016~2020년도
*
* 고3 11월 수능 문제는 TEST 데이터로 사용
손으로 3명이서 4007개 ^^

2. 데이터 1 2 3 4 5
문법 데이터
어법 상 틀린 부분이 있는 문장을 고르는 문제로,
글 전체를 읽을 필요 없이 선지가 있는 문장만 확인한다
문법 문제 특징
9%
전체 유형 중 문법 유형 데이터 비율 문장의 단어 개수 분포
최솟값 평균 최댓값
19 141.6 409
12개
TRAIN / TEST 분포
358개

2. 데이터 1 2 3 4 5
문법 데이터
• 23개 언어학 출판물의 10657개 문장
• 문장들의 문법 적합 여부 라벨링
• 구성: In-domain & out-domain
• TOEIC의 Part 5. 단문 빈칸 채우기
• 어법 문제와 어휘문제로 구성되어 있음
• 4지선다형
문장의 길이 분포
Mean 41
문장의 길이 분포
Mean 106
CoLA TOEIC

2. 데이터 1 2 3 4 5
문법 데이터
[2021학년도 수능 영어영역 29번]
다음 글의 밑줄 친 부분 중, 어법상 틀린 것은?
Scientists who experiment on themselves can, functionally
if not legally, avoid the restrictions ①associated with exper
imenting on other people. They can also sidestep most of t
he ethical issues involved: nobody, presumably, is more aw
are of an experiment’s potential hazards than the scientist
who devised ②it. Nonetheless, experimenting on oneself re
mains ③deeply problematic. One obvious drawback is the d
anger involved; knowing that it exists ④does nothing to red
uce it. A less obvious drawback is the limited range of data
that the experiment can generate. Human anatomy and phy
siology vary, in small but significant ways, according to gen
der, age, lifestyle, and other factors. Experimental results d
erived from a single subject are, therefore, of limited value;
there is no way to know ⑤what the subject’s responses are
typical or atypical of the response of humans as a group.
* consent: 동의 ** anatomy: (해부학적) 구조 *** physiology: 생리적 현상
< 문법 전처리 하는 법 >
: 선지가 들어 있는 문장만 추출한다!

2. 데이터 1 2 3 4 5
문법 데이터
Scientists who experiment on themselves can, fun
ctionally if not legally, avoid the restrictions ①ass
ociated with experimenting on other people.
1번

2. 데이터 1 2 3 4 5
문법 데이터
Scientists who experiment on themselves can, fun
ctionally if not legally, avoid the restrictions ①ass
ociated with experimenting on other people.
1번
2번 They can also sidestep most of the ethical issues inv
olved: nobody, presumably, is more aware of an expe
riment’s potential hazards than the scientist who de
vised ②it.
.
.
.
총 다섯개의 문장 데이터

2. 데이터 1 2 3 4 5
문법 데이터
TOEIC의 데이터 비중이 가장 높으며
문법적으로 옳지 않은 문장의 비율 또한 TOEIC이 가장 높음
< 총 문장 개수 >
TOEIC
14500개
CoLA
8550개
수집데이터
1735개
24,785개
< 유형 별 틀린 문장 비율 >
TOEIC
CoLA
수집데이터
20% 34% 75%

2. 데이터 1 2 3 4 5
맥락 데이터
맥락 데이터는 모의고사 및 EBS 연계교재로부터 추출한 문제로만 구성
총
3641개
총
113개
< TRAIN SET > < TEST SET >
46%
빈칸추론
문단순서
문장삽입
20%
14% 흐름
20%
문단순서
문장삽입
20%
50%
빈칸추론
흐름
20%
10%

2. 데이터 1 2 3 4 5
맥락 데이터 - 빈칸추론
빈칸이 등장하는 문장 순서
빈칸에 들어갈 적절한 단어, 구 등을 고르는 문제로
전체적인 맥락 파악이 중요하다
본문 전체 문장 개수
빈칸추론 문제 특징
첫번째 문장 또는 본문 중간에서
빈칸이 등장하는 경우가 많음
3 7.3 18

2. 데이터 1 2 3 4 5
다음 빈칸에 들어갈 말로 가장 적절한 것을 고르시오.
In the classic model of the Sumerian economy, the temple fun
ctioned as an administrative authority governing commodity p
roduction, collection, and redistribution. The discovery of adm
inistrative tablets from the temple complexes at Uruk suggest
s that token use and consequently writing evolved as a tool of
centralized economic governance. Given the lack of archaeolo
gical evidence from Uruk-period domestic sites, it is not clear
whether individuals also used the system for _____. For that
matter, it is not clear how widespread literacy was at its begi
nnings. The use of identifiable symbols and pictograms on th
e early tablets is consistent with administrators needing a lex
icon that was mutually intelligible by literate and nonliterate
parties. As cuneiform script became more abstract, literacy m
ust have become increasingly important to ensure one unders
tood what he or she had agreed to.
< 빈칸추론 전처리 하는 법 >
: 주어진 선지를 빈칸에 각각 대입한다!
① religious events ② personal agreements
③ communal responsibilities ④ historical records
⑤ power shifts
In the classic model of the Sumerian economy, the temple functi
oned as an administrative authority governing commodity produ
ction, collection, and redistribution. The discovery of administrat
ive tablets from the temple complexes at Uruk suggests that tok
en use and consequently writing evolved as a tool of centralized
economic governance. Given the lack of archaeological evidence
from Uruk-period domestic sites, it is not clear whether individu
als also used the system for _____. For that matter, it is not clea
r how widespread literacy was at its beginnings. The use of iden
tifiable symbols and pictograms on the early tablets is consisten
t with administrators needing a lexicon that was mutually intelli
gible by literate and nonliterate parties. As cuneiform script bec
ame more abstract, literacy must have become increasingly imp
ortant to ensure one understood what he or she had agreed to.
① religious events
② personal agreements
③ communal responsibilities
④ historical records
⑤ power shifts

2. 데이터 1 2 3 4 5
1번 (전략) … Given the lack of archaeological evide
nce from Uruk-period domestic sites, it is not c
lear whether individuals also used the system f
or religious events. For that matter, it is not cle
ar how widespread literacy was at its beginnin
gs. The use of identifiable symbols and pictogr
ams on the early tablets is consistent with adm
inistrators needing a lexicon that was … (후략)
⑤ power shifts

2. 데이터 1 2 3 4 5
2번
총 다섯개의 문단 데이터
(전략) … Given the lack of archaeological evide
nce from Uruk-period domestic sites, it is not c
lear whether individuals also used the system f
or personal agreements. For that matter, it is n
ot clear how widespread literacy was at its beg
innings. The use of identifiable symbols and pi
ctograms on the early tablets … (후략)
⑤ power shifts

2. 데이터 1 2 3 4 5
맥락 데이터 – 흐름
글 앞부분만 읽어서는 답을 찾을 수 없고
글 전체를 모두 읽어 주제를 파악해야 함
전체적인 글의 흐름과 무관한 문장을 고르는 문제로
글의 전반적인 주제 및 흐름 파악이 중요하다
흐름 문제 특징
본문 내 단어 개수
선지 별 정답 빈도
90 148.4 197
14%
전체 유형 중 흐름 유형 데이터 비율

2. 데이터 1 2 3 4 5
맥락 데이터 - 흐름
다음 글에서 전체 흐름과 관계 없는 문장은?
Workers are united by laughing at shared events, even ones
that may initially spark anger or conflict. Humor reframes pot
entially divisive events into merely “laughable” ones which ar
e put in perspective as subservient to unifying values held by
organization members. Repeatedly recounting humorous incid
ents reinforces unity based on key organizational values. ① O
ne team told repeated stories about a dumpster fire, somethi
ng that does not seem funny on its face, but the reactions of
workers motivated to preserve safety sparked laughter as the
stories were shared multiple times by multiple parties in the
workplace. ② Shared events that cause laughter can indicate
a sense of belonging since “you had to be there” to see the hu
mor in them, and non-members were not and do not. ③ Since
humor can easily capture people’s attention, commercials ten
d to contain humorous elements, such as funny faces and ges
tures. ④ Instances of humor serve to enact bonds among orga
nization members. ⑤ Understanding the humor may even be r
equired as an informal badge of membership in the organizati
on.
< 흐름 전처리 하는 법 >
: 주어진 선지를 전체 문단에서 삭제한다!

2. 데이터 1 2 3 4 5
1번
on.
(전략) … Repeatedly recounting humorous incid
ents reinforces unity based on key organization
al values. Shared events that cause laughter ca
n indicate a sense of belonging since “you had
to be there” to see the humor in them, and non
-members were not and do not. … (후략)

2. 데이터 1 2 3 4 5
2번
.
.
.
(전략) … safety sparked laughter as the stories
were shared multiple times by multiple parties
in the workplace. Since humor can easily captu
re people’s attention, commercials tend to con
tain humorous elements … (후략)
on.

2. 데이터 1 2 3 4 5
맥락 데이터 – 문장삽입
주어진 문장이 들어갈 적절한 위치를 고르는 문제
흐름 유형과 마찬가지로 맥락 파악이 중요하다
문장삽입 문제 특징
본문 내 단어 개수
주어진 문장 단어개수
20%
전체 유형 중 문장삽입 유형 데이터 비율
5 21 47
82 134.4 187

2. 데이터 1 2 3 4 5
맥락 데이터 - 문장삽입
글의 흐름으로 보아, 주어진 문장이 들어가기에 가장 적절한 곳은?
Imagine I tell you that Maddy is bad. ( ① ) However, you might
not get a more detailed sense of the particular sorts of way in
which Maddy is bad, her typical character traits, and the like,
since people can be bad in many ways. ( ② ) In contrast, if I sa
y that Maddy is wicked, then you get more of a sense of her t
ypical actions and attitudes to others. ( ③ ) The word ‘wicked
’ is more specific than ‘bad’. ( ④ ) But there is more detail ne
vertheless, perhaps a stronger connotation of the sort of pers
on Maddy is. ( ⑤ ) In addition, and again assuming typical ling
uistic conventions, you should also get a sense that I am disa
pproving of Maddy, or saying that you should disapprove of he
r, or similar, assuming that we are still discussing her moral c
haracter.
< 문장삽입 전처리 하는 법 >
: 각 선지에 주어진 문장을 삽입한다!
I have still not exactly pinpointed Maddy’s character
since wickedness takes many forms.

2. 데이터 1 2 3 4 5
1번
haracter.
Imagine I tell you that Maddy is bad. I have
still not exactly pinpointed Maddy’s charac
ter since wickedness takes many forms.
However, you might not get a more detaile
d sense of the particular sorts of way in w
hich Maddy is bad, her typical character tr
aits, and the like, since people can be bad i
n many ways. … (후략)

2. 데이터 1 2 3 4 5
2번
haracter.
(전략) … Maddy is bad, her typical characte
r traits, and the like, since people can be b
ad in many ways. I have still not exactly pi
npointed Maddy’s character since wickedn
ess takes many forms. In contrast, if I say t
hat Maddy is wicked, then you get more of
a sense of her typical actions … (후략)

2. 데이터 1 2 3 4 5
맥락 데이터 – 문단순서
주어진 문단 뒤에 이어질 문단의 순서를 적절히 배치하는
문제로 전체적인 글의 흐름 파악이 중요한 문제 유형
문단순서 문제 특징
20%
전체 유형 중 문단순서 유형 데이터 비율 선지 별 단어 개수 box plot
given A B C

2. 데이터 1 2 3 4 5
맥락 데이터 - 문단순서
< 문단순서 전처리 하는 법 >
: 선지의 모든 조합을 고려하여 데이터를 만들자!
문법 외 유형
빈칸
주어진 글 다음에 이어질 글의 순서로 가장 적절한 것을 고르시오.
(A) To be political, a political entity or a representative of a p
olitical entity, whatever its constitutional form, has to hav
e an intention, a will. That intention has to be clearly expr
essed.
(B) In the real world, war’s larger purpose is always a politica
l purpose. It transcends the use of force. This insight was
famously captured by Clausewitz’s most famous phrase, “
War is a mere continuation of politics by other means.”
(C) And one side’s will has to be transmitted to the enemy at
some point during the confrontation (it does not have to b
e publicly communicated). A violent act and its larger poli
tical intention must also be attributed to one side at some
point during the confrontation. History does not know of a
cts of war without eventual attribution.
The objective of battle, to “throw” the enemy and to make him
defenseless, may temporarily blind commanders and even strat
egists to the larger purpose of war. War is never an isolated act,
nor is it ever only one decision.

2. 데이터 1 2 3 4 5
맥락 데이터 - 문단순서
< 문단순서 전처리 하는 법 >
: 선지의 모든 조합을 고려하여 데이터를 만들자!
Given-A
1번
Given-B
2번
Given-C
3번
A-B
4번
A-C
5번
B-A
6번
두 문단을 엮은 총 아홉개 문단 데이터
문법 외 유형
빈칸
주어진 글 다음에 이어질 글의 순서로 가장 적절한 것을 고르시오.
(A) To be political, a political entity or a representative of a p
olitical entity, whatever its constitutional form, has to hav
e an intention, a will. That intention has to be clearly expr
essed.
(B) In the real world, war’s larger purpose is always a politica
l purpose. It transcends the use of force. This insight was
famously captured by Clausewitz’s most famous phrase, “
War is a mere continuation of politics by other means.”
(C) And one side’s will has to be transmitted to the enemy at
some point during the confrontation (it does not have to b
e publicly communicated). A violent act and its larger poli
tical intention must also be attributed to one side at some
point during the confrontation. History does not know of a
cts of war without eventual attribution.
The objective of battle, to “throw” the enemy and to make him
defenseless, may temporarily blind commanders and even strat
egists to the larger purpose of war. War is never an isolated act,
nor is it ever only one decision.
B-C
7번
C-A
8번
C-B
9번

2. 데이터 1 2 3 4 5
맥락 데이터
전처리 과정에서 일부분만 바뀐 채 라벨이 달라지는 데이터가 n개 생성됨
이에 따라 유사한 데이터에 라벨이 1인 데이터가 많아져 애매할 때 1으로 예측하는 경우가 많다고 판단
Given the lack of archaeological evidence from Uruk-period dom
estic sites, it is not clear whether individuals also used the syst
em for _____.
⑤ power shifts
1
0
1
1
1
Label
… use the system for religious events.
… use the system for personal agreements.
… the system for communal responsibilities.
… use the system for historical records.
… use the system for power shifts.
… use the system for religious events.

2. 데이터 1 2 3 4 5
맥락 데이터
Easy Data Augmentation
자연어 처리 과정에서 데이터를 쉽게 증강하기 위한 테크닉
SR
Synonym Replacement
: 특정 단어를 유의어로 교체
RS
Random Swap
: 임의의 두 단어 위치 변경
RI
Random Insertion
: 임의의 단어를 삽입
RD
Random Deletion
: 특정 확률로 임의의 단어 삭제

2. 데이터 1 2 3 4 5
맥락 데이터
Label==0인 데이터와 Label==1인 데이터의 비율을 비슷하게 맞춤
Original Data
Augmented Data
Label 0 Label 1
13724
13724
6387
12774
2배

3. 모델링
쳌
쳌
문법 모델링
맥락 모델링
쳌 평가지표

3. 모델링 1 2 3 4 5
평가지표
Specificity
Grammar
Context
𝑇𝑃
𝑇𝑃 + 𝐹𝑁
𝑇𝑁
𝑇𝑁 + 𝐹𝑃
𝑇𝑃 + 𝑇𝑁
𝑇𝑃 + 𝐹𝑁 + 𝐹𝑁 + 𝑇𝑁
실제 label==1인 값 중
모델이 1이라 예측한 비율
Sensitivity
실제 label==0인 값 중
모델이 0이라 예측한 비율
accuracy
label==1인 값 중 1이라 예측하고
label==0인 값 중 0이라 예측하는 비율

3. 모델링 1 2 3 4 5
문법 모델링
문법 모델 최종 TRAIN 데이터셋
문장 라벨
Paper is not the only resource that we are using more of. 0
Technological advances often come with the promise of
using fewer materials. 0
However, the reality is that they have historically caused
more materials use, making us dependently on more
natural resources.
1
We use twenty-seven times more industrial minerals,
such as gold, copper, and rare metals, than we did just
over a century ago.
0
(24785, 2)

3. 모델링 1 2 3 4 5
문법 모델링
문법적으로 옳은 문장인지 여부를 분류하는 모델을 구현
Classification
IsGrammarticallyCorrect==0 GrammarticallyNotCorrect==1
Bert-base-uncased
Bert-base-cased
ALBERT
GRU
Bi-LSTM
CNN

3. 모델링 1 2 3 4 5
문법 모델링
Model Params Test acc Test sensitivity epoch
Albert
lr: 1e-5
Batch size: 32
0.8181 0.6364 5
BERT-base-cased
lr: 1e-5
Batch size: 32
0.527 0.2849 5
BERT-base-uncased
lr: 1e-5
Batch size: 32
0.8545 0.6669 5
BiLSTM
lr : 1e-4
batch size: 64
0.8273 0.5455 10
CNN
lr : 1e-5 batch
size : 30
0.8 0.5455 10
GRU
lr : 1e-4
batch size : 256
0.7818 0.4545 20

3. 모델링 1 2 3 4 5
문법 모델링
Model Params Test acc Test sensitivity epoch
Albert
lr: 1e-5
Batch size: 32 0.8181 0.6364 5
BERT-base-cased
lr: 1e-5
Batch size: 32
0.527 0.2849 5
BERT-base-uncased
lr: 1e-5
Batch size: 32 0.8545 0.6669 5
BiLSTM
lr : 1e-4
batch size: 64
0.8273 0.5455 10
CNN
lr : 1e-5 batch
size : 30
0.8 0.5455 10
GRU
lr : 1e-4
batch size : 256
0.7818 0.4545 20
1.
2.

3. 모델링 1 2 3 4 5
맥락 모델링
맥락 모델 최종 TRAIN 데이터셋
Next Sentence Prediction Classification
(20111, 3) (20111, 2)
문장1 문장2 라벨
Face-to-face interaction is a
uniquely powerful ……
Psychologist Mihàly
Csikszentmihàlyi found, ……
natural talent ……
1
uniquely powerful – and ……
regular practice ……
1
personal contact ……
0
complex knowledge ……
1
문장 라벨
1
1
0
1

3. 모델링 1 2 3 4 5
맥락 모델링
맥락 모델 최종 TRAIN 데이터셋
문장1 문장2 라벨
natural talent ……
1
regular practice ……
1
personal contact ……
0
complex knowledge ……
1
문장 라벨
1
1
0
1
(26498, 3) (26498, 2)
Augmented Augmented

3. 모델링 1 2 3 4 5
맥락 모델링
Sentence1 다음에 sentence2가 오기 적절한지 여부를 예측하는
Next Sentence Prediction task를 이용해
두 문장 사이의 내용적 연관성과 통일성, 맥락을 확인하고자 함
BERT가 아닌 모델들의 경우 입력 값이
하나이기 때문에 글의 흐름이 자연스러운지를
분류하는 모델로 구현
IsNextSentence==0 NotNextSentence==1 IsOneArticle==0 NotOneArticle==1
Bert-base-uncased
Bert-large-uncased
Bert-base-uncased
Augmented
ALBERT
Augmented
Bi-LSTM Text CNN
Text CNN
Augmented
CNN

3. 모델링 1 2 3 4 5
맥락 모델링
Model Params Test acc Test specificity epoch
Bert-base-uncased
lr: 1e-5
Batch size:8
0.7025 0.7044 5
Bert-base-uncased
lr: 1e-5
Batch size: 8
0.4974 - 5
BERT-large-uncased
lr: 1e-5
Batch size: 8
0.7025 0.7055 5
ALBERT
lr : 1e-5
batch size: 32
0.7444 0.7629 5
CNN
lr : 1e-2
batch size : 16
0.7025 0 10
Bi-LSTM
lr : 1e-2
batch size : 32
0.7025 0 10
Text CNN
lr : 1e-2
batch size : 64
0.7025 0.6323 10
Text CNN
lr : 1e-2
batch size : 64
0.7025 0.7528 10
Augmented
Augmented
Augmented

3. 모델링 1 2 3 4 5
맥락 모델링
Model Params Test acc Test specificity epoch
Bert-base-uncased
lr: 1e-5
Batch size:8
0.7025 0.7044 5
Bert-base-uncased
lr: 1e-5
Batch size: 8
0.4974 - 5
BERT-large-uncased
lr: 1e-5
Batch size: 8 0.7025 0.7055 5
ALBERT
lr : 1e-5
batch size: 32 0.7444 0.7629 5
CNN
lr : 1e-2
batch size : 16
0.7025 0 10
Bi-LSTM
lr : 1e-2
batch size : 32
0.7025 0 10
Text CNN
lr : 1e-2
batch size : 64
0.7025 0.6323 10
Text CNN
lr : 1e-2
batch size : 64 0.7025 0.7528 10
Augmented
Augmented
Augmented 2.
1.
3.

4. XAI
쳌
쳌
SHAP
IG
LRP
쳌

4. XAI 1 2 3 4 5
SHAP
Bert-base-uncased
IG
Bert-base-uncased
ALBERT
Bert-large-uncased
ALBERT
Text CNN
LRP
Bert-base-uncased
ALBERT
Bert-large-uncased
ALBERT

4. XAI 1 2 3 4 5
SHAP
SHAP
게임이론 중 Shapley value에 기초하여 만들어진 기법으로,
Shapley value를 기반으로 샘플에 가중치를 부여해 블랙박스 모델을 사후해석하기 위해 이용함
Shapley
value
∅𝑖 𝑣 = ෍
𝑆∈𝑁{𝑖}
𝑆 ! 𝑛 − 𝑆 − 1 !
𝑛!
(𝑣 𝑆 ∪ 𝑖 − 𝑣(𝑆)
단점
장점
Model-agnostic
피처들이 서로 영향을 미칠 가능성 고려
단점
아웃라이어 값에 취약함
데이터가 많은 경우 오랜 시간이 걸림

4. XAI 1 2 3 4 5
SHAP
모델이 label==0이라고 예측하는데 도움을 준 단어들은 붉은색,
Label==1이라고 예측하는데 도움을 준 단어들은 푸른색으로 칠해져 결과가 반환됨
Bert-base-uncased
2021년 대학수학능력시험 29번 1번 선지

4. XAI 1 2 3 4 5
IG
Integrated Gradient
최종 출력의 기울기에 따라 input의 중요도 값을 부여하기 위해 사용되는 기법
Baseline
Input
Baseline과 Input을 대비시켜
특정 피처가 없을 때와 있을 때
예측에 미치는 영향을 계산한다

4. XAI 1 2 3 4 5
IG
Bert-base-uncased
ALBERT

4. XAI 1 2 3 4 5
IG
Bert-large-uncased
Albert-base
Text CNN
2022년 대학수학능력시험 35번 흐름

4. XAI 1 2 3 4 5
LRP
Layer-wise Relevance Propagation
딥러닝 모델의 결과를 역추적하여 입력 이미지에 히트맵을 출력하는 기법으로
SA 기법의 한계를 극복하기 위해 등장
Key
Point
1 타당성 전파
특정 결과가 나오게 된 원인을 분해하고 비중을 분배
각 은닉층이 결괏값 출력에 어떻게 기여하는지 타당성 계산
2 분해
타당성 전파 과정에서 얻어낸 원인을 가중치로 환원하고 해부
각 은닉층의 결과 기여도 판단

4. XAI 1 2 3 4 5
LRP
Bert-base-uncased
ALBERT

4. XAI 1 2 3 4 5
LRP
Bert-large-uncased
ALBERT
2021년 대학수학능력시험 35번 흐름

4. XAI 1 2 3 4 5
평가지표
위 표를 기준으로 정성평가를 진행
1 2 3 4 5
수능 해설지와 유사한가? 매우 그렇지 않다 그렇지 않다 보통 그렇다 매우 그렇다
진하게 색칠된 단어가 답
이해에 도움이 되는가?
매우 그렇지 않다 그렇지 않다 보통 그렇다 매우 그렇다
색칠되지 않았거나 연하게
색칠된 단어 중 색칠된 단
어보다 답 이해에 더 도움
이 되는 단어가 있는가?
매우 그렇다 그렇다 보통 그렇지 않다 매우 그렇지 않다
진하게 색칠된 단어 중 답
이해에 필요 없는 단어가
얼마나 있는가?
70% 이상 50% 이상 30% 이상 10% 이상 10% 미만

4. XAI 1 2 3 4 5
평가 결과
평가자 SHAP_BERT LRP_BERT LRP_ALBERT IG_BERT IG_ALBERT
A 4.4 3.6 4.2 3.8 4
B 4 3 3.8 3.6 3.8
C 4.2 3.6 3.6 3.6 3.6
평균 4.2 (84) 3.4 (68) 3.87 (77.3) 3.67 (73.3) 3.8 (76)
Grammar 최근 5개년 문제 확인
* 괄호 안은 백분위 수

4. XAI 1 2 3 4 5
평가 결과
평가자 IG_BERT IG_ALBERT IG_TEXTCNN LRP_BERT LRP_ALBERT
A 4.64 3.6 4.12 3.44 4.4
B 4.4 3.88 3.92 4.04 4.12
C 4.12 3.92 4.4 3.76 3.88
평균 4.387 (87.7) 3.8 (76) 4.147 (82.9) 3.747 (74.9) 4.13 (82.7)
Context 유형별로 5문제 확인
* 괄호 안은 백분위 수

5. 결론
쳌
쳌
최종모델
Pipeline
쳌
쳌
XAI시연
의의 및 한계

5. 결론 1 2 3 4 5
Grammar
Context
SHAP
Bert-base-uncased
IG
ALBERT

5. 결론 1 2 3 4 5
Pipeline
데이터 입력 전처리 모델링 XAI 최종 결과 반환
선지 하나가
하나의 input이
되도록 전처리
문법 모델
BERT
맥락 모델
ALBERT
SHAP
IG
답: ①

5. 결론 1 2 3 4 5
Pipeline
데이터 입력 전처리 모델링 XAI 최종 결과 반환
선지 하나가
하나의 input이
되도록 전처리
문법 모델
BERT
맥락 모델
ALBERT
SHAP
IG
답: ①
모델을 이용해 수능 문제를 풀고,
그 근거가 되는 단어를 살펴보자!

5. 결론 1 2 3 4 5
XAI 시연
선지 producing이 현재분사 형태가 올바른지 판단하기 위해서는 →
콤마 앞 문장의 완전한 문장 여부가 중요한데 이를 판단하는데 핵심적인 역할을 하는 동사 is가 가장 붉게 표시됨
A cell is “born” as a twin when its mother cell divides,
producing two daughter cells.

5. 결론 1 2 3 4 5
의의 및 한계
의의
블랙박스라고 불리는 딥러닝,
머신러닝 모델을 XAI 기법을 사용하여
설명하려고 시도
한계
학습에 조금 더 적극적으로 개입
할 수 있는 AI를 시도함
컴퓨팅 파워의 한계
수능 영어영역 모든 문제 유형을
다루지 못했음
다양한 XAI기법을 이용해 모델을
설명하고자 함

이수경 : 다들 컨퍼 한달 전에 주제 바꾸기 금지
김지수 : 어드브는 미리미리
권강미 : 블랙박스는 블랙박스인 이유가 있다
감사합니다
2023학년도 여름 보아즈 컨퍼런스 발표

제 16회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [Secret X 팀] : XAI를 활용한 수능 영어영역 문제풀이

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie 제 16회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [Secret X 팀] : XAI를 활용한 수능 영어영역 문제풀이

Ähnlich wie 제 16회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [Secret X 팀] : XAI를 활용한 수능 영어영역 문제풀이 (20)

Mehr von BOAZ Bigdata

Mehr von BOAZ Bigdata (20)

제 16회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [Secret X 팀] : XAI를 활용한 수능 영어영역 문제풀이