[IT21 글로벌 컨퍼런스] 대화시스템 개발을 위한 자연어처리기술 - 서희철
•
6 gefällt mir•1,031 views
IT21 글로벌 컨퍼런스에서 진행된 대화시스템 개발을 위한 자연어처리기술 소개입니다.
Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie [IT21 글로벌 컨퍼런스] 대화시스템 개발을 위한 자연어처리기술 - 서희철
Ähnlich wie [IT21 글로벌 컨퍼런스] 대화시스템 개발을 위한 자연어처리기술 - 서희철 (20)
Mehr von NAVER Engineering
Mehr von NAVER Engineering (20)
[IT21 글로벌 컨퍼런스] 대화시스템 개발을 위한 자연어처리기술 - 서희철
- 8. AIML (The Artificial Intelligence Markup Language) 방법 검색 기반 방법 Deep learning 기반 방법 Deep learning + 유사도 기반 방법
- 9. <category> <pattern>너 이름이 뭐니 </pattern> <template> <srai> 너는 누구 </srai> </template> </category> <category> <pattern> 너 누구 </pattern> <template> <srai> 너는 누구 </srai> </template> </category> <category> <pattern>너는 누구</pattern> <template> 저는 네이버 아이입니다. </template> </category> 사용자: 너 이름이 뭐니 시스템: 저는 네이버 아이입니다.
- 10. A: 너희 집 어디니? B: 당신 마음속이요... A: 너 반가워 B: 저도 반가워요 A: 졸려 B: 그럼 얼른 주무세요. 집이 어디? 당신 마음속이요...
- 11. RNN (recurrent neural network) http://www.wildml.com/2015/09/ recurrent-neural-networks-tutorial-part-2 -implementing-a-language-model-rnn-with-python-numpy-and-theano/ It is funny PRONOUN VERB ADJECTIVE
- 12. Seq2Seq = RNN + RNN RNN (encoder) RNN (decoder) 입력 출력 Vinyals and Le, “A Neural Conversational Model”, 2015
- 13. 지금 너무 졸립다 그럼 얼른 주무세요 그럼 얼른 주무세요 Seq2seq
- 14. Seq2seq 방법 문제점 I Don’t Know
- 15. Seq2seq + 유사도 기반 에구 너무 졸려 A: 너희 집 어디니? B: 당신 마음속이요... A: 너 반가워 B: 저도 반가워요 A: 졸려 B: 그럼 얼른 주무세요. 그럼 얼른 주무세요.
- 16. 스푸너 : 로봇이 교향곡을 쓸 수 있어? 로봇이 캔버스에 멋진 명화를 그릴 수 있냐고? 서니 : 그럼 당신은 할 수 있나요? 영화 ‘아이로봇’ 대사, https://namu.wiki/w/아이 로봇
- 18. Amazon echo (2014. 11) SKT NUGU (2016.09) Google Home (2016.11) KT Giga Genie (2017.01)
- 20. SoftBank pepper (2015. 06) Jibo Musio CogniToys
- 23. 출처: wwdc 2016
- 24. 출처: wwdc 2016
- 26. 11번가 바로페이스북 1-800-FLOWERS kik의 H&M
- 28. 음성/텍스트 입력 대화 관리 (Dialog Management) 자연어 생성 음성/텍스트 출력 자연어 이해 검색 QnA 지식 추출 추천 번역 요약 전화 문자 기억 (memory) 일정 메일 Task 관리 예약/예매 … 메모 음악 쇼핑 잡담
- 29. 내일 강남구 삼성동 날씨 어때? 자연어 이해 자연어 생성 대화 관리 도메인: 날씨 의도: 날씨 검색 날짜: 내일 지역: 강남구 삼성동 날씨 검색 & 결과 파싱: - 오전 맑음 - 오후 구름 많음 내일 날씨는 오전에는 맑다가 오후에는 구름이 많아지겠어요.
- 30. 2) 주변 맛집 알려줘 자연어 이해 자연어 생성 도메인: 지역 의도:맛집 검색 삼성동 맛집 검색 & 결과 파싱 - 수담 한정식 - 오리옥스 코엑스점 삼성동 맛집을 찾아봤어요. 수담 한정식, 오리옥스 코엑스점이 있어요. 기억: 지역=강남구 삼성동 대화 관리
- 31. 내일 강남구 삼성동 날씨 어때? 날짜 지역 도메인: 날씨 의도: 날씨 검색
- 32. 내일 강남구 삼성동 날씨 어때 형태소분석 명사 명사 명사 명사 형용사 고유명사 분석 날짜_B 지역_B 지역_I
- 33. CNN (convolutional neural network) http://www.wildml.com/2015/11/understanding-convolutional-neural-networks-for-nlp
- 34. Lafferty et al., “Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data”, 2001
- 35. Ma and Hovy, “End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF”, 2016 Lample et al., “Neural Architecture for Named Entity Recognition”, 2016
- 36. Lee and Dernoncourt, “Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks”, 2016
- 37. 내일 강남구 삼성동 날씨 어때? 주변 맛집 알려줘 도메인: 날씨 의도: 날씨 검색 날짜: 내일 지역: 강남구 삼성동 도메인: 지역 의도: 맛집 검색 날짜: 내일 지역: 강남구 삼성동 frame
- 39. (Fully Observable) Markov Decision Process (MDP) • 사용자 입력이 명확한 경우 1-best 입력 Partially Observable MDP (POMDP) • 사용자 입력이 모호한 경우 n-best 입력
- 40. 도착지 = ? 출발지 = ? 출발 날짜 = ? 출발 시간 = ? 도착지 = 제주 출발지 = ? 출발 날짜 = ? 출발 시간 = ? 사용자: 제주 시스템: 어디 가세요? s s 시스템: ? a a u s: state a: action u: user
- 41. 도착지 = ? 출발지 = ? 출발 날짜 = ? 출발 시간 = ? 1.0 0.0 도착지 = 제주 출발지 = ? 출발 날짜 = ? 출발 시간 = ? s 0.0 도착지 = 대구 출발지 = ? 출발 날짜 = ? 출발 시간 = ? s … 시스템: 어디에 가세요? a 음성인식 결과 (확률) 사용자: 제주 (0.8) 사용자: 대구 (0.2) u s 도착지 = ? 출발지 = ? 출발 날짜 = ? 출발 시간 = ? 0.2 0.4 도착지 = 제주 출발지 = ? 출발 날짜 = ? 출발 시간 = ? s 0.3 도착지 = 대구 출발지 = ? 출발 날짜 = ? 출발 시간 = ? s … s Belief state Belief state
- 42. Yang et al, End-to-end joint learning of natural language understanding and dialogue manager, 2017
- 43. Serban et al., “A Survey of Available Corpora for Building Data-Driven Dialogue Systems”, 2017 Human-Machine dialogue datasets
- 44. Serban et al., “A Survey of Available Corpora for Building Data-Driven Dialogue Systems”, 2017 Human-human constrained spoken dialogue datasets
- 45. PLACE: 강남구 삼성동 DATE: 내일 AM_WEATHER: 흐림 PM_WEATHER: 가끔 비 [PLACE] [DATE] 날씨는 오전에는 [AM_WEATHER], 오후에는 [PM_WEATHER]입니다. 강남구 삼성동 내일 날씨는 오전에는 흐림, 오후에는 가끔 비입니다.
- 46. Oh and Rudnicky, “Stochastic natural language generation for spoken dialog systems”, 2002
- 47. Wen et al., “Stochastic Language Generation in Dialogue using Recurrent Neural Networks with Convolutional Sentence Reranking”, 2015
- 49. 사람과 대화하듯이 네이버 서비스를 이용할 수 있습니다. (2017.3 베타 오픈)
- 51. 자연어 이해 (NLU) 자연어 생성 (NLG) 분석 결과 랭킹, 분석 결과 확장 주제 판단, 중의성 해결, 생략 복원 표현 정규화 NLU 후처리 시나리오 관리 기억 관리 발화 내용 생성 의도 분석 질의 추천 작업 관리 정답 검색, 뉴스 읽기, 앱 실행 잡담 모드, 끝말잇기 모드, 번역 모드 대화 관리 오류 복구 질의, 필터링 질의, 제어 질의
- 52. 네이버앱의 네앱연구소 통해서 설치
- 53. 고맙습니다.