Empfohlen
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Graph Database Meetup in Korea #8. Graph Database 5 Offerings_ DecisionTutor (그래프 데이터베이스 활용사례_ 그래프 데이터 기반 AI)
Ähnlich wie Graph Database Meetup in Korea #8. Graph Database 5 Offerings_ DecisionTutor (그래프 데이터베이스 활용사례_ 그래프 데이터 기반 AI) (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (6)
Graph Database Meetup in Korea #8. Graph Database 5 Offerings_ DecisionTutor (그래프 데이터베이스 활용사례_ 그래프 데이터 기반 AI)
- 1. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. Ver 1.0 2019.01.29 Meetup DecisionTutor
- 2. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. AgensGraph AgensBrowser Discovery(발견)___________ 2 Offering - DecisionTutor 비트나인은 AgensGraph 기반의 5가지 핵심 오퍼링 중 DecisionTutor을 아래와 같이 정의하고 상세화 함 Visualization, monitoring and management of complex enterprise Analyzing massive documents and discover insights from unstructured data Proactive pattern detection from network behaviors for threat analysis and crime investigation Distributed ledger, transaction and user monitoring for operational excellence of private Blockchain Supporting for user’s decision for specific domains by subjective probability algorithm AssetManager TextMiner PatternDetector ChainKeeper DecisionTutor Value Offering Definition Graph Theory Target Industry • Manufacturing • Utility & Telco • Healthcare • Education • Government • Banking, Card • Banking, card • Logistics • Education • Retail Node Edge Graph Node Edge & Treemapping Graph Node Edge Graph Node Edge Graph Node Edge Graph Motif extraction Motif extraction Similarity Similarity Statistical Method Statistical Method Community Detection Community Detection Community Detection Centrality Centrality Centrality Centrality MST MST MST Shortest Path Shortest Path Text Mining Time Series Time Series Bayesian Presentation(표현) Inference(추론)
- 3. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. 3 QUIZ Q1. 야구방망이와 야구공을 합쳐 1달러 10센트입니다. 방망이는 공보다 1달러 비싸다면 공의 가격은 얼마일까요? 야구공 5센트 / 야구방망이 1달러 5센트 (1.05 - 0.05 = 1.00) Q2. 한 부부에게 자식이 둘 있는데, 그중 하나가 아들일 때 다른 한명이 아들일 확률은 얼마일까요? 1/3 (아들-아들, 딸-아들, 아들-딸) 10센트 1/2 (아들,딸)
- 4. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. 4 QUIZ Q3. 세 개의 문 중에 하나를 선택하여 문 뒤에 있는 선물을 가질 수 있는 게임쇼에 참가했습니다. 한 문 뒤에는 자동차가 있고, 나머지 두 문 뒤에는 염소가 있었습니다. 참가자가 1번 문을 선택했을 때, 진행자는 3번 문을 열어 문뒤에 염소가 있음을 보여주면서 1번 대신 2번을 선택하겠냐고 물었다고합니다. 이 때, 참가자는 원래 선택했던 문의 번호를 바꾸는 것이 유리할까요? 아니면 그대로 유지하는것이 유리할까요?
- 5. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. 5 QUIZ 선택한 문1을 지속하는경우 문1 문2 문3 결과 차 염소 염소 성공 염소 차 염소 실패 염소 염소 차 실패 선택을 변경하는 경우 문1 문2 문3 결과 차 염소 염소 실패 염소 차 염소 성공 염소 염소 차 성공 P(문1 선택 | 문2 공개) = 1/3 P(문3 선택 | 문2 공개) = 2/3 조건부 확률을 구하면 몬티홀의 딜레마 ‘영화 21’ 중에서 대부분의 사람들은 의사결정에 있어서 직관을 많이 사용하나, 직관에 의한 의사결정은 종종 인지적오류를 일으켜 합리적이지 못한 결정으로 이끄는 경우가 있다.
- 6. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. DecisionTutor 1. Overview 2. Theory 3. Practice
- 7. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. I. Overview
- 8. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. 8 의사결정의 정의 - 원론 What is a Decision Making? - 일정한 목표를 달성하기 위해 여러 가지 대안 중 가장 합리적인 방안을 선택 Financial Business Education Medical Marketing Recommender System
- 9. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. 9 의사결정의 철학 - 분석론과 직관론 What is a Decision Analysis? SOURCE JUSTIN FOX FROM “From ‘ Economic MAN’ TO BEHAVIOR ECONOMICS,: MAY 2015 Point Of View When to Use It Strengths Weaknesses Heuristics and Intituion (직관론) 휴리스틱스/직관에 기반하여 의사결정을 하는 방법 개인의 과거 지식/경험에 근거하여 판단하려는 관점 생활속에서 반복되는 학습 기회가 충분하며 전문성을 쌓을 수 있는 경우 쉽고 단순하며, 신속한 의사결정 가능 외부에서 추가적으로 정보를 필요 없음 인지적오류에 크게 노출되어 불합리한 의사결정 Decision Analysis (분석론) 확률/통계에 기반하여 의사결정을 하는 방법 불확실한 상황에서도 수리적 모델링을 하려는 관점 데이터를 기반으로 투자기간이 장기간인 산업분야에서 중대한 결정을 내릴때 데이터 근거한 합리적이고 이상적인 의사결정 데이터 수집과 확률의 수리적 모델링의 어려움 Philosophy of decision making
- 10. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. 10 Decision Tutor의 정의 및 목적 과거의 데이터 학습을 통한 예측 분석으로 사용자 의사 결정을 지원하는 AI 및 어플리케이션임 What? (정의) Why? (목적) How? (활용법) 과거의 데이터를 학습을 통한 예측 분석 결과를 통해서, 사용자 의사 결정을 지원하는 AI 및 어플리케이션 직관이 아닌 데이터 기반 확률에 근거하여, 보다 합리적이고 신속한 의사결정을 지원하기 위함 1. Graph Modeling - 데이터 이해 및 모델 2. Learning & Analysis - 데이터 학습 분석 3. Knowledge Graph - 학습 지식 저장 4. Predictive Service - 예측서비스 제공
- 11. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. II. Theory
- 12. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. 12 DecisionTutor - Process DecisionTutor는 그래프 모델링, 학습/분석, 지식그래프, 예측 서비스의 프로세스로 구성 됨 Source DATA Graph Modeling Predictive Service Learning & Analysis Knowledge Graph DecisionTutor Process 1 2 3 4 ㆍData verification ㆍMeta Data Graph Modeling ㆍGraph ETL ㆍRegression ㆍCollaborative Filtering ㆍBayesian Network ㆍML Method etc ㆍKnowledge Graph Building ㆍTuning Parameter(Re-learning) ㆍProbability Prediction ㆍPath Recommendation ㆍAI Tutoring System ㆍAI Clinical Decision Support Decision Making Support
- 13. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. DecisionTutor - Graph Modeling Graph Modeling Predictive Service Learning &Analysis Knowledge Graph Graph Modeling은 데이터간 관계와 특성을 파악한 후, 그래프 모델링을 하는 과정임 데이터의 패턴, 경향성, 토폴로지 유형파악 데이터간 연관관계 및 상관관계 파악 Table Schema Data 노드-엣지 모델링 API에서 Real-Time Graph Update DATA VERIFICATION DATA GRAPH MODELING Pattern Association Topology Tendenc y Correlation 13 Table Data Graph Data
- 14. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. Graph ETL은 소스데이터로부터 추출, 변환, 그래프 적재 까지의 과정임 DecisionTutor - Graph Modeling Graph Modeling Predictive Service Learning &Analysis Knowledge Graph DATA TYPES TRANSFORMING GRAPH UPDATE Node.csv Rels.csv JSON BATCH BATCH NEAR REAL-TIME Extract Extract Extract Load Load Update DATA LAKES TABLES LEGACY DATABASES Hive, Hadoops SQL Servers, ORACLE Kafka, websocket MESSAGING & API STREAMS 14 Node.csv Rels.csv Agens HUB Neo4j Knowledge Graphs: The Path to Enterprise AI JSON JSON
- 15. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. Learning은 분석에 필요한 데이터를 ML기법으로 학습시켜, 분석에 나올 유의미한 값을 도출하는 과정임 Graph GPU accelerated Distributed System In Memory In GraphDB DecisionTutor - Learning & Analysis Graph Modeling Predictive Service Learning &Analysis Knowledge Graph Knowledge GraphLearning & Analysis Tool 15 Service Board Neo4j Knowledge Graphs: The Path to Enterprise AI
- 16. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. 예측서비스의 목적에 따라 다양한 ML 알고리즘을 사용하여 나온 결과값으로 분석을 진행함 다양한 변수들의 관계성을 규명하기 위한 최적의 모형을 데이터로부터 추정하는 통계적인 방법. 학습을 통하여 오차의 합을 최소화하는 파라미터를 구하는것을 목표로함 ex) 예측모델, 인과관계 모델 등 Multiple Linear Regression 제품에 대한 각 소비자의 평가를 받아서 평가 패턴이 비슷한 소비자를 한 집단으로 보고 그 집단에 속한 소비자 취향을 추천 ex) 상품추천, 영화 추천 Collaborative Filtering DecisionTutor - Learning & Analysis Graph Modeling Predictive Service Learning &Analysis Knowledge Graph 16 베이지안 확률을 네트워크 모델로 구성하여 변수간 인과관계 분석 ( 확률이론 + 그래프이론 ) ex) 사후확률 예측, 질병분석, 유전자 분석, 지식모형화 등 Bayesian Network
- 17. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. Services Board 지식그래프는 ML에서 학습된 값들을 그래프에 저장하고 축적하여, 그래프 기반 지식베이스를 구축함 Machine Learning Space Knowledge Graph Space DecisionTutor - Knowledge Graph Graph Modeling Predictive Service Learning &Analysis Knowledge Graph TABLE JOINING 없이 빠른속도로 원하는 값을 조회할 수 있음 ML 학습이나 분석값을 지식그래프 체계로 저장 분석의 목적에 맞게 ML 분석결과값을 도출 17
- 18. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. 지식 그래프는 다양한 소스로부터 축적된 모든 데이터를 의미적 관계를 연결한 형태의 그래프 기반 지식베이스임 DecisionTutor - Knowledge Graph Graph Modeling Predictive Service Learning &Analysis Knowledge Graph enterprise-knowledge.com 18 SPO Triple Set 현재 구글 지식그래프에서는 인물·장소·사물을 나타내는 약 5억개의 대상과 이와 관련된 180억개의 속성들이 서로 연결돼 맵핑 되어있으며, 지식그래프는 PC와 모바일에서 모두 제공됨 지식그래프는 관계 기반, 의미 기반 검색이 가능하며, 여러 정보를 체계화하고 서로 연결해 사용자에게 보다 똑똑한 정보를 제공
- 19. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. 지식 그래프는 미래를 선도할 중요한 기술로 부각되고 있고, 많은 기업들이 기술을 연구하고, 적용하는 추세임 DecisionTutor - Knowledge Graph Graph Modeling Predictive Service Learning &Analysis Knowledge Graph 19 Hype Cycle for Emerging Technologies,Gartner, 2018.8.6
- 20. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. Predictive Service의 예측결과를 통해 다양한 분야에서의 의사결정 지원 서비스를 제공함 Recommender System AI Monitoring SystemAI Decision Support 상품추천 컨텐츠 추천 경로추천 Clinical Decision Support Business Decision Support Assetmanager Monitoring Health Care Monitoring Forecasting Decision Support Education Tutoring DecisionTutor - Predictive Service Graph Modeling Predictive Service Learning &Analysis Knowledge Graph 20
- 21. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. DecisionTutor 적용 분야 21 DecisionTutor는 전 산업군 다양한 분야에서 활용되며, 주요 적용 분야는 아래와 같음 Marketing Education Medical & Bioinformatics Financial Security Defense CRM Engineering ㆍ컨텐츠 추천, 상품 추천, 고객 취향 분석 ㆍ학습 취향 분석, 학습 수준 진단 및 최적 진도 분석 ㆍ인공지능 기반 튜터링 시스템 ㆍ의료 의사결정 지원 ㆍ환자 모니터링 & 코칭 AI ㆍ개인 건강관리 및 재활 모니터링 ㆍ투자자의 경영 의사결정 ㆍ침해위협, 변종 멀웨어 탐지 분석 및 경로 예측 ㆍ개인 고객에 대한 AI 상담 시스템 ㆍ에너지 사용량, 수요 예측 및 관리 시스템 ㆍAI 기반 인프라 및 장비 모니터링 시스템 ㆍAI 기반 생산 및 품질관리 시스템 적용 분야 사용 사례
- 22. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved.
- 23. ⓒ 2019 by Bitnine Co, Ltd. All Rights Reserved. 23
Hinweis der Redaktion
- 오늘 DT와 그래프 DB에 관심을 가지져서 이렇게 퇴근시간 이후에 이곳까지 오신 많은 분들께 감사의 말씀을 드립니다. 먼저 제 소개부터 드리겠습니다. 저는 오늘 디시전튜터 주제로 발표할 비트나인에 컨설팅팀 정두희선임입니다. 만나서 반갑습니다. Thanks / 목적 / 이번 발표의 목적은 / 시간 / 디시전튜터가 뭐고 프로세스가 뭐고 이정도로 이론 다음장에 뭐가 나올지 나중에 클로징 Wrap-up 정리해서 메인포인트 서머라이즈 자신있게 QnA
- 오늘 밋업에서는 비트나인에서 그래프DB의 핵심 오퍼링 5가지중 하나인 DT에 관하여 설명하려합니다. 이전에 밋업 참석하신들은 앞의 4가지 더는 PD.AM.TextM 다른 오퍼링을 들으신분들도 있었겠지만 오늘은 이전과 또 다른 이야기인 DT는 그전에 오퍼링과는 다를수있기에 기존에 오신분들과 새로오신분들 모두에게 새로운 인사이트가 제공되었으면 좋겠습니다. 먼저 발표에 앞서서 오늘도 퀴즈를 준비해봤습니다. 이 밋업때마다 퀴즈를 너무 잘맞추는 분들이 꼭계셔서 출제자로써 아주 고민을 많이했는데요 다같이 퀴즈 한번풀어보시고 시작을 하시죠
- 1번문제는 중학교때 나오는 연립방정식을 세우면 아주 간단히 풀리는 문제였습니다. 저 또한 이문제를 보면서 연립방정식을 떠올려야겠다는 생각을 못했습니다. 저도 방망이 보다 1달러 비싸다고하니 자연스럽게 위에있는 숫자를 바라보게되었고 1달러 10센트니 1달러 빼면 되겠구나 라는 생각을 하게되었습니다. 신기하죠? 아니라구요 ? 저만 이렇게 생각해봤나봅니다 2번문제 한번 풀어보시죠 아들-아들, 답을 보면 쉬운 문제임에도 우리는 이런 문제를 쉽게 틀립니다. 그이유로는 우리는 어떤 문제의 의사결정을 할때 의외로 논리보다 직관을 더 많이 사용하는 것을 볼 수 있습니다. 다음문제가 하나 더 있는데요 몬티홀의 딜레마라는 아주 유명한 문제입니다.
- 매우 쉬운 문제임에도 우리는 이런 문제를 쉽게 틀립니다. 사람은 자신에게 익숙한 직관으로 많은 일들을 대하기 때문입니다.
- 오늘 이 퀴즈에서 얘기하고자 하는 바는 우리는 의사결정에 있어 많은부분을 직관이나 감정에 의존하는데 떄론 인간의 직관보다 저 정확한 근거에 의한 의사결정 시스템이 있으면 어떨까요? 오늘 얘기할 디시전튜터는 이러한 직관이아닌 데이터 기반으로 예측할수 있게 도와줍니다 다음장에서
- 다음은 2가지의 대표적인 의사결정을 철학입니다. 두가지의 차이는 의사결정에 따른 리스크의 크기에 따라 사용되어질수있는데요 의사결정의 리스크가 비교적 적고 쉽고 신속하게 할때는 일반적으로 직관을 많이 사용합니다. 반면 리스크가 크고 근거 기반으로 결정할때는 분석론관점에서 많이 결정합니다. 만약 우리가 정말 디시전메이킹을 잘해줄 수 있는 Ai라던지 어플리케이션이라면 이 분석론의 기반
- 디씨전튜터의 정의는 다음과 같습니다.
- DT는 다음과 같은 프로세스로 이루어집니다. 각 환경의 소스데이터를 받아서 모델링 되어있는 그래프에 적재를 합니다. 그 이후 ML을 통한 학습과 분석이 이루어집니다. 이후의 분석된 값들을 다시 지식그래프 영역에 저장이 되고 예측서비스를 통하여 디시전메이킹 서포트 사용자에게 좀더 합리적인 의사결정을 할 수 있게 도와줄수 있습니다. 그래프 모델링에서는 데이터 확인 및 메타데이터 모델링 그래프 ETL에 관하여 설명할 예정이며 2번째 러닝앤 아날리시스 에서는 머신러닝의 구현 환경과 각각 기법에 대해 설명할 예정입니ㅏㅣ, 3번째 지식그래프에서는 지식그래프가 무엇이며 그 지식그래프의 특징에 대해 얘기할것이고 4번째는 디씨전튜터가 사용자에게 줄수있는 예측서비스에 대해 얘기해볼예정입니다.
- 먼저 Data Verification 입니다. 그래프 모델링의 핵심이라고 할수도있습니다. 다양한환경들의 소스 데이터들의 패턴이 있을수도있겠으며, 경향성 토폴로지 파악이 되어야합나디ㅏ. 또한 데이터와 데이터간의 연관관계를 보며 엣지에 관한 모델을 생각해둬어합니다. 이러한 데이터에 대한 일종의 분석이 끝났으면 데이터의 관계룰이 기반하여 그래프 모델링을 다음과 같이 실시합니다 왼쪽은 고객정보 / 주문정보/ 상품정보 / 상품유형 테이블이 되겠습니다. 이러한 RDB의 TABLE 스키마에서 그래프 모델링을 하면 오른쪽과 같이 간단형태로 Bill 이라는 구매자와 E.Razor라는 면도기라는 노드가 설정이 되어있구요 두 노드를 구매하다라는 엣지로 연결이 되어있음을 볼수있습니다. 엣지의 방향을보니 빌에서 면도기로 향하는 것을 보니 구매행위에대한 주체도 엣지의 방향성을 넣어서 표현할 수 있구요 각각 노드 엣지의 밑에를 바라보면 엣지노드를 수식해주는 여러항목이 있습니다. 이것을 프로퍼티라 부르는데요 각각 노드 프로퍼티는 엣지프로퍼티는 … 즉 테이블스키마에 있던 데이터를 노드-엣지로 모델링 할수 있구요 실시간으로 API를 써서 그래프에다가 업데이트를 시킬수도있습니다.
- 다음은 그래프 ETL입니다. ETL은 본래 Extract Transforming LOAD (추출 변환 로드) 의 줄임말로서, 다양한 원본에서 데이터를 수집하고, 비즈니스 규칙에 따라 데이터를 변환하고, 대상 데이터 저장소로 로드하는 데 사용되는 데이터 파이프라인입니다. 일반적인 ETL은 여기있는 많은 분들께서 아시리라 생각이 되는데 과연 그래프에서는 어떤 방식으로 진행이 되는지 제가 간단히 도식화해서 설명드리도록 하겠습니다. Data Type별로 조금씩 상이한 과정을 거치는데요 먼저 하둡이나 하이브같은 대용량 데이터 레이크 테이블에서는 데이터를 추출하는 과정은 일반적인 추출과정과 비슷합니다. 이후 변환과정에서 노드와 엣지가 될수 있는 항목들을 뽑아서 따로 저장합니다. 이후 적재를 하는과정에서 그래프내에서 노드엣지를 연결하게 설정해줍니다. 다음으로는 Sql server, ORACLE 등 DB에 올려진 데이터들은 데이터 레이크와 비슷하게 진행됩니다만 좀더 사용자의 편리를 추구한다면 자사의 AgensHUB를 통해 데이터를 변환시킬수있습니다. 이와 좀다르게 카프카나 웹같은 실시간 메시징 데이터들은 추출후 JSON 타입의 형태로 변환하여 바로 그래프에 업데이트 할수있습니다. 이렇게해서 데이터를 보고 그래프 모델링하는것과 여러 다양한 소스데이터를 어떻게 그래프로 변환하여 적재하는지에 대하여 말씀드렸습니다.
- 다음 프로세스는 러닝앤아날리시스입니다. 러닝은 분석에 필요한 데이터를 머신러닝을 통해 학습하고 분석에 나올 유의미한 값을 도출하는 과정입니다. 왼쪽에 보시면 데이터가 그래프형태로 적재된 상태에서 각 머신러닝 환경에 맞게 Tool을 선택할수있습니다. 그래픽 가속환경에서 올려서 사용하면 텐서플로우나 R을 사용할수있구요 하둡같은 분산환경에서 분석을 하고자하면 SPARK를 사용할수있습니다 그리고 메모리나 그래프 DB에서 하고자하면 Python Call procedure 나 Agensgraph 같은 그래프DB에서도 가능합니다. 이러한 학습과정을 거친 데이터들은 따로 저장이되거나 아니면 바로 서비스 화면으로 도출될수 있는데요 따로 저장하는 공간을 지식그래프 영역이라하며, 지식그래프는 좀더 뒤에서 설명드리도록 하겠습니다.
- 제가 앞에서 DT는 과거의 데이터를 기반으로 학습을하여서 예측분석을 할 수 있고 그 결과를 통해서 사용자로 하여금 합리적인 의사결정을 내릴수 있게 도와준다고 하였습니다. 하지만 사용자가 어떤 예측을 원하는지 모르기때문에 각각 사용자가 원하는 예측 서비스의 목적에따라 알고리즘의 선택이 되어져야할것입니다. 이번시간에는 DT 예측분석에서 주로 사용될수있는 3가지 알고리즘에 대해서 그리고 그 예시에 대해서 설명해드리려합니다 Regression x라는 독립변수와 Y라는 종속변수와의 어떤관계가 있는지를 알고싶을때 예를들어 이 표와 관계는 없지만 몸무게 80KG인 사람들의 키를 추정하고싶을때 몸무게가 X 추정하고싶은 키가 Y가 되겠죠 우리가 알고싶은것은 몸무게와 키의 관계 겠죠 회귀분석의 모델링은 오차의 합을 최소화 하는것으로 목적 학습을 시키는것이죠 오차의합을 최소화하는 파라미터를 구하는것을 목표로합니다. 보통 흔히알고있는 선형회귀라면 최적이되는 1차직선이 나왔을텐데 다중선형회귀분석을 통해 사용하였습니다. x는 독립변수이구요 Y는 종속변수입니다. EPoch는 학습 횟수입니다 초록색 선이 모델 함수인데요 학습횟수가 증가할수록 모델이 점점 오차가 최소화되는 모델로 변하고있습니다. 두번째로는 콜라보레잇필터링인데요 CF라고 불리우는 아주유명한 추천 알고리즘입니다. 제가 상품에대한 평가를 내렸는데 저와 비슷한 패턴으로 상품평가를 한 소비자의 취향을 추천해주는 알고리즘입니다. 지금 표보시면 슈퍼맨 배트맨 스파이더맨 아이언맨이 있고 오른쪽으로는 영화 인셉션 러브액츄어리 그래비티 인터스텔라 건축학 개론입니다. 그리고 사람들 각각의 영화평점이 하나의 매트릭스로 정리가 되어있습니다. 지금 저희는 슈퍼맨은 인터스텔라를 봐야될지 말아야될지 고민이 된다고할때 이 영화를 추천해야할지 말아야할지 고민입니다. 추천할수 있을까요?? 네 슈퍼맨과 배트맨을보시면 인셉션에서 서로 5점 4점을 주었고 그래비티도 5점5점을 주었습니다. 아 슈퍼맨과 배트맨이 다른 스파이더맨과 아이언맨과는 다르게 같은 영화를 봤고 평점도 비슷하네요 그러면 밑에 알고리즘을 사용하여서 유사도를 계산할수있는데 밑에 저 알고리즘은 코사인 유사도공식입니다. 각각의 코사인 유사도를계산하면 배트맨이 0.75 스파이더맨 0.15 0.42 가장높습니다 그래서 인터스텔라도 좋아할것이다라는 예측을 할수 있게됩니다. CF는 Ebay에서 상품추천이라던지, Netflix영화추천 알고리즘으로 많이사용되서 많은 분들이 알고계실거라 생각합니다. 마지막으로 베이지안 네트워크인데요 베이지안 확률을 네트워크 모델로 구성하여서 변수간의 인과관계를 분석하는 알고리즘입니다. 예시된 그림은 맨앞에 제가 퀴즈로 냈던 몬티홀의 딜레마를 예시로한 베이지안 네트워크입니다 참가자가 먼저 1번문을 선택했습니다. 선택하였기에 1번문에는 100% 확률 다른문에는 0%의 확률이 배정되었습니다. 이때 진행자가 2번문을 선택해서 열게 되었다면 차가 있을확률은 오른쪽 Car에 해당하는 확률입니다. 1번문에 33.3% 3번문에 66.7% 입니다. 이런 간단한 예제도 모델링 할수있지만 실질적으로는 굉장히 복잡한 인과관계로 얽혀있는 사례도 이 베이지안 네트워크로 모델이 가능합니다. 질병이 걸릴 확률이라던지 유전자 분석이라던지 지식모형화 같은것들도 이 베이지안 네트워크 모델로 만들어서 사후확률 예측이 가능합니다.
- 분석 목적에 맞게 알고리즘을 선택한후 이렇게 예측 분석을 하였다면 그 결과값을 보통 저장소에 저장을 해야하는데 그 저장을 보통 지식베이스 또는 분석데이터 DB 라는 영역에 저장을 합니다. 기존의 지식 베이스들은 RDB를 사용을 하였는데 RDB로 사용하게된다면 연결된 지식들이 2뎁스 이상의 데이터를 서비스 보드로 가져오는데 시간이 굉장히 소요됩니다. 그래서 고객이 원하는 서비스를 즉시 가져오지 못할 경우가 많은데 지식베이스를 그래프 형태로 변환하여서 저장한다면 얘기가 다릅니다. 이것을 지식그래프라고 하는데요 2뎁스이상의 지식데이터도 한꺼번에 JOINING없이 빠른속도로 원하는값을 조회할 수 있다는 장점이 있습니다. 그렇다면 좀더 지식그래프의 특징과 장점을 다음 화면에서 보시도록 하시죠
- 지식그래프는 앞서 말했던 조회 성능적인 면보다 더 큰 가치를 지니고 있습니다. 그것은 바로 지식그래프를통해서 모든 지식데이터들은 의미관계들로 이어나갈 수 있다는 장점입니다. 하나의 지식을 검색하면 그와 관련된 연관지식이 자연스럽게 연결되는 것입니다. 왼쪽에는 지식그래프를 만들었던 엔터프라이즈 놀리지 라는 회사의 예입니다 비즈니스에서 주로 쓰는 용어를 분류하고 그것에 대해 온톨로지체계로 구축한후 다양한 소스데이터통해서 많은 기업들의 프로젝트와 문서 들을 연결하여 비즈니스의 온톨로지 분류와 소스데이터를 하나의 지식그래프 체계로 만들었습니다. 지식그래프를 통해 하나의 비즈니스 주제에 관련한 의미있는 정보들과 사업 프로젝트들이 그래프로 표현이 가능해졌습니다. 오른쪽에는 여러분이 알고 있는 구글입니다. 구글이 왜냐구요? 구글의 현재 검색엔진은 지식그래프를 기반으로하고 있습니다. 사실 2012년 구글이 지식베이스를 그래프형태로 사용하면서 처음으로 지식그래프라는 것을 사용하게 되었습니다. 구글에 다음과 같은 검색어를 검색해보았을때 오른쪽그림과같이 나올것입니다. 실제로 지금 핸드폰을 열어서 네이버나 다음 국내 검색사이트에 동일한 검색을 진행한다면 이렇게 연관 지식들이 나오지 않습니다.
- 이제 지식그래프는 미래를 선도할 핵심 기술로 세계 여러기업이 쏠리고 있습니다. 왼쪽은 가트너 하이프 사이클이라는 인데요 IT 분야의 세계적 시장조사 기관인 가트너(Gartner)는 신기술의 시장과 기대, 성숙도를 나타내는 하이프 사이클을 매년 발표하고 있습니다. x축은 시간이고 y축은 기대치입니다. 기대정점이 있는곳에 기대치가 최대로 되고 다시 관심이 소멸되다가 재조명되서 안정이 되는 곡선을 그린다고 합니다. 지식그래프는 기술이 정점을 이루는 시기는 5~10년이 소요된다고하니 앞으로도 세계 많은 기업들이 그 기술을 발전시켜나갈것이라 생각합니다. 이렇게 기존 RDB로 구현하던 머신러닝 학습값의 저장소를 그래프 DB로 구현하기만 해도 얻어지는 지식의 양과 질적인 측면에서 크게 향상되는것을 볼 수 있습니다.
- 그리하여 지식그래프를 저장소로 한 DT는 예측결과를 통해 다양한 분야에서의 의사결정 지원 서비스를 제공하고 있는데,가장 대표적으로 크게 3가지 정도의 분류할수 있을겁니다 .