1. Big Data and Predictive Analytics
Data which is not understand has no value
김학래 , Open Knowledge Foundation Korea, 2013

2. Quick
Agenda
데이터를 사랑하는 사람들을 위한 튜토리얼
11 아름답게 만들기 22 하지만 피할 수 없는 .. 33 데이터 생태계
Facebook Google Refine Fusion Tables
Gephi UciNet GapMinder
2

3. Introduction
Inverted Pyramid of Data Journalism
Source: http://onlinejournalismblog.com/2011/07/07/the-inverted-pyramid-of-data-journalism/
3

4. Quick
Content
데이터를 사랑하는 사람들을 위한 튜토리얼
11 아름답게 만들기 22 하지만 피할 수 없는 .. 33 데이터 생태계
Facebook Google Refine Fusion Tables
Gephi UciNet GapMinder
4

5. 목표 : 아름다운 그래프를 그립니
5

6. Gephi
네트워크 데이터 편집
myFnetwork_*.txt 파일을 node/edge 로 구분한 후 파일을 각각 저장
원본파일
11
“ Id, Label”
“node.csv” 으로 저장
22
“Source, Target”
“edge.csv” 으로 저장
6

7. Gephi
파일 불어오기
11 Import Spreadsheet 클릭
22 node.csv 파일 선택
Nodes table 선택 (As table:
33 )
44 edge.csv 파일 선택
Edges table 선택 (As table:
55 )
66 “Next” 클릭
7

8. Gephi
그래프 편집하기
11 Overview 클릭 ( 왼쪽 상단 )
22 Hairball 보기
8

9. Gephi
Layout 변경
11 Layout 탭 : Force Atlas 선택
22 Run 클릭
33 Stop 클릭
44 Adjust by size 선택
55 Run  Stop 클릭
9

10. Gephi
Ranking 변경
11 Ranking 탭
22 Degree 선택
Apply 클릭 (gradient 적용
33 됨)
10

11. Gephi
노드 크기 변경
11 Ranking 탭에서 다이아몬드 선택
22 Min size: 5, Max size: 50
33 Apply 클릭
11

12. Gephi
Layout 에서 노드 크기 변경
목표 : 네트워크 파일 열기
11 Adjust by size 선택
22 Run  Stop 클릭
12

13. Gephi
통계 값 확인
11 Statistics 탭 : Avg. Path Length
13

14. Gephi
그래프의 노드에 글자 보이기
Font size scale
Show Node Labels Edge weight scale
Size mode Color mode
(node size 선택 ) (Unique 선택 )
14

15. Gephi
군집화 (Modularity)
11 Statistics 탭 : Modularity 클릭
22 Modularity Setting: 모두 선택
Partition 탭 : Refresh Arrows
33 클릭 후 Modularity Class 선
택
15

16. Gephi
그래프 색깔 변경
11 Ranking 탭 : Color 선택 후 적용
16

17. Gephi
Preview 및 그래프 Export 하기
11 Preview 탭 : Show Labels 선택
22 Refresh & Export
17

18. Gephi
요약 : 이제 , 우리도 아름답게 데이터를 표현할 수 있습니다 .
데이터 시각화 준비 데이터 분석 아름다운 시각화
18

19. Quick
Content
데이터를 사랑하는 사람들을 위한 튜토리얼
11 아름답게 만들기 22 하지만 피할 수 없는 .. 33 데이터 생태계
Facebook Google Refine Fusion Tables
Gephi UciNet GapMinder
19

20. 목표 : 데이터를 설계합니다 .
20

21. Introduction
이것이 무엇인가요 ?
21

22. Introduction
태그 (tag): 사람이 특정한 리소스에 부여하는 키워드
Eiffel
?
Tower
Paris
Brain?
22

23. Introduction
태그를 부여하는 것은 인간의 인지적 활동을 반영
What you You tag
Eiffel
think about those words
it?
Tower
Paris
Brain?
0.1 seconds 23

24. Introduction
소셜 미디어와 나
Breslin, 2007
24

25. Introduction
Social Object: 소셜 미디어 사이의 연결 고리
Breslin, 2007
25

26. Introduction
Object-centered Sociality: Social Object 중심의 네트워크
“Social network theory fails to recognise such real-world dynamics because
its notion of sociality is limited to just people.” - Jyri Engestrom, 2005
26

27. 관심사 분석 실습
관심사 키워드 - 원본
조명대 김학래 이종완 한상우 전희주 이명진 이영환 류자현 윤영민 이민아
linked data /
linked open 소셜네트워크 분 Big Data
data 시맨틱웹 1. 여론조사 social learning 석 (SNA) 빅데이터 Analysis 집단지성 정보사회학 인포그래픽
사회조사방
semantic web 링크드데이터 2. 인터넷전화 facebook 빅데이터 시맨틱웹 Semantic Web 지식형성 법 빅데이터
dereferencing CRM( 고객관계관
uri 오픈데이터 3. 콜센터 HTML 5 리) 링크드데이터 Open Data 소셜미디어 빅데이터 웹 3.0
Open Government 소셜네트워크
public data 커뮤니티 4. LTE information science 보험 인공지능 Data 서비스 소셜미디어 시멘틱웹
open
government 사회연결망 데이터사이언
initiative 협업 5. 빅데이터분석 cool hunting 통계 고급분석 Market Analysis 플랫폼 분석 스
open knowledge
foundation 인공지능 6. 유전 알고리즘 cool farming 마케팅 소셜네트워크 Web Mining 페이스북 공감 인문학
digital
library 온톨로지 7. 인공지능 information literacy 마케팅 채널 시맨틱웹서비스 Data Mining 위키피디아 정치참여 철학
social
semantic
digital Artificial
library 빅데이터 8. 시뮬레이션 metadata 웹 Intelligence 의례 전자정부 사회학
9. 한 . 중 . 일 고
sioc 사회 대사 knowledge management 분산컴퓨팅 Technology Trend 선물경제 미래학 정보사회
시나리오플
rdf 스마트폰 10. 불교 ontology 플랫폼 Web Technology 상호작용 래닝 소셜미디어
미디어의 역 컨텐츠큐레이
connectionism okf 11. 전략기획 linked data 건강식품 Informatics ethnography 사 션
information
link and node 소셜네트워크 12. 컴퓨터음악 architecture 시맨틱검색 SNA 협력 소셜그래프
modeling 웹 13. 양극화해소 semantic web 온톨로지 사회학 사회변동 SNS 마케팅
추상 플랫폼 14. 여가 information ecology 추론 정보사회학 사회불평등 스타트업
predictive 공동체
analytics 소셜미디어 15. 뉴에이지음악 knowledge sourcing 소셜검색 집단행동 (community) 크라우드펀딩
27

28. 관심사 분석 실습
관심사 키워드 - 수정본
조명대 김학래 이종완 한상우 전희주 이명진 이영환 류자현 윤영민 이민아
소셜네트워크 분
링크드데이터 시맨틱웹 1. 여론조사 사회적학습 석 (SNA) 빅데이터 빅데이터 분석 집단지성 정보사회학 인포그래픽
시맨틱웹 링크드데이터 2. 인터넷전화 페이스북 빅데이터 시맨틱웹 시맨틱 웹 지식형성 사회조사방법 빅데이터
dereferencing CRM( 고객관계관
uri 오픈데이터 3. 콜센터 HTML 5 리) 링크드데이터 오픈 데이터 소셜미디어 빅데이터 웹 3.0
Open Government 소셜네트워크서
공공데이터 커뮤니티 4. LTE 정보과학 보험 인공지능 Data 비스 소셜미디어 시멘틱웹
open government 데이터사이
initiative 협업 5. 빅데이터분석 cool hunting 통계 고급분석 시장분석 플랫폼 사회연결망분석 언스
open knowledge
foundation 인공지능 6. 유전 알고리즘 cool farming 마케팅 소셜네트워크 웹마이닝 페이스북 공감 인문학
information
디지털도서관 온톨로지 7. 인공지능 literacy 마케팅 채널 시맨틱웹서비스 데이터마이닝 위키피디아 정치참여 철학
social semantic
digital library 빅데이터 8. 시뮬레이션 메타데이터 웹 인공지능 의례 전자정부 사회학
9. 한 . 중 . 일 고
sioc 사회 대사 지식관리 분산컴퓨팅 기술트렌드 선물경제 미래학 정보사회
rdf 스마트폰 10. 불교 온톨로지 플랫폼 웹기술 상호작용 시나리오플래닝 소셜미디어
컨텐츠큐레
connectionism okf 11. 전략기획 링크드데이터 건강식품 Informatics ethnography 미디어의 역사 이션
link and node 소셜네트워크 12. 컴퓨터음악 정보아키텍처 시맨틱검색 SNA 협력 소셜그래프
modeling 웹 13. 양극화해소 시맨틱웹 온톨로지 사회학 사회변동 SNS 마케팅
추상 플랫폼 14. 여가 information ecology 추론 정보사회학 사회불평등 스타트업
공동체 크라우드펀
예측분석 소셜미디어 15. 뉴에이지음악 knowledge sourcing 소셜검색 집단행동 (community) 딩
28

29. 관심사 분석 실습
관심사 키워드 매트릭스
1 Adjacency Matrix
1
1-mode / unimodal matrix
22 Affiliation Matrix
2-mode / bimodal matrix
29

30. 관심사 분석 실습
매트릭스 만들기
11 수집된 데이터를 개인별로 구분하여 붙여넣기 조명대 김학래
링크드데이터 1
시맨틱웹 1
22 개인별 키워드의 값에 1 입력 ( 키워드 사용 ) dereferencing uri
공공데이터
1
1
open government initiative 1
open knowledge foundation 1
22 모든 사용자의 키워드를 같은 방법으로 입력 디지털도서관 1
social semantic digital
library 1
sioc 1
rdf 1
connectionism 1
link and node 1
modeling 1
추상 1
예측분석 1
프로그래밍 언어를 사용하지 않고 빅데이터 1
small analysis
더 좋은 방법이 있으면 꼭 알려주세요 ! 데이터사이언스
1
1
데이터통합 1
데이터시각화 1
시맨틱웹 1
링크드데이터 1
30

31. Google Refine
매트릭스 파일 불어오기
11 Create Project: This Computer
31

32. Google Refine
입력된 데이터 확인
11 Create Project 클릭
수리수리마하수리
32

33. Google Refine
빈 항목에 0 입력
11 셀 편집 : 셀에 마우스 포커스
22 셀에 0 입력 , 컬럼마다 반복 수행
33 컬럼명 왼쪽 Dropbox 선택
Edit cells -> Fill Down 실행
33

34. Google Refine
매트릭스 완성
11 Affiliation Matrix 완성
34

35. Google Refine
키워드 정제하기
11 컬럼명 왼쪽 Dropbox 선택
Facet -> Text Facet 실행
35

36. Google Refine
키워드 정제를 통한 매트릭스 변경
11 동일 키워드 탐색
(okf = open knowledge foundation)
22 키워드 변경
33 컬럼명 왼쪽 Dropbox 선택
키워드 “ open knowledge
44 foundation” 클릭 빈도는 2 로 변경됨
36

37. Google Refine
값이 반영된 Row 는 Blank row 로 변환
55 첫번째 Row 의 0 을 1 로 수정
66 컬럼명 왼쪽 Dropbox 선택
Edit cells -> Blank down 실행
37

38. Google Refine
Blank rows 삭제하기
77 Blank down 실행 후 1 개의 Row 에 1 값이 매핑됨
88 Blank node 는 하단에 축적됨
88 Blank node 삭제하기
All-> Edit rows->Remove
all matching rows
38

39. Google Refine
데이터 Export
Export 메뉴 : Comma-separated
11 value 클릭
39

40. Ucinet
Ucinet 실행하기
11 메인화면
40

41. Ucinet
Ucinet 형식으로 데이터 변환하기
파일 열기
11 (interest-keyword-by-refine.xls)
22 Save As: Ucinet 4-6 dataset 선택
33 .##d & .##h 파일 생성됨
41

42. Ucinet
Affiliation Network 을 Adjacent Matrix 로 변환
11 데이터 변환 (2-mode to 1-mode)
Data->Affiliations
(2-mode to 1-mode) 선택
Interest-keyword-by-refine.##h
22 파일 선택
33 Mode 상자 : Rows ( 키워드 )
44 Mode 상자 : Columns ( 사람 )
42

43. NetDraw
Network Visualisation - 사람
43

44. NetDraw
Network Visualisation - 키워드
44

45. NetDraw
Network Visualization - 2-Mode Network
45

46. 데이터 설계
요약 : 이제 데이터를 설계하여 분석할 수 있습니다 .
데이터 수집 데이터 정제 분석 및 시각화
46

47. Quick
Content
데이터를 사랑하는 사람들을 위한 튜토리얼
11 아름답게 만들기 22 하지만 피할 수 없는 .. 33 데이터 생태계
Facebook Google Refine Fusion Tables
Gephi UciNet GapMinder
47

48. Google Fusion Tables
오픈 데이터와 구글 맵을 통한 시각화
https://www.google.com/fusiontables/DataSource?
dsrcid=implicit&redirectPath=data&usp=apps_start&hl=en
11 파일 선택 (population-by-city.csv)
22 Next 선택
http://ko.wikipedia.org/wiki/ 설치순 _ 대
한민국의 _ 도시 _ 목록
48

49. Google Spreadsheet
위키피디아에서 데이터 수집하기
11 Create New: Speadsheet
http://ko.wikipedia.org/wiki/설치순_ 대한민국의 _ 도시 _
22 위키피디아 : 국내 도시별 인구
목록
33 빈 셀에서 importhtml 실행
=ImportHtml("http://ko.wikipedia.org/wiki/%EC%84%A4%EC%B9%98%EC
%88%9C_%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD%EC%9D%98_%EB
%8F%84%EC%8B%9C_%EB%AA%A9%EB%A1%9D"; "table";1)
44 빈 셀에서 importhtml 실행
https://docs.google.com/spreadsheet/ccc?key=0AoGswzvw-8nLdElWREM1Z3VESS1JcnVFN0daU1NES3c
49

50. Google Spreadsheet
위키피디아에서 데이터 수집하기
11 메뉴에서 spreadsheet 선택
22 파일 선택 : population-by-city
33 외부 파일을 URL 로 검색 가능
( 파일 읽기 허가 필요 )
50

51. Google Fusion Tables
오픈 데이터와 구글 맵을 통한 시각화
11 Import 테이블 확인
22 Next 선택
51

52. Google Fusion Tables
오픈 데이터와 구글 맵을 통한 시각화
11 데이터 설명 추가
22 Next 선택
52

53. Google Fusion Tables
오픈 데이터와 구글 맵을 통한 시각화
노란색 Location 으로
변환할 수 있는 컬럼
53

54. Google Fusion Tables
오픈 데이터와 구글 맵을 통한 시각화
11 Geocode 변환
22 File-> Geocode 메뉴 선택
33 변환 컬럼 선택 : “ 도시명”
44 변환 시작 : “Start” 선택 -> Close
54

55. Google Fusion Tables
오픈 데이터와 구글 맵을 통한 시각화
11 새 탭 추가 (+ 기호 선택 ) 33 맵 아이콘 선택
22 맵 스타일 변경
55

56. Google Fusion Tables
오픈 데이터와 구글 맵을 통한 시각화
11 아이콘 선택
22 테이블에 있는 테이터 출력
56

57. 또다른 방법
GapMinder
GapMinder Motion Chart
57

59. 하고 싶은 말
오픈 , 움직임 , 그리고 실천
Source:
http://www.sott.net/image/image/s6/127394/full/AaronSwartz4.jpg
59

60. 하고 싶은 말
이제 우리도 더 멋진 데이터 생태계를 만들 수 있습니다
http://thedatahub.kr
http://kr.okfn.org
2 월 23 일 개최
60