DEVIEW2015 DAY2. data science with apache zeppelin

1. Data

2. Science

3. with

4.
Apache

5. Zeppelin
이문수

6.
NFLabs

7. contents
1. Data science lifecycle
2. Apache Zeppelin
3. Zeppelin in your team
4. Helium

8. 1.
Data Science Lifecycle

9. Data

10. Science
https://en.wikipedia.org/wiki/Data_analysis
다양한

11. 과정

12. Data

13. Science
MLlib
다양한

14. SW

15. Data

16. Science
다양한

17. 사람

18. 즉
7

19. 힘든

20. 삶

21. 힘든

22. 삶
.
.
.
.
30 대
400 GB / day ETL / aggregation
PHP web server
High chart
Data parsing
Traffic normalize
IP location lookup
Service account recognition
AccessLog
....
AdHoc
Batch

23. .
.
.
.
30 대
400 GB / day ETL / aggregation
PHP web server
High chart
Data parsing
Traffic normalize
IP location lookup
Service account recognition
AccessLog
....
AdHoc
Batch
데이터 넣는 과정에서
오류 발생하면 수동으로 재처리
새로운 분석 추가될때 마다
mongodb 에 스키마 관리
웹페이지 수정 및 차트 추가
Spark 에서 AdHoc query를
위해 Hive 에서 aggregation
을 미리 수행해야 하는 경우가
많은데, 소스가 따로 떨어져있어
서 관리가 잘안되고 실수가 자주
발생
Excel 로 리포트 만들어 이메일 보내면 매
일 매일 업데이트 해달라고 연락옴

24. 분석에

25. 집중할

26. 수

27. 없을까?

28. 적절한

29. 도구가

30. 필요
편리하고

31. 강력한

32. 분석

33. 언어

34.
인터렉티브

35. 속도

36.
라이브러리

37.
시각화

38.
공유/협업

39.
간편하고

40. 손쉬운

41. 시스템

42. 구성

43. 2.
Apache Zeppelin

44. Apache

45. Zeppelin
http://zeppelin.incubator.apache.org/
2014

46. 년

47. 12월에

48. ASF

49. 에

50. incubation

51. 됨
2013

52. 년

53. 8월에

54. NFLabs

55. 내부

56. 프로젝트로

57. 시작
63

58. Contributors

59. from

60. worldwide
646

61. Stars
1

62. release
Apache

63. 2.0

64. License

65. 누가

66. 쓰나?

67. 생태계
Packaging

70. Deployment
Z-Manager
Collaboration,

71. Sharing
ZeppelinHub Zeppelin

72. +

73. Full

74. stack

75. on

76. a

77. cloud
Packages Backend

78. integration
…⋯

79. 다양한

80. Backend

81. 동시에

82. 사용

83. 다양한

84. Backend

85. 동시에

86. 사용
Shell

87. 명령

88. 이용해

89. 데이터

90. 카피
Hive

91. 이용해

92. 데이터

93. transformation
Spark

94. 의

95. MLlib

96. 으로

98. 분석
python

99. 이용하여

100. 시각화
하나의

101. 노트북에서

102. 순차적으로

103. 작업을

104. 처리

105. Visualization

106. Apache

107. Zeppelin
Interactive

108. Notebook

109. Before
21

110. 22
.
.
.
.
30 대
400 GB / day ETL / aggregation
PHP web server
High chart
Data parsing
Traffic normalize
IP location lookup
Service account recognition
AccessLog
....
AdHoc
Batch
데이터 넣는 과정에서
오류 발생하면 수동으로 재처리
새로운 분석 추가될때 마다
mongodb 에 스키마 관리
웹페이지 수정 및 차트 추가
Spark 에서 AdHoc query를
위해 Hive 에서 aggregation
을 미리 수행해야 하는 경우가
많은데, 소스가 따로 떨어져있어
서 관리가 잘안되고 실수가 자주
발생
Excel 로 리포트 만들어 이메일 보내면 매
일 매일 업데이트 해달라고 연락옴

111. After
23

112. .
.
.
.
400 GB / day ETL / aggregation
AccessLog
AdHoc
Batch

113. 3.
Zeppelin
in your team

114. Team

115. =

116. Multi

117. user
26

118. Multi

119. user

120. =

121. ACL
27

122. User1
다중 사용자 구성 A
User2
사용자별로

124.
Interpreter

125. setting

126. 추가

127.
하여

128. 각각

129. 다른

130. 리소스

131. 할당
100 core, 300GB mem50 core, 100GB mem
각각

132. 노트북에서

133. interpreter

134.
setting

135. 선택

136. 하여

137. 사용
하나의

139. Zeppelin

140. 인스턴스

141. 사
용

142. User1 User2
100 core, 300GB mem50 core, 100GB mem
Proxy

143. server

144. 에서

145. 인증

146. 및

147.
Instance

148. 할당

149. 관리
사용자별로

150. Instance

151. 생성
http://nflabs.github.io/z-manager/
다중 사용자 구성 B

152. Platform

153. for

154. Data

155. analytics

156. application

157.
on

158. top

159. of

160. Apache

161. Zeppelin
4.
https://cwiki.apache.org/confluence/display/ZEPPELIN/Helium+proposal

162. Helium

163. Application
= +
View Algorithm
Zeppelin

164. provided

165. Resources

166. Resources
Example

167. of

168. resource

169.
Data

171. -

172. Result

173. of

174. last

175. execution

176. -

177. JDBC

178. connection

179. (from

180. JDBC

181. Interpreter)*
Computing

183. -

184. SparkContext

185. (from

186. SparkInterpreter)

187. -

188. Flink

189. environment

190. (from

191. FlinkInterpreter)*

192.
Any

193. java

194. object

195. -

196. Provided

197. by

198. user

199. created

200. Interpreter

201. -

202. Provided

203. by

204. user

205. created

206. Helium

207. application

209. 예
데이터

211. -

212. ex)

213. get

214. git

215. commit

216. log

217. data

228. https://github.com/Leemoonsoo/zeppelin-gitcommitdata
컴퓨팅

230. -

231. ex)

232. run

233. cpu

234. usage

235. monitoring

236. code

237. across

238. spark

239. cluster,

240. using

241. SparkContext

252. https://github.com/Leemoonsoo/zeppelin-sparkmon
시각화

254. -

255. ex)

256. display

257. result

258. data

259. as

260. a

261. wordcloud

272. https://github.com/Leemoonsoo/zeppelin-wordcloud

273. 동작

274. 방식
Zeppelin

275. Server
Web

276. browser
View
Interpreter

277. Process
Algorithm
Resource

278. pool
Resource

279. pool
Resource

280.
pools

281. are

282.
connected
“Algorithm

283. runs

284. where

285. resource

286. exists”

287. API
class YourApplication extends org.apache.zeppelin.helium.Application {
@Override
public void run(ApplicationArgument arg, InterpreterContext context) {
…..
}
}
쉽다
하나의

288. class

289. 만

290. extend

291. 하면

292. 만들수

293. 있다.

294. Application

295. Spec
{
mavenArtifact : groupId:artifactId:version,
className : your.helium.application.Class,
icon : fa fa-cloud,
name : My app name,
description : “some description,
consume : [
org.apache.spark.SparkContext
]
}
간단하다
Spec

296. 파일만

297. 정의하면

298. 바로

299. 사용

300. Deploy
Public
Repository
Private
Repository
편리하다
사내
공개
maven

301. 사용해서

302. 배포되고

303.
설치되므로

304. 사내

305. 라이브러
리를

306. 따로

307. 구축할

308. 수

309. 있다.
사용자가

310. 클릭하면

311. 바로

312. 다
운로드되어

313. 실행
maven

314. 통해서

315. 배포하여

316. 편리하게

317. 사용

318. Demo

319. Get

320. involved
홈페이지

321.
http://zeppelin.incubator.apache.org/

322.
메일링리스트

323.
users@zeppelin.incubator.apache.org

324.
dev@zeppelin.incubator.apache.org

325.
이슈트래커

326.
https://issues.apache.org/jira/browse/ZEPPELIN

327.
소스리파지토리

328.
https://github.com/apache/incubator-zeppelin

329. QA

330. Thank You