Tajo Seoul Meetup-201501

1. Apache Tajo Quick Start Jinho Kim (jinossy@gmail.com)

2. Agenda •  Introduc6on to Tajo •  Tajo Quick Start •  Introduc6on to Text ﬁles

3. About me •  Jinho Kim –  Senior Research Engineer, Gruter Corp (2011. 5 ~) –  Full-‐Hme contributor to Apache Tajo (2013.6 ~ ) –  Apache Tajo PMC member and commiOer (2013.3 ~ ) •  Contacts –  Email: jhkim AT apache.org –  Linkedin: hOp://linkedin.com/in/jinossy/ –  TwiOer: @jinossy

4. INTRODUCTION TO TAJO

5. Apache Tajo •  Open-‐source big data warehouse (also called SQL-‐on-‐hadoop) system •  Apache Top-‐level project since March 2014 •  Supports SQL standards •  Low latency, and long running batch queries •  0.9.0 released in Oct 2014.

6. Hadoop eco-‐system Integra6on •  De-‐factor standard ﬁle format support –  Parquet, RCFile, SequenceFile, and Text ﬁles •  Hcatalog support –  Enable Tajo to access exisHng tables used in Hive and others •  Yarn support –  Tajo can be run on Yarn cluster by using Apache Slider.

7. Overall Architecture Master Server (HA) Client JDBC TSql Web UI CatalogStore DBMS HCatalog Submit a Query Manage metadata Allocate a query Send task & monitor Send task & monitor Slave Server TajoWorker QueryMaster Local FileSyst em HDFS Local Query Engine StorageManager Slave Server TajoWorker QueryMaster Local FileSyst em HDFS Local Query Engine StorageManager Slave Server TajoWorker QueryMaster Local FileSyst em HDFS Local Query Engine StorageManager 타조마스터 TajoMaster

8. TAJO QUICK START

9. 본 문서는 개발 브랜치 기준으로 작성 되었으며 문서 작성일 기준으로 공식 릴 리즈 되지 않았습니다. 아래 링크는 미리 준비한 Tarball 입니다. hOp://people.apache.org/~jhkim/tajo-‐0.10.0-‐ SNAPSHOT.tar.gz

10. Installing Tajo •  Requirement –  Linux –  JDK 1.6 or 1.7 –  Hadoop 2.3.0 or higher •  $ wget hOp://archive.apache.org/dist/hadoop/common/ hadoop-‐2.6.0/hadoop-‐2.6.0.tar.gz •  $ tar xvzf hadoop-‐2.6.0.tar.gz •  From a Release Tarball –  $ wget hOp://archive.apache.org/dist/tajo/tajo-‐X.X.X/tajo-‐ X.X.X.tar.gz –  $ tar xvzf tajo-‐X.X.X-‐SNAPSHOT.tar.gz

11. Installing Tajo •  Requirement –  Maven 3 –  Protocol buﬀer 2.5.0 •  Building from source code –  $ git clone hOps://github.com/apache/tajo.git tajo –  $ cd tajo –  $ mvn clean install -‐Pdist -‐DskipTests –Dtar – $ cp tajo-‐dist/target/tajo-‐X.X.X-‐SNAPSHOT.tar.gz {TAJO_HOME}

12. Tajo Cluster Mode •  Local mode –  A local mode Tajo instance can start up with very simple conﬁguraHons. •  Fully distributed mode –  A fully distributed mode enables a Tajo instance to run on (HDFS). In this mode, a number of Tajo workers run across a number of the physical nodes where HDFS data nodes run.

13. Seng up a Local mode •  Local mode Hadoop Cluster 없이

14. 1대

15. 장비로

16. 구성

17. 가능하며

18. Local ﬁle 을

19. 주 로

20. 사용할경우

21. 추천 •  SSH •  conf/tajo-‐env.sh •  Launch a Tajo cluster export HADOOP_HOME={HADOOP_HOME} export JAVA_HOME={JAVA_HOME} export TAJO_WORKER_HEAPSIZE=1000 # export TAJO_LOG_DIR=${TAJO_HOME}/logs $ ssh-‐keygen -‐t rsa $ ssh-‐copy-‐id ~/.ssh/id_rsa.pub {hostname} $ $TAJO_HOME/bin/start-‐tajo.sh

22. Seng up a Local mode -‐ Op6onal •  tajo.rootdir (tajo-‐site.xml) –  warehouse, system 등 데이터

23. 저장

24. 디렉토리 •  tajo.worker.tmpdir.loca6ons (tajo-‐site.xml) –  Query 실행에

25. 필요한

26. 중간

27. 데이터

28. 저장

29. 디렉토리 property nametajo.rootdir/name valueﬁle:///tajo/meetup/warehouse/value descripHonBase directory including system directories./descripHon /property property nametajo.worker.tmpdir.locaHons/name value/tmp/tajo-‐${user.name}/tmpdir/value descripHonA base for other temporary directories./descripHon /property

30. Seng up a Fully distributed mode •  conf/tajo-‐site.xml –  Master 와

31. Worker 들의

32. 연결에

33. 필요한

34. RPC 설정 property nametajo.rootdir/name valuehdfs://hostname:port/tajo/value /property property nametajo.master.umbilical-‐rpc.address/name valuehostname:26001/value /property property nametajo.master.client-‐rpc.address/name valuehostname:26002/value /property property nametajo.resource-‐tracker.rpc.address/name valuehostname:26003/value /property property nametajo.catalog.client-‐rpc.address/name valuehostname:26005/value /property

35. Seng up a Fully distributed mode •  SSH –  모든

36. Tajo Worker

37. 에

38. 키

39. 등록 •  Hadoop Home •  conf/workers –  Worker 로

40. 사용될

41. 모든

42. 호스트

43. 등록 Hostname1 Hostname2 Hostname3 … export HADOOP_HOME={HADOOP_HOME}

44. Seng up a Fully distributed mode •  Make base directories and set permissions •  Distribute a Tajo home to workers •  Launch a Tajo cluster $ $TAJO_HOME/bin/start-‐tajo.sh $ $HADOOP_HOME/bin/hadoop fs -‐mkdir /tajo $ $HADOOP_HOME/bin/hadoop fs -‐chmod g+w /tajo

45. First query execu6on •  Sample data •  HDFS (Op6onal) mkdir table1; cat table1/data.csv EOF 1|abc|1.1|a 2|def|2.3|b 3|ghi|3.4|c 4|jkl|4.5|d 5|mno|5.6|e EOF $ $HADOOP_HOME/bin/hadoop fs -‐mkdir /tajo/warehouse/table1 $ $HADOOP_HOME/bin/hadoop fs -‐put data.csv /tajo/warehouse/table1

46. First query execu6on •  Star6ng the Tajo Shell (tsql) •  Tsql usage $ ${TAJO_HOME}/bin/tsql usage: tsql [opHons] [database] -‐B,-‐-‐background execute as background process -‐c,-‐-‐command arg execute only single command, then exit -‐conf,-‐-‐conf arg configuraHon value -‐f,-‐-‐file arg execute commands from file, then exit -‐h,-‐-‐host arg Tajo server host -‐help,-‐-‐help help -‐p,-‐-‐port arg Tajo server port -‐param,-‐-‐param arg parameter value in SQL file

47. First query execu6on •  Create tables in Tajo –  Managed Table –  External Table •  HDFS 일경우

48. locaHon 을

49. 변경한다. $ default create table table1 ( id int, name text, score float, type text) using text; $ default create external table table1 ( id int, name text, score float, type text) using text with ('text.delimiter'='|') locaHon 'file:/tajo/meetup/table1';

50. First query execu6on •  Selec6ng data default select * from table1 where id 2; Progress: 100%, response Hme: 0.492 sec id, name, score, type -‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐-‐ 3, ghi, 3.4, c 4, jkl, 4.5, d 5, mno, 5.6, e (3 rows, 0.492 sec, 36 B selected) default q

51. Maximum number of parallel running tasks •  Worker Heap Memory Size –  Tajo Worker 는

52. Single JVM 내에서

53. 메모리를

54. 공유하기

55. 때문에

56. 적당한

57. Size 의

58. Heap 메모리가

59. 필요함 •  TAJO_WORKER_HEAPSIZE=8000 (8GB) •  Worker Resources –  CPU Core, Memory Size, Disk 수를

60. 고려하여

62. 동시에

63. 실 행할

64. Task 수를

65. 조절할수

66. 있다

67. Maximum number of parallel running tasks •  Worker Memory Resource –  tajo.worker.resource.memory-‐mb •  1개의

68. Worker 가

69. 총

70. 사용할수

71. 있는

72. 메모리를

73. 정의한다 –  tajo.task.memory-‐slot-‐mb.default •  1개의

74. Task 를

75. 처리할때

76. 사용할

77. 메모리를

78. 정의한다 –  tajo.qm.resource.memory-‐mb •  1개의

79. Query 를

80. 처리는

81. QueryMaster 가

82. 사용할

83. 메모리를

84. 정의 한다

85. Maximum number of parallel running tasks •  Worker Disk Resource –  Disk 설정은

86. 과도한 Access 를

87. 줄이거나

88. 빠른

89. Storage 를

90. 위해

91. 늘릴수

92. 있고

93. Table Scan 단계에서

94. 사용된다. –  tajo.worker.resource.disks •  1개의

95. Worker 가

96. 총

97. 사용할수

98. 있는

99. 디스크

100. 수를

101. 정의한다 –  tajo.task.disk-‐slot.default •  1개의

102. Task 를

103. 처리할때

104. 사용할

105. 디스크

106. 수를

107. 정의한다 –  tajo.worker.resource.dfs-‐dir-‐aware •  Hadoop DataNode 에

108. 정의된

109. 정보로

110. 총

111. 사용

112. 디스크수를

113. 결정 하며

114. tajo.worker.resource.disks

115. 설정은

116. 무시된다.

117. Maximum number of parallel running tasks •  아래의

118. 예제는

119. 동시에

120. 최대

121. 4개의

122. Task 와

123. 1개의

124. QueryMaster 를

125. 실행할수

126. 있다 TAJO_WORKER_HEAPSIZE=8512 property nametajo.worker.resource.memory-‐mb/name value8512/value /property property nametajo.task.memory-‐slot-‐mb.default/name value2000/value /property property nametajo.worker.resource.disks/name value3.0/value /property property nametajo.task.disk-‐slot.default/name value1.0/value /property

127. INTRODUCTION TO TEXT FILES

128. Text Files •  TEXT File Format –  열은

129. ASCII 개행문자로

130. 끝나는

131. Plain-‐Text 로

132. 구성되고

133. 행은

134. 구분

135. 문자로

136. 분리되는

137. 파일 •  JSON File Format –  (JavaScript Object NotaHon) 열은

138. ASCII 개행문자로

139. 끝나 는

140. JSON Document 로

141. 구성된

142. 파일

143. Text Files •  Performance Improvement –  Byte Array 대신

144. Oﬀ-‐heap Buﬀer 를

145. 사용하여

146. Memory-‐ Copy 개선

147. 및

148. 효율적인

149. 메모리

150. 관리 –  Low-‐Level Access (sun.misc.Unsafe 활용) •  Oﬀ-‐heap Memory 에

151. 직접

152. 액세스

153. 하여

154. Line split 및

155. Number DeserializaHon 처리

156. Text Files •  Table File format –  TEXT 또는 JSON

157. 파일

158. 형식을

159. 지정하기

160. 위해

161. USING 절을

162. 사용한다. •  create table text_table (id int, name text) using text •  create table json_table (id int, name text) using json •  Physical Proper6es –  File format 별로

163. 제공되는

164. physical parameters

165. 들은

166. WITH 절로

167. 지정할수

168. 있다. •  create table text_table (id int, name text) using text with (’text.delimiter'=’|’)

169. Text Files •  Delimiter –  1개의

170. Line 은

171. Row 로

172. 인식된다 •  Line delimiter: CR, LF, CR+LF –  Field 는

173. 1byte character 로 구분된다. Default: ‘|’ •  CSV: ‘text.delimiter’=‘,’ •  TSV: ‘text.delimiter’=‘t’ •  Hive default : ’text.delimiter'='u0001’ default create external table table1 ( id int, name text, score ﬂoat, type text) using text with ('text.delimiter'='|') locaHon '/tajo/meetup/table1';

174. Text Files •  NULL Value Handling –  Text ﬁle 의

175. null ﬁeld value 를

176. 인식

177. 하기위한

178. 옵션 •  Default value 는

179. empty string 을 사용 •  Hive default: 'text.null'='N’ default create external table table1 ( id int, name text, score ﬂoat, type text) using text with ('text.delimiter'='|', 'text.null'='N') locaHon 'ﬁle:/tajo/meetup/table1';

180. Text Files •  Supported Codecs •  Hadoop 이

181. 지원하는

182. Codec 을

183. 사용 (Bzip2 미지원) •  일부

184. Codec 은

185. Hadoop NaHve Module 이

186. 필요함

187. (snappy) •  Table Decompression –  파일의

188. 확장자와

189. 같은

190. Codec 이

191. 사용된다. •  Table Compression –  Table data 생성과

192. 함께

193. 압축한다. •  Create table as, insert into org.apache.hadoop.io.compress.DeﬂateCodec org.apache.hadoop.io.compress.GzipCodec org.apache.hadoop.io.compress.SnappyCodec ..

194. Text Files •  Table Compression –  Managed Table –  External Table default create table table2 (id int, name text, score float, type text) using text with ('text.delimiter'='|', 'compression.codec'='org.apache.hadoop.io.compress.DeflateCodec') as select * from table1; $ gzip /tajo/meetup/table3/data.csv $bin/tsql default create external table table3 (id int, name text, score float, type text) using text with ('text.delimiter'='|', 'compression.codec'='org.apache.hadoop.io.compress.GzipCodec') locaHon 'file:/tajo/meetup/table3';

195. Text Files •  JSON –  1개의

196. 라인은

197. 1개의

198. JSON Document 로

199. 인식된다 •  Line delimiter: CR, LF, CR+LF –  Field 는

200. json 파일의

201. key 로

202. 구분된다 •  Nested Data Structures (지원

203. 예정) –  Parsing error tolerance •  문법

204. 오류로

205. 인한

206. row 를

207. 처리할수

208. 있다 •  text.error-‐tolerance.max-‐num 이

209. -‐1

210. 일경우

211. 모든

212. 오류를

213. 무시된다.

214. Text Files •  JSON /tajo/meetup/json_table1 default create external table json_table1 ( id int, name text, score ﬂoat, type text) using json with ('text.error-‐tolerance.max-‐num'='5') locaHon '/tajo/meetup/json_table1'; $ mkdir /tajo/meetup/json_table1 $ cat /tajo/meetup/json_table1/data.json EOF {id:1,name:abc, score:1.1, type:a} {id:2,name:def, score:2.3, type:b} {id:3,name:ghi, score:3.4, type:c} {id:4,name:jkl, score:4.5, type:d} {id:5,name:emiya muljomdao,score:5.6, type:e} EOF

215. Get Involved! •  We are recruiHng contributors! •  General –  hOp://tajo.apache.org •  Ge„ng Started –  hOp://tajo.apache.org/docs/0.9.0/ge„ng_started.html •  Downloads –  hOp://tajo.apache.org/docs/0.9.0/ge„ng_started/downloading_source.html •  Jira – Issue Tracker –  hOps://issues.apache.org/jira/browse/TAJO •  Join the mailing list –  dev-‐subscribe@tajo.apache.org –  issues-‐subscribe@tajo.apache.org

Tajo Seoul Meetup-201501

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie Tajo Seoul Meetup-201501

Ähnlich wie Tajo Seoul Meetup-201501 (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)

Tajo Seoul Meetup-201501