BigData, Hadoop과 Node.js

1. • 

2. BigData의

3. 개요

4. • 

5. Hadoop

6. 이용

7. • 

8. Streaming

9. with

10. Node.js

11. • 

12. VERSION

13. 1.0

14. • 

15. Release

16. Date

18. 2013.5

19. 오픈소스

20. 실습

29. BigData

30. 소개

31. 고

32. 강

33. 태

34. 010-8269-3535

36. gangtai.goh@gmail.com @gtko http://goo.gl/9V3H6 http://www.facebook.com/gangtai.goh

37. 오픈소스

38. 실습

39. 강의

40. •  자료의

41. 출처는

42. 슬라이드

43. 하단에

44. 표기했습니다.

45. •  2013년

46. 숭실대학교

47. 미디어

48. 학부의

49. 오픈소스

50. 소 프트웨어

51. 실습과정의

52. 일환으로

53. 제작되었습니다.

55. • 3 목차

56. 1. 

57. Big

58. Data

59. 개요

60. 2. 

61. BigData

62. 분석

63. 3. 

64. Big

65. Data

66. 활용사례

67. 4. 

68. Hadoop

70. • 4 1.

71. Big

72. Data의

73. 개요

74. 01.

75. BigData?

76. 02.

77. BigData

78. 기술요소

79. 03.

80. BigData

81. 처리

82. 기법

85. 1.

86. Big

87. Data의

88. 개요

90. 01.

91. Big

92. Data란?

94. • 6 Big

95. Data란?

96. 기존

97. 데이터에

98. 비해

99. 너무

100. 커서

101. 기존

102. 방법,

103. 도구로

104. 수집/저장/검색/분석/시각화

105. 등이

106. 어려운

107. 정 형,

108. 반정형

109. 및

110. 비정형

111. 데이터의

112. 집합

115. -

116. 하드웨어,

117. 소프트웨어적

118. 저장,

119. 분석의

120. 어려움을

121. Grid

122. computing,

123. Cloud

124. computing

125. 등

126. 기술로

127. 극복

129. -

130. 전통적

131. 데이터

132. 분석

133. 기법을

134. 개선

136. Big

137. Data의

138. 개요

140. • 7 왜?

141. 2011년에

142. 새롭게

143. 생성,

144. 복제되는

145. 정보의

146. 양은

147. 1.8ZB(1조8000 억

148. GigaByte)를

149. 넘어선다.

150. 향후

151. 5년간

152. 9배

153. 증가

154. 예상

157. -

158. 1.8ZB는

159. 약

160. 4900만

161. 국민이

162. 18만년

163. 동안

164. 쉬지

165. 않고

166. 1분에

167. 트 위터에

168. 3개의

169. 글을

170. 게시하는

171. 양과

172. 같다

175. -

176. 2시간짜리

177. HD영화

178. 2000억개와

179. 맞먹는다.

182. -

183. 2011,

184. IDC

187. 이렇듯

188. 전세계

189. 디지털

190. 정보량은

191. 매

192. 2년마다

193. 2배씩

194. 증가

195. Big

196. Data의

197. 개요

198. KT종합기술원:

199. http://goo.gl/nVyre

201. • 8 어디에?

202. SKT

203. LTE

204. 가입자

205. 하루

206. 데이터

207. 1PB

208. 시대

211. -

212. 5메가바이트(MB)

213. 분량의

214. 노래

215. 2억

216. 1474만8364곡을

217. 내려받 거나

218. 영화

219. 153만3916편을

220. 내려받은

221. 셈.

225. -

226. http://goo.gl/v5bHN

229. -

230. 3000만

231. 가입자의

232. 분석

235. 미국,

236. 싱가포르

237. 등

238. 정부

239. 차원에서

240. 테러,

241. 범죄

242. 방지를

243. 위한

244. 빅데이 터

245. 수집/분석

246. 및

247. 예측

248. 체계를

249. 도입

250. 사례

252. EU는

253. 금융위기

254. 극복,

255. 사회

256. 복잡성

257. 이해를

258. 위해

259. Future

260. ICT

261. 프로 젝트

262. …⋯

263. Big

264. Data의

265. 개요

267. • 9 어떻게?

268. 빅

269. 데이터의

270. 데이터는

271. 다양한

272. 분석

273. 기술,

274. 인프라를

275. 기반으로

276. 데이 터

277. 안에서

278. 데이터를

279. 발견하는데

280. 중점.

281. Big

282. Data의

283. 개요

284. http://goo.gl/97PRT

286. • 10 데이터베이스의

287. 진화

288. 데이터들이

289. 빠르게

290. 증가하는

291. 만큼

292. 노이즈

293. 데이터라고

294. 불리우는

295. 쓸모

296. 없는

297. 데이터들도

298. 많이

299. 생성

300. 이런

301. 비정형화된

302. 노이즈

303. 데이터의

304. 중요성이

305. 증대,

306. 분석

307. 요구

308. Big

309. Data의

310. 개요

311. http://goo.gl/97PRT

313. • 11 데이터

314. 종류

315. 빅

316. 데이터의

317. 데이터는

318. 정형화

319. 정도에

320. 따라,

321. Big

322. Data의

323. 개요

324. KT종합기술원:

325. http://goo.gl/nVyre

327. • 12 Data

328. storage

329. 데이터

330. 저장

331. 비용의

332. 감소

333. Big

334. Data의

335. 개요

336. http://www.deepspar.com/wp-data-loss.html

338. • 13 분산컴퓨팅

339. 진화

340. Big

341. Data의

342. 개요

344. • 14 요소기술

345. 진화

346. 다중

347. 분산

348. 시스템

349. 변화

350. à

351. 가상화

352. à

353. 서비스화

354. On Demand Computing 사용자가

355. 필요로

356. 할

357. 때

358. 언제

359. 어디서지

360. 컴퓨팅

361. 및

362. 서비스를

363. 이용할

364. 수

365. 있는

366. 주문형

367. 기반

368. 컴퓨팅

369. Grid Computing 주어진

370. 문제를

371. 풀기

372. 위해서

373. 네트워크

374. 상의

375. 수

376. 많 은

377. 컴퓨터의

378. 자원을

379. 이용하는

380. 컴퓨팅.

381. 서로

382. 상이 한

383. 컴퓨터들이

384. 가상의

385. 대형

386. 컴퓨터를

387. 구헝à

388. 고도 의

389. 연산,

390. 대용량

391. 연산

392. 처리

393. (

394. SETI)

397. Virtualization 물리적

398. 시스템

399. 개체들을

400. 논리적

401. 하드웨어

402. 단위로

403. 분리.

404. 컴퓨팅

405. 자원의

406. 물리적

407. 특징을

408. 숨기고

409. 이들

410. 자원을

411. 사용하는

412. 다른

413. 시스템,

414. 애플리케이션

415. 및

416. 사용자에게

417. 단일한

418. 시스템

419. 이미지를

420. 제공하는

421. 개 념.

422. 또한

423. 단일

424. 자원이

425. 여러개의

426. 논리

427. 단위로

428. 혹은

429. 반대를

430. 포함한다.

431. à

432. LVM,

433. VMWare

434. Utility Computing 사용자가

435. 필요한

436. 만큼

437. 시스템

438. 자원을

439. 사용하고

440. 그

441. 사용량에

442. 따라

443. 비용을

444. 지불하는

445. 개념의

446. 컴퓨팅

448. à

449. SaaS;

450. Salesforce.com

451. Cloud Computing 가상화되고

452. Privisioning을

453. 포함해

454. 상업적으로

455. Utility-computing

456. 서비스를

457. 시행

459. à

460. E2C,

461. AppEngine,

462. Cloud

463. hosting

464. Big

465. Data의

466. 개요

468. • 15 Don’t

469. buy,

470. be

471. use!

472. HW,

473. SW의

474. 물리적

475. 제약을

476. 가상화로

477. 해결

478. http://www.slideshare.net/CiscoSP360/vmworld-2009-vmworld-data-center Big

479. Data의

480. 개요

482. • 16 BigData

483. story

484. Database,

485. Dataware

486. House,

487. Data

488. mart

489. 등의

490. 정적

491. 데이터

492. 기 반은

493. 대규모

494. 메모리,

495. SAN

496. Storage

497. 등을

498. 대용량

499. 파일시스템

500. 마운 트를

501. 기반으로

502. 고가용성을

503. 유지

505. -

506. 단,

507. scale-up

508. 기반의

509. 성능

510. 향상

512. 구글은

513. 검색기반

514. 광고에

515. Tera

516. -

517. Peta

518. 규모의

519. 데이터

520. 분석등을

521. 위핸

522. MapRedue

523. 라는

524. 모델을

525. 구글파일시스템(GFS)에서

526. 활용

527. 이런

528. MapReduce

529. 솔루션

530. 중에서

531. 오픈소스로

532. 주목

533. 받는

534. 기술이

535. J ava기반의

536. Apache

537. Hadoop

538. 이다.

539. Hadoop은

540. 야후

541. 더그커킹이

542. 개발/배포하다

543. 오픈소스화.

545. 페이스북,트위터,링크드인,

546. 이베이,

547. 아마존

548. 등

549. 이용

550. 국내

551. NexR이

552. hadoop

553. 및

554. 클라우드

555. 기반

556. 솔루션,

557. 이후

558. KT크라우 드웨어에서

559. R+Hive

560. 솔루션

561. RHive

562. 제공.

563. Big

564. Data의

565. 개요

566. 미래사회와 빅 데이터(Big Data)기술

567. • 17 BigData와

568. Cloud

574. http://www.citsoft.net/?page_id=336

579. Big

580. Data의

581. 개요

583. 1.

584. Big

585. Data의

586. 개요

588. 02.

589. Big

590. Data

591. 요소

592. 기술

594. • 19 V

595. V

596. V

597. 3대

598. 요소

599. Big

600. Data의

601. 개요

603. • 20 Volume

604. 웹

605. 로그,

606. 지메일

607. 서버

608. 등의

609. 데이터는

610. 수

611. PB

612. 이상

613. 트위터의

614. 메시징

615. 정보량

616. GB

617. 미만

618. 등…⋯

619. 안정적

620. 데이터와

621. 분석,

622. 처리에

623. 중점을

624. 두는

625. 데이터의

626. 차별이

627. 필요하다.

628. 물리적

629. 크기보다

630. 데이터의

631. 속성에

632. 따라

633. 중요성을

634. 판단하고

635. 처리하는데

636. 중점

638. Big

639. Data의

640. 개요

641. http://goo.gl/aXm24

643. • 21 Velocity

644. 데이터를

645. 처리하는

646. 속도

647. 배치

648. 분석

649. 실시간

650. 분석

651. 결과에

652. 대한

653. 가시화

654. 기능도

655. 중요

657. -

658. 단,

659. 가시화가

660. 처리를

661. 능가하면

662. 안됨

663. Big

664. Data의

665. 개요

667. • 22 Variety

668. 전통적

669. 데이터는

670. 기업내부의

671. ERP,

672. SCM,

673. MES,

674. CRM

675. 등은

676. RDBMS

677. 기반의

678. 정형화된

679. 데이터를

680. 구축해서

681. 운영하고

682. 있다.

683. 기업

684. 외부의

685. 데이터인

686. 마케팅,

687. 평판,

688. 기사

689. 등의

690. 데이터는

691. 데이터 웨어하우스를

692. 통해

693. 유지,

694. 분석했다.

695. 그러나

696. 인터넷

697. 시대에

698. 모든

699. 데이터를

700. 정형/반정형화

701. 해서

702. 이용하 는데

703. 한계에

704. 직면

705. Big

706. Data의

707. 개요

708. http://goo.gl/MTKST

710. • 23 http://goo.gl/80Hb4

711. d

712. Big

713. Data의

714. 개요

716. • 24 주요

717. 업체

718. Hortonworks

719. –

720. 야후분사,

721. Hadoop

722. 코어

723. 지원,

724. 아치텍쳐

725. Cloudera

726. –

727. 야후분사,

728. 기술지원,

729. 교육

730. 및

731. 배포판

732. 제공

733. IBM

734. –

735. Apache

736. hadoop

737. 기반

738. basic,

739. enterprise

740. 배포판

741. EMC

742. –

743. DW

744. Greenplum에

745. MapR

746. 통합해

747. 제공,

748. Apache

749. Hadoop

750. 기반

751. community

752. edition

753. Oracle

754. –

755. HW

756. +

757. Cloudera

758. DataStax

759. –

760. Hadoop

761. +

762. Hive

763. +

764. Cassandra

765. Datameer

766. –

767. Analytic

768. solution

769. Hadapt

770. –

771. Analytic

772. platform

773. HStreaming

774. –

775. Real

776. tie

777. processing

779. Big

780. Data의

781. 개요

783. • 25 솔루션간

784. 관계

785. Big

786. Data의

787. 개요

789. • 26 2.

790. BigData의

791. 분석기법

792. 01.

793. BigData

794. 처리

795. 02.

796. BigData

797. 분석기법

798. 03.

799. BigData

802. 1.

803. Big

804. Data의

805. 개요

807. 01.

808. Big

809. Data

810. 처리

812. • 28 빅데이터

813. 처리는

814. 빠른

815. 의사결정이

816. 상대적으로

817. 덜

818. 요구된다

819. 처리

820. 복잡도가

821. 높다

822. 처리할

823. 데이터

824. 양이

825. 방대하다

826. 비정형

827. 데이터

828. 비중이

829. 높다

830. 처리/분석

831. 유연성이

832. 높다

833. 동시처리량이

834. 낮다

835. BigData

836. 처리

837. 가트너

838. 11년

839. 보고서

841. • 29 처리

842. 방식

843. 다양한

844. 스토리지,

845. 컴퓨팅

846. 기술

847. 과

848. 분석

849. 기술을

850. 이용한다.

851. 그래서

852. 빅

853. 데이터

854. 기술은

855. 크게

856. 분석

857. 기법과

858. 분석

859. 인프라로

860. 구성

861. Big

862. Data의

863. 개요

864. KT경제연구소,

865. Big

866. Data,

867. 미래를

868. 여는

869. 비밀의

870. 열쇠

872. BigData의

873. 분석기법

875. 02.

876. 주요

877. 분석

878. 기법

880. • 31 TextMining

881. 텍스트마이닝은

882. 비/반정형

883. 텍스트

884. 데이터에서

885. 자연어처리 Natural

886. Language

887. Processing

888. 기반

889. 추출/가공을

890. 목적

892. -

893. 방대한

894. 텍스트

895. 내용

896. 안에서

897. 의미

898. 있는

899. 정보를

900. 추출해

901. 다른

902. 정보 와의

903. 연계성을

904. 파악해

905. 텍스트의

906. 분류화

908. -

909. 단순

910. 키워드

911. 검색

912. 이상의

913. 결과를

914. 얻는다.

916. 다양한

917. 텍스트마이닝

918. 기술

919. 요소

920. 참조

923. -

924. http://goo.gl/VeBGL

926. 예)

927. Hadoop의

928. Mahout

929. 서브

930. 시스템

932. BigData

933. 분석기법

935. • 32 Opinion

936. Mining

937. 텍스트마이닝

938. 분야로

939. 일명

940. 평판분석

941. Sentiment

942. Analysis

943. 소셜미디어

944. 등의

945. 정형/비정형

946. 텍스트의

947. 긍정Positive,

948. 부정 Negative,

949. 중립Neutral

950. 의

951. 선호도를

952. 판별

954. 예)

955. 소셜네트워크에서

956. 서비스/상품의

958. 시장규모

959. 예측,

960. 소비자의

961. 반응,

963. 입소문

964. 분석

965. 등을

966. 위해

967. 활용.

970. SNS에서

971. 오피니언마이닝

973. -

974. http://www.slideshare.net/hyummoki/sns-12894995

976. BigData

977. 분석기법

978. 연구데이터

979. 지원

980. /

981. 오피니언마이닝을

982. 위해

983. 데이터

984. 제공

985. http://lab.naver.com/research/

987. • 33 SNS

988. Analytics

989. 소셜네트워크의

990. 연결구조,

991. 강도

992. 등의

993. 분석은

994. 그래프

995. 이론을

996. 기반 으로

997. 한다.

999. 소셜네트워크

1000. 사용자의

1001. 명성,

1002. 영향력

1003. 등을

1004. 측정

1005. 가능하다.

1007. 소셜네트워크

1008. 내에서

1009. 입소문의

1011. 중심,

1012. 허브

1013. 역할

1014. 사용자

1015. 검색

1016. 이런

1017. 영향력있는

1018. Influencer의

1020. 모니터링,

1021. 관리를

1022. 목적

1025. 소셜

1026. 네트워크

1027. 분석

1028. 사례

1030. -

1031. http://www.slideshare.net/webscikorea/ss-2659452

1032. BigData

1033. 분석기법

1034. http://cyram.tistory.com/35

1036. • 34 Cluster

1037. Analysis

1038. 군집분석

1039. Cluster

1040. Analysis는

1041. 비슷한

1042. 개체를

1043. 합쳐가며

1044. 최종적으 로

1045. 유사

1046. 특성의

1047. 군Group을

1048. 발굴하는데

1049. 사용

1050. 예로

1051. 소셜네트워크에서

1052. 영화,

1053. 정치

1054. 등을

1055. 주로

1056. 이야기

1057. 하는

1058. 사용자 군,

1059. 자동차에

1060. 관심있는

1061. 군을

1062. 추출

1064. BigData

1065. 분석기법

1066. http://cyram.tistory.com/72

1068. BigData의

1069. 분석기법

1071. 03.

1072. 주요

1073. 분석

1074. Infra

1075. 기술

1077. BigData의

1078. 분석기법

1080. 03.

1081. 주요

1082. 분석

1083. Infra

1084. 기술

1086. • 37 Infra

1087. structure

1088. 테라,

1089. 페타,

1090. 제타

1091. 바이트

1092. 이상의

1093. 데이터를

1094. 저장,

1095. 분석을

1096. 위한

1097. 인프 라

1098. 기술

1099. 개발이

1100. 중요.

1101. BigData

1102. 분석기법

1103. http://goo.gl/VT5Z4

1105. • 38 Hadoop

1106. 테라,

1107. 페타,

1108. 제타

1109. 바이트

1110. 이상의

1111. 데이터를

1112. 저장,

1113. 분석을

1114. 위한

1115. 인프 라

1116. 기술

1117. 개발이

1118. 중요.

1119. Hadoop

1121. -

1122. 오픈소스

1123. 분산데이터

1124. 처리

1125. 기술

1127. -

1128. HDFS과

1129. Hbase,

1130. MapReduce

1131. 등

1133. 서브

1134. 시스템의

1135. 집합

1137. -

1138. HDFS,

1139. Hbase는

1140. 각각

1141. 구글

1142. GFS,

1144. Big

1145. Table

1146. 영향받아

1147. 비용효율적인

1149. x86

1150. 서버로

1151. 가상화된

1153. 대형스토리지

1154. 구성,

1155. 저장된

1157. 데이터셋을

1158. 간편하게

1159. 분산처리할

1161. 수

1162. 있는

1163. Java기반의

1164. MapReduce

1165. 프레임워크

1166. 제공

1167. BigData

1168. 분석기법

1170. • 39 R

1171. 오픈소스

1172. 프로젝트로

1173. 통계계산

1174. 및

1175. 시각화를

1176. 위한

1177. 언어

1178. 및

1179. 개발환 경

1181. -

1182. 통계기법,

1183. 모델링,

1184. 데이터마이닝

1185. 기법의

1186. 구현

1187. /

1188. 계산

1190. -

1191. 결과는

1192. 그래프

1193. 등의

1194. 시각화

1195. 기능

1197. -

1198. Java,

1199. C,

1200. Python과

1201. 연계

1203. -

1204. Windows,

1205. Mac,

1206. Linux,

1207. Unix

1208. 등

1209. 지원

1211. -

1212. 하둡

1213. 상에서

1214. 분산처리

1215. 지원

1216. 라이브러리를

1217. 통해서

1218. 구글,

1219. 페이스 북,

1220. 아마존

1221. 등

1222. 빅데이터

1223. 분석이

1224. 필요한

1225. 기업에서

1226. 사용

1229. -

1230. http://www.r-project.org/

1231. BigData

1232. 분석기법

1234. • 40 NoSQL

1235. Not-Only

1236. SQL,

1237. No

1238. SQL!

1239. 테이블

1240. 스키마가

1241. 고정되지

1242. 않고,

1243. 테이블

1244. 조인

1245. 없어

1246. 수평적

1247. 확장이

1248. 용이하다.

1250. RDB가

1251. 관계에

1252. 중점되어

1253. 일관성이

1254. 중요시

1255. 된다면,

1256. NoSQL은

1257. 분산

1258. 가능성에

1259. 중점을

1260. 두어

1261. 일관성과

1262. 유효성은

1263. 보장

1264. 않는다.

1265. 이것은

1266. 일관성,

1267. 유효성,

1268. 분산가능성

1269. 중

1270. 2가지만

1271. 보장한다는

1272. 분산

1273. 데이터베이스

1274. 시스템의

1275. CAP

1276. 이론을

1277. 따른

1278. 것.

1280. BigData

1281. 분석기법

1283. • 41 주요

1284. 아키텍처

1289. http://plurrimi.wordpress.com/2013/03/14/big-data- architecture/

1290. BigData

1291. 분석기법

1293. • 42 3.

1294. BigData의

1295. 활용

1296. 활용사례

1298. BigData의

1299. 활용

1301. 활용사례

1303. • 44 활용사례

1304. BigData의

1305. 활용

1306. 한국지역정보개발원,

1307. ‘빅

1308. 데이터

1309. 시대의

1310. 데이터

1311. 활용과

1312. 전략’

1314. • 45 교통

1315. 교통정보를

1316. 분산

1317. 시스템으로

1318. 수집

1319. BigData의

1320. 활용

1321. http://dblab.pusan.ac.kr/xe/collectstore

1323. • 46 saltlux.com

1324. 다양한

1325. 솔루션

BigData, Hadoop과 Node.js

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie BigData, Hadoop과 Node.js

Ähnlich wie BigData, Hadoop과 Node.js (20)

Mehr von 고포릿 default

Mehr von 고포릿 default (7)

BigData, Hadoop과 Node.js