Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.












Data Team(3)
kyle
COO




x N
x N


Dependency 

(= )
사실	저	웹개발의	ㅇ도	모르는	
그저	데이터쟁이,,,
Code GUI( Click )


( )


(Desktop, Server,
Online) 3
MySQL

BigQuery
MySQL
MySQL

BigQuery
Elastic
Search
3,510 8,932 9,5...


https://www.slideshare.net/openstacks/bigquery-20170215-t
event_dim.date event_dim.name name firebase_event_origin
20170914 Save_Name firebase app
20170914 Save_Name bigquery app
201...
id diff_date
a 2018-03-02 2018-03-02 0
a 2018-03-02 2018-03-03 1
b 2018-01-05 2018-03-03 57
c 2018-04-02 2018-04-04 2
Google Cloud
BigQuery
Google Cloud
Dataflow
Query Data Load - Transform - Write


Data Load BigQuery Raw


Transform, Write...
Google Cloud
BigQuery
Google Cloud
Dataflow
Query Data Load - Transform - Write


Data Load BigQuery Raw


Transform, Write...
Google Cloud
BigQuery
Google Cloud
Dataflow
Query Data Load - Transform - Write


Data Load BigQuery Raw


Transform, Write...




Selfie 

!!
https://github.com/yahoo/open_nsfw
Good

Image








Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Little Big Data #1. 바닥부터 시작하는 데이터 인프라
Nächste SlideShare
Wird geladen in …5
×

Little Big Data #1. 바닥부터 시작하는 데이터 인프라

7.102 Aufrufe

Veröffentlicht am

Little Big Data #1 다양한 사람들의 데이터 사이언스 이야기에서 발표한 자료입니다

궁금한 것은 언제나 문의주세요 :)

행사 후기는 https://zzsza.github.io/etc/2018/04/21/little-big-data/ 에 있습니다!
(2018.5 내용 추가) 현재 회사가 없으니, 제게 관심있으신 분들도 연락 환영합니다 :)

Veröffentlicht in: Ingenieurwesen
  • Als Erste(r) kommentieren

Little Big Data #1. 바닥부터 시작하는 데이터 인프라

  1. 1. 
 
 

  2. 2. 
 
 
 Data Team(3) kyle COO
  3. 3.
  4. 4.
  5. 5. x N
  6. 6. x N Dependency (= )
  7. 7. 사실 저 웹개발의 ㅇ도 모르는 그저 데이터쟁이,,,
  8. 8. Code GUI( Click ) 
 ( ) (Desktop, Server, Online) 3 MySQL BigQuery MySQL MySQL BigQuery Elastic Search 3,510 8,932 9,520 18,842 - - E : 30,374 L : 8,857 K :9,208
  9. 9.
  10. 10. https://www.slideshare.net/openstacks/bigquery-20170215-t
  11. 11. event_dim.date event_dim.name name firebase_event_origin 20170914 Save_Name firebase app 20170914 Save_Name bigquery app 20170914 Save_Name firebase app 20170914 Save_Name seongyun app
  12. 12. id diff_date a 2018-03-02 2018-03-02 0 a 2018-03-02 2018-03-03 1 b 2018-01-05 2018-03-03 57 c 2018-04-02 2018-04-04 2
  13. 13. Google Cloud BigQuery Google Cloud Dataflow Query Data Load - Transform - Write Data Load BigQuery Raw Transform, Write ($ 5/1TB) vCPU, RAM, https://cloud.google.com/solutions/performing-etl-from-relational-database-into-bigquery
  14. 14. Google Cloud BigQuery Google Cloud Dataflow Query Data Load - Transform - Write Data Load BigQuery Raw Transform, Write ($5 / 1TB) vCPU, RAM, 

  15. 15. Google Cloud BigQuery Google Cloud Dataflow Query Data Load - Transform - Write Data Load BigQuery Raw Transform, Write ($5 / 1TB) vCPU, RAM,
  16. 16.
  17. 17.
  18. 18. Selfie !!
  19. 19. https://github.com/yahoo/open_nsfw
  20. 20. Good Image
  21. 21.
  22. 22.
  23. 23. 
 


×