Review of API Strategy & Strata 2013 Conference

1. 빅데이터 및 API 기술 동향
Channy Yun
@channyun
Daum Developers Network & Affiliates
http://dna.daum.net

2. API Strategy & Practice 콘퍼런스 개요
• 웹 플랫폼 기업 중심 REST/JSON/OAuth 같은 Open API 기술이 보
편화된 후, 2~3년전부터 기업형 혹은 비 플랫폼 기업을 위한 API 솔
루션 및 효율적 운영 기술을 개발하는 스타트업들이 늘어나고 있음
.
– API Management(인증, 키관리, 문서화, 샘플코드)
– REST Application Frameworks
– OAuth, Proxy, Cache Server
– Data Analytics
– API Directory
• 구글, 아마존, 이베이, 페이스북, 트워터 등 주요 플랫폼 벤더가 참
여하지 않은 API 산업에 대한 첫 콘퍼런스임
– ProgrammableWeb, 3Scale, Layer 7, Mashery, Mashpe 같은 업체들
이 주축이 되어 개최
– 350여명 참가자 및 50여개 벤더 및 스타트업 참여
– http://apistrategyconference.com/
– http://eventifier.co/event/apistrat13/slides
2

3. 주요 참여 벤더
3

4. 주요 시사점 (1)
• (1) 구글, 아마존, 페북 같은 대형 업체는 없지만 API 산업이 작은 기
업들로 부터 bottom-up으로 견고해지고 있다. SOA가 그 반대로 실
패한 것과 대비. 사람을 위한 기술은 언제나 성공한다는 점...
• (2) API 333 목표 "3초만에 API 기능을 바로 이해시키고 30초만에
API 키를 발급 받아 3분안에 첫번째 호출을 할 수 있게 해야한다."
via @olensmar
• (3) API 설계 구현 운영 보안 같은 세션에 사람이 많았지만 소셜, 결
제 및 음악 같은 신규 API 시장에 대한 관심도 뜨거웠다. 소프트웨
어 기술 자체가 변하고 있다는 느낌...
• (4) Netflix의 독특한 API 사례 1) 초기 외부 제공이었으나 현재 99%
내부 사용 중 2) 800여개 단말에 API 제공 중 3) REST 방식에 문제
가 있어 경험 중심으로 바꾸는 중
4

5. Internal API의 중요성
5

6. One API-Multi Uses
6

7. 효율적 API 설계 및 개발 - Swagger
• Machine-Readable
– Auto documentation, health-check and sample code generator
– Distributed Design
– Make client libraries “your way”
http://developers.helloreverb.com/swagger/
7

8. 주요 시사점(2)
• (1) API를 무료로만 제공하는 시대는 지났다. 내외부 ROI 분석 통해
수익화 가능해졌다. API 수익 모델을 묻지 말고, 나의 수익 모델에
맞는 API가 무엇인지 고민해서 API안에 수익 모델을 같이 설계해야
...
• (2) 스타트업도 공룡 기업의 틈새를 API로 사업을 하면 네트워크 효
과를 얻을 수 있다. 금융 데이터 API 유료제공하는 xignite.com 이
대표적 사례. 한 VC는 자사 투자 업체의 80%가 API를 소유하고 있
다고.
• (3) 공공(정부) API 세션에는 사람이 몇 명 없었다. 정부 주도 모델
은 비지니스와 개발자 커뮤니티와 괴리가 있다는 것을 반증. 미 정
부 api.data.gov가 이제 나온걸 보면... 정부 주도의 한국과 역시 대
조적~
• (4) API 구조와 설계, 운영에 대한 세션에 참가자들이 몰리는 것으
로 보아 효율적 운영과 서비스에 관심이 많았음.
8

9. API 비즈니스 모델
(1) Free (2) Developer Pays (3) Developer Gets Paid (4) Indirect
Pay as You Go Affiliate Revenue Share Content Acquistion
Tiered Pricing CPA Content Syndication
Freemium CPC API as SaaS service
Unit-based Pricing Intenal API use case
Transaction Fee
9

10. 10

11. 11

12. O’reilly Strata 2013
• DW, BI 분야의 주요 콘퍼런스로서 2011년 부터 Hadoop 및 Big
Data 키워드를 통해 데이터 산업 분야 키워드를 리딩하고 있음
• 빅데이터 분야 주요 업체들 모두 참여
12

13. 올해 주요 키워드
• (1) Smart Data : 단순한 빅데이터가 아니라 의미를 뽑아 낼 수 있는
데이터를 찾아내는 것이 중요함
• (2) Real Time: 실시간으로 들어오는 대량 데이터에 대한 분석 기법
및 이를 더 빠르게 전달하는 방법에 대한 탐구
– Apache Drill, Storm
• (3) New Map/Reduce 기법
– Spark, Spark Streaming, Shark
• (4) Mobile: 모바일의 활동 및 데이터가 PC의 3배 이상이므로 이에
대한 데이터 분석 필요
• 주요 슬라이드 및 영상 제공 중
– http://strataconf.com/strata2013/public/schedule/proceedings
13

14. BigData Stack
Non-releational Relational
Anaylitcis Teradata IBM InfoSphere
Realtime Hadoop Visualize Aster HP Vertica
Horton EMC SAP Hana Oracle
Storm D3
Cloudera Greenplum SAP
Dremel Pentaho
MapR
BiqQuery Oracle IBMDB2 SQLServer
Management tools
NoSQL NewSQL
키/값 문서기반 Data as a Service Drizzle
Redis CouchDB AppEngine Amazon RDS MySQL Cluster
Membrain MongoDB SimpleDB SQL Azure NimbusDB
BerkeleyDB
빅테이블 그래프
ScaleBase
CouchBase HyperTable FlockDB
Neo4j VoltDB
Cassandra Hbase
© Inforchimps. 2012

15. Day 1 Review
• Beyond Hadoop
– Berkeley Stack
• Spark, Shark, and Spark Streaming.
• Iterative Job에 대한 성능 향상 (머신러닝/그래프 탐색)
• Interactive Data Mining에 대한 최적화 (R/Excel/Python 등)
• 스토리지 In/Out 대신 주요 데이터셋을 메모리에 올려서 Iternation에 최적
화 시킴
• SQL 기반의 Shark 도 동시 제공, Python,
• http://spark-project.org
– Related Works
• Impala (Cloudera), Apache Drill (MapR), Hawq (Greenplum, announced
today), Stinger (Hortonworks).
• Easy Analytics
– Python Data Science, with an interactive shell called iPython
Notebook

16. Day 2 Review
• Big Data for Game
– EA Games
– Real-time processing of big data because it's critical to monetization
of their games, now that games are free and sales come from in-
game ad placement and sales of virtual goods.
• Big Data for Mobile
– Increasing Mobile Big Data
16

17. Day 3 Review
• Intel, EMC- own Hadoop distribution.
– Everywhere Intel
• 분석 기술의 변화
– 1세대: desktop (or single server), R
– 2세대: Map Reduce (e.g. Mahout)
– 3세대: post-Map Reduce (e.g. Spark)
• "Excel Big Data" - Microsoft
– point-and-click querying of HDFS that translates into Map/Reduce.
• 주요 트렌드
– Hadoop distribution competition is hot and getting hotter
– Bring SQL to Big Data is gaining acceptance as the preferred way to
democratize Big Data.
17

18. • 국내 주요 참석 기업: KT Cloudware, Daum, NCSoft, SKPlanet 등
18

19. References
• Articles
– From Strata, the New Big Data on the Block, Steve Miller, Information
Management.
– Strata Keynoters show big data in action , FierceBigData.
– O'Reilly Strata: Busting Big Data Adoption Myths-Part 1, SQL Server Team.
– O'Reilly Strata: Busting Big Data Adoption Myths-Part 2, SQL Server Team
– Big Data insights from the Wikibon project:
– Contextual + Situational Awareness: The Next Big Thing in Big Data, Silicon
Angle
– Summary of My First Trip to Strata, Ryan Rosario, Byte Mining Blog.
– Strata Trip Report: Days 0 & 1, Michael Malak
– Strata Trip Report: Day 2, Michael Malak
– Strata Trip Report: Day 3, Michael Malak
• Video
– http://www.youtube.com/playlist?list=PL055Epbe6d5ZEYjq8K7CA37-1fEST-
yWe
19