Este documento presenta información sobre Big Data y Hadoop. Explica las características del Big Data como el gran volumen de datos, la variedad de fuentes y la necesidad de una plataforma unificada para el análisis. También describe Hadoop, su definición y ecosistema asociado. Finalmente, destaca la falta de personal especializado en Big Data y ofrece recomendaciones para tomar decisiones más rápidas.
Obtenga una visión unificada de los datos de su organización (MDM)
Big data y hadoop
1. 05/07/2013
1
Big Data y Hadoop
Agenda
1. Big Data
2. Hadoop
3. Personal especializado
4. Recomendaciones
Evolución de la Tecnología
BIG DATA
WEB
Petabytes
CRM
Terabytes
Gigabytes
ERP
Exabytes
Implementación de nuevas tecnologías
User Generated
Content
Mobile Web
SMS/MMS
Sentiment
External
Demographics
HD Video
Speech to Text
Product/
Service Logs
Social Network
Business Data
Feeds
User Click Stream
Web Logs
Offer History A/B Testing
Dynamic Pricing
Affiliate Networks
Search Marketing
Behavioral
Targeting
Dynamic Funnels
Payment
Record Support Contacts
Customer TouchesPurchase
Detail
Purchase
Record
Offer Details
Segmentation
2. 05/07/2013
2
Carácterísticas
Volumen
2 a 100 Teras
Velocidad
ETL < 1 hora
In Memory
Variedad
No Estructurada
Múltiples fuentes
Necesidad Plataforma Unificada
Análisis con SAS, R, SQL, Java, C++, Python Visualization con BI, Mobile, Excel
Descubrir y Explorar
Datos no estructurados
Análisis datos
estructurados
Capturar y Refinar datos
Red
Social
SMS Textos Audio Video Imágenes ERP Logs CRM
Visualizar y
Compartir
Información
Hadoop
3. 05/07/2013
3
Definicion
Apache Hadoop es un framework de software que
soporta aplicaciones distribuidas bajo una licencia
libre. Permite a las aplicaciones trabajar con miles
de nodos y petabytes de datos.
Hadoop se inspiró en los documentos Google para
MapReduce y Google File Systems (GFS).
Wikipedia
Diversas Fuentes de Informacion
• Perfiles redes sociales
• Influenciadores sociales
• Aplicaciones en la nube SaaS
• Informacion publica web
• Resultados Map Reduce
• Data warehouse appliances
• Bases de datos columnares NoSQL
• Video e imagines
• Logs y sensores
Granja de servidores
4. 05/07/2013
4
Ecosistema
HDFS
HBase
Pig, Hive,
Mahout
Map Reduce
Sqoop Flume
Resource
Management
& Workflow
Yarn
Zookeeper
Apache Pivotal HD Added Value
Configure,
Deploy,
Monitor,
Manage
Command
Center
Hadoop Virtualization (HVE)
Data Loader
Pivotal HD
Enterprise
Xtension
Framework
Catalog
Services
Query
Optimizer
Dynamic Pipelining
ANSI SQL + Analytics
HAWQ– Advanced
Database Services
Pivotal HD Architecture
Uso de Hadoop
Conseguir Personal
Especializado BIG DATA
5. 05/07/2013
5
Falta Personal Especializado
Las empresas van a tener que adecuar sus
organizaciones para poder manejar Big
Data:
• Quien debe ser el dueño de la Data ?
• Chief Analytics Officer ? Chief Big Data
Analytics Officer ?
• Las empresas van a necesitar areas de
Big Data Analytics
Falta Personal Especializado
• Demanda de Talento analítico
insatisfecha.
• Es difícil de ubicar Personal especializado
en Big Data, son muy escasos.
• Nuevos Talentos requeridos con nuevos
perfiles.
• Las Universidades tienen que crear
nuevas carreras que recien egresaran en
3 o 5 años.
Falta Personal Especializado
• Se van a generar más escuelas de
Analytics y Big Data.
• Se va a generar un nuevo ecosistema de
empresas que ofrecen estos servicios
como PowerData
• Data Scientist ? www.datascientist.net
6. 05/07/2013
6
Recomendaciones
• No es el GRANDE en que
se come al chico
• Es el RAPIDO el que se
come al lento
• Si Usted no puede tomar
decisiones con rápidez,
cualquier acción que tome
no alcanzará la velocidad
adecuada.
Jason Jennings y Laurence Haughton
Big or Fast ?
1. Pensar con Rápidez
1. Prever
2. Detectar tendencias
3. Filtrar ideas
4. Dejar que gane la mejor
2. Decisiones rápidas
1. Reglas de negocios
2. Eliminar burocracia
3. Desatarlo todo
4. Intercambiar carteras
Como ser más Rápidos
3. Salir al mercado con mayor
rápidez
1. Lanzar una Cruzada
2. Ventaja competitiva
3. Que sea sencillo
4. Intercambiar carteras
4. Mantener la velocidad
1. Cuentas claras
2. Ser implacable con los recursos
3. Ser flexible en las finanzas
4. No engañarse
Jason Jennings y Laurence Haughton