Este documento describe el concepto de Big Data y su importancia como la nueva frontera de la revolución digital. Explica que la gran cantidad de datos generados por las personas, dispositivos y organizaciones crea nuevas oportunidades, pero también retos relacionados con la captura, almacenamiento, análisis y visualización de datos. Asimismo, presenta las nuevas tecnologías y arquitecturas necesarias para aprovechar el potencial del Big Data, y resalta la importancia de contar con el apoyo de empresas como IPM para iniciar con éxito
Presentación - Diseño de Algoritmos Paralelos - Grupo 2.pdf
J. Verdura. Big Data: la nueva frontera de la revolución digital. Semanainformatica.com 2014
1. Big Data : La nueva frontera
de la revolución digital
Josep Verdura
Consultor Senior
IPM
2. Perfil de la compañía IPM
Posicionamiento de IPM
Los clientes de las Organizaciones
Públicas y Privadas; y de las Empresas
nos reconocen como un proveedor líder
en el Data Center con una oferta de
soporte y servicios diferenciales
Misión IPM
Nuestra misión es “hacer que la tecnología
funcione”, suministrando soluciones
integradas para la permanente
actualización y transformación del Data
Center, consiguiendo los objetivos de
reducción de costes, mejoras de eficiencia
y flexibilidad
ITaaS
Cloud
Data
Center
Dinàmic
DC
Cloud
BIG
DATA
ITaaS
Somos una compañía
independiente
Con más de 30 años en el mercado,
proporcionando soluciones
estratégicas en el ámbito de las TI
3. Dimensión y cobertura
geográficaPresencia en Península Ibérica con más de 130 empleados y un volumen de
facturación superior a € 57 M.
0
10
20
30
40
50
60
2004 2005 2006 2007 2008 2009 2010 2011 2012 2013
Barcelona
Valencia
Bilbao
Coruña
Lisboa
Málaga
Madrid
4. Big Data : La nueva frontera
digital
• Una gran cantidad de datos están presentes hoy en día en los
sistemas informáticos
• El volumen de datos en gigabytes que actualmente generan las
organizaciones es enorme, cada vez mayor
• La información a gestionar en las organizaciones crece de forma
exponencial
• El tamaño del llamado universo digital se irá duplicando cada dos
años hasta 2020
• Según IDC, se prevé que al final de la década actual haya en el
mundo más de 40.000 exabytes de información, más de 5.200
gigabytes por cada habitante del planeta
• La información en el entorno personal y las redes sociales
introducen una ingente cantidad de datos
• Y el llamado internet de las cosas generara gran cantidad de datos
6. Big Data : Internet el
desencadenante
Internet de las Personas Internet de los sitios
Internet de las Cosas Internet de Información
http://www.....
(ej: 1.4B Personas en Facebook, 2014)
(ej; 15-50B Cosas en 2020) (ej; 30T Web Pages en Google Indexadas, 2013)
(ej; 2,07 Trillones - búsquedas Google 2013 )
7. Big Data, no es sólo muchos
datos
759 Million - Total number of websites on the Web
8. Big Data : ¿ para hacer, que ?
…Social Network Statistics Data
Total number of Facebook users worldwide 1.4 Billion
Total percentage of 18-24 year olds who already use social media 98%
Total percentage of people on Earth who use Facebook 11%
Total amount of minutes people spend on Facebook every month 700 billion
Average amount of time a person uses Facebook per month 15 hours 33 minutes
Total amount of people who access Facebook with phone 250 million
Total amount of websites that have integrated with Facebook 2.5 million
Total pieces of content shared on Facebook each month 70 billion
Total amount of unique YouTube users per month 490 million
Total amount of YouTube page views per month 92 billion
Total amount hours spent on YouTube per month 2.9 billion
Total amount of articles hosted by Wikipedia 17 million
Average pictures uploaded to Flickr per minute 3,000
Total amount of pictures hosted by Flickr 5 billion
Average amount of tweets per day 190 million
Percent of teenagers who log on to Facebook over 10 times per day 22%
Percent of Facebook users under the age of 10 25%
Percent of teens that view social networks as unsafe 59%
Percent of Americans who aren’t confident in their ability to use privacy settings 24%
9. Big Data : Los datos como
activo
• Identificar y aceptar a los datos como un activo del negocio
• Determinar que datos son un activo para el negocio
• Dar sentido a los datos para convertirlos en información útil
• Las fuentes de datos habitualmente son internas y externas
• Los datos estructurados y no estructurados puedan ser
analizados en un marco común desde la visión de negocio
• Construir un ecosistema de servicios de datos
• Disponer de capacidades de análisis de datos en tiempo real
• M2M facilita la captura y análisis masivo de datos
• Los datos son direccionables y gestionables
10. Big Data : Retos a tener
presentes
• Las dificultades para manejar los macro datos se centran en la
captura, almacenamiento, búsqueda, intercambio, análisis y
visualización de todo tipo de información
• Frente a este escenario, el almacenamiento y análisis de datos no
estructurados introducen nuevos grandes retos en el mundo de la
gestión empresarial
• Las organizaciones desean poder sacar partido a los macro datos
• Aparecen nuevas tecnologías que están disponibles para el análisis
de datos
• Se necesidad de especialistas con nuevas habilidades en el
tratamiento y análisis de datos
• Para ello se han creado nuevas arquitecturas hardware y software
especializadas en este ámbito denominado Big Data
11. Big Data : Procesos más inteligentes
al servicio de las personas
Energía
Inteligente
Movilidad
Inteligente
Dispositivos
Inteligentes
Máquinas
Inteligentes
Servicios de Salud
Inteligentes
Educación / Formación
Inteligente
Comerció/Publicidad
Inteligente
IPv6 html
www.
php
Cloud
Consumo / consumidores
Inteligentes
Mb
Net
12. Big Data : Nuevas habilidades
El analista de datos ( Data Scientist ) es la nueva figura que
aparece y necesitarán las organizaciones para la gestión y
análisis de datos
Open Source
MapReduce
13. Big Data : Aportación al
negocio/servicio
Crear valor
estratégico
Mejorar la
eficiencia
Escenarios de
aportación
en la
utilización
del Big Data
• Mejorar los procesos productivos
• Agiliza la toma decisiones
• Permite la estadarización de
métricas y reporting
• Facilita la automatización
• Reduce el coste de las operaciones
• Mejorar la prestación de servicios
• Nuevas funcionalidades
• Innovar en productos
• Crear nuevos servicios de valor
• Facilita la toma de decisiones
• Simplifica la comunicación
• Elimina la redundancia de
herramientas
• Permite efectuar analisis mas
frecuentes y ajustados
14. Big Data : ¿ Cómo empezar ?
Identificar donde
Big Data puede ser un
elemento de cambio
de ventaja
competitiva
Crear nuevos
escenarios con las
nuevos productos o
servicios
Fijar objetivos de
beneficio y hoja de
ruta del plan de
actuación
• Analizar y determinar
nuevas
funcionalidades junto
a los gestores de
negocio
• Definir que
capacidades son
necesarias ( IT y del
negocio )
• Aceptar el liderazgo y
esponsorización en el
negocio ( IT no lidera )
• Analizar mas de una
opción, procurar
empezar por la mas
sencilla
• Definir procesos de
análisis y métricas
conjuntamente los
especialistas del
negocio y de IT
• Seleccionar las
fuentes de datos
exahustívamente
• Determinar ROI de
las inversiones
• Establecer calendario
de ejecución
• Fijar los puntos de
control y los hitos
• Señalar los posibles
riesgos
• Disponer de planes
alternativos
• Seguir el camino Big
Data
15. Big Data : Nuevas tecnologías
Una nueva generación de tecnologías y arquitecturas
permite la captura, almacenamiento y análisis de datos a alta
velocidad, de forma eficiente en rendimiento y económica en costes
Aplicaciones
Analisis y
Descubrimirnto de datos
Organización y
gestión de datos
Infraestructura
Pivotal Data Science
Labs
Pivotal Data Science
Labs
16. BD : La arquitectura es importante
La lógica de las aplicaciones y los datos pueden estar en
diversos lugares y el análisis de los mismos puede efectuarse
en cualquier sitio
CPD
Empresa
Datos
Movilidad
Lógica de
Aplicaciones
Privado
COSTES
SERVICIO
Datos
Cloud
Publico
Cloud
17. Big Data : Nuevas arquitecturas
Pivotal Fast & Big Data Suite
SQL Services Operational
Intelligence
In-Memory Services
Run-Time
Applications
In-Memory Services
HDFS
Data Staging
Platform
Data Mgmt. Services
Stream
Ingestion
Streaming Services
GemFire XDGemFire XD GemFire XDGemFire XD GemFire XDGemFire XD
Una única plataforma para todas las
aplicaciones
18. Big Data : Nuevas arquitecturas
GemFire XDGemFire XD HAWQHAWQ
PXFPXF
Model
Refresh
Map-ReduceMap-Reduce
I/P & O/P
Formatter
I/P & O/P
Formatter
Native Persistence Command
Center
Command
Center
Model
Refresh
Online Apps
Analytic Apps
Sensor Data / Feeds
Pivotal HD
Enterprise
Pivotal HD
Enterprise
Shared Data
Re-evaluate
Model
Re-evaluate
Model
HDFSHDFS
Enterprise Real-Time Data Service
on Pivotal HD
Pivotal Big Data Suite
DATA INGESTION
19. Big Data : Soluciones Iaas IPM
VIRTUALIZATION
CISCO COMPUTE
CISCO NETWORK
EMC STORAGE
EMC BACKUP
Appl & Big Data
Virtualización
X86
Network
Storage
Backup
Optimización Wan
o Auto descubrimiento Automáticamente detecta nuevos nodos
o Sin parada de de servicio
o Expansión Dinámica Añadir Computación y Storage en minutos
o Arquitectura Scale-Out Completamente escalable y Federada
o Auto descubrimiento Automáticamente detecta nuevos nodos
o Sin parada de de servicio
o Expansión Dinámica Añadir Computación y Storage en minutos
o Arquitectura Scale-Out Completamente escalable y Federada
20. Big Data : Resumen ejecutivo
• Big Data permite crear valor para las personas y en las
organizaciones
• Tenga el convencimiento de que sus datos son su activo
• Identifique claramente donde el análisis de datos le aportara
valor y determine un plan de acción
• El análisis de datos es una cuestión científica
• Las nuevas arquitectutras facilitan poder atender los
requerimientos de infraestructura necesarios para el Big Data
• Permiten el procesamiento de enormes cantidades de datos en
grandes clusters de hardware barato (commodity clusters)
• Es posible escalar petabytes de datos en miles de nodos al
menor coste si se racionalizan los recursos
• Alíese y confíe en empresas consolidadas como IPM para
iniciar su experiencia en el Big Data