EMC Summer School on Big Data 2013 http://web.archive.org/web/20130627152404/http://emcbigdataschool.nce.ufrj.br/index.php/speakers-and-schedule/slides.html http://2014.emcbigdataschool.nce.ufrj.br/images/presentations/

1. Big Data:
Desafios e
Oportunidades
Profa. Elaine Tavares

2. Tomada de decisão
1 em 3 Gestores tomam decisão com
base em informações que não
confiam ou não têm
56% Se sentem sobrecarregados
com a quantidade de dados
que gerenciam
60% Acreditam que precisam
melhor capturar e entender
informações, rapidamente
83% Apontam que BI & Analytics
fazem parte de seus planos
para aumentar
competitividade

3. Sobrecarga
 As organizações estão nadando num mar de
dados crescente
 Volumoso e não estruturado
 Analisado de forma tradicional
 Exemplo:
 Dados de navegação na web
 Conteúdos de mídias sociais
 Imagens e vídeos
 Dados de voz (call center)
 Dados captados por dispositivos móveis
 Dados captados por sensores e etiquetas RFID

4. KPMG Survey
 85% de 144 CFOs e CIOs do survey “Going
beyond the data” disseram não ter como
analisar os dados que já têm coletados.
 54% disse que a principal barreira é identificar o
valor de coletar os dados.
 A maioria das organizações não consegue
entender perfeitamente como dados e análises
podem transformar seus negócios.

5. O que é
Big Data?

6. O que é Big Data?
 Não é só uma análise de dados avançada, com
mais insights.
 É muito mais que isto…

7. O que é Big Data?
 As empresas que aprendem a ter vantagens
com Big Data usam informação em tempo real
para entenderem seus ambientes de negócio,
num nível granular, para criarem novos produtos
e serviços e para responder as mudanças de
padrão que ocorrem.

8. O que é Big Data?
DEMIRKAN, et. al.
(2012) (Decision
Support Systems)
“Há o desafio de gerenciar grandes
quantidades de dados (Big Data), que
está ficando cada vez maior por
causa do armazenamento mais
barato e evolução dos dados digitais
e dispositivos de coleta de
informações, como telefones
celulares, laptops, e sensores.”
MANYKA, J; et. al.
(2011) (McKinsey
Global Institute)
“Big Data refere-se a conjuntos de
dados cujo tamanho é além da
capacidade de ferramentas de
software de banco de dados típicos
para capturar, armazenar, gerenciar e
analisar.”

9. O que é Big Data?
Gartner Group
(2012)
“Big Data, em geral, é definido como
ativos de alto volume, velocidade e
variedade de informação que exigem
custo-benefício, de formas inovadoras
de processamento de informações
para maior visibilidade e tomada de
decisão.”
International
Data Corporation
“as tecnologias de Big Data
descrevem uma nova geração de
tecnologias e arquiteturas projetadas
para extrair economicamente o valor
de volumes muito grandes e de uma
grande variedade de dados,
permitindo alta velocidade de
captura, descoberta, e/ou análise.”

10. O que é Big Data?
 Big Data é o conjunto de soluções tecnológicas
capaz de lidar com dados digitais em volume,
variedade e velocidade inéditos até hoje.
 Na prática, a tecnologia permite analisar
qualquer tipo de informação digital em tempo
real, sendo fundamental para a tomada de
decisões.
 Big Data = Transações + Interações +
Observação

11. Fases da análise

12. O que é Big Data?

13. Algumas soluções

14. Algumas soluções

15. Algumas soluções

16. Exemplo de aplicações
 Educação
 Saúde
 Marketing
 Logística
 Planejamento urbano
 Economia de energia
 Sistemas de risco

17. Objetivos imediatos
 Objetivos imediatos:
 Mais negócios
 Maior produtividade
 Novas oportunidades comerciais
 Big data irá gerar novas capacidades organizacionais
e valor

18. Razões
 De negócio
 Possibilita novos modelos de negócio
 Novos insights para a vantagem competitiva
 Técnicas
 A geração e estocagem dos dados cresce
exponencialmente
 Dados estão nos mais variados formatos, por toda
parte
 As soluções tradicionais não atendem às novas
demandas, considerando a complexidade
 Financeiras
 Custos continuam crescendo em relação ao
orçamento

19. Pensando diferente
 Organizações que mais se beneficiam do big
data se distanciam das análises tradicionais de
três formas:
 São atentas ao fluxo de dados, e não ao estoque;
 Usam data scientists e desenvolvedores de produtos
e processos, ao invés analistas de dados; e
 Mudaram a função de análise da TI para o core
business e as funções de operações e produção.

20. Fluxo, ao invés de estoque
 Há vários tipos de aplicações de Big Data:
 O que suporta processos de contato pessoal com
clientes, para fazer coisas como identificar fraudes
em tempo real
 O que envolve o monitoramento de processo de
forma contínua para detectar coisas como a
necessidade de serviço de manutenção numa
aeronave.
 O que explora as relações de rede, como amigos
sugeridos no LinkedIn e Facebook.
 Em todos estes casos, os dados são fluxos
contínuos.

21. Fluxo, ao invés de estoque
 Isto representa uma mudança substancial do
passado, quando os analistas utilizavam fontes
fixas de dados.
 Organizações precisam pensar em termos de
fluxos contínuos e processos.
 Dados processados ao longo dos eventos para
melhorar resultados.
 Capacidade essencial em saúde, seguros e etc.

22. Fluxo, ao invés de estoque
 Embora pequenos estoques de dados
localizados em warehouses ou data marts
continuem sendo úteis em big data, os modelos
de análise precisam processar dados contínuos,
com rapidez e precisão.

23. Exemplo: Cartão de Crédito
 No passado: pessoal de marketing direto
criavam modelos para escolher clientes
potenciais a partir de uma grande data
warehouse.
 Semanas para extrair dados, prepará-los, analisá-los
e agir.
 Insatisfeitos, empresas criaram bases e sistemas
que permitem a análise, seleção e esforço de
captação do cliente num só dia.
 Podem fazer ofertas personalizadas em
segundos e otimizar as ofertas ao longo do
tempo, ao monitorarem as respostas.

24. Fluxo, ao invés de estoque
 Em algumas situações, sempre que uma decisão
vai ser tomada, já outras informações
disponíveis, que tornam a decisão obsoleta.
 No monitoramento em tempo real, é necessário
um processo contínuo de análise e decisão.
 As mídias sociais por exemplo capturam tendências
e sentimentos de clientes sobre marcas, produtos e
empresas.
 No ambiente de Big Data, é importante analisar,
decidir e agir rapidamente e frequentemente.

25. Fluxo, ao invés de estoque
 É necessário se preparar para decisão e ação.
 Estabelecer processo para saber quando
decisão e ação serão necessárias.
 Ajuda a entender quem toma decisão, o
processo decisório e os critérios utilizados.

26. Data Scients
 Conhecimento vasto e competência de TI.
 As competências são diversas: programação,
habilidades matemáticas e estatísticas,
conhecimento do negócio, capacidade de se
comunicar com o tomador de decisão.
 Precisaram estar perto dos produtos e processos, o
que significa que a posição na estrutura
organizacional será diferente do passado.
 Em algumas organizações (redes sociais, jogos e
farmacêuticas), o data scientist integra o
desenvolvimento de novos produtos e serviços.

27. Movendo a análise da TI
para o negócio
 A função tradicional de TI era automação.
 Hoje as novas vantagens são baseadas na
descoberta e na agilidade.
 As análises, os algoritmos e as interfaces
precisam facilitar a interanção com que usa as
ferramentas.
 Será necessário treinar e recrutar pessoas com
novas habilidades, que consigam integrar estas
capacidades nos seus ambientes.

28. Mudança de paradigma
 O Big Data não envolve só mudança de
tecnologia, envolve adaptação de processos e
treinamentos relacionados à mudança de
gestão e análise de dados (MERITALK BIG DATA
EXCHANGE, 2013).
 A maior parte dos líderes não sabe lidar com
essa grande variedade e quantidade de
informações, e não tem conhecimento dos
benefícios que uma análise bem feita desses
dados poderia trazer ao seu negócio
(COMPUTERWORLD, 2012).

29. Dificuldades
 As organizações lutam para identificar onde e
como começar suas jornadas de Big Data.
 Há oportunidades para ajudar as organizações a:
 analisar os dados "obscuros" que elas já têm, mas
que atualmente estão enterrados em seus sistemas; e
 identificar e priorizar outras fontes de dados internas e
externas que poderiam ser úteis para otimizar os
processos de negócios existentes e descobrir novas
oportunidades de monetização.

30. Principais problemas
 Falta de cultura: a maioria das empresas não
fazem um bom trabalho com as informações
que já têm.
 Elas não sabem como controlá-los, analisá-los de
forma a aumentar a sua compreensão, e, em
seguida, mudar em resposta a novas idéias.
 As empresas não vão desenvolver essas
competências como uma mágica, só porque
investiram em ferramentas de análise.

31. Mudança cultural
 Adotar uma tomada de decisões baseada em
evidências é uma difícil mudança cultural:
 processos de trabalho devem ser redefinidos;
 os dados devem ser limpos; e
 devem ser estabelecidas regras de negócios para
orientar as pessoas no seu trabalho.
 Uma vez que mudança cultural ocorra,
normalmente não se volta atrás, e suas melhorias
operacionais não são facilmente replicadas por
concorrentes.

32. Desafios Técnicos
 Volume
 É a dimensão mais comum
 Dificuldade de armazenar, proteger e tornar
acessível com as ferramentas tradicionais.
 Variáveis envolvidas:
 Volume de informações
 Acessibilidade de informações
 Mudança do comportamento em função do
volume

33. Desafios Técnicos
 Variedade
 Grande quantidade de fontes e tipos de
informações
 Dados estruturados. não estruturados
 IDC (2011): quase 90% dos dados do universo digital
são considerados dados não-estruturados.
 Variáveis envolvidas:
 Variedade de fontes de informação
 Variedade de tipos de dados

34. Desafios Técnicos
 Velocidade
 Ameaça de um concorrente coletar e analisar dados
de consumidores antes (BARTON e COURT, 2012)
 Exigência de que a tomada de decisão seja próxima
do mercado, que é mais ágil e dinâmico (ERNEST &
YOUNG, 2012)
 Mídias sociais auxiliam na propagação mais rápida de
informações(BARTON e COURT, 2012)
 da organização ou dos próprios consumidores
 positivas ou negativas
 Variáveis envolvidas:
 Velocidade da chegada da informação
 Velocidade da tomada de decisão

35. Desafios Técnicos
 Valor
 Valor é o resultado agregado pela análise dos
dados coletados.
 Qualidade de dados exige exatidão, integridade,
consistência e relevância.
 Variáveis envolvidas:
 Resultado agregado a partir das análises das
informações
 Qualidade das informações
 Custo para ter dados de qualidade

36. Desafios Técnicos
 Veracidade
 Dados de alta qualidade são pré-requisito para
auxiliar as organizações (WEBER et. al., 2009).
 Têm relação com informações confiáveis, exatas,
íntegras, consistentes e relevantes (WEBER et. al.,
2009).
 Variáveis envolvidas:
 Qualidade da informação

37. Desafios
 Heterogeneidade, escala, pontualidade,
complexidade e privacidade são desafios do Big
Data.
 A integração dos dados é uma das maiores
fontes de valor.
 Oportunidade e o desafio de tentar criar dados de
forma a facilitar a ligação mais tarde entre eles.
 A apresentação dos resultados e sua
interpretação por especialistas não-técnicos é
fundamental para extrair conhecimento
acionável.

38. Desafios
 Pontualidade
 Muitas situações em que é preciso resultado em
tempo real.
 Ex.: fraude em cartão de crédito

39. Desafios
 Privacidade
 Problema técnico e sociológico
 Dados baseados em localização.
 A identidade do usuário, mesmo preservada, pode
ser buscada.

40. Desafios
 Colaboração Humana
 Muitas vezes é necessário especialistas de diversas
áreas para se resolver um problema.

41. Desafios
 Contratação de data scientists será a parte mais
fácil.
 O verdadeiro desafio será integrar esse talento
recém-adquirido em estruturas organizacionais
existentes e inventar novas estruturas que
permitirão que os cientistas de dados gerem
valor real para as suas organizações.

42. Vencendo obstáculos
 Apoio do alto executivo
 Motivar a equipe
 Painel para acompanhar projeto
 Comunicação

43. Recomendações
 Não temos ainda melhores práticas. Só práticas
ad hoc.
 Se guiar pela transparência e pelo atendimento
de alguns objetivos.
 Identificar o problema para depois resolver.
 Como transformar insights em resultados
tangíveis.

44. Recomendações
 Ter noção de onde quer chegar.
 Cuidado com custos escondidos, ainda mais em
processo de mudança.
 Mudança de paradigma de gestão.
 Os gerentes de topo e intermediários estão
prontos para delegar decisão.

45. Recomendações
 Comece com o problema, e não com os dados
 Compartilhe dados, para receber dados
 Alinhe interesses das partes
 Facilite a colaboração entre pessoas
 Pessoas devem fazer aquilo que tem de melhor

46. Condições necessárias
 Cabeça aberta e cultura
 Suporte gerencial e executivos
 Orçamento suficiente
 Melhores parceiros e fornecedores

47. Desafios
 Como você está lidando com dados estruturados e não
estruturados?
 Que dados são importantes para o seu negócio e como
aplicá-los?
 Você tem ideia da complexidade dos dados que te cercam
e sabe como se adaptar a isto?
 Você já pensou sobre os custos de gestão dos seus dados?
 Como está a segurança dos seus sistemas?
 Você está envolvendo as pessoas certas no projeto de Big
Data?
 Que competências pessoais você precisará ter e como
assegurá-las?

48. Big Data hoje é o que era a
Web em 1993.
Sabemos que será algo
grande, mas não sabemos
como…

49. Centro de Estudos em
Administração da
Informação
COPPEAD/UFRJ
Profa. Elaine Tavares
Tel.: (21) 3938-9859
elaine.tavares@coppead.ufrj.br