Diese Präsentation wurde erfolgreich gemeldet.
Die SlideShare-Präsentation wird heruntergeladen. ×

Aula CRP-0420-2016-04: Big Data 1

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Wird geladen in …3
×

Hier ansehen

1 von 92 Anzeige
Anzeige

Weitere Verwandte Inhalte

Diashows für Sie (18)

Andere mochten auch (15)

Anzeige

Ähnlich wie Aula CRP-0420-2016-04: Big Data 1 (20)

Anzeige

Aktuellste (20)

Aula CRP-0420-2016-04: Big Data 1

  1. 1. COMUNICAÇÃO
 DIGITAL CRP-0420 AULA 04: BIG DATA
  2. 2. PROGRAMA: 4/8 - CONTEXTO 11/8 - PÓS-MODERNO E EMERGÊNCIA 18/8 - DEBATES 1 25/8 - BIG DATA 1/9 - DATA SCIENCE E LIVRE ARBÍTRIO 8/9 - SEMANA DA PÁTRIA 15/9 - INTELIGÊNCIA ARTIFICIAL 22/9 - VR, AR 29/9 - DEBATES 2 6/10 - IoT E SMART CITIES 13/10 - DATASFERA E DATACRACIA 20/10 - CIBERATIVISMO, HACK E CODE 27/10 - DEBATES 3 3/11 - EDUCAÇÃO 10/11 - INTERFACES 17/11 - UX/UI, VR, AR 24/11 - PECHA KUCHA 1 1/12 - PECHA KUCHA 2
  3. 3. BIG DATA
  4. 4. FUCKIN’ BIG DATA.
  5. 5. BIG FUCKIN’ DATA.
  6. 6. FERORMÔNIO TRANSAÇÕES ONLINE DEIXAM RASTRO OU DIGITAL
  7. 7. DADOS ESTRUTURADOS PARA OPERAÇÕES AUTOMÁTICAS, SÃO INFORMAÇÕES COM ALTO GRAU DE ORGANIZAÇÃO, DE FORMA QUE SUA INCLUSÃO EM UM BANCO DE DADOS É TRANSPARENTE E FACILMENTE ACESSÍVEL.
  8. 8. NÃO ESTRUTURADOS JÁ OS DADOS PARECEM FICÇÃO CIENTÍFICA: NÃO TEM UM MODELO DE REGISTRO, ESTÃO MISTURADOS OU NÃO ESTÃO ORGANIZADOS DA FORMA ESPERADA, SUA LEITURA TEM IRREGULARIDADES E AMBIGUIDADES QUE OS TORNAM DIFÍCIL DE ENTENDER POR VIAS TRADICIONAIS.
  9. 9. DADOS
 ESTRUTURADOS • 2.7 ZETABYTES NO MUNDO DIGITAL • FACEBOOK ARMAZENA E ANALISA MAIS DE 30 PETABYTES DE DADOS GERADOS POR USUÁRIOS. • AKAMAI (MÍDIA PUBLICITÁRIA) ANALISA 75 MILHÕES DE EVENTOS POR DIA PARA DESCOBRIR OS MELHORES LOCAIS PARA ANÚNCIOS. • A MAIOR BASE DE DADOS DA AT&T TEM UM BANCO DE DADOS DE 312 TERABYTES, COM 1,9 TRILHÕES DE ITENS, INCLUINDO REGISTROS TELEFÔNICOS.
  10. 10. DADOS
 NÃO ESTRUTURADOS • A CADA MINUTO, USUÁRIOS DO YOUTUBE AGREGAM CERCA DE 300H DE NOVOS VÍDEOS. • DROPBOX RECEBE DIARIAMENTE CERCA DE UM BILHÃO DE DOCUMENTOS. • ESTIMA-SE QUE A PRODUÇÃO DE DADOS EM 2020 SERÁ 43 VEZES MAIOR DO QUE ERA EM 2009. • A CADA SEGUNDO CERCA DE 6000 MENSAGENS ENVIADAS PARA O TWITTER, 500 MILHÕES/DIA. • A NSA ESTÁ CONSTRUINDO UM DATA CENTER EM UTAH COM CAPACIDADE ESTIMADA ENTRE 5 ZETTABYTES E "ALGUNS YOTTABYTES”
  11. 11. FACEBOOK: • 1,4 BILHÃO DE USUÁRIOS, 890 MILHÕES ATIVOS DIARIAMENTE. 6% DO TEMPO GASTO NA INTERNET. • 250 BILHÕES DE FOTOS, CRESCE A CERCA DE 350 MILHÕES POR DIA. • USUÁRIOS COMPARTILHAM 4,75 BILHÕES DE ITENS DE CONTEÚDO E 10 BILHÕES DE MENSAGENS/DIA. • EMPRESAS TEM CERCA DE 50 MILHÕES DE PÁGINAS ARMAZENADAS NO SERVIÇO DIGITAL. • 100 TERABYTES DE DADOS ENVIADOS DIARIAMENTE PARA O FACEBOOK. (DADOS DE 2015)
  12. 12. BASE DE DADOS: CPU DE COMPUTADOR VS. COMO FUNCIONA?
  13. 13. BASE DE DADOS: ALIMENTAÇÃO DE UMA 1ª FASE: FUNCIONÁRIOS 2ª FASE: USUÁRIOS 3ª FASE: MÁQUINAS
  14. 14. MUITOS DADOS E QUANDO SE TEM QUASE INSTANTÂNEOS?
  15. 15. YOUTUBE E FACEBOOK OU SEJA: COMO FAZEM ENTRE OUTROS? COMO EVITAR UMA SOBRECARGA
 DO SISTEMA?
  16. 16. TRANSFERIDOS OS DADOS NÃO SÃO PARA O PROCESSADOR PROCESSADORES DIVERSOS ANALISAM CONJUNTOS DE DADOS.
  17. 17. HADOOP TECNOLOGIAS DE BIG DATA: COMMODITY HARDWARE
 (QUALQUER LINUX BOX COM JVM BASTA) FLEXÍVEL, ESCALÁVEL E BARATA É O LEGO DOS DATA CENTERS
  18. 18. MAPREDUCE TECNOLOGIAS DE BIG DATA: TABELA DE REFERÊNCIA (INDICA O QUE CADA MÁQUINA FAZ COM OS DADOS) TODAS AS TRANSAÇÕES SÃO REGISTRADAS E ANALISADAS POR PROCESSADORES EM PARALELO
  19. 19. REVOLUCIONAM HADOOP E MAPREDUCE A ANÁLISE DE DADOS RÁPIDOS (SEM ENTRADA E SAÍDA) COMPATÍVEIS (DADOS BRUTOS, CRUS) ARMAZENÁVEIS EM MEMÓRIA FLASH TODAS AS TRANSAÇÕES SÃO REGISTRADAS E ANALISADAS.
  20. 20. BIG DATA: APRENDIZADO DE MÁQUINA
 E VISÃO COMPUTACIONAL
  21. 21. NOVO EMPIRISMO • TEORIA QUE DEFINE QUE O CONHECIMENTO VEM PRIMARIAMENTE DA EXPERIÊNCIA. • ELA ENFATIZA O PAPEL DA EVIDÊNCIA, DE PREFERÊNCIA SENSORIAL, NA FORMAÇÃO DAS IDEIAS SOBRE A NOÇÃO DE IDEIAS INATAS OU TRADIÇÕES. • É A BASE DO MÉTODO CIENTÍFICO
  22. 22. BIG DATA: PREVISÕES APLICA ANÁLISES ESTATÍSTICAS PARA ENORMES QUANTIDADES DE DADOS, A FIM DE INFERIR PROBABILIDADES: PROCURAR OS MELHORES SINAIS E PADRÕES À MEDIDA QUE MAIS DADOS SÃO ALIMENTADOS, O QUE LEVA A UMA NATURAL MELHORIA DE SEUS RESULTADOS AO LONGO DO TEMPO.
  23. 23. RECOMENDAÇÕES • AMAZON: LIVRO IDEAL • GOOGLE: WEBSITE MAIS RELEVANTE • FACEBOOK: CONTEÚDOS COM BASE NAS PREFERÊNCIAS DE SEUS USUÁRIOS • WAZE: INDICAR CAMINHOS • NETFLIX: NOVOS FILMES • AS MESMAS TECNOLOGIAS PODERÃO SER APLICADAS PARA DIAGNOSTICAR DOENÇAS E RECOMENDAR TRATAMENTOS.
  24. 24. SCHRÖDINGER: EFEITO OBSERVAÇÃO E INFLUÊNCIA.
  25. 25. PRECISO? BIG DATA É ISSO É RELEVANTE?
  26. 26. AMOSTRAGEM E ESCASSEZ • A AMOSTRAGEM É FRUTO DE ESCASSEZ DE INFORMAÇÃO, TÍPICA DE TEMPOS ANALÓGICOS. • AMOSTRAS MUITO MAIORES, NA ORDEM DE BILHÕES DE REGISTROS, OU ATÉ A BASE DE DADOS INTEIRA, É POSSÍVEL VER DETALHES QUE AMOSTRAS PEQUENAS NÃO AVALIARIAM SEM UMA GRANDE MARGEM DE ERRO. • BASES DE DADOS MAIORES DESOBRIGAM A BUSCA POR EXATIDÃO. QUANDO O VALOR É ENORME, NÃO É POSSÍVEL NEM RELEVANTE CONTÁ-LO. O RESULTADO SATISFATÓRIO É APROXIMADO.
  27. 27. BIG DATA E EXATIDÃO • PENSE NA QUANTIDADE DE AUTOMÓVEIS, CRIANÇAS OU ANIMAIS EM UMA CASA (VALORES PEQUENOS, DISCRETOS E IMPORTANTES) EM COMPARAÇÃO COM O NÚMERO DE GRÃOS DE AREIA, MOLÉCULAS OU ESTRELAS. • VOLUMES PEQUENOS PRECISAM SER COMPUTADOS COM EXATIDÃO. VALORES MUITO GRANDES PRECISAM DE UM SENSO DE DIREÇÃO GERAL, EM VEZ DE SUA ANÁLISE EM DETALHE. 
  28. 28. BIG DATA: DIREÇÃO GERAL O QUE SE PERDE EM PRECISÃO NO NÍVEL MICRO, GANHA-SE EM PERCEPÇÃO NO NÍVEL MACRO.
  29. 29. PRINCÍPIOS: IMPRECISÃO • AUMENTAR O VOLUME FACILITA A INEXATIDÃO.  • NÚMEROS ERRADOS E AMOSTRAS CORROMPIDAS SEMPRE PENETRARAM CONJUNTOS DE DADOS.  • O QUE NUNCA FOI CONSIDERADO, APESAR DE INEVITÁVEL, ERA APRENDER A VIVER COM ELES.  • AO PARTIR DE AMOSTRAS PEQUENAS, BUSCAVA- SE A MAIOR PRECISÃO POSSÍVEL. EM AMOSTRAGEM, A BUSCA POR EXATIDÃO ERA CRÍTICA, O QUE FAZIA COMPLETO SENTIDO. • UM NÚMERO LIMITADO DE DADOS PODERIA INCORRER NA AMPLIFICAÇÃO DOS ERROS E REDUZIR A PRECISÃO DOS RESULTADOS GLOBAIS.
  30. 30. PRINCÍPIOS: CORRELAÇÃO • CORRELAÇÕES QUANTIFICAM RELAÇÕES ESTATÍSTICAS ENTRE DOIS VALORES DE DADOS.  • CORRELAÇÃO FORTE: QUANDO UM DOS VALORES DE DADOS MUDA, HÁ GRANDE PROBABILIDADE DO OUTRO TAMBÉM MUDAR. • CORRELAÇÃO FRACA: QUANDO UM VALOR MUDA, O OUTRO POUCO SE ALTERA. 
 CORRELAÇÕES FORTES NÃO SÃO PERFEITAS.
 É POSSÍVEL QUE DOIS FATOS SE COMPORTEM
 DE FORMA SEMELHANTE POR COINCIDÊNCIA.
  31. 31. PRINCÍPIOS: REUTILIZAÇÃO • ÀS VEZES O VALOR DE UMA BASE DE DADOS SÓ PODE SER DESENCADEADO QUANDO COMBINADO COM OUTRA, GERANDO RELAÇÕES IMPENSADAS.  • OS RESULTADOS NÃO ERAM DESCOBERTOS ANTES PORQUE A AMOSTRA ESTUDADA ERA PEQUENA, O PERÍODO DE TEMPO COBERTO ERA CURTO, OU OS DADOS NÃO ERAM MEDIDOS, MAS RELATADOS. • COM BIG DATA A SOMA É MAIS VALIOSA DO QUE SEUS COMPONENTES INDIVIDUAIS.
  32. 32. QUATRO Vs: VOLUME O TAMANHO DA BASE DE DADOS DETERMINA O VALOR E POTENCIAL DOS DADOS EM QUESTÃO. EXEMPLOS: • TRANSAÇÕES ARMAZENADAS AO LONGO DOS ANOS • INTERAÇÕES DE MÍDIA SOCIAL • SENSORES E COMUNICAÇÃO MÁQUINA-A-MÁQUINA
 • SE NO PASSADO O VOLUME EXCESSIVO DE DADOS GERAVA UM PROBLEMA DE ARMAZENAMENTO, COM A DIMINUIÇÃO DOS CUSTOS OUTRAS QUESTÕES EMERGEM, COMO A RELEVÂNCIA DAS RELAÇÕES EM GRANDES VOLUMES DE DADOS.
  33. 33. QUATRO Vs: VELOCIDADE • NOVOS DADOS SÃO ACUMULADOS A UMA VELOCIDADE SEM PRECEDENTES, PRECISAM SER ADMINISTRADOS EM TEMPO HÁBIL. • SISTEMAS DE BIG DATA PRECISAM LIDAR COM ENXURRADAS DE DADOS EM TEMPO QUASE REAL;
  34. 34. QUATRO Vs:
 VARIEDADE • DADOS HOJE CHEGAM EM DIVERSOS TIPOS E FORMATOS. ESTRUTURADOS E NÃO- ESTRUTURADOS, EM DIVERSAS MÍDIAS, FORMATOS, TAMANHOS E FORMAS DE INTERCONEXÃO. • GERIR, FUNDIR E ADMINISTRAR DIFERENTES VARIEDADES DE DADOS É FUNDAMENTAL;
  35. 35. QUATRO Vs:
 VERACIDADE • A QUALIDADE DOS DADOS CAPTURADOS PODE VARIAR MUITO. • A PRECISÃO DA ANÁLISE DEPENDE DA QUALIDADE DOS DADOS DE ORIGEM.
  36. 36. MAIS Vs: • VARIABILIDADE - FLUXOS DE DADOS PODEM SER ALTAMENTE INCONSISTENTES, TANTO EM VOLUME, COM PICOS PERIÓDICOS, QUANTO EM QUALIDADE. • VALOR DA INFORMAÇÃO - INFORMAÇÕES PASSÍVEIS DE ANÁLISE E CONVERSÃO EM MATERIAL APLICÁVEL NA TOMADA DE DECISÃO. • VIABILIDADE - A GESTÃO DE DADOS PODE SE TORNAR UM PROCESSO MUITO COMPLEXO. OS DADOS TEM QUE SER CONECTADOS E CORRELACIONADOS, PARA QUE SEJA POSSÍVEL SE EXTRAIR A INFORMAÇÃO DESEJADA.
  37. 37. METADADOS• "DADOS SOBRE DADOS" PODEM SER DE DOIS TIPOS: • ESTRUTURAIS, DIZEM RESPEITO AO PROJETO E ESPECIFICAÇÕES DA ESTRUTURA DOS DADOS; E • DESCRITIVOS, QUE DIZEM RESPEITO AO CONTEÚDO DOS DADOS. • UMA DAS PRIMEIRAS APLICAÇÕES DE METADADOS FORAM FICHAS CATALOGRÁFICAS DE BIBLIOTECAS. À MEDIDA QUE A INFORMAÇÃO TORNOU-SE CADA VEZ MAIS DIGITAL, METADADOS TAMBÉM PASSARAM A SER USADOS PARA DESCREVER DADOS DIGITAIS. 
  38. 38. RADICAL. Precisamos de transparência Quero saber QUEM usa meus dados,
 COMO e QUANDO.
  39. 39. PROPRIEDADE COMO RESOLVER O PROBLEMA DA DOS DADOS? IDENTIFICÁ-LOS COMPLETAMENTE PODE SER UMA SOLUÇÃO?
  40. 40. BOLHA DE FILTRO. ISSO SEM LEVAR EM CONTA A
  41. 41. LIBERDADE E PRIVACIDADE? TUDO É MUITO LINDO, MAS COMO FICAM BIG DATA, PARA TER VALOR, PRECISA SER BEM ADMINISTRADA.  ELA NÃO SIGNIFICA INFINITUDE AUTOMÁTICA NEM SUBSTITUTO PARA A VISÃO. MUITO PELO CONTRÁRIO.
 MÁS ANÁLISES PODEM GERAR RESULTADOS CATASTRÓFICOS.
  42. 42. VANTAGENS
  43. 43. VANTAGENS • DETECÇÃO DE FRAUDES - ANALISA TRANSAÇÕES EM TEMPO REAL, IDENTIFICANDO PADRÕES DE COMPORTAMENTO ANÔMALO • ANÁLISE DE REGISTRO DE CHAMADAS DE SUPORTE TELEFÔNICO – REGISTROS E DADOS DE RASTREAMENTO PODEM SER BEM APROVEITADOS, IDENTIFICANDO OPORTUNIDADES DE OTIMIZAÇÃO DE DESEMPENHO INCREMENTAL; • SEGMENTAÇÃO – PARA ENTENDER MELHOR OS CLIENTES, COMPORTAMENTOS E PREFERÊNCIAS. AS EMPRESAS OS UTILIZAM PARA EXPANDIR BANCOS DE DADOS COM DADOS DE MÍDIA SOCIAL.
  44. 44. VANTAGENS • CRIAÇÃO DE MODELOS PREDITIVOS – GOVERNOS E EMPRESAS OTIMIZAM CAMPANHAS UTILIZANDO ANÁLISE DE BIG DATA; • COMPREENSÃO E OTIMIZAÇÃO DE PROCESSOS – OTIMIZAR VAREJO E DESCOBRIR TENDÊNCIAS, DE MARKETING A LOGÍSTICA • QUANTIFICAÇÃO PESSOAL – DE RELÓGIOS A PRIVADAS, SENSORES PODEM DAR A SEUS USUÁRIOS RICOS INSIGHTS. MAS O VALOR REAL ESTÁ NA ANÁLISE DOS DADOS COLETIVOS. SERVIÇOS DE RELACIONAMENTO ONLINE APLICAM FERRAMENTAS DE BIG DATA E ALGORITMOS PARA ENCONTRAR OS PARES MAIS ADEQUADOS.
  45. 45. DESVANTAGENS
  46. 46. http://www.google.com.br/url? a=i&rct=j&q=&esrc=s&source=images&cd=&docid=_drQP5Vo M&tbnid=4ioKWlxpf3DKaM:&ved=0CAUQjRw&url=http%3A% %2F981theriver.com%2Fhand-picked %2F&ei=4zbZU8i8JpHgsASRy4HgDA&bvm=bv. 1778758,d.cWc&psig=AFQjCNHdbi0P8BkMh3YNi9xamMBcS WA&ust=1406830683992231 CEGUEIRA SISTÊMICA: A ILUSÃO DA COMPREENSÃO. O que é correlação? O que é coincidência? O que é erro estatístico?
  47. 47. 99,9% NÃO É 100% NÚMEROS SÃO MAIS FALÍVEIS DO QUE APARENTAM. DADOS NÃO REPRESENTAM A VERDADE, SOMENTE UMA AMOSTRA ESTATÍSTICA.
  48. 48. MENSURAÇÃO E ANÁLISE DE DADOS SÃO ÓTIMAS. SEM ELAS É QUASE IMPOSSÍVEL PROGREDIR. MAS É PRECISO CAUTELA NO USO. A IGNORÂNCIA NUNCA É UMA BÊNÇÃO. OS BENEFÍCIOS DO CONHECIMENTO SÃO ÓBVIOS.
  49. 49. NÃO BASTA
 COLETAR OS DADOS DEVE-SE REFLETIR E PLANEJAR NOVAS METAS PERIODICAMENTE, IDENTIFICANDO PADRÕES DE COMPORTAMENTO NOCIVOS E RECORRENTES NA BASE DE DADOS E NO PESQUISADOR.
  50. 50. PROBLEMAS • REUTILIZAÇÃO DE DADOS • RECOMBINAÇÃO DE DADOS • PUNIÇÃO PREVENTIVA (PROFILING) • SEGREGAÇÃO E PRECONCEITO • PESSOAS VERSUS PREVISÕESDITADURA DE DADOS (FETICHE) • RISCOS DE PRIVACIDADE E SEGURANÇA • PRIVACIDADE VS. PRESTAÇÃO DE CONTAS • CORRELAÇÃO NÃO É CAUSALIDADE. 
  51. 51. DATACRACIA • BIG DATA PODE ÚTIL PARA A TOMADA DE DECISÕES RACIONAIS. USADA DE FORMA IMPRUDENTE, PODE SE TORNAR UM INSTRUMENTO DE REPRESSÃO, CONTROLE OU RETALIAÇÃO. • DECISÕES ESTRATÉGICAS SÃO TIRADAS DE DADOS VÁLIDOS EM UM CONTEXTO VÁLIDO. QUANDO ALGUMA DESSAS CONDIÇÕES NÃO É VERDADEIRA OU NÃO PODE SER VERIFICADA, O RESULTADO PODE SER, NO MÍNIMO, IRRELEVANTE. OU PIOR, PERIGOSO.
  52. 52. QUESTÃO ÉTICA COMO FICA A DE BIG DATA?
  53. 53. DADOS:
 FONTE DE RENDA QUANDO VOCÊ NÃO PAGA PELO PRODUTO VOCÊ É O PRODUTO. QUANDO PAGA TAMBÉM É.
  54. 54. DATA BROKERS FACEBOOK E GOOGLE SÃO BONZINHOS. SÃO OS CORRETORES DE DADOS QUE OS COLETAM DADOS DE VÁRIAS FONTES, EM GRANDE PARTE SEM CONHECIMENTO DE QUEM OS FORNECE.
  55. 55. DATA BROKERS COMBINAM DADOS ONLINE E OFF-LINE. • COMBINAM E ANALISAM DADOS PARA FAZER INFERÊNCIAS, INCLUINDO RELAÇÕES POTENCIALMENTE SENSÍVEIS. • ALEGAM TER: • INFORMAÇÕES SOBRE 1,4 BILHÃO DE TRANSAÇÕES REALIZADAS E MAIS DE 700 BILHÕES ELEMENTOS DE DADOS AGREGADOS • UM TRILHÃO DE DÓLARES EM TRANSAÇÕES DE CONSUMO; • TRÊS BILHÕES DE NOVOS REGISTROS POR MÊS A SEUS BANCOS DE DADOS; • CERCA DE 3000 REGISTROS DE DADOS PARA QUASE TODOS OS CONSUMIDORES DOS ESTADOS UNIDOS;
  56. 56. ACXIOM FATURAMENTO ENTRE 800 MILHÕES
 E 1,1 BILHÃO DE DÓLARES POR ANO,
 O QUE REPRESENTA MAIS DE 12% DO SETOR DE MARKETING E SERVIÇOS DIRETOS NOS EUA.
  57. 57. SERASA É UM DOS MAIORES CORRETORES DE DADOS FINANCEIROS NO BRASIL. COMPRADO PELA IRLANDESA EXPERIAN EM 2007. EM 2014, A RECEITA DA FILIAL BRASILEIRA US$ 819 MILHÕES, 17% DO FATURAMENTO GLOBAL DA EMPRESA.
  58. 58. DADOS COLETADOS • DADOS DE IDENTIFICAÇÃO: • NOME ANTERIOR, HISTÓRICO DE ENDEREÇO, TELEFONE, IDENTIFICAÇÃO GOVERNAMENTAL, DATA DE NASCIMENTO DE CADA MEMBRO DA FAMÍLIA • DADOS DEMOGRÁFICOS: • RAÇA E ETNIA, PAÍS DE ORIGEM, RELIGIÃO, LÍNGUA FALADA, PAI IDOSO, CRIANÇAS, ESCOLARIDADE, LAÇOS FAMILIARES, DEMOGRAFIA DOS MEMBROS DA FAMÍLIA EM CASA, NÚMERO DE SOBRENOMES EM CASA, CHEFE DE FAMÍLIA HISPÂNICO OU LATINO, EMPREGO E OCUPAÇÃO DE CADA MEMBRO DA FAMÍLIA, DURAÇÃO DA POSSE OU ALUGUEL DA RESIDÊNCIA, DISTRITO ELEITORAL, FAMÍLIAS SOMENTE COM PAI OU MÃE, FILIAÇÕES RELIGIOSAS OU ÉTNICAS • DADOS JURÍDICOS: • FALÊNCIAS, INFRAÇÕES PENAIS E CONDENAÇÕES, JULGAMENTOS, REGISTROS, LICENÇAS (CAÇA OU PROFISSIONAL), IDENTIFICAÇÃO PARTIDÁRIA; • DADOS DE TECNOLOGIA E MÍDIAS SOCIAIS: • COMPRAS DE ELETRÔNICOS, AMIGOS E CONEXÕES, TIPO DE CONEXÃO, PROVEDOR DE ACESSO, NÍVEL DE USO E EXPERIÊNCIA, PARTICIPAÇÃO EM REDES SOCIAIS, MEMBRO DE MAIS DE 5 REDES SOCIAIS, INFLUENCIADOR ON-LINE, SISTEMA OPERACIONAL, COMPRAS DE SOFTWARE, TIPO DE MÍDIA PUBLICADA
  59. 59. DADOS COLETADOS • DADOS RESIDENCIAIS E DE VIZINHANÇA: • MORADIA PÚBLICA OU GOVERNAMENTAL, TIPO DE HABITAÇÃO, AQUECIMENTO E REFRIGERAÇÃO, VALOR DA RESIDÊNCIA, HIPOTECA E JUROS, TAMANHO DA CASA, CRIMINALIDADE NO BAIRRO, NÚMERO DE CÔMODOS, ANO DE CONSTRUÇÃO • DADOS DE INTERESSE GERAL: • PREFERÊNCIAS DE VESTUÁRIO, PARTICIPAÇÃO EM EVENTOS ESPORTIVOS, DOAÇÕES, HÁBITO DE JOGO - CASINOS, LOTERIAS, ACONTECIMENTOS DA VIDA (APOSENTADORIA, CASAMENTO, GRAVIDEZ), ASSINATURAS DE REVISTAS, CANAIS DE TV ASSISTIDOS, ANIMAIS DE ESTIMAÇÃO, INCLINAÇÕES POLÍTICAS, CELEBRIDADES DE PREFERÊNCIA, GÊNEROS DE FILME E MÚSICA PREDILETOS, HOBBIES, ESTILO DE VIDA (MOTOCICLISMO, OUTDOOR / CAÇA E TIRO, NATIVO, NEW AGE / ORGÂNICO), MEMBRO DE MAIS DE 5 SITES DE COMPRAS, DADOS FINANCEIROS, INADIMPLÊNCIA, CATEGORIA DE CRÉDITO DO CARTÃO, DIFICULDADES FINANCEIRAS, NÍVEL DE RENDA, CRÉDITO ATIVO • DADOS DO VEÍCULO: • PREFERÊNCIAS DE MARCA, RENOVAÇÃO DO SEGURO, MARCA E MODELO, NÚMEROS DE IDENTIFICAÇÃO DE CADA VEÍCULO DE PROPRIEDADE, PROPENSÃO À COMPRA DE VEÍCULO NOVO OU USADO, PROPRIETÁRIO DE MOTOCICLETA, DATA DE AQUISIÇÃO, INFORMAÇÕES DE COMPRA, INTENÇÃO DE COMPRA
  60. 60. DADOS COLETADOS • DADOS DE VIAGENS: • PREÇO MAIS ALTO PAGO POR UMA VIAGEM, DATA DA ÚLTIMA VIAGEM, PASSAGEIRO FREQUENTE, PROPRIEDADE DE FÉRIAS, TIPO DE FÉRIAS (CASINO, TIME SHARE, CRUZEIROS), DESTINO PREFERIDO, COMPANHIA AÉREA PREFERIDA • DADOS DE COMPORTAMENTO DE COMPRA: • MONTANTE GASTO EM BENS, FORMA DE PAGAMENTO PREFERIDO, CANAL DE PREFERÊNCIA (INTERNET, CORREIO, TELEFONE), TIPO DE ENTRETENIMENTO COMPRADO, TIPO DE ALIMENTOS ADQUIRIDOS, MÉDIA DE DIAS ENTRE COMPRAS, ÚLTIMA COMPRA (ON-LINE E OFF-LINE), COMPRAS EM CATÁLOGOS POPULARES E ENCOMENDAS EM CATÁLOGOS DE ALTO PADRÃO, TAMANHOS DAS ROUPAS, VOLUME E TIPO DE LIVROS COMPRADOS • DADOS DE SAÚDE: • PROPENSÃO A BUSCA POR DADOS DE SAÚDE, DOENÇAS E PRESCRIÇÕES ONLINE, FUMANTE EM CASA, SUPRIMENTOS GERIÁTRICOS, USO DE LENTES CORRETIVAS, ALERGIAS, PLANO DE SAÚDE INDIVIDUAL, USUÁRIO DE SAÚDE PÚBLICA, MARCA MAIS USADA DE REMÉDIO, PERDA DE PESO E SUPLEMENTOS, COMPRAS EM TÓPICOS DE SAÚDE INCLUINDO: ALERGIAS, ARTRITE, COLESTEROL, DIABETES, DIETA, FISICULTURISMO, MEDICINA ALTERNATIVA, PRODUTOS DE BELEZA, REMÉDIOS HOMEOPÁTICOS, ORTOPEDIA ETC
  61. 61. FONTE: GOVERNO • A. GOVERNO FEDERAL • CENSO: DEMOGRAFIAS DE BAIRROS, COMO A ETNIA, IDADE, NÍVEL DE ESCOLARIDADE, COMPOSIÇÃO FAMILIAR, RENDA, OCUPAÇÕES, E O TEMPO DE DESLOCAMENTO. ESTRADAS, ENDEREÇOS, DISTRITOS ELEITORAIS E LIMITES DAS CIDADES, MUNICÍPIOS, SUBDIVISÕES, E DISTRITOS DE VOTO • ADMINISTRAÇÃO DE SEGURIDADE SOCIAL: NOMES DE CONSUMIDORES, REGISTROS FEDERAIS (EQUIVALENTES A CPFS) E DATAS DE ÓBITO • SERVIÇO POSTAL: ENDEREÇO E MUDANÇAS • FBI E SERVIÇO SECRETO: LISTAS DE TERRORISTAS E CRIMINOSOS PROCURADOS; • AGÊNCIAS FEDERAIS E INTERNACIONAIS: INDIVÍDUOS INELEGÍVEIS PARA RECEBER CONTRATOS COM O GOVERNO OU OUTROS BENEFÍCIOS • TRIBUNAIS FEDERAIS FORNECEM INFORMAÇÕES SOBRE FALÊNCIAS
  62. 62. FONTE: GOVERNO • B.  GOVERNOS ESTADUAIS E MUNICIPAIS: • LICENÇAS PROFISSIONAIS (PILOTOS, MÉDICOS, ADVOGADOS, ARQUITETOS) • LICENÇAS RECREATIVAS (CAÇA E PESCA) • IMÓVEIS E REGISTROS: IMPOSTOS, PATRIMÔNIO, DÉBITOS, HIPOTECAS, INFORMAÇÕES SOBRE PROPRIEDADES (ÁREA, CÔMODOS, BENEFÍCIOS) • INFORMAÇÕES ELEITORAIS (NOME, ENDEREÇO, E FILIAÇÃO PARTIDÁRIA); • REGISTROS: DE VEÍCULOS, JUDICIAIS, CRIMINAIS, AÇÕES CÍVEIS E JUÍZOS, CERTIDÕES DE NASCIMENTO, CASAMENTO, DIVÓRCIO E ÓBITO. • NA MAIOR PARTE DAS VEZES OS CORRETORES DE DADOS CONTRATAM PESSOAS PARA VISITAR REGISTROS LOCAIS E COMPILAR A INFORMAÇÃO. 
  63. 63. FONTE: COMERCIAL • DADOS ESPECÍFICOS DE TRANSAÇÕES DETALHADAS SOBRE COMPRAS DIRETO DE VAREJISTAS. POR EXEMPLO: • SAPATOS DE LUXO, ALIMENTOS NATURAIS, CREME DENTAL, ITENS RELACIONADOS A DEFICIÊNCIAS OU PROBLEMAS ORTOPÉDICOS), O VALOR DA COMPRA, A DATA E O TIPO DE PAGAMENTO UTILIZADO. VÁRIOS DOS CORRETORES DE DADOS TAMBÉM OBTER INFORMAÇÕES DE EDITORAS DE REVISTAS SOBRE OS TIPOS DE ASSINATURAS VENDIDAS. • OUTRAS FONTES: • LISTAS DE CLIENTES DE SITES DE VAREJO, NOTÍCIAS E VIAGENS, COMPRAS RELACIONADAS À SAÚDE • EMPRESAS DE TELEFONIA • EMPRESAS DE SERVIÇOS BANCÁRIOS • CONCESSIONÁRIAS DE VEÍCULOS E CORRETORES DE IMÓVEIS • GRANDES VAREJISTAS • PESQUISAS DE MARKETING, REGISTROS DE GARANTIA, CONCURSOS.
  64. 64. AXCIOM VS. NSA QUAL É PIOR?
  65. 65. VIESES E HEURÍSTICAS
  66. 66. DANIEL KAHNEMAN: • DOIS MODOS DE PENSAMENTO: • SUBCONSCIENTE, RÁPIDO, EMOCIONAL, AUTOMÁTICO, FREQUENTE, INSTINTIVO E ESTEREOTÍPICO; E 
 • CONSCIENTE, MAIS LENTO, DELIBERATIVO, CALCULADO, LÓGICO E POUCO FREQUENTE.
  67. 67. HEURÍSTICAS: ATALHOS MENTAIS INFERIMOS RESULTADOS A PARTIR
 DA EXPERIÊNCIA VIVIDA.
  68. 68. VIESES: ERROS NOS ATALHOS NEM SEMPRE
 O CAMINHO MAIS RÁPIDO É O MELHOR
  69. 69. VIESES: • ANCORAGEM • O CÉREBRO HUMANO BUSCA POR COMPARAÇÕES. PONTOS DE REFERÊNCIA PARA DEFINIR TAMANHOS, PESOS, PREÇOS, CONFORTO, VIABILIDADE ETC. PREÇOS MUITO ALTOS EM UM CARDÁPIO, PODEM LEVAR SEUS CLIENTES A CONSIDERAR OS VALORES MENORES COMO OPORTUNIDADES • DISPONIBILIDADE • JULGAMOS A PROBABILIDADE DE EVENTOS DE ACORDO COM A FACILIDADE DE IMAGINÁ-LOS."SE ALGO PODE SER IMAGINADO, DEVE SER IMPORTANTE." A PERCEPÇÃO DAS CONSEQUÊNCIAS ASSOCIADAS A UMA AÇÃO ESTÁ DIRETAMENTE RELACIONADA À PERCEPÇÃO DE SUA MAGNITUDE • SUBSTITUIÇÃO • SUBSTITUIR UMA IDEIA OU QUESTÃO DIFÍCIL POR OUTRA MAIS SIMPLES.  JULGAMENTO INTUITIVO AUTOMÁTICO, EM VEZ DO REFLEXIVO. • OTIMISMO E AVERSÃO À PERDA • O VIÉS OTIMISTA GERA A ILUSÃO DE CONTROLE, QUE PODE TER UMA UTILIDADE NA ADAPTAÇÃO DA ESPÉCIE AOS DIFERENTES AMBIENTES. O OTIMISMO PROTEGE O INDIVÍDUO DA AVERSÃO À PERDA, A TENDÊNCIA DE TEMER A PERDA MAIS DO QUE SE VALORIZA OS GANHOS.
  70. 70. VIESES: • ENQUADRAMENTO (FRAMING) • AS PESSOAS REAGEM A UMA ESCOLHA DE ACORDO COM O CONTEXTO EM QUE ELA É APRESENTADA • CUSTOS IRRECUPERÁVEIS • QUANDO UMA DESPESA JÁ FOI REALIZADA E NÃO PODERÁ SER RECUPERADA, A MAIORIA CONTINUA A INVESTIR EM VEZ DE RECONSIDERAR. NÃO É SURPREENDENTE QUE O MERCADO TENHA DIFICULDADES EM SE COMPORTAR DE MANEIRA QUE OS ECONOMISTAS CONSIDERARIAM "RACIONAL". • VIESES COGNITIVOS • “ATALHOS” DE PENSAMENTO, COMO EXCESSO DE CONFIANÇA; PESSIMISMO; EFEITO PLACEBO; RACIONALIZAÇÃO PÓS-COMPRA; PROCRASTINAÇÃO; RECIPROCIDADE; E ESTEREÓTIPOS.
  71. 71. VIESES COGNITIVOS: • APOIO À ESCOLHA • TENDÊNCIA A SE SENTIR BEM APÓS UMA TOMADA DE DECISÃO POR TER RESOLVIDO UM CONFLITO • AVESTRUZ • AVERSÃO A FATOS PERIGOSOS OU NEGATIVOS • CLUSTERING • BUSCAR PADRÕES EM EVENTOS ALEATÓRIOS • CONFIRMAÇÃO • ESCUTAR SOMENTE A INFORMAÇÃO QUE CONFIRMA CERTEZAS E PRECONCEITOS • CONFORMIDADE • ADAPTAÇÃO AO GRUPO • CONSERVADORISMO • DAR PREFERÊNCIA A FATOS ANTERIORES DO QUE A ELEMENTOS QUE OS CONTESTEM
  72. 72. VIESES COGNITIVOS: • DESCOMPASSO DE EMPATIA • QUEM ESTÁ EM UM ESTADO DE ESPÍRITO NÃO CONSEGUE ENTENDER QUEM ESTÁ EM OUTRO ESTADO DE ESPÍRITO • DISPONIBILIDADE HEURÍSTICA • SUPERESTIMAR A IMPORTÂNCIA DA INFORMAÇÃO DISPONÍVEL • EXPECTATIVA • INFLUENCIA INCONSCIENTEMENTE A PERCEPÇÃO DE UM RESULTADO • FREQUÊNCIA • PALAVRA, PESSOA OU OBJETO QUE SE ACABOU DE APRENDER PARECE ESTAR EM TODOS OS LUGARES • HALO • UM ATRIBUTO POSITIVO DE ALGUÉM É ASSOCIADO COM A PESSOA COMO UM TODO • MANADA • ADOTAR UMA CRENÇA COM BASE EM SUA POPULARIDADE
  73. 73. VIESES COGNITIVOS: • NEGAÇÃO DE DURAÇÃO • A DURAÇÃO DE UM EVENTO TRAUMÁTICO É MENOSPREZADA • NEGATIVIDADE • COLOCAR MAIS ÊNFASE EM EXPERIÊNCIAS NEGATIVAS DO QUE POSITIVASPERCEPÇÃO SELETIVA • EXPECTATIVAS INFLUENCIAM A VISÃO DE MUNDO • PONTO CEGO • DEIXAR DE RECONHECER VIESES COGNITIVOS • RESULTADO • JULGAR DECISÕES COM BASE EM SEUS RESULTADOS, MESMO QUE TENHAM SIDO EFEITO DE SORTE A PARTIR DE DECISÕES IMPRUDENTES, TÍPICOS DE HISTÓRIAS VISTAS EM RETROSPECTO • RETORNO IMEDIATO • PARECE MAIS INTERESSANTE DO QUE UM GANHO MAIOR NO FUTURO;
  74. 74. FIM
  75. 75. TAREFAS:
  76. 76. PALESTRAS TED: HANS ROSLING: LET MY DATASET CHANGE YOUR MINDSET DAVE DEBRONKART: MEET E-PATIENT DAVE ALESSANDRO ACQUISTI: WHAT WILL A FUTURE WITHOUT SECRETS LOOK LIKE? JOEL SELANIKIO: BIG-DATA REVOLUTION IN HEALTHCARE JESSICA DONOHUE: THE UP-SIDE OF DATA CHRISTOPHER SOGHOIAN: GOVERNMENT SURVEILLANCE — THIS IS JUST THE BEGINNING ANNE MILGRAM: WHY SMART STATISTICS ARE THE KEY TO FIGHTING CRIME MALTE SPITZ: YOUR PHONE COMPANY IS WATCHING
  77. 77. LEITURAS DATABASE NATION - CAPS 2, 8, 11 TAMING THE BIG DATA TIDAL WAVE - CAPS 3 E 4 DATACLYSM - CAPS 13, 14 SOCIAL PHYSICS - CAPS 1, 3, 10 BIGA DATA: A REVOLUTION - CAPS 2, 3 E 9
  78. 78. FICÇÃO THE TRUMAN SHOW MINORITY REPORT ENEMY OF THE STATE
  79. 79. DOCUMENTÁRIOS: HORIZON: THE AGE OF BIG DATA THE HUMAN FACE OF BIG DATA THE WALL STREET CODE
  80. 80. PENSADOR DO TEMA: DANIEL KAHNEMAN: BIT.LY/1L8WI1N

×