Pré-processamento em Big Data

•

2 gostaram•920 visualizações

Apresentação feita no PPGEE - Programa de Pós Graduação de Engenharia Elétrica da Universidade Federal do Pará Uma explanação geral sobre o funcionamento das principais ferramentas disponíveis no mercado para análise e pré-processamento de dados

Tecnologia

Pré-processamento:
ferramentas e aplicações
João Gabriel Lima
jgabriel.ufpa@gmail.com

Importância do Pré-Processamento
● Seleção de atributos
● Limpeza dos Dados
● Transformação
● Construção de atributos
● Discretização

Big Data 6 Vs
• Volume
• Variedade
• Velocidade
• Valor
• Variabilidade
• Veracidade
V
5 29/09/14

Open-Source
Desenvolvimento Acadêmico
Inovação
Novos Paradigmas
Critérios

Considerações Finais
●Hot Topic
●Muitas ferramentas e frameworks disponíveis
● Importante conhecer o domínio
●Cuidado! Não existe chave mestra!
● Potencial em aprendizagem de máquina

Mais conteúdo relacionado

Destaque

Manual cassandra NoSQLlignia

Apache Cassandra - Base de datosZteeven Zalinas

Fast Data:The Rebirth of Streaming AnalyticsTony Baer

Hadoop, SQL & NoSQL: No Longer an Either-or QuestionTony Baer

Instalacion,Configuracion y Creacion de Una Base de Datos en Apache Cassandra...Daniel Briian

Elytics - Construindo uma plataforma de big data Elo7

Apache cassandraMARTINILDEFONSOTORRES

Great Visualizations and Analytics using Business Intelligence Open SourceStratebi

Hadoop MapReduce Streaming and PipesHanborq Inc.

Manual apache cassandra y comandos en la shellKevin López

Up and running with pysparkKrishna Sangeeth KS

Building a Recommendation Engine Using Diverse Features by Divyanshu VatsSpark Summit

Desenvolvimento Mobile: Android e iOS caminhando juntosElo7

PyCon APAC 2016 KeynoteWes McKinney

Improving data interoperability in Python and RWes McKinney

A Spark Framework For < $100, < 1 Hour, Accurate Personalized DNA Analy...Spark Summit

Succinct Spark: Fast Interactive Queries on Compressed RDDs by Rachit AgarwalSpark Summit

Introduccion a CassandraStratebi

Video Games at Scale: Improving the gaming experience with Apache SparkSpark Summit

The How and Why of Fast Data Analytics with Apache SparkLegacy Typesafe (now Lightbend)

Destaque (20)

Manual cassandra NoSQL

Apache Cassandra - Base de datos

Fast Data:The Rebirth of Streaming Analytics

Hadoop, SQL & NoSQL: No Longer an Either-or Question

Instalacion,Configuracion y Creacion de Una Base de Datos en Apache Cassandra...

Elytics - Construindo uma plataforma de big data

Apache cassandra

Great Visualizations and Analytics using Business Intelligence Open Source

Hadoop MapReduce Streaming and Pipes

Manual apache cassandra y comandos en la shell

Up and running with pyspark

Building a Recommendation Engine Using Diverse Features by Divyanshu Vats

Desenvolvimento Mobile: Android e iOS caminhando juntos

PyCon APAC 2016 Keynote

Improving data interoperability in Python and R

A Spark Framework For < $100, < 1 Hour, Accurate Personalized DNA Analy...

Succinct Spark: Fast Interactive Queries on Compressed RDDs by Rachit Agarwal

Introduccion a Cassandra

Video Games at Scale: Improving the gaming experience with Apache Spark

The How and Why of Fast Data Analytics with Apache Spark

Semelhante a Pré-processamento em Big Data

Cientista de Dados – Dominando o Big Data com Software Livre Ambiente Livre

PostgreSQL em projetos de Business Analytics e Big Data Analytics com PentahoAmbiente Livre

Treinamento hadoop - dia4Alexandre Uehara

Big Data, JVM e Redes SociaisJosé Renato Pequeno

Big Data Analytics - Do MapReduce ao dashboard com Hadoop e PentahoAmbiente Livre

Bigdata na pratica: Resolvendo problemas de performance com hadooptdc-globalcode

Palestra: Cientista de Dados – Dominando o Big Data com Software LivreAmbiente Livre

Palestra Introdução a Big DataAmtera Semantic Systems

Ferramentas e Aplicações em Big DataAlvaro Viebrantz

XXXI JAI - Apache Hadoop: conceitos teóricos e práticos, evolução e novas pos...Ivanilton Polato

[DTC21] Lucas Gomes - Do 0 ao 100 no Big DataDeep Tech Brasil

OS CINCO Vs DO BIG DATALeonardo Dias

Modelos de computação distribuída no HadoopBig Data Week São Paulo

Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...Ambiente Livre

Treinamento hadoop - dia3Alexandre Uehara

Indústria 4.0: como a IoT e Big Data mudarão a forma como lidamos com a tecno...Vinícius Barros

Rails Summit 2008 - Web Operations - George Guimarães - PagestackerGeorge Guimarães

Big data para programadores convencionaisRoberto Oliveira

Xen e CoreOS: solução para data mining com NodeJS e ElasticSearchBernardo Donadio

Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDAnitaibezerra

Semelhante a Pré-processamento em Big Data (20)

Cientista de Dados – Dominando o Big Data com Software Livre

PostgreSQL em projetos de Business Analytics e Big Data Analytics com Pentaho

Treinamento hadoop - dia4

Big Data, JVM e Redes Sociais

Big Data Analytics - Do MapReduce ao dashboard com Hadoop e Pentaho

Bigdata na pratica: Resolvendo problemas de performance com hadoop

Palestra: Cientista de Dados – Dominando o Big Data com Software Livre

Palestra Introdução a Big Data

Ferramentas e Aplicações em Big Data

XXXI JAI - Apache Hadoop: conceitos teóricos e práticos, evolução e novas pos...

[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data

OS CINCO Vs DO BIG DATA

Modelos de computação distribuída no Hadoop

Pentaho com Hadoop – O Canivete Suíço do Cientistas de Dados para Big Data An...

Treinamento hadoop - dia3

Indústria 4.0: como a IoT e Big Data mudarão a forma como lidamos com a tecno...

Rails Summit 2008 - Web Operations - George Guimarães - Pagestacker

Big data para programadores convencionais

Xen e CoreOS: solução para data mining com NodeJS e ElasticSearch

Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDA

Mais de João Gabriel Lima

Cooking with dataJoão Gabriel Lima

Deep marketing - Indoor Customer SegmentationJoão Gabriel Lima

Aplicações de Alto Desempenho com JHipster Full StackJoão Gabriel Lima

Realidade aumentada com react native e ARKitJoão Gabriel Lima

JS - IAJoão Gabriel Lima

Big data e Inteligência ArtificialJoão Gabriel Lima

Mineração de Dados no Weka - Regressão LinearJoão Gabriel Lima

Segurança na Internet - Estudos de casoJoão Gabriel Lima

Segurança na Internet - Google HackingJoão Gabriel Lima

Segurança na Internet - Conceitos fundamentaisJoão Gabriel Lima

Web Machine LearningJoão Gabriel Lima

Mineração de Dados com RapidMiner - Um Estudo de caso sobre o Churn Rate em...João Gabriel Lima

Mineração de dados com RapidMiner + WEKA - ClusterizaçãoJoão Gabriel Lima

Mineração de dados na prática com RapidMiner e WekaJoão Gabriel Lima

Visualizacao de dados - Come to the dark sideJoão Gabriel Lima

REST x SOAP : Qual abordagem escolher?João Gabriel Lima

Game of data - Predição e Análise da série Game Of Thrones a partir do uso de...João Gabriel Lima

E-trânsito cidadão - IPVA em suas mãosJoão Gabriel Lima

[Estácio - IESAM] Automatizando Tarefas com Gulp.jsJoão Gabriel Lima

Hackeando a Internet das Coisas com JavascriptJoão Gabriel Lima

Mais de João Gabriel Lima (20)

Cooking with data

Deep marketing - Indoor Customer Segmentation

Aplicações de Alto Desempenho com JHipster Full Stack

Realidade aumentada com react native e ARKit

JS - IA

Big data e Inteligência Artificial

Mineração de Dados no Weka - Regressão Linear

Segurança na Internet - Estudos de caso

Segurança na Internet - Google Hacking

Segurança na Internet - Conceitos fundamentais

Web Machine Learning

Mineração de Dados com RapidMiner - Um Estudo de caso sobre o Churn Rate em...

Mineração de dados com RapidMiner + WEKA - Clusterização

Mineração de dados na prática com RapidMiner e Weka

Visualizacao de dados - Come to the dark side

REST x SOAP : Qual abordagem escolher?

Game of data - Predição e Análise da série Game Of Thrones a partir do uso de...

E-trânsito cidadão - IPVA em suas mãos

[Estácio - IESAM] Automatizando Tarefas com Gulp.js

Hackeando a Internet das Coisas com Javascript