SlideShare ist ein Scribd-Unternehmen logo
1 von 57
Downloaden Sie, um offline zu lesen
Globalcode – Open4education
Trilha BigData
Conceitos e Práticas no
Desenvolvimento de Sistemas
Preditivos
Rodrigo de Moraes e Wagner Luiz Cambruzzi
Mestres em Computação Aplicada
Globalcode – Open4education
Conceitos
Sistemas Preditivos
Globalcode – Open4education
Sistemas Preditivos
O que é:
Um sistema preditivo é um sistema capaz de analisar
dados e definir um modelo matemático da relação
existente entre os dados de fatos prévios a
determinados acontecimentos.
Como:
Através da aplicação de técnicas de Mineração de
Dados e de Aprendizado de Máquina.
Globalcode – Open4education
Mineração de Dados
Processo de Descoberta do Conhecimento
Processo VS. Etapa
Objetivo: Extração de conhecimento não trivial através
da análise e processamento de dados referentes a fatos
ocorridos no passado
Globalcode – Open4education
Mineração de Dados
Tipos de aprendizado de máquina
Supervisionado
Não supervisionado
Globalcode – Open4education
Mineração de Dados
Tipos de aprendizado de máquina
Supervisionado
Aprendizado sobre dados históricos cujo o resultado de
interesse é conhecido
Não supervisionado
Identificação de padrões semelhantes existentes nos
dados, sem informação prévia de qualquer relação entre
eles
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Objetivo: Estimar o valor de alguma variável baseado na
observação de outras variáveis
Exemplo: Estimar o valor de mercado de uma casa baseado em
sua metragem, número de quartos, número de banheiros e etc...
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Objetivo: Encontrar agrupamentos de amostras de dados com
base na semelhança dos valores de variáveis
Exemplo: Identificação de diferentes perfis de consumidores,
Categorias de documentos textuais...
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Objetivo: Identificação de concorrência de valores de variáveis
Exemplo: Correlação entre itens em compras, identificação de
padrões de escrita...
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias
Objetivo: Identificação de situações/comportamentos fora do
padrão
Exemplo: Fraudes em movimentações bancárias / utilização de
cartões de créditos
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias
Classificação / Predição
Globalcode – Open4education
Mineração de Dados
Principais objetivos de técnicas de Mineração de
Dados
Regressão / Estimação
Agrupamento / Clustering
Regras de Associação
Detecção de anomalias
Classificação/Predição
Objetivo: Identificação de padrões nos dados capazes de
distinguir diferentes grupos de amostras
Exemplo: Classificação de documentos, Classificação de
polaridade de sentimentos, sucesso ou insucesso acadêmico
Globalcode – Open4education
Classificadores
Naïve Bayes
Fonte: https://computersciencesource.wordpress.com/2010/01/28/year-2-machine-learning-naive-bayes-classifier/
Globalcode – Open4education
Classificadores
Decision Trees (Árvores de Decisão)
Globalcode – Open4education
Classificadores
Decision Trees
Fonte: http://web.tecnico.ulisboa.pt/ana.freitas/bioinformatics.ath.cx/bioinformatics.ath.cx/indexf23d.html?id=199
Globalcode – Open4education
Support Vector Machines (SVM)
Classificadores
Globalcode – Open4education
Support Vector Machines (SVM)
Classificadores
Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html
Globalcode – Open4education
Support Vector Machines (SVM)
Fonte: https://www.youtube.com/watch?v=3liCbRZPrZA
Classificadores
Globalcode – Open4education
Support Vector Machines (SVM)
Classificadores
Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html
Globalcode – Open4education
Classificadores
Artificial Neural Networks (ANNs)
Globalcode – Open4education
Classificadores
Artificial Neural Networks (ANNs)
Globalcode – Open4education
Séries temporais
Dados que variam “continuamente” no tempo e
que cada um dos valores apresenta certa
dependência em relação aos valores do passado
Exemplos:
Mercado Financeiro
Consumo de energia elétrica
Temperatura
Umidade
Globalcode – Open4education
Séries temporais
Globalcode – Open4education
Os problemas dos dados
Formato do dado / Armazenamento / Integridade
Compatibilidade de histórico
Alterações e migrações de sistemas
Metodologia de definição de variáveis
Existências de poucos dados (amostras) sobre o
problema
Existência de dados supervisionados
Critérios de definição de classes
Desbalanceamento entre classes
Globalcode – Open4education
Estudo de caso de um
sistema preditivo
Globalcode – Open4education
Contexto
Globalcode – Open4education
Perfil da Empresa
• 28 anos de atuação;
• Especialista em Sistema de Gestão Educacional;
• Atuação exclusiva no segmento educacional;
• 700+ clientes no Brasil;
• 130+ colaboradores.
Globalcode – Open4education
Como nasceu o projeto?
• Unidade de Novos Negócios;
• Problema da evasão em IES;
• Projeto RHAE do CNPQ;
• Grupo de Pesquisa e Mestrados;
• Validação da Ideia;
• Produto.
Globalcode – Open4education
O que é o GVwise?
Uma solução que atua na gestão da
retenção de alunos.
Globalcode – Open4education
Dados?
Eventos
Professores e
Tutores
AdministrativoCoordenações
2. Instituição de Ensino
Ambiente Virtual
de Aprendizagem
3. Dados
Atendimento
1. Estudantes
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
1 – Mapeamento de indicadores
AVEA, ERP, CRM, ...
Indicadores
Exploração dos dados
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
2 - Geração e validação de padrões
Definição de perfis
Indicadores de estudantes
(histórico)
Aprovados
Reprovados
Evadidos
Identificação dos grupos deinteresse
Mineração dedados e
identificação depadrões
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
3 - Predição e emissão de alertas
Módulo de
encaminhamentos
Estudantes classificados conforme o
risco
Classificação ou prediçãoIndicadores de estudantes
(atuais)
Central de Atendimento
Ações automáticas
Equipe de Retenção
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
4 - Avaliação e realização de ações
Analise dos estudantes em
risco Realização deações
Aumento da Permanência
Gerência do Processo
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?
Globalcode – Open4education
1 - Mapeamento de
indicadores
2 - Geração e validação de
padrões
3 - Predição e emissão de
alertas
4 - Avaliação e realização
de ações
Como funciona?
Globalcode – Open4education
Como entregamos?
 Interface de acompanhamento de uma turma
Globalcode – Open4education
Como entregamos?
 Interface de acompanhamento de uma turma
Globalcode – Open4education
 Interface de indicadores de um estudante
Como entregamos?
Globalcode – Open4education
 Interface de acompanhamento gráfico de indicadores do estudante
Como entregamos?
Globalcode – Open4education
 Cadastro de ações
Como entregamos?
Globalcode – Open4education
 Histórico de ações
Como entregamos?
Globalcode – Open4education
Resultados de Predição
0.00%
20.00%
40.00%
60.00%
80.00%
100.00%
Módulo 2 Módulo 3 Módulo 4 Módulo 5 Módulo 6 Módulo 7
Geral
Evadidos
Não Evadidos
Globalcode – Open4education
 Aprovados: melhoria de 18%
 Evadidos: melhoria de 25%
Resultados de Retenção
Globalcode – Open4education
Obrigado!
Rodrigo de Moraes – rmoraes@gvwise.com.br
Wagner Cambruzzi – wcambruzzi@gvwise.com.br

Weitere ähnliche Inhalte

Andere mochten auch

Modelo de Contrato de Investimento por Opções - Altivia Ventures para Anjos d...
Modelo de Contrato de Investimento por Opções - Altivia Ventures para Anjos d...Modelo de Contrato de Investimento por Opções - Altivia Ventures para Anjos d...
Modelo de Contrato de Investimento por Opções - Altivia Ventures para Anjos d...Cassio Spina
 
Analytics, KPIs for effective Churn & Loyalty management
Analytics, KPIs for effective Churn & Loyalty managementAnalytics, KPIs for effective Churn & Loyalty management
Analytics, KPIs for effective Churn & Loyalty managementEhtisham Rao
 
Churn Modeling For Mobile Telecommunications
Churn Modeling For Mobile TelecommunicationsChurn Modeling For Mobile Telecommunications
Churn Modeling For Mobile TelecommunicationsSalford Systems
 
Mensurando a Experiência do Usuário ( A Importância dos Dados Para UX ) - ...
Mensurando a Experiência do Usuário ( A Importância dos Dados Para UX ) - ...Mensurando a Experiência do Usuário ( A Importância dos Dados Para UX ) - ...
Mensurando a Experiência do Usuário ( A Importância dos Dados Para UX ) - ...Huxley Dias
 
Inteligência Competitiva Empresarial: como alcançá-la utilizando a mineração ...
Inteligência Competitiva Empresarial: como alcançá-la utilizando a mineração ...Inteligência Competitiva Empresarial: como alcançá-la utilizando a mineração ...
Inteligência Competitiva Empresarial: como alcançá-la utilizando a mineração ...Hekima
 
Customer Churn, A Data Science Use Case in Telecom
Customer Churn, A Data Science Use Case in TelecomCustomer Churn, A Data Science Use Case in Telecom
Customer Churn, A Data Science Use Case in TelecomChris Chen
 
churn prediction in telecom
churn prediction in telecom churn prediction in telecom
churn prediction in telecom Hong Bui Van
 
Data analytics telecom churn final ppt
Data analytics telecom churn final ppt Data analytics telecom churn final ppt
Data analytics telecom churn final ppt Gunvansh Khanna
 

Andere mochten auch (10)

Modelo de Contrato de Investimento por Opções - Altivia Ventures para Anjos d...
Modelo de Contrato de Investimento por Opções - Altivia Ventures para Anjos d...Modelo de Contrato de Investimento por Opções - Altivia Ventures para Anjos d...
Modelo de Contrato de Investimento por Opções - Altivia Ventures para Anjos d...
 
Analytics, KPIs for effective Churn & Loyalty management
Analytics, KPIs for effective Churn & Loyalty managementAnalytics, KPIs for effective Churn & Loyalty management
Analytics, KPIs for effective Churn & Loyalty management
 
Churn Modeling For Mobile Telecommunications
Churn Modeling For Mobile TelecommunicationsChurn Modeling For Mobile Telecommunications
Churn Modeling For Mobile Telecommunications
 
Mensurando a Experiência do Usuário ( A Importância dos Dados Para UX ) - ...
Mensurando a Experiência do Usuário ( A Importância dos Dados Para UX ) - ...Mensurando a Experiência do Usuário ( A Importância dos Dados Para UX ) - ...
Mensurando a Experiência do Usuário ( A Importância dos Dados Para UX ) - ...
 
Inteligência Competitiva Empresarial: como alcançá-la utilizando a mineração ...
Inteligência Competitiva Empresarial: como alcançá-la utilizando a mineração ...Inteligência Competitiva Empresarial: como alcançá-la utilizando a mineração ...
Inteligência Competitiva Empresarial: como alcançá-la utilizando a mineração ...
 
Customer Churn, A Data Science Use Case in Telecom
Customer Churn, A Data Science Use Case in TelecomCustomer Churn, A Data Science Use Case in Telecom
Customer Churn, A Data Science Use Case in Telecom
 
churn prediction in telecom
churn prediction in telecom churn prediction in telecom
churn prediction in telecom
 
Churn management
Churn managementChurn management
Churn management
 
Data analytics telecom churn final ppt
Data analytics telecom churn final ppt Data analytics telecom churn final ppt
Data analytics telecom churn final ppt
 
Churn Predictive Modelling
Churn Predictive ModellingChurn Predictive Modelling
Churn Predictive Modelling
 

Ähnlich wie TDC 2015 Big Data - Modelos Preditivos

Tdc2015 bigdata-mpias-final-pdf
Tdc2015 bigdata-mpias-final-pdfTdc2015 bigdata-mpias-final-pdf
Tdc2015 bigdata-mpias-final-pdfMinistry of Data
 
Construção de Classificadores utilizando Pentaho Data Mining (WEKA) - FTSL 2014
Construção de Classificadores utilizando Pentaho Data Mining (WEKA) - FTSL 2014 Construção de Classificadores utilizando Pentaho Data Mining (WEKA) - FTSL 2014
Construção de Classificadores utilizando Pentaho Data Mining (WEKA) - FTSL 2014 Marcos Vinicius Fidelis
 
Learning Analytics: utilizando Data Science para melhorar a educação
Learning Analytics: utilizando Data Science para melhorar a educaçãoLearning Analytics: utilizando Data Science para melhorar a educação
Learning Analytics: utilizando Data Science para melhorar a educaçãoMatheus Braun Magrin
 
Monitoramento Online e Coleta de Dados para Pesquisa Acadêmica
Monitoramento Online e Coleta de Dados para Pesquisa AcadêmicaMonitoramento Online e Coleta de Dados para Pesquisa Acadêmica
Monitoramento Online e Coleta de Dados para Pesquisa AcadêmicaPaperCliQ Comunicação
 
Construindo Chatbots com Design Thinking e framework i*: um método estruturado
Construindo Chatbots com Design Thinking e framework i*: um método estruturadoConstruindo Chatbots com Design Thinking e framework i*: um método estruturado
Construindo Chatbots com Design Thinking e framework i*: um método estruturadoMeire Helen Batista Dias
 
TDC2018SP | Trilha ChatBots - Construindo Chatbots com Design Thinking e fram...
TDC2018SP | Trilha ChatBots - Construindo Chatbots com Design Thinking e fram...TDC2018SP | Trilha ChatBots - Construindo Chatbots com Design Thinking e fram...
TDC2018SP | Trilha ChatBots - Construindo Chatbots com Design Thinking e fram...tdc-globalcode
 
TDC2018FLN | Trilha Gestao de Produtos - Gestão de produtos data-driven. Como...
TDC2018FLN | Trilha Gestao de Produtos - Gestão de produtos data-driven. Como...TDC2018FLN | Trilha Gestao de Produtos - Gestão de produtos data-driven. Como...
TDC2018FLN | Trilha Gestao de Produtos - Gestão de produtos data-driven. Como...tdc-globalcode
 
Gestão de produtos data-driven. Como definir e medir o sucesso de uma nova fe...
Gestão de produtos data-driven. Como definir e medir o sucesso de uma nova fe...Gestão de produtos data-driven. Como definir e medir o sucesso de uma nova fe...
Gestão de produtos data-driven. Como definir e medir o sucesso de uma nova fe...Rafael Besen - Hiring Awesome Devs
 
Análise de aderência de práticas ágeis na cultura de startups de software: o ...
Análise de aderência de práticas ágeis na cultura de startups de software: o ...Análise de aderência de práticas ágeis na cultura de startups de software: o ...
Análise de aderência de práticas ágeis na cultura de startups de software: o ...Marvin Ferreira
 
TDC2016SP - Colocando modelos de Machine Learning em produção.
TDC2016SP - Colocando modelos de Machine Learning em produção.TDC2016SP - Colocando modelos de Machine Learning em produção.
TDC2016SP - Colocando modelos de Machine Learning em produção.tdc-globalcode
 
Usando mind maps no planejamento de testes - TDC 2015
Usando mind maps no planejamento de testes - TDC 2015Usando mind maps no planejamento de testes - TDC 2015
Usando mind maps no planejamento de testes - TDC 2015Gabriel Oliveira
 
TDC2018SP | Trilha Analise de Negocios - Web analytics para Negocios
TDC2018SP | Trilha Analise de Negocios - Web analytics para NegociosTDC2018SP | Trilha Analise de Negocios - Web analytics para Negocios
TDC2018SP | Trilha Analise de Negocios - Web analytics para Negociostdc-globalcode
 
LGPD | FASE-2: ORGANIZAÇÃO | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO...
LGPD | FASE-2: ORGANIZAÇÃO | JORNADA DE ADEQUAÇÃO |  SGPD - SISTEMA DE GESTÃO...LGPD | FASE-2: ORGANIZAÇÃO | JORNADA DE ADEQUAÇÃO |  SGPD - SISTEMA DE GESTÃO...
LGPD | FASE-2: ORGANIZAÇÃO | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO...Wellington Monaco
 
Aula 04 Sistema de Informação - Processo e Requisitos de Sistemas
Aula 04 Sistema de Informação - Processo e Requisitos de SistemasAula 04 Sistema de Informação - Processo e Requisitos de Sistemas
Aula 04 Sistema de Informação - Processo e Requisitos de SistemasDaniel Brandão
 
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...tdc-globalcode
 
TDC2017 | São Paulo - Trilha Análise de Negócios How we figured out we had a ...
TDC2017 | São Paulo - Trilha Análise de Negócios How we figured out we had a ...TDC2017 | São Paulo - Trilha Análise de Negócios How we figured out we had a ...
TDC2017 | São Paulo - Trilha Análise de Negócios How we figured out we had a ...tdc-globalcode
 

Ähnlich wie TDC 2015 Big Data - Modelos Preditivos (20)

Tdc2015 bigdata-mpias-final-pdf
Tdc2015 bigdata-mpias-final-pdfTdc2015 bigdata-mpias-final-pdf
Tdc2015 bigdata-mpias-final-pdf
 
Construção de Classificadores utilizando Pentaho Data Mining (WEKA) - FTSL 2014
Construção de Classificadores utilizando Pentaho Data Mining (WEKA) - FTSL 2014 Construção de Classificadores utilizando Pentaho Data Mining (WEKA) - FTSL 2014
Construção de Classificadores utilizando Pentaho Data Mining (WEKA) - FTSL 2014
 
Learning Analytics: utilizando Data Science para melhorar a educação
Learning Analytics: utilizando Data Science para melhorar a educaçãoLearning Analytics: utilizando Data Science para melhorar a educação
Learning Analytics: utilizando Data Science para melhorar a educação
 
Monitoramento Online e Coleta de Dados para Pesquisa Acadêmica
Monitoramento Online e Coleta de Dados para Pesquisa AcadêmicaMonitoramento Online e Coleta de Dados para Pesquisa Acadêmica
Monitoramento Online e Coleta de Dados para Pesquisa Acadêmica
 
Construindo Chatbots com Design Thinking e framework i*: um método estruturado
Construindo Chatbots com Design Thinking e framework i*: um método estruturadoConstruindo Chatbots com Design Thinking e framework i*: um método estruturado
Construindo Chatbots com Design Thinking e framework i*: um método estruturado
 
TDC2018SP | Trilha ChatBots - Construindo Chatbots com Design Thinking e fram...
TDC2018SP | Trilha ChatBots - Construindo Chatbots com Design Thinking e fram...TDC2018SP | Trilha ChatBots - Construindo Chatbots com Design Thinking e fram...
TDC2018SP | Trilha ChatBots - Construindo Chatbots com Design Thinking e fram...
 
TDC2018FLN | Trilha Gestao de Produtos - Gestão de produtos data-driven. Como...
TDC2018FLN | Trilha Gestao de Produtos - Gestão de produtos data-driven. Como...TDC2018FLN | Trilha Gestao de Produtos - Gestão de produtos data-driven. Como...
TDC2018FLN | Trilha Gestao de Produtos - Gestão de produtos data-driven. Como...
 
Gestão de produtos data-driven. Como definir e medir o sucesso de uma nova fe...
Gestão de produtos data-driven. Como definir e medir o sucesso de uma nova fe...Gestão de produtos data-driven. Como definir e medir o sucesso de uma nova fe...
Gestão de produtos data-driven. Como definir e medir o sucesso de uma nova fe...
 
Análise de aderência de práticas ágeis na cultura de startups de software: o ...
Análise de aderência de práticas ágeis na cultura de startups de software: o ...Análise de aderência de práticas ágeis na cultura de startups de software: o ...
Análise de aderência de práticas ágeis na cultura de startups de software: o ...
 
TDC2016SP - Colocando modelos de Machine Learning em produção.
TDC2016SP - Colocando modelos de Machine Learning em produção.TDC2016SP - Colocando modelos de Machine Learning em produção.
TDC2016SP - Colocando modelos de Machine Learning em produção.
 
Usando mind maps no planejamento de testes - TDC 2015
Usando mind maps no planejamento de testes - TDC 2015Usando mind maps no planejamento de testes - TDC 2015
Usando mind maps no planejamento de testes - TDC 2015
 
Pentaho Weka latinoware
Pentaho Weka latinowarePentaho Weka latinoware
Pentaho Weka latinoware
 
TDC2018SP | Trilha Analise de Negocios - Web analytics para Negocios
TDC2018SP | Trilha Analise de Negocios - Web analytics para NegociosTDC2018SP | Trilha Analise de Negocios - Web analytics para Negocios
TDC2018SP | Trilha Analise de Negocios - Web analytics para Negocios
 
LGPD | FASE-2: ORGANIZAÇÃO | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO...
LGPD | FASE-2: ORGANIZAÇÃO | JORNADA DE ADEQUAÇÃO |  SGPD - SISTEMA DE GESTÃO...LGPD | FASE-2: ORGANIZAÇÃO | JORNADA DE ADEQUAÇÃO |  SGPD - SISTEMA DE GESTÃO...
LGPD | FASE-2: ORGANIZAÇÃO | JORNADA DE ADEQUAÇÃO | SGPD - SISTEMA DE GESTÃO...
 
Aula 04 Sistema de Informação - Processo e Requisitos de Sistemas
Aula 04 Sistema de Informação - Processo e Requisitos de SistemasAula 04 Sistema de Informação - Processo e Requisitos de Sistemas
Aula 04 Sistema de Informação - Processo e Requisitos de Sistemas
 
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
 
Mineração
MineraçãoMineração
Mineração
 
jjjjjjjjjjjjjjj
jjjjjjjjjjjjjjjjjjjjjjjjjjjjjj
jjjjjjjjjjjjjjj
 
Ementa curso de dados
Ementa curso de dadosEmenta curso de dados
Ementa curso de dados
 
TDC2017 | São Paulo - Trilha Análise de Negócios How we figured out we had a ...
TDC2017 | São Paulo - Trilha Análise de Negócios How we figured out we had a ...TDC2017 | São Paulo - Trilha Análise de Negócios How we figured out we had a ...
TDC2017 | São Paulo - Trilha Análise de Negócios How we figured out we had a ...
 

TDC 2015 Big Data - Modelos Preditivos

  • 1. Globalcode – Open4education Trilha BigData Conceitos e Práticas no Desenvolvimento de Sistemas Preditivos Rodrigo de Moraes e Wagner Luiz Cambruzzi Mestres em Computação Aplicada
  • 3. Globalcode – Open4education Sistemas Preditivos O que é: Um sistema preditivo é um sistema capaz de analisar dados e definir um modelo matemático da relação existente entre os dados de fatos prévios a determinados acontecimentos. Como: Através da aplicação de técnicas de Mineração de Dados e de Aprendizado de Máquina.
  • 4. Globalcode – Open4education Mineração de Dados Processo de Descoberta do Conhecimento Processo VS. Etapa Objetivo: Extração de conhecimento não trivial através da análise e processamento de dados referentes a fatos ocorridos no passado
  • 5. Globalcode – Open4education Mineração de Dados Tipos de aprendizado de máquina Supervisionado Não supervisionado
  • 6. Globalcode – Open4education Mineração de Dados Tipos de aprendizado de máquina Supervisionado Aprendizado sobre dados históricos cujo o resultado de interesse é conhecido Não supervisionado Identificação de padrões semelhantes existentes nos dados, sem informação prévia de qualquer relação entre eles
  • 7. Globalcode – Open4education Mineração de Dados Principais objetivos de técnicas de Mineração de Dados Regressão / Estimação
  • 8. Globalcode – Open4education Mineração de Dados Principais objetivos de técnicas de Mineração de Dados Regressão / Estimação Objetivo: Estimar o valor de alguma variável baseado na observação de outras variáveis Exemplo: Estimar o valor de mercado de uma casa baseado em sua metragem, número de quartos, número de banheiros e etc...
  • 9. Globalcode – Open4education Mineração de Dados Principais objetivos de técnicas de Mineração de Dados Regressão / Estimação Agrupamento / Clustering
  • 10. Globalcode – Open4education Mineração de Dados Principais objetivos de técnicas de Mineração de Dados Regressão / Estimação Agrupamento / Clustering Objetivo: Encontrar agrupamentos de amostras de dados com base na semelhança dos valores de variáveis Exemplo: Identificação de diferentes perfis de consumidores, Categorias de documentos textuais...
  • 11. Globalcode – Open4education Mineração de Dados Principais objetivos de técnicas de Mineração de Dados Regressão / Estimação Agrupamento / Clustering Regras de Associação
  • 12. Globalcode – Open4education Mineração de Dados Principais objetivos de técnicas de Mineração de Dados Regressão / Estimação Agrupamento / Clustering Regras de Associação Objetivo: Identificação de concorrência de valores de variáveis Exemplo: Correlação entre itens em compras, identificação de padrões de escrita...
  • 13. Globalcode – Open4education Mineração de Dados Principais objetivos de técnicas de Mineração de Dados Regressão / Estimação Agrupamento / Clustering Regras de Associação Detecção de anomalias
  • 14. Globalcode – Open4education Mineração de Dados Principais objetivos de técnicas de Mineração de Dados Regressão / Estimação Agrupamento / Clustering Regras de Associação Detecção de anomalias Objetivo: Identificação de situações/comportamentos fora do padrão Exemplo: Fraudes em movimentações bancárias / utilização de cartões de créditos
  • 15. Globalcode – Open4education Mineração de Dados Principais objetivos de técnicas de Mineração de Dados Regressão / Estimação Agrupamento / Clustering Regras de Associação Detecção de anomalias Classificação / Predição
  • 16. Globalcode – Open4education Mineração de Dados Principais objetivos de técnicas de Mineração de Dados Regressão / Estimação Agrupamento / Clustering Regras de Associação Detecção de anomalias Classificação/Predição Objetivo: Identificação de padrões nos dados capazes de distinguir diferentes grupos de amostras Exemplo: Classificação de documentos, Classificação de polaridade de sentimentos, sucesso ou insucesso acadêmico
  • 17. Globalcode – Open4education Classificadores Naïve Bayes Fonte: https://computersciencesource.wordpress.com/2010/01/28/year-2-machine-learning-naive-bayes-classifier/
  • 19. Globalcode – Open4education Classificadores Decision Trees Fonte: http://web.tecnico.ulisboa.pt/ana.freitas/bioinformatics.ath.cx/bioinformatics.ath.cx/indexf23d.html?id=199
  • 20. Globalcode – Open4education Support Vector Machines (SVM) Classificadores
  • 21. Globalcode – Open4education Support Vector Machines (SVM) Classificadores Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html
  • 22. Globalcode – Open4education Support Vector Machines (SVM) Fonte: https://www.youtube.com/watch?v=3liCbRZPrZA Classificadores
  • 23. Globalcode – Open4education Support Vector Machines (SVM) Classificadores Fonte: http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html
  • 26. Globalcode – Open4education Séries temporais Dados que variam “continuamente” no tempo e que cada um dos valores apresenta certa dependência em relação aos valores do passado Exemplos: Mercado Financeiro Consumo de energia elétrica Temperatura Umidade
  • 28. Globalcode – Open4education Os problemas dos dados Formato do dado / Armazenamento / Integridade Compatibilidade de histórico Alterações e migrações de sistemas Metodologia de definição de variáveis Existências de poucos dados (amostras) sobre o problema Existência de dados supervisionados Critérios de definição de classes Desbalanceamento entre classes
  • 29. Globalcode – Open4education Estudo de caso de um sistema preditivo
  • 31. Globalcode – Open4education Perfil da Empresa • 28 anos de atuação; • Especialista em Sistema de Gestão Educacional; • Atuação exclusiva no segmento educacional; • 700+ clientes no Brasil; • 130+ colaboradores.
  • 32. Globalcode – Open4education Como nasceu o projeto? • Unidade de Novos Negócios; • Problema da evasão em IES; • Projeto RHAE do CNPQ; • Grupo de Pesquisa e Mestrados; • Validação da Ideia; • Produto.
  • 33. Globalcode – Open4education O que é o GVwise? Uma solução que atua na gestão da retenção de alunos.
  • 34. Globalcode – Open4education Dados? Eventos Professores e Tutores AdministrativoCoordenações 2. Instituição de Ensino Ambiente Virtual de Aprendizagem 3. Dados Atendimento 1. Estudantes
  • 35. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações Como funciona?
  • 36. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações 1 – Mapeamento de indicadores AVEA, ERP, CRM, ... Indicadores Exploração dos dados Como funciona?
  • 37. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações Como funciona?
  • 38. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações Como funciona?
  • 39. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações 2 - Geração e validação de padrões Definição de perfis Indicadores de estudantes (histórico) Aprovados Reprovados Evadidos Identificação dos grupos deinteresse Mineração dedados e identificação depadrões Como funciona?
  • 40. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações Como funciona?
  • 41. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações Como funciona?
  • 42. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações 3 - Predição e emissão de alertas Módulo de encaminhamentos Estudantes classificados conforme o risco Classificação ou prediçãoIndicadores de estudantes (atuais) Central de Atendimento Ações automáticas Equipe de Retenção Como funciona?
  • 43. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações Como funciona?
  • 44. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações Como funciona?
  • 45. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações 4 - Avaliação e realização de ações Analise dos estudantes em risco Realização deações Aumento da Permanência Gerência do Processo Como funciona?
  • 46. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações Como funciona?
  • 47. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações Como funciona?
  • 48. Globalcode – Open4education 1 - Mapeamento de indicadores 2 - Geração e validação de padrões 3 - Predição e emissão de alertas 4 - Avaliação e realização de ações Como funciona?
  • 49. Globalcode – Open4education Como entregamos?  Interface de acompanhamento de uma turma
  • 50. Globalcode – Open4education Como entregamos?  Interface de acompanhamento de uma turma
  • 51. Globalcode – Open4education  Interface de indicadores de um estudante Como entregamos?
  • 52. Globalcode – Open4education  Interface de acompanhamento gráfico de indicadores do estudante Como entregamos?
  • 53. Globalcode – Open4education  Cadastro de ações Como entregamos?
  • 54. Globalcode – Open4education  Histórico de ações Como entregamos?
  • 55. Globalcode – Open4education Resultados de Predição 0.00% 20.00% 40.00% 60.00% 80.00% 100.00% Módulo 2 Módulo 3 Módulo 4 Módulo 5 Módulo 6 Módulo 7 Geral Evadidos Não Evadidos
  • 56. Globalcode – Open4education  Aprovados: melhoria de 18%  Evadidos: melhoria de 25% Resultados de Retenção
  • 57. Globalcode – Open4education Obrigado! Rodrigo de Moraes – rmoraes@gvwise.com.br Wagner Cambruzzi – wcambruzzi@gvwise.com.br