2000: Artificial Immune Systems - Theory and Applications
2011: Mineração de Dados - Conceitos Básicos e Aplicações
1. Mineração de Dados:
Conceitos Básicos e Aplicações
Leandro Nunes de Castro
Lnunes@mackenzie.br
@lndecastro
Faculdade de Computação e Informática &
Programa de Pós-Graduação em Engenharia Elétrica
Laboratório de Computação Natural (LCoN)
www.mackenzie.br/lcon.html
SBAI 2011 (18/09/2011)
2. Sumário
• Sobre o Mini-Curso
• Motivação
• Introdução
• Pré-Processamento
• Credibilidade do Processo de Aprendizagem
• Análise de Grupos
• Predição: Classificação e Estimação
• Detecção de Anomalias
• ShiftHappens
2
3. Quem Sou Eu
• Formado em Engenharia Elétrica com ênfase em
Computação, possui Mestrado, Doutorado e Pós-
doutorado em Engenharia de Computação.
Empresário, empreendedor, acadêmico, escritor e
pai de família. É especialista em Computação
Natural e transformação de bases de dados em
conhecimentos para a tomada de decisão
estratégica nos negócios. Possui cinco livros
publicados, coordena o Laboratório de
Computação Natural (LCoN) do Programa de Pós-
Graduação em Engenharia Elétrica do Mackenzie
e é sócio-diretor das empresas NATCOMP e
TUILUX.
4. Quem São Vocês
• Idade
• Redes Sociais
• Interesses
• Formação
• Conhecimento
5. Dinâmica do Mini-Curso
Aulas interativas e ilustradas com
aplicações práticas, dinâmicas de grupo e
sorteios do livro “Computação Natural:
Uma Jornada Ilustrada”.
Preparados?
14. Multidisciplinaridade
Estatística
Bancos de Aprendizagem
Dados de Máquina
Mineração de
Dados Outras
Sistemas de
Informação Disciplinas
Inteligência
Visualização
Artificial
15. Dicas para Uma Análise Efetiva
• Estabelecer a significância prática e estatística
da mineração.
• Reconhecer que as características da base de
dados influenciam todos os resultados.
• Necessidade de conhecer os dados.
• Busca pela parcimônia.
• Verifique os erros.
• Valide seus resultados.
16. As Diferentes Nomenclaturas
• Inteligência Artificial
• Aprendizagem de Máquina
• Computação Flexível
• Inteligência Computacional
• Computação Natural
• Computação Bioinspirada
17. Principais Tarefas
• Descritivas: caracterizam as propriedades
gerais dos dados; e
• Preditivas: fazem inferência com os dados
objetivando predições.
Salário: Faixa IRRF
37
32 33 32
28
até R$ até R$ até R$ até R$ acima de R$
1.434,59 2.150,00 2.866,70 3.582,00 3.582,01
18. Principais Tarefas
• Descrição de Classes e Conceitos
• Agrupamento
• Predição: Classificação e Estimação
• Associação
• Detecção de Anomalias
20. Aprendizagem Supervisionada
Vetor descrevendo o
estado do ambiente
Saída desejada
Ambiente Supervisor
+
Saída atual
Sistema em
Aprendizagem
Sinal de erro
{(xi,di)}i = 1,...,N, onde xi e di i, são os vetores
de entrada e as respectivas saídas desejadas.
25. Problemas com Bases de Dados
Duração 1 2 3 2
Aumento salarial ano 1 2% 4% 4.3% 4.5%
Aumento salarial ano 2 ? 5% 4.4% 4.0%
Aumento salarial ano 3 ? ? ? ?
Ajuste de custo de vida Nenhum Tcf ? Nenhum
Carga horária semanal 28 35 38 40
Aposentadoria Nenhum ? ? ?
Pagamento por horas vagas ? 13% ? ?
Horas extras ? 5% 4% 4
Adicional para educação Sim ? ? ?
Feriados 11 15 12 12
Férias Avg Gen Gen Avg
Assistência para ausência prolongada Não ? ? Sim
Seguro odontológico Nenhum ? Full Full
Seguro de vida Não ? ? Sim
Seguro saúde Nenhum ? Full Half
Aceitabilidade do contrato Ruim Boa Boa Boa
27. Principais Tarefas
• Limpeza: para remoção de ruídos e correção de
inconsistências;
• Integração: para unir dados de múltiplas fontes em um
único local, como um armazém de dados (data warehouse);
• Redução: para reduzir a dimensão da base de dados, por
exemplo, agregando, agrupando ou eliminando atributos
redundantes, ou sumarizando os dados;
• Transformação: para deixar os dados em um formato
passível de aplicação das diferentes técnicas de mineração;
• Discretização: para permitir que métodos que trabalham
apenas com atributos nominais possam ser empregados a
um conjunto maior de problemas. Também faz com que a
quantidade de valores para um dado atributo contínuo seja
reduzida.
29. Erros
• Erro de Representação ou efeito bias.
• Erro de Generalização ou variância.
• Erro de Otimização.
bias elevado variânciaelevada
erro
MSE
nível ótimo de
generalização
31. Validação Cruzada
• Como critério de parada
• Como metodologia de estimação de erro
Teste Treinamento
Passo 1: 1 2 3 4 5 6 7 8 9 10
Passo 2: 1 2 3 4 5 6 7 8 9 10
...
Passo 10: 1 2 3 4 5 6 7 8 9 10
32. Medidas de Desempenho em
Classificação
Classe
Predita
Sim Não
Classe
Sim TP FN
Correta
Não FP TN
TP: Verdadeiro Positivo TP TP
TPR
FP: Falso Positivo P TP FN
TN: Verdadeiro Negativo FP FP
FPR
FN: Falso Negativo N FP TN
TP TN
ACC
TP FP TN FN
33. Medidas de Desempenho em
Estimação
N
e2
j Soma dos Erros Quadráticos
j 1
N
1
e2
j Erro Quadrático Médico
N j 1
N
1
e 2 Raiz do Erro Quadrático Médio
j
N j 1
N
1
| e j | Erro Absoluto Médio
N j 1
N
(d j d )( y j y)
j 1
Coeficiente de Correlação
N N
2
(d j d) . (yj y)2
j 1 j 1
34. Medidas de Desempenho em
Agrupamento
k i i
1 nr nr
E(Sr ) log
log k i 1 nr nr
k
nr G1
Eglobal E (Sr )
r 1 n
G2
1
P( S r ) max(nri ) G3
nr i
k
nr
Pglobal P( S r )
r 1 n
36. Detecção de Spam
• Considere o problema de detecção de Spams
(SPAM). A classe alvo é Spam. Assuma que a base
possui N = 1.500 objetos, sendo nspam = 32.
Considere o seguinte resultado de um algoritmo
de classificação aplicado a esta base de dados:
• Spam classificados corretamente: 27.
• E-mail normal classificado corretamente: 1.411.
Pede-se:
• Determine TPR, FPR, ACC.
• Monte a matriz de confusão do classificador.
37. Estudo de Caso 01
Descrição de Classes e Conceitos
Dados do Reclame Aqui
38. Panorama Geral do Setor
Status das Reclamações
Nao Respondido
20% 7%
30% Respondido
24%
Replicas
19%
Finalizada - Resolvido Média das Notas
5.3
3.9
2.6
0.5
Média Geral Média ">0"
Finalizada - Resolvido Finalizada - Nao Resolvido
41. Estudo de Caso 02
Descrição de Classes e Conceitos
Base de RH
42. Base de Análise
• 41.934 registros, com os seguintes atributos:
Nome, Salário, Sexo, Cargo, Endereço, Bairro,
CEP, Cidade, UF, Banco, Nome do
Banco, Agência, Conta, Data de
Nascimento, Escala, Grau de Instrução, Data
de Admissão, Data de Demissão, Data de
Afastamento, Data de Início de
Férias, Situação Cadastral, Horas Trab. por
Mês e Horas Trab. por Semana.
43. Objetivos
• Entender a base
• Predizer demissões e período de trabalho
• Segmentar a base
44. Visão Geral
Sexo
Masculino
34%
Feminino
Situação Cadastral
66%
64%
33%
1% 2%
Afastamento Férias Normal Rescisão
45. Visão Geral
Grau de Instrução
Outros
17.31%
Ensino médio
completo
82.69%
Salário: Faixa IRRF
98.2%
1.3% 0.3% 0.1% 0.1%
até R$ até R$ até R$ até R$ acima de
1.434,59 2.150,00 2.866,70 3.582,00 R$
3.582,01
46. Visão Geral
Pirâmide Etária Cargos
100 anos e mais 0.0%
0.0% PROMOTOR(A) DE VENDAS 23%
90 a 94 anos 0.0% SERVIÇOS GERAIS 13%
0.0% 7%
ATENDENTE
80 a 84 anos 0.0%
0.0% AJUDANTE GERAL 6%
70 a 74 anos 0.0% AUXILIAR DE LOJA 5%
0.0% PROMOTOR(A) 4%
60 a 64 anos 0.3% DEMONSTRADOR(A) 4%
1.0%
ATENDENTE DE CRÉDITO 3%
50 a 54 anos 2.2%
3.4% AUXILIAR DE VENDAS 2%
40 a 44 anos 4.9% AUXILIAR DE SERVIÇOS GERAIS 2%
7.3% AUXILIAR DE CAIXA 2%
30 a 34 anos 12.3%
DEMONSTRADOR(A) I 2%
22.5%
20 a 24 anos 34.4% COLETOR(A) DE DADOS 2%
11.6% ASSISTENTE DE VENDAS 2%
10 a 14 anos 0.0% OUTROS CARGOS 23%
0.0%
0 a 4 anos 0.0%
47. Visão Geral Grau de Instrução
Analfabeto, ou não se alfabetizou R$ 624.74
Até a 4ª série incompleta do ensino fundamental R$ 608.91
4ª série completa do ensino fun damental R$ 620.17
Da 5ª à 8ª série do ensino fundamental R$ 618.43
Ensino fundamental completo R$ 637.15
Ensino médio incompleto R$ 679.76
Ensino médio completo R$ 755.58
Segundo grau técnico incompleto R$ 628.36
Segundo grau técnico completo R$ 777.04
Educação superior incompleta R$ 903.56
Educação superior completa R$ 1,299.32
Pós-Graduação R$ 2,793.32
50. O Que São Grupos?
Processo de particionar um conjunto de dados em subconjuntos
(clusters) de forma que os dados em cada cluster (idealmente)
compartilhem características comuns – normalmente
proximidade em relação a alguma medida de distância.
51. Componentes da Tarefa de
Agrupamento
• Pré-processamento dos dados;
• Definição da medida de proximidade;
• Agrupamento;
• Abstração dos dados;
• Avaliação da saída.
0
x11 x1L d (2,1) 0
d (3,1) d (3,2) 0
x N 1 x NL 0
d ( N ,1) d ( N ,2) d ( N , N 1) 0
52. Estudo de Caso 03
Agrupamento
Benchmarks e Base de Dados de
Bioinformática
54. ACA: Ant Clustering Algorithm
2
k1
pp d (x i , x j )
k1 f 1
1 if f 0
2
f (x i ) s2 x j Neigh ( s s ) (r )
α
f 0 otherwise
pd
k2 f
Ver demos no LVCoN
66. Estudo de Caso 05
Análise de Sentimento em Tweets
Dados da Rede Globo
67. Base de Análise
• Para realizar as análises a serem apresentadas
foram utilizados 206.259 tweets de 127.945
usuários entre os dias 1 e 31 de dezembro de
2010.
• Os atributos disponíveis para essa análise
foram: Cliente, Avaliação, Termo, Usuário,
Texto e Data.
68. Domingão do Faustão
Palavras mais comentadas - Domingão do Faustão
11%
8% 8%
7% 7% 6% 6%
6% 6%
5%
4% 4%
4% 4%
3% 3% 3%
2% 2% 2% 2% 2% 2% 2% 2%
2% 2% 1% 1% 1%
1% 1% 1% 1% 1% 1%
1% 1% 0% 0%
Total Top 20 Total Twitters
77. Estudo de Caso 06
Recomendação em Comércio Eletrônico
Alguns Clientes TUILUX
78. O Que é um Sistema de Recomendação
Inteligente?
78
79. “Para o usuário a recomendação
significa um guia útil no processo de
escolha de conteúdo...
Para a loja a recomendação significa
ofertar o item mais atraente alguns
segundos antes da perda da atenção da
audiência” *
* Fonte: Comparative Rating of Five Recommendations Solutions, Patricia Seygold Group
79
81. Visão Geral sobre Serviços de
Recomendação
1. Capturar informação sobre
os produtos
2. Capturar informação sobre
as interações dos usuários
3. Aplicar algoritmos de
seleção de produtos
4. Mostrar o conteúdo
selecionado
5. Monitorar e analisar a
efetividade da recomendação
81
82. Página de Produto: Exemplos
Cross-sell
O que nem os
clientes sabiam
que queriam
Regras de
negócio
82
84. O Que é uma Anomalia?
“Um outlier é um objeto que parece desviar
fortemente de outros membros da amostra a
qual ele pertence.” (Grubbs, F. E., 1969,
“Procedures for detecting outlying observations
in samples”, Technometrics, 11, pp. 1-21.)
“Um outlier é um objeto ou subconjunto de objetos
que parece inconsistente com o restante da base
de dados.” (Barnett, V.; Lewis, T. 1994, Outliers in
Statistical Data, 3rd ed., John Wiley & Sons)
85. Exemplos
• Detecção de fraudes: em transações de cartões de
crédito, em uso de telefones celulares, em medição de
consumo de energia, etc.
• Análise de crédito: identificação de clientes
potencialmente problemáticos ou fraudulentos, etc.
• Detecção de intrusão: acesso não permitido a redes de
computadores e ambientes diversos, etc;
• Monitoramento de atividades: negociações suspeitas
em mercados financeiros, comportamentos incomuns
de usuários, etc;
• Desempenho de rede: monitoramento do desempenho
de redes de comunicação para identificação de
gargalos;
86. Exemplos
• Diagnóstico de faltas: em motores, geradores,
redes, instrumentos, etc;
• Análise de imagens: identificação de novas
características;
• Monitoramento de séries temporais: em
aplicações que envolvem séries temporais, por
exemplo, consumo de energia elétrica de
subestações, análise de batimentos cardíacos,
etc.;
• Análise de textos: identificação de novas estórias,
análise de desempenho de commodities, etc.
87. Adordagens
• Tipo 1: aprendizagem não-supervisionada;
• Tipo 2: aprendizagem supervisionada;
• Tipo 3: aprendizagem semi-supervisionada.
88. Estudo de Caso 07
Um Algoritmo Imunológico para
Detecção de Vírus em Computadores
89. Algoritmo de Seleção Negativa
Self
strings (S) Monitoramento
Detector Set
Generate (R)
random strings Match Detector
(R0) No Set (R)
Yes
Reject Self
Match No
Strings (S)
Sensoriamento Yes
Non-self
Detected
91. Pattern Recognition
• Classification and Clustering
– CLONALG (de Castro & Von Zuben, 2002)
(a) Input patterns
(b) 0 generations
(c) 50 generations
(d) 100 generations
(e) 200 generations
92. Pattern Recognition
• Classification and Clustering
– aiNet (de Castro & Von Zuben, 2001)
– Definition:
• aiNet is an edge-weighted graph, not necessarily
fully connected, composed of a set of nodes and
sets of node pairs with a weight assigned specified
to each connected edge.
– Features:
• knowledge distributed among cells
• competitive learning (unsupervised)
• constructive model with pruning phases
• generation and maintenance of diversity
92
101. Questões ShiftHappens
• Quantos e-mails e SMSs em média uma
pessoa de 21 anos já enviou/recebeu?
• Quanto tempo a Internet levou para atingir
uma audiência de 50 milhões pessoas?
102. LCoN
• Programa de Pós-Graduação em Engenharia
Elétrica do Mackenzie
• Perfil do LCoN, Pesquisa, Equipe, etc.
www.mackenzie.br/lcon.html