Aula de Métodos e Técnicas de Análise da Informação para o Planejamento, UFABC, 8 de agosto de 2017 Gravação de aula disponível em: https://youtu.be/8AHJ8PfUg30 Bases de dados disponívem em: https://app.box.com/s/usbad42g9op1coew9n6fw17lqlq5b3t1

1. ANÁLISE DE AGRUPAMENTOS
(Cluster Analysis)
Vitor Vieira Vasconcelos
Flávia da Fonseca Feitosa
BH1350 – Métodos e Técnicas de Análise da Informação para o Planejamento
Agosto de 2017

2. • Análise de Agrupamentos
 Medidas de similaridade
 Métodos de agrupamento
o Em árvore (hierárquico)
o Médias K
 Prática no SPSS e QGIS
Conteúdo

3. HAIR; BLACK; BABIN; ANDERSON; TATHAM. Análise
Multivariada de Dados. 6ª ed., 2009.
Capítulo 9 – Análise de Agrupamentos
Referência Principal

4. É uma técnica analítica pra identificar subgrupos
significativos de entidades homogêneas
(pessoas/objetos/lugares).
O objetivo é classificar uma amostra de entidades
em um número menor de grupos mutuamente
excludentes, com base nas similaridades entre as
entidades.
Busca por uma estrutura “natural” entre as
observações com base em um perfil multivariado.
HAIR; BLACK; BABIN; ANDERSON; TATHAM. Análise Multivariada de Dados. 6ª ed., 2009.
ANÁLISE DE AGRUPAMENTOS

5. Os agrupamentos resultantes de entidades devem
exibir elevada homogeneidade interna (dentro
dos agrupamentos) e elevada heterogeneidade
externa (entre agrupamentos).
ANÁLISE DE AGRUPAMENTOS
Idealmente, os
objetos dentro de um
agrupamento estarão
próximos quando
representados
graficamente, e
diferentes
agrupamentos estarão
distantes.

6. Agrupamentos com mais de
duas variáveis

7. 1. Classificar os setores censitários de acordo com as
diferentes dimensões de justiça/injustiça ambiental.
2. Classificar os municípios de SP em função das diferentes
dimensões de violência contra a mulher
3. Classificar os bairros do ABC de acordo com a
quantidade/perfil dos lançamentos residenciais
4. Classificar os distritos de SP de acordo com as variáveis de
infraestrutura e entorno dos domicílios
5. …
Exemplos “inspirados” nos trabalhos
propostos pelos alunos

8. Conjunto de variáveis que representam as
características usadas para comparar objetos da
análise de agrupamentos.
Deve ser especificado pelo analista.
Variável Estatística de Agrupamento

9. Procedimentos para Análise de
Agrupamento

10. Características da Análise
de Agrupamentos
1. É descritiva, não-teórica e não-inferencial
2. Sempre criará agrupamentos, independente da
existência real de alguma estrutura dos dados
3. Variedade de vias e critérios para a definição dos grupos,
o que possibilita a obtenção de soluções diferentes
4. Não é generalizável, pois é totalmente dependente das
variáveis usadas como base para a medida de
similaridade

11. QUESTÕES-CHAVE
1. Como medir similaridade?
2. Como formar os agrupamentos?
3. Quantos grupos formar?

12. 1. Medição de Similaridade
Agrupamentos são grupos de objetos semelhantes.
Precisamos, portanto, definir uma medida do grau de
similaridade/dissimilaridade entre os objetos.
É possível medir similaridade, por exemplo, de acordo com a
distância euclidiana entre cada par de observações.

13. 1. Medição de Similaridade
• Medidas de proximidade
o Distância Euclidiana (ou Euclidiana Quadrática)
• Medidas de Padrões
o Coeficiente de correlação “r” de Pearson

14. 2. Formação de Agrupamentos
Definida a medida de similaridade a ser adotada,
precisamos formar agrupamentos com base na
similaridade de cada par de observações.
Esse procedimento deve determinar a pertinência a
grupo de cada observação para cada conjunto de
agrupamentos formados

15. 2. Formação de Agrupamentos
• Diminuir a variação entre agrupamentos
• Diminuir a variação dentro dos agrupamentos

16. 2. Formação de Agrupamentos
• Ligação entre grupos
1
2
1
2
1
2
1
2
3
4 5
3
4 5
3
4 5
3
4 5. .
Single-Linkage
Distância ao vizinho mais próximo
Complete-Linkage
Distância ao vizinho mais afastado
Average-Linkage
Distância média aos elementos
Centroid-linkage
Distância ao centro médio dos elementos

17. 2. Formação de Agrupamentos
• Método Ward
 Diminuir a variância interna nos agrupamentos
 Tende a gerar agrupamentos com números mais
similares de casos do que o método de ligação entre
grupos

18. 3. Número de Agrupamentos
DILEMA
Menor nr. de agrupamentos &
Menor homogeneidade interna nos grupos
VS.
Maior nr. de agrupamentos &
Maior homogeneidade interna nos grupos

19. Qual o melhor número de agrupamentos?
 Regra do Cotovelo

20. Métodos de Agrupamento
1. Agrupamento em árvore (tree clustering): método
aglomerativo hierárquico
2. K-médias (k-means): método não hierárquico por
repartição
3. Duas etapas: 1º Método -> 2º Método

21. Agrupamento em Árvore
Considere as seguintes observações:
Variável de
Agrupamento
Observação
A B C D E F G
Variável 1 (V1) 3 4 4 2 6 7 6
Variável 2 (V2) 2 5 7 7 6 7 4

22. Agrupamento em Árvore
0
2
4
6
8
0 2 4 6 8
V2
V1
D C
E
F
A
B
G

23. 0
2
4
6
8
0 2 4 6 8
V2
V1
D C
E
F
A
B
G
Agrupamento em Árvore
Como medimos similaridade?
Neste exemplo, utilizaremos a
distância euclidiana (linha reta)
entre cada par de observações

24. Matriz de Proximidade de Distâncias
Euclidianas entre Observações
Observação
A B C D E F G
A -
B 3,162 -
C 5,099 2,000 -
D 5,099 2,828 2,000 -
E 5,000 2,236 2,236 4,123 -
F 6,403 3,606 3,000 5,000 1,414 -
G 3,606 2,236 3,606 5,000 2,000 3,162 -

25. Matriz de Proximidade de Distâncias
Euclidianas entre Observações
Observação
A B C D E F G
A -
B 3,162 -
C 5,099 2,000 -
D 5,099 2,828 2,000 -
E 5,000 2,236 2,236 4,123 -
F 6,403 3,606 3,000 5,000 1,414 -
G 3,606 2,236 3,606 5,000 2,000 3,162 -
Menor Distância,
Maior Similaridade

26. Agrupamento em Árvore
(1) Identificar as observações mais próximas (E e F) e
combiná-las em um agrupamento

27. Agrupamento em Árvore
(2) Encontrar próximos pares de observações
mais semelhantes

28. Dendograma

29. Dendograma
7 grupos 6 grupos 2 grupos

30. Métodos de Agrupamento
1. Agrupamento em árvore (tree clustering): método
aglomerativo hierárquico
2. K-médias (k-means): método não hierárquico por
repartição
3. Duas etapas: 1º Método -> 2º Método

31. K-MÉDIAS
Gera k diferentes grupos com a maior distinção possível
entre eles.
Parte de k-conjuntos aleatórios e move os objetos entre
estes conjuntos com o objetivo de:
(1) Minimizar a variabilidade dentro dos conjuntos
(2) Maximizar a variabilidade entre conjuntos

32. K-MÉDIAS
MINIMIZAR
VARIÂNCIAS
INTRA-GRUPOS
MAXIMIZAR
VARIÂNCIAS
INTER-GRUPOS

35. Métodos de Agrupamento
1. Agrupamento em árvore (tree clustering): método
aglomerativo hierárquico
2. K-médias (k-means): método não hierárquico por
repartição
3. Duas etapas: 1º Método -> 2º Método

36. Agrupamentos em duas
etapas
Exemplo:
1. Análise de Agrupamento Hierárquica
2. Usa pontos centrais dos agrupamentos da análise
hierárquica para criar os primeiros conjuntos de médias K
3. Realiza as modificações aleatórias para tentar:
• Minimizar a variabilidade dentro dos conjuntos
• Maximizar a variabilidade fora dos conjuntos

37. Grupos de Entropia
• Grupos com poucos elementos, bastante diferentes
do restante da amostra
• Úteis para análise de valores atípicos

38. Prática no SPSS
• Abrir arquivo: agua&rede2010_SNIS_v2.sav
• Analisar -> Classificar -> Cluster Hierárquico

39. Análise de Cluster Hierárquica

40. Análise de Cluster Hierárquica

41.  Método…
Padronizar: Minimizar problemas oriundos do uso de
unidades e dispersões distintas entre as variáveis.

42. Análise de Cluster Hierárquica
Após rodar cada análise de agrupamento, atribua um nome
compreensível ao atributo de agrupamento

43. Heterogeneidade por número de
agrupamentos

44. Heterogeneidade por número de
agrupamentos
0
2000
4000
6000
8000
10000
12000
14000
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Heterogeneirdade

45. Dendograma
5 agrupamentos

46.  Analisar -> Relatórios -> Resumo de Caso
Análise de Cluster Hierárquica

47. Análise de Cluster Hierárquica

48.  Refazer análise hierárquica com método de ligação entre
grupos
Análise de Cluster Hierárquica

49.  Analisar -> Relatórios -> Resumos de Caso
Análise de Cluster Hierárquica

50.  Analisar -> Relatórios -> Resumos de Caso
Análise de Cluster Hierárquica

51.  Refazer análise hierárquica com método Ward e
intervalo por correlação de Pearson
Análise de Cluster Hierárquica

52. Análise de Cluster Hierárquica
Correlação de Pearson nos Agrupamentos
Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
Consumo
Total 0.44 0.60 0.63
Agrupamento
1 0.66 0.74 0.81
2 0.89 0.93 0.86
3 0.93 0.78 0.79
4 0.66 0.86 0.70
5 0.73 0.86 0.93

53.  Refazer análise hierárquica com método Ligação entre
grupos e intervalo por correlação de Pearson
Análise de Cluster Hierárquica

54.  Análise hierárquica com método Ligação entre grupos e
intervalo por correlação de Pearson
Análise de Cluster Hierárquica
Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
Consumo
Agrupamento
1 0.69 0.74 0.86
2 0.89 0.96 0.88
3 0.95 0.83 0.77
4 0.65 0.84 0.69
5 0.86 0.80 0.77
Total 0.44 0.60 0.63

55. Regressão pelos Agrupamentos de
Correlação de Pearson
Método de Ligação entre grupos

56. Análise de Cluster Hierárquica
R2 B1 Renda
(padronizado)
B2 Rede2
(padronizado)
Geral 0.53 0.40 0.46
Agrupamento
1 0.78 0.29 0.66
2 0.69 0.95 -0.13*
3 0.92 0.86 0.11
4 0.67 0.54 0.31
5 0.74 0.67 0.26
Regressão pelos Agrupamentos de Correlação de
Pearson, Método Ligação entre grupos
* Não significativo a 95% de confiança

57.  Refazer análise hierárquica para método Ward e
distância euclidiana quadrática incluindo coordenadas
geográficas X e Y com variáveis
Análise de Cluster Hierárquica
Consumo
Renda
Rede
X
Y
60%
40%

58. 1º Passo: Criar os scores Z das váriáveis
Analisar > Estatísticas Descritivas > Descritivas
K-MÉDIAS

59. Analisar > Classificar > Cluster de K-médias…
K-MÉDIAS

60. Analisar > Classificar > Cluster de K-médias…
K-MÉDIAS

62. Podemos exportar, no formato .csv ou .dbf (Dbase IV), os
resultados salvos na tabela.
Em seguida, podemos juntar esta tabela ao shapefile
(União) no QGIS e visualizar os grupos espacialmente
Visualização dos
agrupamentos

63. 1º - Visualizar mapa para Análise Hierárquica
Método Ward – Distância Euclideana ao Quadrado
Visualização dos agrupamentos

64. Análise Hierárquica
Método Ward
Distância
Euclideana ao
Quadrado

65. 2º - Visualizar mapa para Análise Hierárquica
Ligação entre grupos– Distância Euclideana ao Quadrado
Visualização dos agrupamentos

66. Análise Hierárquica - Distância Euclideana ao Quadrado
Ligação
entre
grupos
Método
Ward

67. 3º - Visualizar mapa para Médias K
Visualização dos agrupamentos

68. Hierárquico X Médias K
Distância
entre
grupos
Hierárquico
Método Ward
Distância
Euclideana ao
Quadrado
Médias K

69. 4º - Visualizar mapa para análise hierárquica
Método Ward – Distância Euclideana Quadrática
Incluindo Coordenadas X e Y
Visualização dos agrupamentos

70. Distância Euclideana ao Quadrado
Incluindo
coordenadas
geográficas
Método Ward

71. 5º - Visualizar mapa para análise hierárquica
Método Ward – Correlação de Pearson
Visualização dos agrupamentos

72. Correlação de Pearson
Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
Consumo
Agrupamento
1 0.66 0.74 0.81
2 0.89 0.93 0.86
3 0.93 0.78 0.79
4 0.66 0.86 0.70
5 0.73 0.86 0.93
Total 0.44 0.60 0.63
Correlação
Método
Ward

73. 6º - Visualizar mapa para análise hierárquica
Método de Ligação entre Grupos – Correlação de Pearson
Visualização dos agrupamentos

74. Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
Consumo
Agrupamento
1 0.69 0.74 0.86
2 0.89 0.96 0.88
3 0.95 0.83 0.77
4 0.65 0.84 0.69
5 0.86 0.80 0.77
Total 0.44 0.60 0.63
Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
Consumo
Agrupamento
1 0.66 0.74 0.81
2 0.89 0.93 0.86
3 0.93 0.78 0.79
4 0.66 0.86 0.70
5 0.73 0.86 0.93
Total 0.44 0.60 0.63
Correlação de Pearson
Ligação
entre
grupos
Método
Ward

75. Par de
correlação
Renda
X
Rede2
Renda
X
Consumo
Rede2
X
ConsumoAgrupamento
1 0.69 0.74 0.86
2 0.89 0.96 0.88
3 0.95 0.83 0.77
4 0.65 0.84 0.69
5 0.86 0.80 0.77
Total 0.44 0.60 0.63
Correlação de Pearson
Ligação
entre
grupos
R2
B1
Renda
B2
Rede2
Geral 0.53 0.40 0.46
Agrupamento
1 0.78 0.29 0.66
2 0.69 0.95 -0.13*
3 0.92 0.86 0.11
4 0.67 0.54 0.31
5 0.74 0.67 0.26
Regressão
Correlação

76. Gravar dados no Shapefile
 Clique com o botão direito na camada e selecione
“salvar como…”

77. Exercício
Realize as seguintes análises de agrupamento para os
dados do seu trabalho de curso:
- Método Ward
- Distância Euclideana ao Quadrado
- Correlação de Pearson
- Escolha um número de agrupamentos com base na
heterogeneidade dos grupos
- Realize a regressão para cada um dos agrupamentos de
correlação de Pearson
- Exporte os resultados do SPSS para sua base de dados
do QGIS e gere os dois mapas de agrupamento
- Interprete os resultados