O documento descreve o pré-processamento e mineração de dados do Censo Escolar brasileiro de 2007 a 2011 para gerar regras de associação. As regras geradas indicam padrões como escolas em localizações diferenciadas terem menos estruturas e equipamentos e escolas funcionando terem infraestrutura básica como água e energia.
3. Pré-processamento
● Dados heterogêneos;
● 2007 à 2011 várias semelhanças;
● Unificação das bases:
○ 2009 como ponto de partida;
○ Remoção de atributos pouco participativos;
○ Problemas:
■ ID_QUADRA_ESPORTES;
■ ID_AGUA_FILTRADA;
4. Pré-processamento
● Tratamento de atributos:
○ Exclusão:
■ DT_ANO_LETIVO_(INICIO & TERMINO);
■ FK_COD_LINGUA_INDIGENA;
■ ID_CONVENIADA_PP;
■ ID_DEPENDENCIAS_OUTRAS;
■ ID_ESP_MEDIO_*(Todos os 4);
■ PK_COD_ENTIDADE & FK_COD_ESTADO;
Obs.: Atributo DESC_CATEGORIA_ESCOLA_PRIVADA não foi excluído.
6. Processamento
● Filter “NumericToNominal”;
● Demora de gerar resultados ou loop infinito;
● Regras apenas com valores 0 ⇒
substituição de 0 por vazio;
● Redução do escopo para apenas 2011;
● Várias execuções removendo cada vez mais
atributos;
7. Análise
● Regras ordenadas pelas medidas de
avaliação;
● “Qualidade” avaliada pelo conhecimento do
domínio;
● Regras óbvias foram excluídas;
8. Regras Geradas
ID_LOCALIZACAO_DIFERENCIADA=0 ⇒ DESC_SITUACAO_FUNCIONAMENTO=1
(25301) (25301) conf:(1)
“Se a localização não for diferenciada então a escola está em funcionamento.”
Talvez escolas que não estejam em atividades não participaram do censo. Caso
contrário, grande parte das escolas estão funcionando.
ID_LOCALIZACAO_DIFERENCIADA:
0 - Não se aplica
1 - Á rea de assentamento
2 - Terra indı́gena
3 - Á rea remanescente de quilombos
DESC_SITUACAO_FUNCIONAMENTO:
1 - EM ATIVIDADE
2 - PARALISADA
3 - EXTINTA
4 - EXTINTA NO ANO ANTERIOR
9. Regras Geradas
Mais sobre localização diferenciada:
● ID_LIXO_COLETA_PERIODICA=1 (23731) ⇒ ID_LOCALIZACAO _DIFERENCIADA=0 (23573) conf:(0.99);
● ID_EQUIP_TV=1 (24633) ⇒ ID_LOCALIZACAO_DIFERENCIADA=0 (24322) conf:(0.99) ;
● ID_EQUIP_DVD=1 (24158) ⇒ ID_LOCALIZACAO_DIFERENCIADA=0 (23865) conf:(0.99);
● ID_COZINHA=1 ID_EQUIP_DVD=1 (23595) ⇒ ID_LOCALIZACAO _DIFERENCIADA=0 (23308) conf:(0.99);
● ID_COMPUTADORES=1 (23320) ⇒ ID_LOCALIZACAO _DIFERENCIADA=0 (23034) conf:(0.99);
Axioma da lógica clássica:
Logo, escolas em localização diferenciada aparentemente
possuem deficiência nas estruturas/equipamentos citados.
Entretanto, o suporte é muito baixo.
10. Regras Geradas
● DESC_SITUACAO_FUNCIONAMENTO=1 (25761) ⇒ ID_AGUA _INEXISTENTE=0 ID_ESGOTO_INEXISTENTE=0
(25505) conf:(0.99);
● DESC_SITUACAO_FUNCIONAMENTO=1 (25761) ⇒ ID_ENERGIA _INEXISTENTE=0 (25673) conf:(1);
● ID_ENERGIA_INEXISTENTE=0 (25673) ⇒ DESC_SITUACAO _FUNCIONAMENTO=1 (25673) conf:(1);
● DESC_SITUACAO_FUNCIONAMENTO=1 (25761) ⇒ ID_ENERGIA _OUTROS=0 (25687) conf:(1);
● ID_ENERGIA_OUTROS=0 (25687) ⇒ DESC_SITUACAO _FUNCIONAMENTO=1 (25687) conf:(1);
● DESC_SITUACAO_FUNCIONAMENTO=1 (25761) ⇒ ID_EQUIP_TV=1 (24633) conf:(0.96);
● DESC_SITUACAO_FUNCIONAMENTO=1 (25761) ⇒ ID_COZINHA=1 (24630) conf:(0.96);
● DESC_SITUACAO_FUNCIONAMENTO=1 (25761) ⇒ ID_EQUIP_DVD=1 (24158) conf:(0.94);
Todas as escolas em funcionamento possui água, esgoto e
energia elétrica. A maioria possui cozinha, TV e DVD.
11. Regras Geradas
● ID_LABORATORIO _CIENCIAS=0 (27004) ⇒ ID_SALA_LEITURA=0
(24240) conf:(0.9);
○ Indica prioridade de sala de leitura sobre laboratório de ciências;
● ID_ALIMENTACAO=1 (22808) ⇒ ID_COZINHA=1 (22467) conf:(0.99);
○ Refeições produzidas na própria escola;
● ID_COMPUTADORES=1 (23320) ⇒ ID_EQUIP_TV=1 (22929) conf:(0.98);
○ Indica prioridade de TV sobre computadores;
● ID_LIXO_QUEIMA=0 (23420) ⇒ ID_LIXO_COLETA_PERIODICA=1 (22914)
conf:(0.98);
○ Se a escola não queima o lixo então possui coleta periódica.
12. Conclusão
● Mineração de dados é também tentativa e
erro, o que torna o processo cíclico;
● Pouco tempo disponível, demora para gerar
regras e pouca experiência dificultou a
geração de regras relevantes;
● Grande maioria das escolas (do sul) possui
infraestrutura básica (água, energia,
esgoto…) exceto aquelas em localização
diferenciada.
13. Referências
1. de Vasconcelos, Lívia Maria Rocha, and Cedric Luiz de Carvalho. "Aplicação de Regras de
Associação para Mineração de Dados na Web." Brasil, Universidade Federal do Rio Grande do Sul
(2004): 11-14.
2. Brusso, M. J. Access Miner: Uma proposta para a Extração de Regras de Associação Aplicada à
Mineração do Uso da Web. Master’s thesis, PPGC da UFRGS, Porto Alegre - RS, 2000.
3. Data Mining na Prática: Regras de Associação. Mauro Pichiliani. 2008.
4. Pang-Ning, Tan, Michael Steinbach, and Vipin Kumar. "Introduction to data mining." WP Co
(2006).
5. Azevedo, Paulo J., and Alípio M. Jorge. "Comparing rule measures for predictive association
rules." Machine Learning: ECML 2007. Springer Berlin Heidelberg, 2007. 510-517.
6. Mattos, Guilherme. L. M. “Medidas de interesse de regras associativas: estudo de caso com dados
de clientes de créditos bancários”. 2007.
7. Bürkle, Paula Y. “Um Método de Pós-processamento de Regras de Associação com Base nas
Relações de Dependência entre os Atributos”. 2006.
8. “Weka 3: Data Mining Software in Java”, http://reality.sgi.
com/employees/jam_sb/mocap/MoCapWP_v2.0.html, Dezembro 2014.