O documento discute como a capacidade de armazenar grandes volumes de dados permitiu o acesso a informações sem necessidade de livros físicos e como ferramentas de busca ampliam nossa compreensão. Também apresenta o conceito de data mining como a exploração de dados em busca de padrões consistentes para detectar novos subconjuntos de informações.
Boas práticas de programação com Object Calisthenics
Data Mining
1.
2. A informática deu-nos a capacidade de ter acesso a grandes volumes de dados. Insondáveis quantidades de dados são captados diariamente de forma sistemática, com segundas, terceiras e quartas intenções.
3. O fato de termos tão grandiosas bases de dados armazenadas em diversos servidores ao redor do mundo, permitiu-nos ficar livres de pilhas e mais pilhas de livros e volumes enciclopédicos. Além desse aspecto físico, trouxe-nos o benefício do acesso a inúmeras ferramentas de Busca, estendendo a nossa compreensão da sua utilização, bem como ampliando suas aplicabilidades com o seu respectivo amadurecimento.
4. Data Mining - É a prospecção de dados ou a mineração de dados. É o processo de explorar grandes volumes de dados à procura de padrões consistentes. Estas podem ser regras de associação ou mesmo seqüências temporais. Ao detectar tais relacionamentos sistemáticos entre variáveis, detectamos também novos subconjuntos de dados. O Data Mining é uma das recentes novidades da Ciência da Computação, a qual certamente veio para ficar. Não existe forma mais nobre de utilizar esses vastos repositórios de dados do que descobrir se há algum conhecimento escondido neles, através da busca por padrões.
5. Etapas da Mineração de Dados Os passos fundamentais de uma mineração bem sucedida a partir de fontes de dados (bancos de dados, relatórios, logs de acesso, transações, etc.) consistem de uma limpeza (consistência, preenchimento de informações, remoção de ruído e redundâncias, etc.). Disto nascem os repositórios organizados (Data Marts e Data Warehouses).
6. É a partir deles que se pode selecionar algumas colunas para atravessarem o processo de mineração. Tipicamente, este processo não é o final da história: de forma interativa e freqüentemente usando visualização gráfica, um analista refina e conduz o processo até que os padrões apareçam. Observe que todo esse processo parece indicar uma hierarquia, algo que começa em instâncias elementares (embora volumosas) e terminam em um ponto relativamente concentrado.
7. Encontrar padrões requer que os dados brutos sejam sistematicamente "simplificados" de forma a desconsiderar aquilo que é específico e privilegiar aquilo que é genérico. Faz-se isso porque não parece haver muito conhecimento a extrair de eventos isolados. Uma loja de sua rede que tenha vendido a um cliente uma quantidade impressionante de um determinado produto em uma única data pode apenas significar que esse cliente em particular procurava grande quantidade desse produto naquele exato momento. Mas isso provavelmente não indica nenhuma tendência de mercado.
