O documento discute diferentes abordagens para buscar vínculos em grandes bases de dados da administração pública brasileira. Atualmente, a CGU e o TCU usam soluções como o i2 que têm licenças limitadas e consultas lentas. Novas abordagens como SQL, Neo4j e grafos estão sendo testadas para melhorar a performance e escopo das consultas de vínculos. Próximos passos incluem testes, disponibilização das soluções e trabalho conjunto para comparar as abordagens.

1. Busca de vínculos na
Administração Pública
CONTROLADORIA GERAL DA UNIÃO
TRIBUNAL DE CONTAS DA UNIÃO

2. Busca de vínculos
Bases da Administração possuem vínculos expressos (PF-PF; PJ-PF; PJ-PJ):
◦ CPF: nome da mãe
◦ CNPJ e CNE: sócios e responsáveis
◦ RAIS: empregados
◦ ...
• É possível combinar todas essas bases em um único grafo
• Desafio: mais de um bilhão de vínculos

3. TCU – solução atual: i2
Poucas licenças (versão descontinuada após aquisição pela IBM)
Consultas lentas

4. SQL
Solução para busca de vínculos em até 6 níveis
Acesso direto à base de dados do i2
Viabiliza consulta a qualquer tipo de entidade modelada no i2 (CPF, CNPJ, telefone, automóvel,
endereço)
Codificado em PL/SQL (Oracle) e T-SQL (SQL-Server)
Redução do problema de explosão combinatória criando grafo de 3 níveis a partir de cada
entidade consultada (origem e destino)

5. SQL
Próximos passos
•Teste de carga/eficiência em ambiente SQL Server 2014 (queries em memória) e em banco de
dados colunar
•Encapsulamento da solução em interface para o usuário
•Ampliação das fontes de consulta (dissociar do i2)

6. Apex + R + iGraph + yEd
CNE, CNPJ,
CPF, RAIS
Fila
Requisição arquivo GML
Processamento
Visualização e
formatação

7. Apex + R + iGraph + yEd
Próximos passos
•Disponibilização em caráter de teste
•Processamento paralelizado
•K-caminhos-mais-curtos
•Adicionar mais bases

8. CGU – solução atual: i2
Poucas licenças (versão descontinuada após aquisição pela IBM)
Bases não centralizadas em um repositório único
Não engloba as trilhas de auditoria

9. Neo4J
Utilização de um banco de grafos para realizar consultas de vínculos
Consultas em SQL podem incluir vários níveis de junções no modelo relacional
Podem resolver trilhas de auditoria com mais eficiência

10. Neo4J

11. Neo4J
SELECT C01.nome_empresa, P01.nome_pessoa,C02.nome_empresa, P02.nome_pessoa, C03.nome_empresa, P03.nome_pessoa, C04.nome_empresa
FROM PessoasSocios AS PP01
INNER JOIN Empresas AS C01 --Inicio das 12 juncoes.
ON C01.pk_empresa = PP01.fk_empresa
INNER JOIN Pessoas AS P01
ON P01.pk_pessoas = PP01.fk_pessoa_socio
LEFT JOIN PessoasSocios AS PP02
ON PP02.fk_pessoa_socio = P01.pk_pessoa
LEFT JOIN Empresas AS C02
ON C02.pk_empresa = PP02.fk_empresa
LEFT JOIN PessoasSocios AS PP03
ON PP03.fk_empresa = C02.pk_empresa
LEFT JOIN Pessoas AS P02 ...

12. Neo4J
MATCH
(empresaB { nome:'EMPRESA B' })
-[r:E_SOCIO*1..6]-
(empresaC { nome:'EMPRESA C' })
RETURN empresaB, r, empresaC;

13. Neo4J

14. Neo4J
MATCH
p = allShortestPaths(
(o:Empresas{nome:"EMPRESA B"})
-[r:E_SOCIO*..6]-
(d:Empresas{nome:"EMPRESA C"})
) RETURN NODES(p)

15. Neo4J

16. Neo4J
MySQL Neo4j
Método de carga Ferramenta ETL Aplicação desenvolvida em JAVA
Tempo de execução 72.608,949s (Aprox. 20h)
14h sem sucesso para consulta por padrões e
369ms com allShortestPaths
Quantidade de vínculos obtidos 1 1
• Fonte: Base CGU
• Número Empresas: 7.754.989
• Número Sócios: 14.190.151
• Número de Sociedades: 20.903.480
• Máquina: 24 cores 64GB de RAM
• Consulta: Alternada de seis níveis
• Origem: Uma empresa com aproximadamente 400 sócios
• Destino: Uma segunda empresa com aproximadamente 400 sócios
• Objetivo: Avaliar a busca por relacionamentos, não necessariamente conluio

17. Neo4J
Próximos passos
Disponibilizar um conjunto de consultas para os Auditores
Tentar explorar os benefícios do Cypher em conjunto outras bibliotecas/linguagens
Processar grafos maiores para criar trilhas baseadas em grafos

18. Trabalho Conjunto
Evita redundância de esforços
Trabalho colaborativo mas independente
Próximos passos
Comparar o desempenho das diferentes abordagens
Unir esforços em torno da solução mais vantajosa

19. Obrigado!
Contatos
Markus Buhatem Koch kochmb@tcu.gov.br
Gustavo Cordeiro Galvão Van Erven gustavo.erven@cgu.gov.br