SlideShare ist ein Scribd-Unternehmen logo
1 von 29
Downloaden Sie, um offline zu lesen
Explorando dados de
financiamento de campanhas
com SQL
Coda.br - Escola de Dados
Adriano Belisário
@belisards
adrianobf@gmail.com
Um pouco de história (e links)...
-
- Campanha 'Quem são os proprietários do Brasil?'
http://proprietariosdobrasil.org.br/)
- Investigação para a Agência Pública sobre cartelização em grandes empreiteiras
e financiamento de campanha:
http://apublica.org/2014/06/um-jogo-para-poucos/ &&
https://apublica.org/2014/06/as-quatro-irmas/
- Repositórios organizados por Rafael Polo: https://mostre.me/ &&
https://mostre.me/eleicoes && https://github.com/rafapolo/tribuna
- Cruzamento automático para identificar doações da Odebrecht para o grupo
Connectas/The Intercept: http://github.com/belisards/match-tse-odb/ &&
https://theintercept.com/staff/adriano-belisario/
Alguns conceitos...
- Partidos, comitês e candidatos: possuem prestações de contas distintas.
Comitês são organizados de acordo com o cargo que se disputa. Já a Direção dos
Partidos divide-se pelos três níveis da federação.
- Doações estimada: prestação de serviços cujos valores são contabilizados
como receita pela prestação de contas.
- Doação direta/indireta: uma prática comum era a empresa doar para um
partido que então repassava este recurso aos candidatos. a partir de 2014, surge
o campo de 'Doador Originário' que vincula este recurso repassado pelo partido à
empresa/pessoa fonte do dinheiro.
- Doações empresariais: proibidas desde a eleição de 2016. Pessoas poderiam
doar até 10% do rendimento.
- Novas regras futuras: A partir de 2018, o limite de doação de pessoa física
para cada cargo ou chapa será de 10 salários mínimos. Autofinanciamento em
debate. Financiamento coletivo. Limite de gastos.
Quais dados são estes?
- Os dados brutos das receitas das campanhas eleitorais são disponibilizadas
pelo Tribunal Superior Eleitoral (TSE) em seu Repositório de Dados Eleitorais:
http://www.tse.jus.br/eleitor-e-eleicoes/estatisticas/repositorio-de-dados-
eleitorais-1/repositorio-de-dados-eleitorais
- Baseado na autodeclaração das receitas de campanhas oficiais: muitas vezes,
é a "ponta do iceberg". Dados oficiais, mas inconsistentes ou mesmo ausentes.
- Podem ser atualizados retroativamento por meio de retificações solicitadas
pelos candidatos e partidos, que depois de aceitas pelo TSE atualizam o
Repositório de Dados.
- Dividido por eleições de 2002 e 2016. De 1994 e 1998, quando não havia
sistema eletrônico, há dados transcritos pelo prof. norte-americano David
Samuels, que foram tratados pelo pesquisador Bruno Carazza:
http://leisenumeros.com.br/2016/06/dados-sobre-financiamento-de-
campanhas-eleitorais-producao-legislativa-e-comportamento-parlamentar/
Mais sobre o banco de dados....
- Nem o TSE tinha....
- Reúne informações de 2002 a 2016 de todas prestações de contas já
registradas no TSE
- Cerca de 26gb de dados brutos. Dump final compactado tem aprox. 600mb
- Script de importação auditável e aberto: ele automaticamente baixa,
descompacta, limpa e importa todas planilhas em um banco de dados SQL
- 1 tabela (doacoes) por ora. Abstração dos doadores e candidatos da tabela de
doação em fase avançada
- Colaboradores são bem vindos!
Quais dados são estes?
Os campos da
prestação de contas
variam de ano a ano.
Para unificar a prestação
de contas de todas
eleições, era preciso
então unificar os campos
comuns em um esquema,
que incluísse também as
particularidades
relevantes de cada
eleição.
Quais campos são estes?
id= ID única da doação no
banco
uf= Estado
cpf = CPF e CNPJ
numero=n. da candidatura
doador_original=a partir
de 2014, revela origem
das doações indiretas
fonte=origem do recurso;
recurso=Estimado,
financeiro, cheque, etc;
data=dia da doação
motivo= despesa atrelada;
valor=em R$, não
atualizado
valor_at = valor atualizado
pelo IPCA;
tipo=
partido/comite/candidato
Total de doações de acordo com campo 'fonte'
Total de doações de acordo com campo 'recurso'
Fazendo perguntas em SQL
Termos básicos
SELECT = defina separado por vírgulas quais serão os campos consultados
FROM = define a tabela onde será a feita consulta. no nosso caso, "doações"
WHERE = define condições para a consulta, com operadores como AND e OR
GROUP by = defina o agrupamento das colunas. necessário para realizar somas,
por exemplo
ORDER by = ordena os resultados de modo ascendente (ASC) ou descendente
(DESC)
LIMIT = limitar a quantidade de resultados;
Fazendo perguntas em SQL
Alguns operadores para incrementar as buscas
SUM(): soma
AVG(): média
LENGTH(): quantidade caracteres de um campo;
COUNT(): quantidade de resultados de um grupo;
MIN()/MAX(): valores mínimos/máximos de um grupo;
Fazendo (e melhorando) perguntas em SQL
Buscando candidatos
Buscando empresas e filiais
- A mesma empresa pode ter vários CNPJs: as filiais de uma mesma empresa-
matriz possuem um prefixo comum de oito dígito (tudo antes da barra):
XX.XXX.XXX/YYYY-ZZ
- O nome da empresa pode estar grafado de forma incorreta. Vale a pena
consultar considerando possíveis variações nos nomes, inclusive foneticamente;
- A utilização de curingas nos ajuda a contornar estes problemas nas consultas;
- Busque sempre utilizar curingas quando procurar por nomes e posicione-os
estrategicamente
- Em 2014 e 2016, considerar também o campo "doador_original" e
"cpf_doador_original"
Buscando empresas e filiais
Tabelas virtuais
CREATE VIEW bancos AS select * from doacoes where setor_economico like 'Bancos%';
Tabelas virtuais
CREATE VIEW bancos AS select * from doacoes where setor_economico like 'Bancos%';
Tabelas novas
BANCO DE DADOS
|
|
TABELA 1 ---- TABELA 2 --- TABELA 3
|
|
VIEW A
Atualizando valores
- Para analisar a evolução temporal de doações em uma série histórica, é
útil corrigir os valores. Isto porque o valor de - por exemplo - R$ 1 milhão
doado em 2002 não tem o mesmo "peso" que R$ 1 milhão em 2017.
- Calculamos a média da inflação por ano pelo IPCA e criamos um campo
novo para ter o valor atualizado, além do valor original (ref. setembro de
2017) :
Cruzando listas
Passo a passo:
- Listar a razão social de empresas, candidatos, doadores, CPFs e etc, em
planilhas.
- Carregar estas tabelas no SQL e com JOIN cruzar com as doações
registradas, incluindo filiais
- Deletar falsos positivos;
- Exportar e analisar os resultados
Script de exemplo: http://github.com/belisards/match-tse-odb/

Weitere ähnliche Inhalte

Ähnlich wie Lidando com dados de financiamento de campanha em SQL

Virtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine LearningVirtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine LearningDenodo
 
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)Claudio Martins
 
NoSQL na Globo.com - RioInfo 2014
NoSQL na Globo.com - RioInfo 2014NoSQL na Globo.com - RioInfo 2014
NoSQL na Globo.com - RioInfo 2014Camila Dias
 
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...Claudio Martins
 
Aplicações não convencionais de grafos
Aplicações não convencionais de grafosAplicações não convencionais de grafos
Aplicações não convencionais de grafospichiliani
 
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados - Marc...
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados  - Marc...RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados  - Marc...
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados - Marc...Andre Deak
 
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...Thiago Rocha
 
Ciência de Dados em Governo
Ciência de Dados em GovernoCiência de Dados em Governo
Ciência de Dados em GovernoSérgio Dias
 
AI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDCAI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDCRenan Moreira de Oliveira
 
Como começar uma startup - StartCamp #1 Ideiação e User Experience
Como começar uma startup - StartCamp #1 Ideiação e User ExperienceComo começar uma startup - StartCamp #1 Ideiação e User Experience
Como começar uma startup - StartCamp #1 Ideiação e User ExperienceWelliton Oliveira
 
SEO: (Search Engine Optimization) Otimização de buscas de Sites
SEO: (Search Engine Optimization) Otimização de buscas de SitesSEO: (Search Engine Optimization) Otimização de buscas de Sites
SEO: (Search Engine Optimization) Otimização de buscas de SitesEveraldo Wanderlei Uavniczak
 

Ähnlich wie Lidando com dados de financiamento de campanha em SQL (20)

Workshop / Meetup: Visão geral sobre Big Data
Workshop / Meetup: Visão geral sobre Big DataWorkshop / Meetup: Visão geral sobre Big Data
Workshop / Meetup: Visão geral sobre Big Data
 
Information retrieval
Information retrievalInformation retrieval
Information retrieval
 
Sistemas de Apoio à Decisão
Sistemas de Apoio à DecisãoSistemas de Apoio à Decisão
Sistemas de Apoio à Decisão
 
Virtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine LearningVirtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine Learning
 
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)
Oportunidades e Desafios em Aplicativos de Dados Abertos (open data)
 
SAAS - Search as a Service 2017
SAAS - Search as a Service 2017SAAS - Search as a Service 2017
SAAS - Search as a Service 2017
 
NoSQL na Globo.com - RioInfo 2014
NoSQL na Globo.com - RioInfo 2014NoSQL na Globo.com - RioInfo 2014
NoSQL na Globo.com - RioInfo 2014
 
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
Dados Abertos: Oportunidades, Inovação e Transparência (2º Congresso Nacional...
 
Analise Bay Area Bike Sharing
Analise Bay Area Bike SharingAnalise Bay Area Bike Sharing
Analise Bay Area Bike Sharing
 
Hackathon UOL
Hackathon  UOL Hackathon  UOL
Hackathon UOL
 
Aula Data Mining
Aula Data MiningAula Data Mining
Aula Data Mining
 
Deck juntos 2021
Deck juntos 2021Deck juntos 2021
Deck juntos 2021
 
Aplicações não convencionais de grafos
Aplicações não convencionais de grafosAplicações não convencionais de grafos
Aplicações não convencionais de grafos
 
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados - Marc...
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados  - Marc...RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados  - Marc...
RAC - Reportagem com auxílio de computador - Palestra Bancos De Dados - Marc...
 
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...
7 lições sobre Data Analytics que as principais empresas do Vale do Silício e...
 
Ciência de Dados em Governo
Ciência de Dados em GovernoCiência de Dados em Governo
Ciência de Dados em Governo
 
AI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDCAI & Big Data - Personalização da Jornada - PicPay - TDC
AI & Big Data - Personalização da Jornada - PicPay - TDC
 
Como começar uma startup - StartCamp #1 Ideiação e User Experience
Como começar uma startup - StartCamp #1 Ideiação e User ExperienceComo começar uma startup - StartCamp #1 Ideiação e User Experience
Como começar uma startup - StartCamp #1 Ideiação e User Experience
 
SEO: (Search Engine Optimization) Otimização de buscas de Sites
SEO: (Search Engine Optimization) Otimização de buscas de SitesSEO: (Search Engine Optimization) Otimização de buscas de Sites
SEO: (Search Engine Optimization) Otimização de buscas de Sites
 
Painel 03 03 - lucas freire - Filtros econômicos e combate a cartéis em lic...
Painel 03   03 - lucas freire - Filtros econômicos e combate a cartéis em lic...Painel 03   03 - lucas freire - Filtros econômicos e combate a cartéis em lic...
Painel 03 03 - lucas freire - Filtros econômicos e combate a cartéis em lic...
 

Kürzlich hochgeladen

2° ANO - ENSINO FUNDAMENTAL ENSINO RELIGIOSO
2° ANO - ENSINO FUNDAMENTAL ENSINO RELIGIOSO2° ANO - ENSINO FUNDAMENTAL ENSINO RELIGIOSO
2° ANO - ENSINO FUNDAMENTAL ENSINO RELIGIOSOLeloIurk1
 
Revolução russa e mexicana. Slides explicativos e atividades
Revolução russa e mexicana. Slides explicativos e atividadesRevolução russa e mexicana. Slides explicativos e atividades
Revolução russa e mexicana. Slides explicativos e atividadesFabianeMartins35
 
PROJETO DE EXTENÇÃO - GESTÃO DE RECURSOS HUMANOS.pdf
PROJETO DE EXTENÇÃO - GESTÃO DE RECURSOS HUMANOS.pdfPROJETO DE EXTENÇÃO - GESTÃO DE RECURSOS HUMANOS.pdf
PROJETO DE EXTENÇÃO - GESTÃO DE RECURSOS HUMANOS.pdfHELENO FAVACHO
 
Análise poema país de abril (Mauel alegre)
Análise poema país de abril (Mauel alegre)Análise poema país de abril (Mauel alegre)
Análise poema país de abril (Mauel alegre)ElliotFerreira
 
planejamento_estrategico_-_gestao_2021-2024_16015654.pdf
planejamento_estrategico_-_gestao_2021-2024_16015654.pdfplanejamento_estrategico_-_gestao_2021-2024_16015654.pdf
planejamento_estrategico_-_gestao_2021-2024_16015654.pdfmaurocesarpaesalmeid
 
A QUATRO MÃOS - MARILDA CASTANHA . pdf
A QUATRO MÃOS  -  MARILDA CASTANHA . pdfA QUATRO MÃOS  -  MARILDA CASTANHA . pdf
A QUATRO MÃOS - MARILDA CASTANHA . pdfAna Lemos
 
Apresentação ISBET Jovem Aprendiz e Estágio 2023.pdf
Apresentação ISBET Jovem Aprendiz e Estágio 2023.pdfApresentação ISBET Jovem Aprendiz e Estágio 2023.pdf
Apresentação ISBET Jovem Aprendiz e Estágio 2023.pdfcomercial400681
 
PROJETO DE EXTENSÃO I - Radiologia Tecnologia
PROJETO DE EXTENSÃO I - Radiologia TecnologiaPROJETO DE EXTENSÃO I - Radiologia Tecnologia
PROJETO DE EXTENSÃO I - Radiologia TecnologiaHELENO FAVACHO
 
PROJETO DE EXTENSÃO - EDUCAÇÃO FÍSICA BACHARELADO.pdf
PROJETO DE EXTENSÃO - EDUCAÇÃO FÍSICA BACHARELADO.pdfPROJETO DE EXTENSÃO - EDUCAÇÃO FÍSICA BACHARELADO.pdf
PROJETO DE EXTENSÃO - EDUCAÇÃO FÍSICA BACHARELADO.pdfHELENO FAVACHO
 
PROJETO DE EXTENSÃO I - SERVIÇOS JURÍDICOS, CARTORÁRIOS E NOTARIAIS.pdf
PROJETO DE EXTENSÃO I - SERVIÇOS JURÍDICOS, CARTORÁRIOS E NOTARIAIS.pdfPROJETO DE EXTENSÃO I - SERVIÇOS JURÍDICOS, CARTORÁRIOS E NOTARIAIS.pdf
PROJETO DE EXTENSÃO I - SERVIÇOS JURÍDICOS, CARTORÁRIOS E NOTARIAIS.pdfHELENO FAVACHO
 
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...azulassessoria9
 
Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdf
Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdfProjeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdf
Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdfHELENO FAVACHO
 
Reta Final - CNU - Gestão Governamental - Prof. Stefan Fantini.pdf
Reta Final - CNU - Gestão Governamental - Prof. Stefan Fantini.pdfReta Final - CNU - Gestão Governamental - Prof. Stefan Fantini.pdf
Reta Final - CNU - Gestão Governamental - Prof. Stefan Fantini.pdfWagnerCamposCEA
 
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...azulassessoria9
 
PROJETO DE EXTENSÃO I - TECNOLOGIA DA INFORMAÇÃO Relatório Final de Atividade...
PROJETO DE EXTENSÃO I - TECNOLOGIA DA INFORMAÇÃO Relatório Final de Atividade...PROJETO DE EXTENSÃO I - TECNOLOGIA DA INFORMAÇÃO Relatório Final de Atividade...
PROJETO DE EXTENSÃO I - TECNOLOGIA DA INFORMAÇÃO Relatório Final de Atividade...HELENO FAVACHO
 
5 bloco 7 ano - Ensino Relogioso- Lideres Religiosos _ Passei Direto.pdf
5 bloco 7 ano - Ensino Relogioso- Lideres Religiosos _ Passei Direto.pdf5 bloco 7 ano - Ensino Relogioso- Lideres Religiosos _ Passei Direto.pdf
5 bloco 7 ano - Ensino Relogioso- Lideres Religiosos _ Passei Direto.pdfLeloIurk1
 
apostila projeto de vida 2 ano ensino médio
apostila projeto de vida 2 ano ensino médioapostila projeto de vida 2 ano ensino médio
apostila projeto de vida 2 ano ensino médiorosenilrucks
 
PROJETO DE EXTENSÃO I - AGRONOMIA.pdf AGRONOMIAAGRONOMIA
PROJETO DE EXTENSÃO I - AGRONOMIA.pdf AGRONOMIAAGRONOMIAPROJETO DE EXTENSÃO I - AGRONOMIA.pdf AGRONOMIAAGRONOMIA
PROJETO DE EXTENSÃO I - AGRONOMIA.pdf AGRONOMIAAGRONOMIAHELENO FAVACHO
 
Considere a seguinte situação fictícia: Durante uma reunião de equipe em uma...
Considere a seguinte situação fictícia:  Durante uma reunião de equipe em uma...Considere a seguinte situação fictícia:  Durante uma reunião de equipe em uma...
Considere a seguinte situação fictícia: Durante uma reunião de equipe em uma...azulassessoria9
 
aula de bioquímica bioquímica dos carboidratos.ppt
aula de bioquímica bioquímica dos carboidratos.pptaula de bioquímica bioquímica dos carboidratos.ppt
aula de bioquímica bioquímica dos carboidratos.pptssuser2b53fe
 

Kürzlich hochgeladen (20)

2° ANO - ENSINO FUNDAMENTAL ENSINO RELIGIOSO
2° ANO - ENSINO FUNDAMENTAL ENSINO RELIGIOSO2° ANO - ENSINO FUNDAMENTAL ENSINO RELIGIOSO
2° ANO - ENSINO FUNDAMENTAL ENSINO RELIGIOSO
 
Revolução russa e mexicana. Slides explicativos e atividades
Revolução russa e mexicana. Slides explicativos e atividadesRevolução russa e mexicana. Slides explicativos e atividades
Revolução russa e mexicana. Slides explicativos e atividades
 
PROJETO DE EXTENÇÃO - GESTÃO DE RECURSOS HUMANOS.pdf
PROJETO DE EXTENÇÃO - GESTÃO DE RECURSOS HUMANOS.pdfPROJETO DE EXTENÇÃO - GESTÃO DE RECURSOS HUMANOS.pdf
PROJETO DE EXTENÇÃO - GESTÃO DE RECURSOS HUMANOS.pdf
 
Análise poema país de abril (Mauel alegre)
Análise poema país de abril (Mauel alegre)Análise poema país de abril (Mauel alegre)
Análise poema país de abril (Mauel alegre)
 
planejamento_estrategico_-_gestao_2021-2024_16015654.pdf
planejamento_estrategico_-_gestao_2021-2024_16015654.pdfplanejamento_estrategico_-_gestao_2021-2024_16015654.pdf
planejamento_estrategico_-_gestao_2021-2024_16015654.pdf
 
A QUATRO MÃOS - MARILDA CASTANHA . pdf
A QUATRO MÃOS  -  MARILDA CASTANHA . pdfA QUATRO MÃOS  -  MARILDA CASTANHA . pdf
A QUATRO MÃOS - MARILDA CASTANHA . pdf
 
Apresentação ISBET Jovem Aprendiz e Estágio 2023.pdf
Apresentação ISBET Jovem Aprendiz e Estágio 2023.pdfApresentação ISBET Jovem Aprendiz e Estágio 2023.pdf
Apresentação ISBET Jovem Aprendiz e Estágio 2023.pdf
 
PROJETO DE EXTENSÃO I - Radiologia Tecnologia
PROJETO DE EXTENSÃO I - Radiologia TecnologiaPROJETO DE EXTENSÃO I - Radiologia Tecnologia
PROJETO DE EXTENSÃO I - Radiologia Tecnologia
 
PROJETO DE EXTENSÃO - EDUCAÇÃO FÍSICA BACHARELADO.pdf
PROJETO DE EXTENSÃO - EDUCAÇÃO FÍSICA BACHARELADO.pdfPROJETO DE EXTENSÃO - EDUCAÇÃO FÍSICA BACHARELADO.pdf
PROJETO DE EXTENSÃO - EDUCAÇÃO FÍSICA BACHARELADO.pdf
 
PROJETO DE EXTENSÃO I - SERVIÇOS JURÍDICOS, CARTORÁRIOS E NOTARIAIS.pdf
PROJETO DE EXTENSÃO I - SERVIÇOS JURÍDICOS, CARTORÁRIOS E NOTARIAIS.pdfPROJETO DE EXTENSÃO I - SERVIÇOS JURÍDICOS, CARTORÁRIOS E NOTARIAIS.pdf
PROJETO DE EXTENSÃO I - SERVIÇOS JURÍDICOS, CARTORÁRIOS E NOTARIAIS.pdf
 
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
 
Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdf
Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdfProjeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdf
Projeto de Extensão - ENGENHARIA DE SOFTWARE - BACHARELADO.pdf
 
Reta Final - CNU - Gestão Governamental - Prof. Stefan Fantini.pdf
Reta Final - CNU - Gestão Governamental - Prof. Stefan Fantini.pdfReta Final - CNU - Gestão Governamental - Prof. Stefan Fantini.pdf
Reta Final - CNU - Gestão Governamental - Prof. Stefan Fantini.pdf
 
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
PROVA - ESTUDO CONTEMPORÂNEO E TRANSVERSAL: COMUNICAÇÃO ASSERTIVA E INTERPESS...
 
PROJETO DE EXTENSÃO I - TECNOLOGIA DA INFORMAÇÃO Relatório Final de Atividade...
PROJETO DE EXTENSÃO I - TECNOLOGIA DA INFORMAÇÃO Relatório Final de Atividade...PROJETO DE EXTENSÃO I - TECNOLOGIA DA INFORMAÇÃO Relatório Final de Atividade...
PROJETO DE EXTENSÃO I - TECNOLOGIA DA INFORMAÇÃO Relatório Final de Atividade...
 
5 bloco 7 ano - Ensino Relogioso- Lideres Religiosos _ Passei Direto.pdf
5 bloco 7 ano - Ensino Relogioso- Lideres Religiosos _ Passei Direto.pdf5 bloco 7 ano - Ensino Relogioso- Lideres Religiosos _ Passei Direto.pdf
5 bloco 7 ano - Ensino Relogioso- Lideres Religiosos _ Passei Direto.pdf
 
apostila projeto de vida 2 ano ensino médio
apostila projeto de vida 2 ano ensino médioapostila projeto de vida 2 ano ensino médio
apostila projeto de vida 2 ano ensino médio
 
PROJETO DE EXTENSÃO I - AGRONOMIA.pdf AGRONOMIAAGRONOMIA
PROJETO DE EXTENSÃO I - AGRONOMIA.pdf AGRONOMIAAGRONOMIAPROJETO DE EXTENSÃO I - AGRONOMIA.pdf AGRONOMIAAGRONOMIA
PROJETO DE EXTENSÃO I - AGRONOMIA.pdf AGRONOMIAAGRONOMIA
 
Considere a seguinte situação fictícia: Durante uma reunião de equipe em uma...
Considere a seguinte situação fictícia:  Durante uma reunião de equipe em uma...Considere a seguinte situação fictícia:  Durante uma reunião de equipe em uma...
Considere a seguinte situação fictícia: Durante uma reunião de equipe em uma...
 
aula de bioquímica bioquímica dos carboidratos.ppt
aula de bioquímica bioquímica dos carboidratos.pptaula de bioquímica bioquímica dos carboidratos.ppt
aula de bioquímica bioquímica dos carboidratos.ppt
 

Lidando com dados de financiamento de campanha em SQL

  • 1. Explorando dados de financiamento de campanhas com SQL Coda.br - Escola de Dados Adriano Belisário @belisards adrianobf@gmail.com
  • 2. Um pouco de história (e links)... - - Campanha 'Quem são os proprietários do Brasil?' http://proprietariosdobrasil.org.br/) - Investigação para a Agência Pública sobre cartelização em grandes empreiteiras e financiamento de campanha: http://apublica.org/2014/06/um-jogo-para-poucos/ && https://apublica.org/2014/06/as-quatro-irmas/ - Repositórios organizados por Rafael Polo: https://mostre.me/ && https://mostre.me/eleicoes && https://github.com/rafapolo/tribuna - Cruzamento automático para identificar doações da Odebrecht para o grupo Connectas/The Intercept: http://github.com/belisards/match-tse-odb/ && https://theintercept.com/staff/adriano-belisario/
  • 3. Alguns conceitos... - Partidos, comitês e candidatos: possuem prestações de contas distintas. Comitês são organizados de acordo com o cargo que se disputa. Já a Direção dos Partidos divide-se pelos três níveis da federação. - Doações estimada: prestação de serviços cujos valores são contabilizados como receita pela prestação de contas. - Doação direta/indireta: uma prática comum era a empresa doar para um partido que então repassava este recurso aos candidatos. a partir de 2014, surge o campo de 'Doador Originário' que vincula este recurso repassado pelo partido à empresa/pessoa fonte do dinheiro. - Doações empresariais: proibidas desde a eleição de 2016. Pessoas poderiam doar até 10% do rendimento. - Novas regras futuras: A partir de 2018, o limite de doação de pessoa física para cada cargo ou chapa será de 10 salários mínimos. Autofinanciamento em debate. Financiamento coletivo. Limite de gastos.
  • 4. Quais dados são estes? - Os dados brutos das receitas das campanhas eleitorais são disponibilizadas pelo Tribunal Superior Eleitoral (TSE) em seu Repositório de Dados Eleitorais: http://www.tse.jus.br/eleitor-e-eleicoes/estatisticas/repositorio-de-dados- eleitorais-1/repositorio-de-dados-eleitorais - Baseado na autodeclaração das receitas de campanhas oficiais: muitas vezes, é a "ponta do iceberg". Dados oficiais, mas inconsistentes ou mesmo ausentes. - Podem ser atualizados retroativamento por meio de retificações solicitadas pelos candidatos e partidos, que depois de aceitas pelo TSE atualizam o Repositório de Dados. - Dividido por eleições de 2002 e 2016. De 1994 e 1998, quando não havia sistema eletrônico, há dados transcritos pelo prof. norte-americano David Samuels, que foram tratados pelo pesquisador Bruno Carazza: http://leisenumeros.com.br/2016/06/dados-sobre-financiamento-de- campanhas-eleitorais-producao-legislativa-e-comportamento-parlamentar/
  • 5. Mais sobre o banco de dados.... - Nem o TSE tinha.... - Reúne informações de 2002 a 2016 de todas prestações de contas já registradas no TSE - Cerca de 26gb de dados brutos. Dump final compactado tem aprox. 600mb - Script de importação auditável e aberto: ele automaticamente baixa, descompacta, limpa e importa todas planilhas em um banco de dados SQL - 1 tabela (doacoes) por ora. Abstração dos doadores e candidatos da tabela de doação em fase avançada - Colaboradores são bem vindos!
  • 6. Quais dados são estes? Os campos da prestação de contas variam de ano a ano. Para unificar a prestação de contas de todas eleições, era preciso então unificar os campos comuns em um esquema, que incluísse também as particularidades relevantes de cada eleição.
  • 7. Quais campos são estes? id= ID única da doação no banco uf= Estado cpf = CPF e CNPJ numero=n. da candidatura doador_original=a partir de 2014, revela origem das doações indiretas fonte=origem do recurso; recurso=Estimado, financeiro, cheque, etc; data=dia da doação motivo= despesa atrelada; valor=em R$, não atualizado valor_at = valor atualizado pelo IPCA; tipo= partido/comite/candidato
  • 8. Total de doações de acordo com campo 'fonte'
  • 9. Total de doações de acordo com campo 'recurso'
  • 10. Fazendo perguntas em SQL Termos básicos SELECT = defina separado por vírgulas quais serão os campos consultados FROM = define a tabela onde será a feita consulta. no nosso caso, "doações" WHERE = define condições para a consulta, com operadores como AND e OR GROUP by = defina o agrupamento das colunas. necessário para realizar somas, por exemplo ORDER by = ordena os resultados de modo ascendente (ASC) ou descendente (DESC) LIMIT = limitar a quantidade de resultados;
  • 11. Fazendo perguntas em SQL Alguns operadores para incrementar as buscas SUM(): soma AVG(): média LENGTH(): quantidade caracteres de um campo; COUNT(): quantidade de resultados de um grupo; MIN()/MAX(): valores mínimos/máximos de um grupo;
  • 12. Fazendo (e melhorando) perguntas em SQL
  • 13.
  • 14.
  • 15.
  • 16.
  • 17.
  • 18.
  • 20. Buscando empresas e filiais - A mesma empresa pode ter vários CNPJs: as filiais de uma mesma empresa- matriz possuem um prefixo comum de oito dígito (tudo antes da barra): XX.XXX.XXX/YYYY-ZZ - O nome da empresa pode estar grafado de forma incorreta. Vale a pena consultar considerando possíveis variações nos nomes, inclusive foneticamente; - A utilização de curingas nos ajuda a contornar estes problemas nas consultas; - Busque sempre utilizar curingas quando procurar por nomes e posicione-os estrategicamente - Em 2014 e 2016, considerar também o campo "doador_original" e "cpf_doador_original"
  • 22.
  • 23.
  • 24. Tabelas virtuais CREATE VIEW bancos AS select * from doacoes where setor_economico like 'Bancos%';
  • 25. Tabelas virtuais CREATE VIEW bancos AS select * from doacoes where setor_economico like 'Bancos%';
  • 27. BANCO DE DADOS | | TABELA 1 ---- TABELA 2 --- TABELA 3 | | VIEW A
  • 28. Atualizando valores - Para analisar a evolução temporal de doações em uma série histórica, é útil corrigir os valores. Isto porque o valor de - por exemplo - R$ 1 milhão doado em 2002 não tem o mesmo "peso" que R$ 1 milhão em 2017. - Calculamos a média da inflação por ano pelo IPCA e criamos um campo novo para ter o valor atualizado, além do valor original (ref. setembro de 2017) :
  • 29. Cruzando listas Passo a passo: - Listar a razão social de empresas, candidatos, doadores, CPFs e etc, em planilhas. - Carregar estas tabelas no SQL e com JOIN cruzar com as doações registradas, incluindo filiais - Deletar falsos positivos; - Exportar e analisar os resultados Script de exemplo: http://github.com/belisards/match-tse-odb/