doenças

1. VALIDAÇÃO, INTEGRIDADE
E MONITORAMENTO DAS
DOENÇAS
NIGEL PANETH

2. MEDIDAS DE INTEGRIDADE
TERMINOLOGIA
INTEGRIDADE é análoga à precisão.
VALIDAÇÃO é análoga à segurança da
exatidão.
INTEGRIDADE é como um observador
classifica melhor o mesmo indivíduo sob
diferentes circunstâncias.
VALIDAÇÃO é como uma prova reproduz
melhor um resultado comparado à outra
prova de maior segurança conhecida.

3. INTEGRIDADE E VALIDAÇÃO
INTEGRIDADE inclui:
• avaliações feitas pelo mesmo observador
em diferentes períodos de tempo –
INTEGRIDADE INTRAOBSERVADOR.
• avaliações feitas por observadores
diferentes ao mesmo tempo –
INTEGRIDADE INTEROBSERVADOR.
INTEGRIDADE presume que todas as provas
e observadores sejam iguais.
VALIDAÇÃO presume que haja um padrão de
ouro com o qual a prova e o observador
serão comparados.

4. AVALIANDO INTEGRIDADE
Como avaliamos a integridade?
Uma maneira é observar simplesmente a
percentagem de concordância.
- Percentagem de concordância é a
proporção de todos os diagnósticos
classificados da mesma maneira por dois
observadores.

5. EXEMPLO
São dadas a dois médicos 100
radiografias para analisar
independentemente, e lhes é
perguntado se há a presença de
pneumonia ou não. Quando ambos os
seus diagnósticos são comparados,
encontramos que 95% dos
diagnósticos são os mesmos.

6. Há integridade nos diagnósticos?
A percentagem de concordância é suficiente
para indicar integridade?
95% de concordância entre os dois médicos
e a ausência ou presença da doença em
uma amostra de 100 pacientes sempre
indica boa concordância?
Você se sentiria tranqüilo se seu hospital
fizesse um constante trabalho de leitura de
Raios X do tórax, e se elas apresentassem
95% de integridade?

7. COMPARE AS DUAS TABELAS ABAIXO:
TABELA 1 TABELA 2
Em ambos os exemplos, os médicos
concordaram em 95% de vezes. Os dois médicos
são igualmente íntegros nas duas tabelas?
MD ≠1
SIM NÃO
MD≠2
SIM 1 3
NÃO 2 94
MD ≠1
SIM NÃO
MD≠2
SIM 43 3
NÃO 2 52

8. •QUAL A DIFERENÇA ESSENCIAL ENTRE
AS DUAS TABELAS?
•O problema surge da facilidade de
concordância em eventos comuns
(Ex: não existindo pneumonia na
primeira tabela).
•Uma medida de concordância deverá
levar em consideração a “facilidade” de
concordância devida somente ao acaso.

9. USO DE KAPPA PARA AVALIAR
INTEGRIDADE
KAPPA é um teste de concordância
INTER e INTRA-observadores (ou
integridade) amplamente utilizado,
que corrige por concordância o
acaso.

10. KAPPA VARIA DE +1 à -1
+1 significa que os dois observadores
concordaram perfeitamente. Eles
classificaram a todos exatamente da mesma
forma.
0 significa que não existe nenhuma relação
entre as classificações dos dois
observadores, acima da concordância de
acasos que seriam esperadas.
-1 significa que os dois observadores
classificaram exatamente o oposto. Se um
observador diz SIM, o outro sempre diz NÃO.

11. GUIA PARA USO DE KAPPA EM
EPIDEMIOLOGIA E EM MEDICINA:
KAPPA > 0,80 é considerado excelente.
KAPPA 0,60 – 0,80 é considerado bom.
KAPPA 0,40 – 0,60 é considerado regular.
KAPPA < 0,40 é considerado ruim

12. PRIMEIRA MANEIRA DE CALCULAR
KAPPA:
1. Calcule a concordância observada
(células nas quais os observadores
concordaram/totais de células). Em
ambas as TABELAS 1 e 2 são de 95%.
2. Calcule a concordância esperada
(acaso de concordância) baseada nas
marginais totais.

13. OS TOTAIS MARGINAIS
DA TABELA 1 SÃO:
OBSERVADOS MD≠1
SIM NÃO
MD≠2
SIM 1 3 4
NÃO 2 94 96
3 97 100

14. Como calculamos
o N esperado por
acasos (azar) em
cada célula?
Supondo que cada
célula reflete as
distribuições
marginais, ex: as
proporções das
respostas SIM e
NÃO deverão ser as
mesmas dentro de
uma tabela de
quatro células como
os totais marginais.
OBSERVADOS MD≠1
SIM NÃO
MD≠2
SIM 1 3 4
NÃO 2 94 96
3 97 100
ESPERADOS MD≠1
SIM NÃO
MD≠2
SIM 4
NÃO 96
3 97 100

15. Para chegar a isso, encontramos a proporção das
respostas em cada coluna (3% e 97%, SIM e NÃO
respectivamente, para MD≠1) ou na coluna (4% e 96%,
SIM e NÃO respectivamente, para MD≠2) dos totais
marginais, e aplicamos uma das duas proporções no
outro total marginal. Ex: 96% dos totais das colunas
na categoria “NÃO”. Portanto, 96% de NÃO por acasos
de MD≠1, deveriam também, estar na coluna de NÃO.
96% de 97 são 93,12.
ESPERADOS MD≠1
SIM NÃO
MD≠2
SIM 4
NÃO 93,12 96

16. Por subtração, todas as outras células serão
preenchidas automaticamente, e cada distribuição
de células SIM/NÃO refletirá a distribuição margin
Qualquer célula poderá ser usada para fazer o
cálculo, uma vez que, se cada célula é especificada
numa tabela 2X2 com distribuições marginais
fixadas, todas as outras células também, serão
especificadas.
ESPERADOS
MD≠1
SIM NÃO
MD≠2
SIM 0,12 3,88 4
NÃO 2,88 93,12 96

17. Agora você pode ver que somente por
operação de acaso, 93,24 das 100
observações deveriam ser concordantes
para os dois observadores (93,12 + 0,12)
ESPERADOS
MD≠1
SIM NÃO
MD≠2
SIM 0,12 3,88 4
NÃO 2,88 93,12 96
3 97 100

18. Agora comparemos a concordância
atual com a concordância esperada:
A concordância esperada é 6,76% distante da
concordância completa de 100%, (100% - 93,24%
= 6,76%).
A concordância atual foi de 5,0% da concordância
completa de 100%, (100% – 95%).
Assim, nossos dois observadores foram 1,76%
melhores que o acaso (azar), mas se eles
tivessem concordado completamente, deveriam
ter sido 6,76% melhores que o acaso (azar). Logo,
eles são melhores em somente cerca de 0,26%
que o acaso (azar) ou seja, 1,76/6,76 ≅¼.

19. ABAIXO ESTÁ A FÓRMULA PARA
O CÁLCULO DE KAPPA DA
CONCORDÂNCIA (C) ESPERADA:
C. observada – C. esperada
1 – Concordância esperada
95% - 93,24% = 1,76 = 0,26%
1 – 93,24% 6,76

20. UM KAPPA DE 0,26% É BOM?
KAPPA > 0,80 é considerado excelente.
KAPPA 0,60 – 0,80 é considerado bom.
KAPPA 0,40 – 0,60 é considerado
regular.
KAPPA < 0,40 é considerado ruim.

21. No segundo exemplo, a concordância
observada foi também, de 95%, mas os
totais marginais foram muito
diferentes.
ATUAL
MD≠1
SIM NÃO
MD≠2
SIM 46
NÃO 54
45 55 100

22. Calculamos a concordância esperada N,
para qualquer célula, usando o mesmo
procedimento anterior baseado nos totais
marginais. Ex: a célula de valor mais baixo
à direita é 54% de 55, que é 29,7.
ATUAL
MD≠1
SIM NÃO
MD≠2
SIM 46
NÃO 29,7 54
45 55 100

23. E, por subtração as outras células que
estão abaixo. As células que indicam
concordância estão ressaltadas em
amarelo e somam 54,4%.
ATUAL
MD≠1
SIM NÃO
MD≠2
SIM 20,7 25,3 46
NÃO 24,3 29,7 54
45 55 100

24. ENTRE AS DUAS CONCORDÂNCIAS (C)
NA FÓRMULA:
Neste exemplo, os observadores têm a
mesma % de concordância, mas agora eles
são muito diferentes do acaso (azar). O
KAPPA de 0,90 é considerado excelente.
C. observada – C. esperada
1 – Concordância esperada
95% - 50,4% = 44,6% = 0,90
1 – 50,4% 49,6%

25. OUTRA FORMA DE CALCULAR KAPPA:
2(AD – BC)
N1
N4
+ N2
N3
Onde, os valores Ns
são totais marginais,
assim denominados:
MD≠1
SIM NÃO
MD≠2
SIM A B N1
NÃO C D N2
N3
N4
Total

26. VEJA NOVAMENTE NA TABELA
DO SLIDE 7.
Para a TABELA 1:
2 (94 x 1 – 2 x 3) = 176 = 0,26
4 x 97 + 3 x 96 676
Para a TABELA 2:
2 (52 x 43 – 3 x 2) = 4460 = 0,90
46 x 55 + 45 x 54 4960

27. NOTE O PARALELISMO ENTRE:
A ODDS RATIO - RAZÃO DE PROBABILIDADES
O QUI-QUADRADO ESTATÍSTICO
O KAPPA ESTATÍSTICO
Note que são centrais nas três expressões
os produtos cruzados das tabelas de
quatro células e suas relações com os
totais marginais.

28. VALIDAÇÃO E MONITORAMENTO
AS TRÊS MEDIDAS CHAVES DA
VALIDAÇÃO:
SENSIBILIDADE
ESPECIFICIDADE
VALORES PREVISTOS

29. TABELA DE QUATRO CÉLULAS PARA
AVALIAR A RELAÇÃO DE TESTE-DOENÇA
ESTADOS DE DOENÇA
+ -
RESULTADO
DO
TESTE
+
DOENTE
TESTE
POSITIVO
NÃO
DOENTE
TESTE
POSITIVO
TESTE
NEGATIVO
-
DOENTE
TESTE
NEGATIVO
LIVRE DE
DOENÇA
TESTE
NEGATIVO
TESTE
POSITIVO
DOENTE NÃO
DOENTE

30. SENSIBILIDADE
Ela nos indica o quanto um teste
positivo detecta a doença.
É definida como a fração dos doentes
com resultados positivos nos testes.
Seus complementos são as taxas dos
testes falso negativos, definidas como
a fração de doentes que dão resultados
negativos nos testes.
A sensibilidade e a taxa de falsos
negativos somam UM.

31. ESPECIFICIDADE
Nos indica o quanto um teste negativo é
bom para detectar nenhuma doença.
É definida como a fração dos não-doentes
que deram testes negativos.
Seu complemento é a taxa de falsos
positivos definida como a fração dos não-
doentes cuja prova foi positiva.
Especificidade mais a taxa de falsos
positivos dão UM.

32. VALORES PREVISTOS
VALOR PREVISTO POSITIVO é a proporção de
todas as pessoas com resultados positivos que
têm a doença.
VALOR PREVISTO NEGATIVO é a proporção de
todas as pessoas com resultados negativos que
não têm a doença.
Em geral, o valor previsto positivo é o mais
utilizado. O valor previsto positivo e a
sensibilidade são talvez, os dois parâmetros
mais importantes para o entendimento da
utilização de um teste sob as condições de
campo.

33. PONTOS CHAVES PARA RELEMBRAR
Sensibilidade, especificidade, falsos positivos e
falsos negativos são todos os denominadores
comuns para doentes e não doentes (utilizamos no
total das colunas).
Ao contrário, os valores previstos são
denominadores para o status do teste, positivo ou
negativo (utilizamos no total das seqüências).
Sensibilidade e especificidade não variam de acordo
com a prevalência da doença na população. Os
valores previstos de um teste, sem dúvida, são
ALTAMENTE DEPENDENTES sob a prevalência da
doença na população.

34. CALCULANDO SENSIBILIDADE,
ESPECIFICIDADE E OS VALORES
PREVISTOS U
teste é utilizado em 50 pessoas com
uma doença e 50 pessoas sem a doença.
Estes são os resultados:
DOENÇA
+
-
TESTE
+ 48 3 51
- 2 47 49
50 50 100

35. Sensibilidade = 48/50 x 100 = 96%
Especificidade = 47/50 x 100 = 94%.
Valor previsto positivo = 48/51 x 100 = 94%.
Valor previsto negativo = 47/49 x 100 = 96%.
DOENÇA
+ -
TESTE
+ 48 3 51
- 2 47 49
50 50 100

36. Agora, vamos aplicar este teste numa
população onde 2% das pessoas têm a
doença, não os 50% como no exemplo
anterior. Suponha que existem 10.000
pessoas, e a mesma sensibilidade e
especificidade anterior, com valores
de 96% e 94% respectivamente.
DOENÇA
+ -
TESTE
+ 192 588 780
- 8 9.212 9.220
200 9.800 10.000

37. AGORA, QUAL O VALOR POSITIVO
PREVISTO?
192/780 X 100 = 24,6%.
Quando a prevalência de uma doença é de 50%,
94% dos testes positivos indicam a doença. Mas
quando a prevalência é de somente 2%, menor
que 1 em quatro nos resultados dos testes,
estes indicam uma pessoa com a doença, e que
atualmente 2% deveriam apresentar uma doença
comum. Os resultados falsos positivos tendem
a esconder-se em verdadeiros positivos nas
populações, devido a que muitas doenças que
testamos são raras.

38. MUDANDO O LIMITE DE UM TESTE
Quando a doença é definida por um limiar num
teste contínuo, as características do teste podem
ser alteradas mudando-se o limite ou o PONTO
DE CORTE (CUT-OFF).
Diminuir o limite melhora a sensibilidade, mas
muitas vezes a custo de diminuir a especificidade
(ex: mais falsos positivos).
Aumentar o limite melhora a especificidade, a
custo da diminuição da sensibilidade (ex: mais
falsos negativos).
Isto é especificamente importante quando a
distribuição de uma característica é UNIMODAL,
como a pressão arterial, colesterol, peso, etc
(devido à zona cinza – borderline - ser muito
ampla).

39. PROBLEMAS DE MONITORAMENTO
•Temos um correto limiar?
•Há um tratamento verdadeiramente efetivo
disponível para a doença diagnosticada?
•Este tratamento é mais efetivo nos casos
monitorados que nós não monitorados?
•Quais são os efeitos adversos do processo de
monitoramento?
•O quanto eficiente é o monitoramento?
Ex: Quantas pessoas têm que ser monitoradas
para se encontrar um caso?

40. EXEMPLO:
Um ensaio randomizado (aleatório) é
implementado para se avaliar um
programa de monitoramento para o
câncer de colon.
O grupo da intervenção tem
monitoramento regular, o grupo controle
é deixado a mercê de seus próprios
recursos.

41. APÓS CINCO ANOS
ENCONTRAMOS QUE:
Mais casos são descobertos no grupo
monitorado que no grupo controle.
Os casos são descobertos com antecedência
aos estágios do câncer no grupo monitorado.
A sobrevida a cinco anos é maior nas pessoas
com câncer monitoradas.
Podemos concluir que este programa de
monitoramento é necessariamente efetivo?

42. NÃO, O PROGRAMA NÃO É
NECESSARIAMENTE EFETIVO.
Os benefícios aparentes só demonstram os
efeitos do RISCO DEPENDENTE DO TEMPO.
Sendo possível diagnosticar uma condição de
forma antecipada, isso não melhorará a sobrevida
depois do diagnóstico; o programa de
monitoramento terá uma super representação de
casos diagnosticados mais cedo, cuja sobrevida
será aumentada por exatamente o tempo em que
seu diagnóstico foi feito de forma mais antecipada
pelo programa de monitoramento.
Assim, eles não serão beneficiados, mas a
quantidade de tempo que eles saberão que têm
câncer terá aumentado.

43. CONSIDERE COMO O TEMPO DO
DIAGNÓSTICO MUDA COM O
MONITORAMENTO NO CENÁRIO ABAIXO:
GRUPO SEM MONITORAMENTO:
Dx MORTE
IDADE 50 51 52 53 54 55
GRUPO MONITORADO:
Dx MORTE
IDADE 50 51 52 53 54 55

44. OUTROS RISCOS (BIAS) NO
MONITORAMENTO: RISCO (BIAS)
DE AMPLITUDE DE TEMPO
•Muitas doenças crônicas, especialmente
cânceres, não progridem com a mesma
rapidez em todos os pacientes.
•Qualquer grupo de doentes incluirá alguns
para os quais a doença se desenvolve mais
lentamente e em outros se desenvolve mais
rápido.
•Preferencialmente, o monitoramento incluirá
doenças de desenvolvimento lento (com maior
oportunidade de serem monitoradas) e que
normalmente terá melhor prognóstico.

45. No cenário anterior, a incidência de doença
é inicialmente mais alta, o diagnóstico é feito
mais cedo, o estagio do diagnóstico é mais
antecipado e a duração da sobrevida desde
o diagnóstico é mais ampla.
Todos eles nos dão a impressão de
benefícios do monitoramento.
Todavia o paciente não é beneficiado, visto
que a morte não é adiada.
A única evidência de efetividade no
programa de monitoramento é uma redução
da morbidade ou mortalidade específica por
total de idade, idealmente demonstrado num
ensaio randomizado (aleatório).

46. Exercício de mamografia (Mamógrafo)
1. Menos de 50 anos, a sensibilidade é de 75%;
acima dos 50 anos, a sensibilidade é de 90%.
2. Menos de 50 anos, 640 mamografias anormais
foram confirmadas com 17 cânceres, a razão
FP/TP é 623/17 = 36,7.
Acima dos 50 anos, 100 mamografias anormais,
foram confirmadas 14 cânceres; a razão FP/TP é
86/14 = 6,1. Expressando-os como valores
previstos positivos, teremos respectivamente:
17/640 x 100 = 2,7% e 14/100 x 100 = 14%.

47. Exercício de mamografia
(Mamógrafo) (continuação)
3. Menos de 50 anos, a incidência é de
1,42/1000/ano (baseado em 37 mortes em
10000 em 10 anos).
Acima dos 50 anos, a incidência é de
2,5/1000/ano (baseado em 1/40/10 anos).
MORTALIDADE – 0,67/1000/ano (baseado
em 1/150 em 10 anos).