1. Indicadores para el análisis de la calidad de los
cuidados hospitalarios con base en el CMBD
Experiencias: OECD Health Care Quality
Indicators project y AVPM
Sandra García Armesto
Unidad de Investigación en Servicios de Salud
Instituto Aragonés de Ciencias de la Salud

2. CONTENIDOS
• Contexto del proyecto de indicadores de calidad
asistencial de la OCDE (HCQI project)
• Indicadores basados en datos hospitalarios en el HCQI
project
• Retos y oportunidades en el uso de datos hospitalarios
para la comparación internacional de la calidad
asistencial
• El análisis de la calidad de los cuidados hospitalarios en
AVPM
• Retos y oportunidades en el uso del CMBD para medir
la calidad de los cuidados hospitalarios en España

3. La experiencia internacional:
HCQI project de la OCDE

4. HCQI project (1)
• Arranque en 2002 (OMS World Health report 2000,
Conferencia de Otawa 2001)
Objetivos:
• Construir un modelo de indicadores capaz de suscitar
preguntas sobre la calidad asistencial comparada entre
países
• Foco inicial - calidad técnica de la asistencia
(efectividad y seguridad del paciente)
• Expansión hacia Experiencia del paciente/receptividad
del sistema a la perspectiva del paciente
• Representar las principales categorías de enfermedad y
grupos de riesgo en los países participantes

5. SALUD
Cuál es el estado de Salud de la población?
DETERMINANTES NO SANITARIOS DE LA SALUD
Cuál es el impacto de los factores no sanitarios y en qué dirección actúan E
sobre el estado de salud de la población? Q
U
I
D
A
D
El marco DESEMPEÑO DEL SISTEMA DE SALUD
´Cómo es el desempeño del sistema de cuidados de salud? Cuál es el nivel de cuidados provistas para
teórico de
las diferenes necesidades de salud de los pacientes?Cúal es la calidad de esta actividad? Cuál es el
coste?
evaluación
Dimensiones del desempeño asistencial
Calidad Acceso Coste
del Necesidades
de salud Efectividad Seguridad Centralidad Accesibilidad
desempeño Mantenerse
del paciente
sano
recuperarse
Vivir con la
enfermedad o
incapacidad
Atención
terminal
EFICIENCIA
(rendimiento (valor) de la inversión)
DISEÑO DEL SISTEMA SANITARIO Y CONTEXTO
Qué información sobre el diseño y arquitectura del sistema de salud o del contexto en el que opera
puede resultar relevante para interp`retar su desempeño?

6. • Alemania • Mexico
• Australia • Nueva Zelanda
• Austria • Noruega
• Bélgica • Polonia
• Canadá • Portugal
Países • Corea • Reino Unido
participantes • Dinamarca • República Checa
en el HCQI • España • República Eslovaca
project • Estados Unidos • Suecia
• Finlandia • Suiza
• Francia • Turquía
• Grecia
• Holanda MIEMBROS UE NO MIEMBROS OCDE
• Hungría • Chipre
• Irlanda • Latvia
• Islandia • Malta
• Italia
• Japón OBSERVADOR
• Luxemburgo • Singapur

7. Indicadores (1): Composición set consolidado
Process measures Outcome and proxy outcome measures
Avoidable chronic obstructive pulmonary disease (COPD) admission rate
Avoidable asthma admission rate
Care for chronic Avoidable congestive heart failure (CHF) admission rate
conditions Avoidable hypertension admission rate
Avoidable diabetes acute complications admission rate
Avoidable diabetes lower extremity amputation rate
Care for acute
Acute Myocardial Infarction (AMI) 30 day case-fatality rate
exacerbations of
Stroke 30 day case-fatality rate
chronic conditions
Care for mental Unplanned schizophrenia re-admission rate
disorders Unplanned bipolar disorder re-admission rate
Colorectal cancer survival rate
Colorectal cancer mortality rate
Breast cancer screening rate Breast cancer survival rate
Cancer care
Cervical cancer screening rate Breast cancer mortality rate
Cervical cancer survival rate
Cervical cancer mortality rate
Rate of childhood vaccination
of pertussis
Rate of childhood vaccination
Care for of measles Incidence of measles
communicable Rate of childhood vaccination Incidence of Pertussis
diseases of Incidence of Hepatitis B
hepatitis B
Rate of influenza vaccination
for elderly people

8. Principales retos
• Variabilidad entre países en la capacidad para
identificar pacientes
• Adaptación de las definiciones de AHRQ para
“universalizarlas”
• Años disponibles para la comparación (desfase
transversal y pobreza de las series temporales)
• Diferencias en la estructura poblacional (Necesidad de
estandarización por sexo y edad)
• Representatividad nacional

9. Indicadores basados en datos
hospitalarios (2):
Seguridad del paciente
Area Indicator name (números AHRQ)
Hospital-acquired Decubitus ulcer (PSI 3)
infections Catheter-related bloodstream infections (PSI 7)
Complications of anaesthesia (PSI 1)
Iatrogenic pneumothorax (PSI 6)
Postoperative hip fracture (PSI 8)
Operative and post- Postoperative respiratory failure (PSI 11)
operative complications
Postoperative pulmonary embolism (PE) or deep vein thrombosis (DVT) (PSI 12)
Postoperative sepsis (PSI 13)
Accidental Puncture or Laceration (PSI 15)
Foreign body left in during procedure (PSI 5)
Sentinel events
Transfusion reaction (PSI 16)
Birth trauma – injury to neonate (PSI 17)
Obstetric trauma – vaginal delivery with instrument (PSI 18)
Obstetrics
Obstetric trauma – vaginal delivery without instrument (PSI 19)
Obstetric trauma - caesarean section (PSI 20)

10. Principales retos
• Variabilidad en las prácticas de codificación del
diagnóstico al ingreso
• Número de diagnósticos secundarios
• Variabilidad en la versión de CIE empleada
• Disponibilidad de clasificación internacional de
procedimientos

11. La experiencia nacional: El
enfoque proveedor en AVPM

12. Medir el desempeño de los proveedores
respondiendo a la pregunta:
¿La probabilidad de recibir cuidados seguros y
de alta calidad depende del proveedor?

13. Métodos
• Población:
– Altas hospitalarias de alrededor de 200 hospitales (3.5 a 4
millones de altas al año).
• Resultado principal
– Probabilidad de tener un resultado de salud (mortalidad,
problema de seguridad, etc.) atribuibles a los cuidados recibidos.
• Factores relacionados
– Edad, sexo, morbilidad, severidad, y características de los
hospitales
• Datos:
– CMBD al alta hospitalaria, Encuesta de Establecimientos
Sanitarios en Régimen de Internado
• Análisis:
– Medida de ajuste de riesgos (APR-DRG, Elixhauser Index)
– Análisis multivariante (logistic regression, logit multilevel
regression, negative-binomial regression, etc.)

14. Patient Safety Indicators in Spanish Public Hospitals
4
Mortal Infec DVT Postp Trau Trauma Trau
DRG b/r UPP Cat PTV Seps Obs.wi Obs.w/oi CS
El riesgo de sufrir un
2
evento adverso
---------
--------
-----
----
---
--
- -----
----
---
--
- -----
----
---
--
-
atribuible a los
cuidados
--
----------
--------
-------
------
-----
----
---
- -------
------
-----
----
---
--
- -----
----
---
--
-
----------
--------
-------
------
-----
----
---
--
- ------------
----------
---------
--------
-------
------
-----
----
---
--
-
0
----------
--------
-------
------
-----
----
---
--
- ----------
--------
-------
------
-----
----
---
--
- ------------
----------
---------
--------
-------
------
-----
----
---
--
-
---------
--------
-----
----
---
--
- -------
------
-----
----
---
--
- -----
--
-
----
--- -----
----
---
--
-
-----
----
---
--
-
-2
0,50 0,57 0,92 0,22 0,23 0,46 0,55 0,57
-4
Incidence rate (log scale)
Each dot represents one hospital. Numbers in the bottom represents
CSV statistics: the higher the figure the more the variation beyond chance

15. Risk of death in volume-sensitive procedures El riesgo de
mortalidad
2
intrahospitalaria
)
------
-----
----
---
--
- ---------
-------
------
-----
----
---
--
- -------------
----------
--------
-------
------
-----
---
--
-
------------
-----------
---- para numerosos
procedimientos
0
------
-----
----
---
--
- ---------
-------
------
-----
----
---
--
- -------------
------------
-----------
----------
--------
-------
------
-----
----
---
--
-
-2
g (
-4
0,95 0,92 0,67
g
-6
Esophaguectomy Pancreatectomy Cholecistectomy
Each dot represents one hospital. Numbers in the bottom represents
CSV statistics: the higher the figure the more the variation beyond chance

16. Patient Safety Indicators and Gender
.5 1 1.5 2 2.5
Worse Worse Riesgo de tener un
determinado resultado
men women
Mortality in low mortality DRGs
según sexo
Decubitus Ulcer Risk
PPE & DVT
Mortality after AMI
Mortality after PTCA
Mortality after CABG
PSIs´ Odds Ratio (log scale) and Confidence
Mortality after Hip replacement Intervals (95%) are represented.
Mortality after cholecystectomy

17. Posición relativa de los
proveedores una vez
Funnel Plot representing realizado el ajuste
risk of PT-DVT in 175 hospitals
10
1
0,1
1 10 19 28 37 46 55 64 73 82 91 100 109 118 127 136 145 154 163 172
Those hospitals over the Upper Confidence Interval have
more risk than expected. In red, hospitals from a specific
area of interest

18. En el constructo de los PSI se asume
la idea de que la aparición de una
incidencia mayor de eventos adversos
que el estándar será
atribuible al proveedor sanitario
y no a las características de los
pacientes que trata.

19. Validez empírica de los indicadores
• ¿Miden lo que dice que • ¿Las diferencias entre centros
quieren medir? se deben al azar?
• ¿Miden diferencias entre • ¿Su medida es precisa?
pacientes o diferencias entre • ¿Son capaces de detectar
proveedores? proveedores con más casos de
lo esperado?
• ¿Miden parecido a los
• ¿Permite prever lo que
parecidos? Y, ¿distinto a los
sucederá el año próximo?
distintos?

20. Número de casos observados y esperados
(variabilidad por región y hospitales)
Rango casos ESPERADOS(n) Rango casos
Numerador Denominador Tasa cruda
observados esperados
(n) (n) (%) P75 P90
Región (n) (n)
1 303 154.364 0,19 3-39 7.7 9.5 2.01-14.1
2 44 28.681 0,15 0-17 2.8 6.2 0.44-6.19
3 108 52.552 0,20 0-37 4,6 5,3 0,001-10,7
4 332 190.169 0,17 2-47 10,6 15,6 1,36-24,27
5 477 126.166 0,37 0-312 9,04 16,38 0,001-33,86
6 44 22.759 0,19 3-29 8,81 14,17 2,84-14,17
7 34 6.696 0,50 3-21 16,01 16,01 1,65-16,01
8 30 15.848 0,18 7-15 11,54 11,54 2,72-11,54
9 88 41.429 0,21 1-18 7,13 9,22 1,12-11,08
10 9 5.996 0,15 9-9 3,71 3,71 3,71-3,71
11 8 14.042 0,05 1-7 9,70 9,70 3,49-9,71
12 15 6.427 0,23 0-15 3,28 3,28 1,94-3,28
TOTAL 1404 665.129 0,21 0-312 7,97 12,84 0,001-33,86
Esperados: binomial negativa

21. Características de la validación empírica
Estadísticos de variación1
Razón de Variación -
Estadísticos clásicos Coeficiente de Variación 2.49
Componente Sistemático de la Variación 0.18
Ajustes necesarios OR (IC95%)
Riesgo de Muerte
Leve 1
Moderada 6,8 (5,3 – 8,5)
Multinivel tipo logit Severa 19,1 (13,8 – 26,3)
Extrema 141,5 (102, 2 -196,1)
Edad 1.04 (1.03-1.05)
Varianza explicada por el hospital
Valor de rho (IC95%) 0,26 (0,19 – 0,35)
Hospitales por encima de lo esperado
Regresión Binomial negativa
Número (% sobre el total) 8 (6.8%)

22. Población de estudio 5.707.406 altas
Hospitales Porcentaje de
RIESGO (%)
incluidos por indicador altas incluidas
Mortalidad en DRG baja mortalidad PSI 02 176 28% 0,19
Ulceras por presión PSI 03 173 35% 0,59
Infección asociada a catéter PSI 07 172 53% 0,14
Fractura de cadera postquirúrgica PSI 08 173 17% -
TEP-ETEP PSI 12 175 25% 0,24
Sepsis PSI 13 149 5% 0,43
Traumatismo neonatal PSI 17 149 3% -
Trauma en parto instrumentado PSI 18 134 1% 4,82
Trauma en parto no instrumentado PSI 19 152 6% 0,85
Trauma tras cesárea PSI 20 146 2% 0,22

23. ¿Miden lo que dicen medir?
Se asume validez de constructo... aunque precisan ciertas adaptaciones
Numerador Denominador a riesgo
Mortal DRG bajo riesgo PSI 2 - Conjunto de casos español
UPP PSI 3 - No se excluye MDC 9
Infección asociada a catéter PSI 7 - -
Fractura cadera postquirúrgica PSI 8 - Todos los pacientes
TEP-ETEP PSI 12 - -
Sepsis Postoperatoria PSI 13 - -
Daño neonatal PSI 17 Utilizar 767.1 -
Trauma Obstétrico en parto c/inst PSI 18 Añadir 6651-3-5 -
Trauma Obstétrico en parto s/inst PSI 19 Añadir 6651-3-5 Eliminar partos con riesgo
Trauma Obstétrico tras cesárea PSI 20 Añadir 6651-3-5 Eliminar partos con riesgo

24. ¿El paciente explica?
Edad, Sexo, Índice de Charlson, Índice conjunto de Elixhauser, Severidad
Estrategia para disminuir
Observaciones
efecto paciente
Conjunto de AP-DRG, En un contexto distinto el riesgo es
Mortal DRG bajo riesgo
riesgo<0,5% distinto (r=0,18)
16% superior, a expensas
UPP Elimina 3 grupos de riesgo.
complicaciones “C”, se deben eliminar
No considera determinadas
Infección asociada a catéter Riesgo 3,5 veces mayor.
intervenciones
Añadir pacientes médicos no altera el
Fractura cadera postquirúrgica Solo pacientes quirúrgicos
riesgo basal.
No considera determinados Riesgo 31% mayor en pacientes con
TEP-ETEP
pacientes de riesgo riesgo según guía
Trauma Obstétrico en parto
No estrategia No afecta a los estimados
c/instrumentación
Trauma Obstétrico en parto Determinados partos Incrementan el
No estrategia
s/instrumentación riesgo en un 73%
Determinados partos Incrementan el
Trauma Obstétrico tras cesárea No estrategia
riesgo en un 32%.

25. ¿Explica el hospital?
Mortal DRG Infec. Fr cad TEP- Sepsis Daño Trauma Trauma Trauma
bajo riesgo UPP cateter Post-op ETEP Postop neonat Obs. c/i Obs. s/i Cesár
PSI 2 PSI 3 PSI 7 PSI 8 PSI 12 PSI 13 PSI 17 PSI 18 PSI 19 PSI 20
Ajustes necesarios
Edad - - - - -
Sexo - - - NA NA NA NA
Comorbilidad - - - - -
Numero códigos - - - - - -
Interacc, comor*ndx - - - - NA NA NA NA
Riesgo NA NA NA NA NA NA NA
Varianza Hospital
Valor de rho 0,13 0,18 0,22 - 0,24 0,27 - 0,30 0,25 0,14
(IC95%) 0,1-0,2 0,1-0,2 0,2-0,3 - 0,2-0,3 0,2-0,3 - 02-0,4 0,2-0,3 0,1-0,2
Solo incluidos hospitales públicos o altas con financiación pública, no monográficos, de asistencia aguda
Regresión multinivel tipo logit

26. ¿Mide parecido a los parecidos?
Mortal UPP Infecc Fractur TEP- Sepsis Daño Traum Traum Traum
DRG bajo Catete acader ETEP Post- neona a Obs. a Obs. a
riesgo r a op 0 c/i s/i cesare
PSI 2 PSI 3 PSI 7 PSI 8 PSI 12 PSI 13 PSI 17 PSI 18 PSI 19 PSI 20
Varianza Hospital
Valor de rho 0,13 0,18 0,22 ¿? 0,24 0,27 ¿? 0,30 0,25 0,14
(IC95%) 0,10-0,17 0,15-0,22 0,18-0,28 0,16-0,35 0,21-0,36 022-0,41 0,19-0,32 0,07-0,25
Variables hospital
Camas (>150) - - -
Docente (MIR) - - -
Terciario (Hem) -
Altas médicas- ~
quirúgicas
Altas cirugía ~
Médicos totales
Internistas y cirujanos
Cirujanos ~
Enfermería ~
ATS-DUE
Maternoinfantil - - -
Camas obstetricia- J ~ ~
gine J ~ -
Altas obstétricas J J
Partos v. Vaginal J J
Partos v. cesárea ~ ~ -
Obstetras J J -
Matronas ~
Docente matronas

27. 1. ¿Las diferencias entre centros se deben al azar?
2. ¿Su medida es precisa?
3. ¿Sensibilidad para detectar proveedores con más casos de lo
esperado?
Mortal Infec. Fr cad TEP- Sepsis Daño Trauma Trauma Traum
DRG b/r UPP catete Post- ETEP Postop neonato Obs. c/i Obs. s/i Cesár
r op
PSI 2 PSI 3 PSI 7 PSI 8 PSI 12 PSI 13 PSI 17 PSI 18 PSI 19 PSI 20
Estadísticos de
variación1
CV 0,96 1,04 1,62 1,74 1,14 1,74 4,62 4,32 2,55 2,62
CSV 0,50 0,57 0,92 0,40 0,22 0,23 3,23 0,46 0,55 0,57
Estabilidad/sensibilidad
Rango esperados 0-83 0,51-268 0-83 0-2 0-69 6-33 0-161 0,02-82 0,01-78 0-7
Número (% sobre el 8 (7) 16 (14) 21 (13) - 8 (5) 5 (3) - 8 (6) 10 (6) -
total)
Regresión Binomial Negativa para estimar esperados

28. Sensibilidad y robustez del indicador
10
VALOR CENTROS CON RIESGO
NULO MAYOR AL ESPERADO LSC95%
RR-1
LnRR
1
0,1
1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120 127 134 141 148
1/EE
O2005/E0304 LIC95%
Regresión Binomial Negativa para estimar esperados

29. PSI12
10 10
1 1
0,1 0,1
1 10 19 28 37 46 55 64 73 82 91 100 109 118 127 136 145 154 163 172 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103
Todos los hospitales Tercil 1 camas
10 10
1 1
0,1 0,1
1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 109 115 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51
No terciario No docente

30. PSI12
10 10
1 1
0,1 0,1
1 10 19 28 37 46 55 64 73 82 91 100 109 118 127 136 145 154 163 172 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
Todos los hospitales Tercil 3 camas
10 10
1 1
0,1 0,1
1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 1 8 15 22 29 36 43 50 57 64 71 78 85 92 99 106 113 120
Terciario Docente