Presentación del curso “Evaluación de bibliotecas y centros de información” ofrecido los días 13 y 14 de mayo de 2014 por la Mag. Juanita Jara de Súmar, en la Pontificia Universidad Católica del Perú.
2. Proceso de recogida de datos y evaluación
Herramienta de gestión, para la planificación
estratégica y la administración eficiente
En el sector privado
En el sector educativo y gubernamental
3. Recogida de datos y evidencia (Assessment)
“Assessment is the gathering of meaningful or
purposeful data that will provide information that
informs, improves or confirms”
Datos pertinentes que nos informan, mejoran y confirman
la situación que queremos analizar
Lee-Thomas, G., & Robson, J. (2004). The question of Academic Library
Asses[s]ment. Indiana Libraries, 23(1), 7.
4. Evaluación
“Evaluation […] is the assigning of merit, value or
worth to the findings”
Mérito, valor, riqueza
Lee-Thomas, G., & Robson, J. (2004). The question of Academic Library
Asses[s]ment. Indiana Libraries, 23(1), 7.
5. Cultura de recogida de datos y evidencia
Organizaciones que cuentan con un sistema y una
estructura para la compilación continua de datos
y evidencia que permiten evaluar la organización.
Dudden, R. F. (2007). Using benchmarking, needs assessment, quality improvement,
outcome measurement, and library standards : a how-to-do-it manual with CD-ROM.
New York ; London : Neal-Schuman Publishers.
6. Planeamiento estratégico
Tomar en cuenta la visión, misión y metas de la
organización
Debe basarse en hechos y datos concretos
Ceñirse a un calendario
Establecer objetivos (resultados) reales y cuantificables,
totales y para cada etapa
Toma de decisiones basadas en el análisis de los datos
8. Estimado preliminar
Origen
Planeamiento/Diseño
Recogida de datos
Análisis de datos
Resultados
Informe de la evaluación
Toma de decisiones
Acciones
Wallace, D. P. & Van Fleet, C. J.
(2012) Knowledge into action. Santa
Barbara: Libraries Unlimited, p.40
Proceso de
Medición y
Evaluación
Representación
lineal
10. Presentación linear de los tipos de medidas de una biblioteca
Categorias de
medidas
ENTRADAS PROCESOS /
ACTIVIDADES
SALIDAS PRODUCTOS
(RESULTADOS)
IMPACTO
Tipos de
medidas
Recursos
humanos y
financieros
Medidas de
rendimiento
Indicadores de
eficiencia
Actividades
Progrmas y
servicios
Calidad
Satisfacción
Valor para el usuario
A corto plazo
Cambios en la sociedad
debido a cambios en los
usuarios
A largo plazo
Medidas de…
EVALUACIÓN Y COMENTARIOS
Economía Eficiencia
Adaptado de Dudden, Rosalind F. 2007. Using benchmarking, needs assessment, quality improvement,
outcome measurement, and library standards : a how-to-do-it manual with CD-ROM, Medical Library
Association guides. New York ; London : Neal-Schuman Publishers. p. 43
11. Ética profesional en la evaluación
Principios de la conducta del investigador
Conflicto de intereses
No beneficiarse de la información privilegiada
Trato de los datos
Trato con las personas participantes
12. 1 Recogida de datos y evidencia
Consiste en recopilar datos significativos o útiles para
informar, mejorar o confirmar nuestras acciones. (Lee-
Thomas)
¿Qué queremos saber?
¿Por qué lo queremos saber?
¿Quién nos proporcionará la información?
¿Cómo conseguiremos la información?
¿Cómo utilizaremos la información?
13. Mediciones
Recogida de datos sobre todo el sistema
Datos sobre sólo un determinado proceso
Evaluación de colecciones
Evaluación de la alfabetización informacional
Evaluación del servicio de referencia virtual
Evaluación del personal de la biblioteca
15. ¿Cuán valiosos?
¿Cuán bien?
¿Cuán sensible?
¿Cuán satisfechos?
¿Cuán fiable?
¿Cuán cortés? ¿Cuán preciso?
¿Cuánto? ¿Cuán rápido?
¿Cuán económico?
¿Cuántos?
The “hows” of Measurement
Medidas
Adaptado de Hernon, Dugan and Matthews. (2014). Getting started with
evaluation. Chicago: ALA, p. 7
16. Encuestas Entrevistas en persona
Análisis de quejas/ Grupos focales
felicitaciones
tarjetas para comentarios
Clientes anónimos Entrevistas a empleados
que se retiran
Satisfacción
de los clientes
d
Adaptado de Hernon, Dugan and Matthews. 2014. Getting started with
evaluation. Chicago: ALA
18. Análisis estadístico - Software
Stata
SAS
SPSS
MATLAB
Cientos de paquetes de software libre
19. Rúbricas
Mediciones que describen niveles de rendimiento para
cada tarea o parte de ella.
Describir la tarea
Determinar las parte de la tarea y sus dimensiones
Describir las dimensiones
Crear escalas numéricas o de valor (bien, mal)
20. Normas
A nivel nacional e internacional
Para diversos tipos y niveles
Las normas expresan niveles mínimos
Incluyen principios e indicadores de rendimiento
Ej. http://www.ala.org/acrl/standards/standardslibraries
21. Evaluar por comparación o puntos de
referencia (Benchmarking)
Las normas establecen puntos de referencia que permiten
hacer comparaciones una y otra vez. ¿Cuán buenos
queremos ser?
Comparación con una organización similar o grupo de
organizaciones o con las normas
Las comparaciones deben mostrar si se alcanzó el nivel
deseado ¿Cuán buenos son nuestros servicios?
Se progresa mejorando la calidad de las actividades
Esto establece las buenas prácticas
22. Buenas prácticas
¿Cómo lo hacen los demás?
¿ Los demás lo hacen mejor que nosotros?
¿Cómo podemos adaptar a nuestra biblioteca lo que hacen
los otros?
Dugan, R. E., Hernon, P., & Nitecki, D. A. (2009). Viewing library metrics
from different perspectives : inputs, outputs, and outcomes. Santa Barbara,
Calif. : Libraries Unlimited.
23. Estudios con base en la evidencia
Percibida mediante la observación directa
Producto de un análisis en condiciones controladas
(estudios tiempo/movimiento, focus groups, cuestionarios,
entrevistas)
Estudios de casos
Expresada en la literatura sobre el tema analizada
sistemáticamente (evidence-based studies, systematic
reviews, meta analysis)
24. Análisis de carencias (Gap analysis)
Dos aspectos: calidad y satisfacción
Diferencia en la expectativa del cliente
Diferencia en el nivel de servicio
Diferencia entre lo que se promete y lo que se entrega
Diferencia en la percepción del servicio
25. Análisis de datos
Revisar que los datos estén completos y correctos y en el
formato adecuado
Métodos estadísticos pertinentes al caso
Establecer matrices
Seleccionar las herramientas analíticas apropiadas para
darle sentido a los datos
Presentación gráfica adecuada
Aceptar los resultados negativos
26. Herramientas
interpretativas
Consolidación
de datos
Relación con
las preguntas
Herramientas
analíticas Resultados
Recogida
de datos
Prueba de hipótesis
Normas,
lineamientos
políticas
Validación y
corrección
Evaluacion
……………………………………………………………………………………………………………………………………..
………………………………………………………………………………………………………………………………………………………………………………
Wallace, D. P. & Van Fleet, C. J. (2012) Knowledge
into action. Santa Barbara: Libraries Unlimited, p.54
27. Estimado de las necesidades
Medida de la satisfacción de los usuarios
Calidad de los servicios
Rentabilidad sobre la inversión (ROI)
Valor de los servicios para la comunidad
Basado en factores subjetivos
28. Ejemplos de estudios cualitativos:
LibQual
Libqual en el Perú
http://www.slideshare.net/slideshow/embed_code/33379428
LibQual McGill University
http://www.mcgill.ca/library/sites/mcgill.ca.library/files/mcgill_libqual_sur
vey_results_2013.pdf
29. 2. Evaluación, valoración
Consiste en asignar mérito, apreciación y valor a
los resultados que servirán para la toma de
decisiones
Considera datos cuantitativos y cualitativos
30. Informes – Criterios de evaluación
Pertinencia del informe al tema de la situación identificada
Conforme a las normas del proceso de evaluación
Descripción del proceso de evaluación completa y detalladamente
Evidencia de honestidad y falta de prejuicios
Evidencia de falta de errores
Comparación con estudios similares
Autoridad de los autores
Redacción lógica, clara, simple, sin redundancias = cualidades literarias
Wallace, Danny P. and Connie Jean Van Fleet. 2012 Knowledge into action. Santa Barbara: Libraries
Unlimited. P. 101Wallace, Danny P. and Connie Jean Van Fleet. 2012 Knowledge into action. Santa
Barbara: Libraries Unlimited. P.
31. “Not everything that can be
counted counts”
Cameron, W. B. (1957). The Elements of Statistical Confusion: Or: What Does the
Mean Mean? AAUP Bulletin, 43(1), 33-39.