Instrumentos desarrollo y evaluación

Desarrolloyevaluación
deinstrumentosde
recoleccióndedatos
Enrique Morosini
Dirección de Investigación / Facultad de Filosofía
Noviembre de 2014
Seminario –Taller de Actualización Docente

¿Por qué este curso?
Porque siguiendo la misma temática de los cursos anteriores,
en enfoque metodológico, se encontraba incompleta y este
tema abarca un tema metodológico de suma sensibilidad: la
preparación del instrumento de evaluación y, sobre todo, la
evaluación de la calidad métrica del instrumento.
Porque la recolección primara de datos constituye la materia
prima de toda investigación, si los datos no son de calidad,
entonces, nada de lo que se pretenda realizar posteriormente
permitirá responder a las preguntas de investigación.

Temática del curso
Aquí se han combinado dos aspectos:
1. El desarrollo del instrumento, lo que involucra la
elaboración, la adaptación / traducción y ajuste de
instrumentos.
2. La evaluación de la calidad, que, independientemente de
que se utilicen instrumentos desarrollados y “validados”
requieren de información empírica para su valoración.

Plan del curso
El curso tiene un plan, espero poder satisfacer estas intenciones:
Desarrollo
• Construcción
• Traducción
• Adaptación
Evaluación
• Prueba piloto
• Análisis de reactivos
• Confiabilidad y validez

Construcción
Medición
• Concepto de medición en ciencias sociales
• Desafíos actuales y discusiones relacionadas con la medición
Definición del constructo
• Definición conceptual – Marco de Referencia
• Definición operacional – Tabla de especificaciones
Redacción de reactivos
• Técnicas a considerar
• Formatos, estilos, escalas

Evaluación
Prueba Piloto
• Delimitación de finalidades y estrategias.
• Aspectos metodológicos específicos.
Confiabilidad
• Concepto y plan general para su verificación.
• Análisis de reactivos y etapas de análisis.
Validez
• De contenido en la etapa piloto.
• De constructo y criterio en la etapa intermedia y final.

03/02/2015
DESARROLLO Y EVALUACIÓN DE INSTRUMENTOS
Elproblema
delamedición
Problemas históricos y actuales

Fundamentos teóricos
Cicourel (1964/2011), reconocido en el ámbito de la Sociología
y obra de referencia para el estudio metodológico en dicha
área, inicia su libro con una interesante discusión acerca de la
medición en las ciencias sociales, enfocándose sobre tres
fundamentos técnicos:
 Los principios axiomáticos.
 Los principios teóricos.
 La medida.

El problema de la medición
En 1932 se conformó un comité en la Asociación Británica para
el Avance de la Ciencia y durante 7 años debatió sobre el tema
de la medición.
Fueron convocadas la Sección A (Matemática y Física) y la
Sección J (Psicología) para analizar la posibilidad de establecer
“estimadores cuantitativos de eventos sensoriales”, es decir, ¿es
posible medir las sensaciones humanas?
La conclusión, en pocas palabras, fue que no es posible ya que
no se puede establecer una relación de isomorfismo entre el
sistema numérico y lo que se mide.
Stevens, 1946

El problema de la medición
Unos pocos años después, Stevens (1946) publica una
respuesta a los resultados de la comisión y desata una polémica
sobre los sistemas de medición.
En un artículo posterior, en 1951, desarrolló una visión
totalmente distinta. En la misma había formulado la muy
conocida definición de medición “medir es asignar numerales a
objetos o acontecimientos de acuerdo con ciertas reglas.”
En el último artículo también desarrolló su propuesta respecto
a las escalas y la medición.

Problemas actuales
Sin ánimo de resolver los dilemas de la medición, el dilema está
planteado y sobre pasa la discusión del ámbito puramente
matemático y numérico.
Es la relación de los conceptos, del lenguaje con los sistemas de
medición que se emplean contemporáneamente y cómo se
disponen las correspondencias isomórficas, si cabe el caso,
entre dichos sistemas.
Todavía, la cuestión del concepto y la medida sigue siendo
objeto de discusión, así y todo… seguimos.

03/02/2015
Laimportancia
delamedición

¿Qué utilidad tiene?
 Objetividad.
 Cuantificación.
 Comunicación.
 Economía.

03/02/2015
Fasesenla
elaboración

Propósito o finalidad:
• Investigación.
 Descriptiva.
 Analítica o Explicativa.
• Diagnóstico.
• Generación de propuestas de intervención.
• Fines específicos en cada especialidad.

Especificaciones del instrumento:
• Características de la población
• Condiciones en las que será aplicado
• Duración de la prueba
• Contenidos que abarca
• Tipo de material

Delimitación del dominio o atributo:
• Análisis de contenido.
• Revisión de investigaciones publicadas.
• Incidentes críticos.
• Observaciones directas.
• Juicio de expertos.
• Objetivos instruccionales o programas.

Especificaciones de contenido
• Dominio o población de conductas (hechos, actitudes)
• Dominio de cada reactivo
• Selección de muestras de preguntas
• Especificación del tipo de escala y reactivo
• Plan para decidir el énfasis relativo de cada elemento

Especificación del formato
• Elección múltiple
• Selección o identificación
• Ordenación del material estimular
• Situación/corrección
• Completar
• Construcción
• Presentación

Validación de contenido
• Validación por jueces expertos.
• Interrogación cognitiva.
• Entrevistas cognitivas.

Fases de prueba
• Evaluación de jueces.
• Prueba de comprensión.
• Entrevistas cognitivas / grupos focales.
• Aplicación experimental.
• Aplicación pre-piloto.
• Aplicación piloto.

Plan de análisis de ítems
• Teoría desde la cual se realizarán los análisis.
• Grupos en los que deberá ser aplicado.
• Tamaño de la muestra.
• ¿Se identifican subgrupos?
• Longitud del instrumento
• Tiempo de aplicación
• Puntuación criterio para el análisis

Valores estadísticos de cálculo
• Análisis descriptivo de ítems: análisis de
frecuencias y estadísticos.
• Evidencias de confiabilidad: definición de tipo
de confiabilidad.
• Evidencias de validez: análisis factorial y
estudios de validación.

Manual del instrumento
• Especificar los usos del instrumento.
• Instrucciones completas para su administración.
• Instrucciones completas para su puntuación y
tabulación.
• Tablas de normas para transformar las
puntuaciones.
• Coeficiente de fiabilidad y precisión de medida.
• Datos sobre la validez del test.

Proceso de construcción
del instrumento
Enfoque aplicado

Delconceptoala
definición,ala
operacionalización
yalosindicadores
03/02/2015

Concepciones y conceptos
Existe una diferencia entre las ideas que tenemos y los
términos que utilizamos para definirlos. Las primeras
podríamos considerar concepciones y los términos con los que
comunicamos estas imágenes son los conceptos.
En la investigación utilizamos conceptos para definir los objetos
de nuestra investigación. Estos conceptos se constituyen en
construcciones conocidas como constructos.

Conceptos teóricos
Es importante definir cuál es el objeto de interés, lo que
constituye el comienzo de la conceptualización.
Los conceptos pueden definirse como “símbolos lingüísticos
que categorizan a los fenómenos”. Pueden derivarse de:
 Reflexiones teóricas
 Generalizaciones empíricas
 Reflexiones propias de la experiencia social

Conceptos teóricos
El concepto es una familia de ideas, no se puede observar ni
directa ni indirectamente porque como tal no existe. Nosotros
lo construimos.
Algunos autores diferencian el concepto del constructo, el
concepto es una “abstracción teórica” formada por la
generalización de fenómenos similares, mientras que los
constructos son conceptos sistemáticamente definidos para su
uso en la teoría científica.

Definición conceptual y operacional
Tanto los conceptos como los constructos han de vincularse a
variables empíricas u observacionales mediante una definición
operacional. En ella se indica cómo piensa medirse el concepto,
las variables con las que están vinculados y qué valores se
diferenciarán en la misma. Este proceso de traducción de
constructos teóricos a variables observables que le representan
adecuadamente se define como operacionalización.

Operacionalización
1. Representación teórica del concepto, de forma que queden
reflejados sus rasgos definitorios.
2. Especificación del concepto, descomponiéndolo en las distintas
dimensiones o aspectos relevantes que engloba.
3. Para cada una de las dimensiones se selecciona una serie de
indicadores que “indiquen” la extensión de cada dimensión.
4. Síntesis de los indicadores mediante el cálculo de índices. A cada
indicador se le asigna un peso o valor de acuerdo a su importancia.

Operacionalización
1. Clarificar la definición constitutiva del constructo, la cual debe ser:
adecuada y parsimoniosa. A este efecto se propuso recoger
características de definiciones constitutivas existentes (de un
diccionario o de investigaciones previas).
2. Determinar los referentes empíricos que pertenecen al constructo y
cuáles no. Habrá que restringir el significando incrementando el
número de características.
3. Asegurarse de que la etiqueta verbal dada al constructo sea
comprendida inequívocamente. Una técnica es la estrategia de la
sustitución, la intención es asegurar el control del campo
semántico al que pertenece el término.

Los indicadores
Al referirnos a los conceptos indicamos que estos no son
observables directamente. Por lo tanto, se deben buscar
procedimientos que permitan la medición indirecta mediante
manifestaciones externas, empíricas y observables.
Tales manifestaciones o expresiones reciben el nombre de
indicadores.
La construcción de indicadores no suele constituir una tarea
sencilla. Requiere de un profundo conocimiento de la manera
en cómo se manifiesta el constructo.

Del concepto al indicador
Por medio de un proceso deductivo, los conceptos y las
proposiciones que conforman una teoría se concretan en
variables empíricas o indicadores, que posibiliten la
contrastación empírica de la teoría:
 LA DELIMITACON DE LOS CONCEPTOS
 Definición nominal, teórica o conceptual.
 Definición Operacional
 LA DESCOMPOSICÓN DEL CONCEPTO EN DIMENSIONES
 PARA CADA DIMENSION, BUSCAR INDICADORES

Ejercicio
1. Formemos grupos de 4 personas
2. Escojamos uno de los siguientes temas:
 Inseguridad ciudadana
 Percepción de inseguridad
 Bienestar económico y social
 Delincuencia juvenil
3. Elaboremos una definición conceptual, operacional y las
dimensiones de las cuales se compone.
03/02/2015

Elenfoque
estructural
deGuttman
03/02/2015
Unidad entre conceptualización, medición y análisis

Teoría de Facetas
La teoría de facetas se basa en los principios de
la moderna teoría matemática de conjuntos de
para definir el universo de contenidos
representado por un conjunto finito de
variables.

Teoría de Facetas
La idoneidad de la teoría faceta como una
herramienta para la formulación de las
definiciones de construcciones de
comportamiento proviene de la claridad y
precisión que aporta al proceso de
identificación de componentes básicos de un
conjunto de variables y de estos componentes
en relación a los datos empíricos.

Teoría de Facetas
Al igual que la teoría de conjuntos, teoría de las
facetas es una teoría estructural.
En esencia, se ofrece una aproximación a la definición
de constructos comportamentales para probar
hipótesis relativas a la correspondencia entre las
definiciones de comportamiento y las observaciones
empíricas sobre las variables representativas de un
constructo.

Teoría de Facetas
Una idea principal en la Teoría de Facetas es que en
prácticamente todas las investigaciones empíricas en las
ciencias sociales, en el fondo, la colección particular de
variables utilizadas, por ejemplo un conjunto de ítems que
forma un cuestionario, una encuesta, una escala o un conjunto
de objetos geométricos utilizados en un experimento sobre
percepción visual, no es el resultado de un interés del
investigador por estos estímulos en particular, sino lo más
probable es que considere que éstos son representativos de un
universo más amplio de comportamientos.

Proceso de facetización
En total, se distinguen tres tipos de facetas:
• El primero se refiere a la población de los sujetos
considerados en la investigación respectiva. Se
pueda simbolizar este tipo con la letra P.
Bilsky, W. (2002) La Teoría de las Facetas:
Informaciones Básicas y Aplicaciones Paradigmáticas

El segundo concierne al contenido de las
variables investigadas (estímulos, ítems,
preguntas), a continuación representado por la
letra C. Juntas, las facetas de población y de
contenido, determinan el domino de interés
(domain of concern).

Finalmente, el tercer tipo se refiere al universo de las
reacciones o respuestas de los sujetos investigados, o,
para ser más exacto, al conjunto (set) de las
categorías exclusivas, disponibles para evaluar las
tareas o simplemente los ítems empleados en la
investigación. Este tipo es denominado como rango
(range) y simbolizado por la letra R.

FraseConfiguracional:
CuestionariodelaMotivaciónProsocial

BienestarSubjetivoLevy, S. and Guttman, L. On the multivariate structure of wellbeing.
Social Indicators Research, 1975, 2, 361-388.

WechslerIntelligenceTestforChildren
Guttman, L. and Levy, S. Two structural laws for intelligence tests.
Intelligence, 1991, 15:79-103.

Frase Configuracional:
Actituden el sentido desatisfacción
Gratch, 1973, p. 36, citado en Levy, S. (1976) Use of the mapping sentence for coordinating
theory and research: a cross-cultural example. Quality and Quantity, 10, 117-125.

Madurezemocional

Ejercicio
Reelaborar el mismo constructo en términos de
la definición facetizada.
Definir cuáles son las facetas que componen el
constructo.
03/02/2015

Operacionalización:
Tablade
especificaciones
03/02/2015

Tabla de especificaciones (TE)
Es una tabla de doble o triple entrada en la cual se consigan las
dimensiones del constructo a evaluar.
Las dimensiones pueden tener distintos elementos, lo más
habitual es combinar conductas x situaciones.
Otro aspecto a considerar es el peso que se le asigna a cada
conducta.

Elaboración de la TE
Realice un listado de los aspectos que representan el
constructo.
Para esto puede servir un listado de características
identificadoras.
Definir los contextos vinculados.
Generar la tabla de especificaciones.

Elaboración de la TE
Situaciones
b1 b2 b3 b4
Características
a1
a2
a3
a4

Tabla de especificaciones
Área de desarrollo
Nivel I
(niñez)
Nivel II
(adolescencia)
Nivel III
(adultez)
- Interacción entre pares
- Aspectos descriptivos y evaluativos del yo
- Desarrollo sexual:
- Cuidado Personal: Alimentación
- Cuidado Personal: Sueño
- Cuidado Personal: Higiene.
- Cuidado personal: Ropas
- Estado emocional: emociones en general
- Estado emocional: humor
- Estado emocional: Ira
- Estado emocional: llanto

Redaccióndeítems
03/02/2015

Esquema de decisiones
Dominio y contexto
de referencia
Ventajas e inconvenientes
de cada formato
Muestra de
contenidos
Elección
de formato
Directrices para
la construcción
Construcción
del ítem

Método tradicional: opiniones
Partiendo del supuesto de que las opiniones son actitudes
verbalizadas, los ítems de las escalas de actitudes suelen tomar la
forma de frases cortas, de afirmación que expresan opiniones que se
pueden tener con respecto al objeto de la actitud medida.
Edwards enumera las características que deben tener los ítems:
Relevancia
Claridad
Discriminación
Bipolaridad

Relevancia
Las opiniones recogidas en los ítems deben ser relevantes y
claramente relacionadas con el objeto; de la actitud.

Claridad
La mayoría de las normas que suelen darse para rectar los ítems
tienen que ver con la claridad y podemos concretarlas en estas:
Utilizar expresiones sencillas.
Evitar dobles negaciones.
Evitar; o tener cuidado, con expresiones universales como
siempre, nunca…
No utilizar expresiones que incluyan dos afirmaciones.

Discriminación
Se deben evitar opiniones con las que previsiblemente todos o
casi todos van a estar de acuerdo o en desacuerdo, pues se
trata de establecer diferencias entre los sujetos. Por esta razón
los ítems deben reflejar opiniones y no hechos comprobables.

Bipolaridad
Por bipolaridad se entiende que los ítems deben ser,
preferentemente, positivos unos y negativos otros: una actitud
favorable se mostrará a veces mostrando acuerdo y otras
mostrando desacuerdo.

Algunas observaciones
Una cuestión debatida es si es preferible una formulación
obvia, que permita advertir qué se está midiendo o una
formulación sutil que en la medida de lo posible enmascararse
el constructo subyacente. La relevancia y la claridad de la
formulación son más importantes que el esconder lo que se
quiere medir; por otra parte, y con criterios de validez (relación
con criterios externos) suelen ser mejores lo ítems que
podemos denominar cándidos.

No se trata de una cuestión cerrada y se puede experimentar
con unos y otros tipos de ítems durante el proceso de
construcción. Ampliaremos este punto al tratar de la validez de
contenido; se ha investigado mucho pero en relación a los tests
de personalidad; tiene menos interés en las escalas de actitud.

En la primera redacción de los ítems puede ser conveniente
expresar la misma idea de modos diferentes. Aunque la idea
sea la misma, no siempre es previsible qué formulación va a
ser más clara o más discriminante. Después del análisis de
ítems se puede escoger la formulación más eficaz.

Como por ejemplo reproducimos seis ítems de una escala de
actitud hacia el estudio; todos expresar la misma idea básica:
nivel de aspiraciones; sin embargo su relación con el total es
muy distinta.

Bibliografía
Cea D’Ancona, M. A. (2004) Métodos de encuesta. Teoría y práctica,
errores y mejora. Madrid: Síntesis.
Martínez, V. C. (2004) Diseño de encuestas de opinión. Madrid: RA-MA.
Morales Vallejo, P. (2006) Medición de actitudes en psicología y
educación. 3ª. Edición. Madrid: Comillas.
Silva Ayçaguer, L. C. (2000) Diseño Razonado de Muestras y Captación de
Datos para Investigación Sanitaria. Madrid: Díaz de Santos.

Instrumentos desarrollo y evaluación

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Andere mochten auch

Andere mochten auch (20)

Ähnlich wie Instrumentos desarrollo y evaluación

Ähnlich wie Instrumentos desarrollo y evaluación (20)

Mehr von Freelance Research

Mehr von Freelance Research (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)

Instrumentos desarrollo y evaluación