INTRODUZIONE Al fine di integrare la selezione degli item da presentare durante incontri di Orientamento con focus sul tema delle prove d’ingresso all'Università, è stato costruito uno strumento apposito da somministrare via web, composto da una serie di item randomizzati a scelta multipla, basato su un modello teorico secondo il quale si distinguono item contenutistici e delle abilità di base. METODO Il campione era costituito da 60 aspiranti studenti universitari ai quali abbiamo somministrato item presi da prove dell’Università di Padova. Sono stati utilizzati 918 item divisi in 8 categorie: di abilità (analitiche, quantitative, verbali) o conoscenza (biologia, chimica, cultura generale, fisica, matematica). In un'ottica IRT, per le analisi abbiamo utilizzato modelli a effetti misti. Grazie alla libreria lme4 del pacchetto statistico R, abbiamo stimato i parametri difficoltà relativi agli effetti fissi (genere, ripetizione stessa prova, lunghezza prova, categoria item) ed effetti random (item casuali, abilità/conoscenza dei partecipanti). Per valutare gli effetti, abbiamo adottato una strategia di confronto tra modelli: partendo dal modello nullo, abbiamo aggiunto gli effetti nel seguente ordine: ripetizione stessa prova, lunghezza prova, categoria item. RISULTATI La probabilità di rispondere correttamente a un item aumenta al crescere del numero di ripetizioni della stessa prova nonostante gli item siano ogni volta diversi. Rispondere correttamente a un item in una prova da 60 domande è probabilmente più difficile che in una da 15. Infine è stato possibile individuare tre categorie di domande in base alla difficoltà presentata: Abilità;Conoscenza (cult. gen., chi., bio.); Abilità+Conoscenza (mat., fis.).

1. XX Congresso Nazionale della Sezione di Psicologia Sperimentale 17 settembre 2014 Pavia
PROPOSTA DI INNOVAZIONE METODOLOGICA NELLA
SELEZIONE DI ITEM DI CONOSCENZA E ABILITÀ.
UNO STUDIO SPERIMENTALE APPLICATO.
Marco Bressan1
Massimiliano Pastore2
Giovanni Iotti3
1 Università degli Studi di Padova, Servizio Orientamento
2 Università degli Studi di Padova, Dipartimento di Psicologia dello Sviluppo e della Socializzazione
3 Università degli Studi di Padova, Servizio Orientamento

2. Sommario
• Le domande dei test d’ingresso all’Università
• Classical Test Theory e Item Response Theory
• Mixed Effects Models
• Regressione Logistica
• Lo studio sperimentale
• Conclusioni

3. Le domande dei test d'ingresso
scelta multipla, una risposta esatta tra 4 o 5 alternative
abilità
saper fare, applicare procedure
conoscenza
sapere che, verifica di apprendimenti passati
analitiche
quantitative
verbali
…
biologia
chimica
cultura generale
fisica
matematica
…
+ domande abilità + domande conoscenza
economia
giurisprudenza
ingegneria
scienze
medicina
architettura

4. CTT IRT
Assunzione fondamentale Un individuo con il tratto latente più
alto risponderà correttamente a un
maggior numero di domande
Risposto correttamente a una certa
domanda, con più probabilità si
risponderà correttamente a domande
più facili
Normalizzazione Risente molto del campione di
normalizzazione
È indipendente dal campione di
normalizzazione
Prima si fanno le norme poi si
possono valutare altri soggetti
Normalizzazione e valutazione dei
soggetti avvengono nello stesso
momento
Si valuta il punteggio test Si valuta ogni item
Calcolo del punteggio Solitamente si sommano i punteggi di
ogni singolo item
Si ipotizza un complesso modello
probabilistico
Interpretazione del punteggio Confronto tra il punteggio del
soggetto con delle norme
Confronto tra gli item a cui si è
risposto
Non tiene conto della difficoltà degli
item
Tiene conto della difficoltà degli item
Errore di misura Ipotizzato costante per tutti i livelli di
tratto
Relazione matematica che varia in
funzione del livello di tratto
CTT e IRT

5. Mixed Effects Models
Effetti Fissi + Effetti Casuali
(livelli degli effetti fissi e riproducibili) (campionatura dei livelli degli effetti)
id. soggetto
id. domanda
genere (M,F)
categoria domanda (8 categorie)
numero ripetizione prova
lunghezza quiz (15 o 60 domande)
Esempio di definizione di un mixed effects model in R
library(lme4)
m.3 = glmer(risposta ~ ripetizione_prova + lunghezza_prova + categoria_domanda +
(1|sogg) + (1|domanda), data=lunga, family = binomial)

6. Cosa collega Mixed Effects Models e Item Response Theory?
MEM Regressione Logistica IRT

7. Obiettivo dell’analisi: stimare un parametro della curva logistica
(Rasch,1PL, b, difficoltà)

8. Lo studio sperimentale
60 partecipanti (38 M, 22 F) motivati dall’iscriversi all’Università
913 item diversi, classificati in 8 categorie
Gli item sono stati somministrati in:
221 prove da 60 domande (10 di abilità analitiche, 10 di abilità verbali, 10 di abilità quantitative,
10 di biologia, 10 di matematica, 10 di cultura generale)
889 prove da 15 domande (una prova per categoria)

9. Risultati

10. Models:
m0 : risposta ~ (1 | sogg) + (1 | domanda)
m1 : risposta ~ progressivo_prova + (1 | sogg) + (1 | domanda)
m2 : risposta ~ progressivo_prova + lunghezza_prova + (1 | sogg) + (1 | domanda)
m3 : risposta ~ progressivo_prova + lunghezza_prova + categoria_domanda + (1 | sogg) + (1 | domanda)
Df AIC BIC Chisq Chi Df p-value ΔBIC BF
m0 3 24103 24127 1
m1 4 23699 23730 406,430 1 < 2.2e-16 *** 397 1.303827e+86
m2 5 23677 23716 24,035 1 9.461e-07 *** 14 1.200076e+03
m3 12 23573 23668 117,415 7 < 2.2e-16 *** 48 3.289974e+10
Tabella 1: confronto tra i modelli
Effetto Parametro
categoria domanda abilità analitiche (intercetta) 0,27769
categoria domanda biologia -0,47344
categoria domanda chimica -0,40354
categoria domanda cultura generale -0,24706
categoria domanda fisica -0,73657
categoria domanda matematica -0,71126
categoria domanda abilità quantitative 0,08518
categoria domanda abilità verbali 0,10954
progressivo prova 0,10169
prova 15 domande 0,28020
Tabella 2: effetti fissi del modello m3

11. Rappresentazione dell’effetto della ripetizione della prova sulla probabilità di risposta corretta

12. Rappresentazione dell’effetto della lunghezza della prova sulla probabilità di risposta corretta

13. Rappresentazione dell’effetto della categoria della domanda sulla probabilità di risposta corretta

14. Nuova proposta di classificazione
abilità conoscenza
analitiche
quantitative
verbali
biologia
chimica
cultura generale
abilità + conoscenza
fisica
matematica

15. In sintesi
Sono stati stimati i parametri relativi a:
• ripetizione della stessa prova
• lunghezza della prova
• difficoltà delle categorie
tenendo conto della randomizzazione delle domande e dei soggetti.
Si ipotizza che non sia sufficiente la dicotomia abilità / conoscenza
Possibili sviluppi
Ripetere le analisi su altri campioni di item
Effettuare analisi di più parametri logistici (2PL e 3PL)
Indagare le abilità dei partecipanti
Studiare altre caratteristiche degli item oltre alla categoria

16. Grazie per l’attenzione
Marco Bressan: brex1987@gmail.com
Massimiliano Pastore: massimiliano.pastore@unipd.it
Giovanni Iotti: giovanni.iotti@unipd.it

17. Bibliografia
Akaike, H. (1998). A Bayesian analysis of the minimum AIC procedure. In Selected Papers of Hirotugu Akaike (pp. 275-280). Springer New York.
Arcuri, L. Test di ingresso: sì, a queste condizioni. Il Bo (Internet), 2013 (pubblicato: 30 maggio 2013; consultato: 30 gennaio 2014). Disponibile
all’indirizzo: http://www.unipd.it/ilbo/content/test-di-ingresso-si-queste-condizioni
Arcuri, L., & Soresi, S. (1997). Regolamentazione dell'accesso all'università: prove di ammissione, qualità della didattica, orientamento e servizi per gli
studenti. Giornale Italiano di Psicologia, 24(1), 23-42.
Baayen, R. H., Davidson, D. J., & Bates, D. M. (2008). Mixed-effects modeling with crossed random effects for subjects and items. Journal of memory
and language, 59(4), 390-412.
Bates D, Maechler M, Bolker B, Walker S (2014). lme4: Linear mixed-effects models using Eigen and S4. R package version 1.1–6. http://CRAN.R-project.
org/package=lme4
Bates, D. M. (2010). lme4: Mixed-effects modeling with R. URL http://lme4. r-forge. r-project. org/book.
Chalifour, C., & Powers, D. E. (1988). Content characteristics of GRE Analytical Reasoning items. Educational Testing Service.
Cho, S. J., Gilbert, J. K., & Goodwin, A. P. (2013) Explanatory Multidimensional Multilevel Random Item Response Model: An Application to
Simultaneous Investigation of Word and Person Contributions to Multidimensional Lexical Representations. Psychometrika, 1-26.
Doran, H., Bates, D., Bliese, P., & Dowling, M. (2007). Estimating the multilevel Rasch model: With the lme4 package. Journal of Statistical Software,
20(2), 1-18.
Embretson, S.E., & Reise, S.P. (2000). Item Response Theory for Psychologists. Mahwah, NJ: Lawrence Erlbaum Associates.
Faraci, P. (2008). L’Item Response Theory nella costruzione degli strumenti psicometrici. Items, La newsletter del testing psicologico.
Giampaglia, G. (1990). Lo scaling unidimensionale nella ricerca sociale. Napoli: Liguori Editore.
Gulliksen, H. (1950). Theory of mental tests. Wiley: New York.
Hedeker, D., Mermelstein, R. J., & Flay, B. R. (2006). Application of item response theory models for intensive longitudinal data. Models for intensive
longitudinal data, 84-108.
Lord, F. (1952). A theory of test scores. Psychometric Monographs.
Pinheiro, J. C., & Bates, D. M. (2000). Mixed effects models in S and S-PLUS. Springer.
R Core Team (2014). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL
http://www.R-project.org/
Rasch, G. (1960). Probabilistic models for some intelligence and attainment tests. Copenhagen: Danish Institute of Educational Research.
Servizio Orientamento dell’Università di Padova, collegamento alla pagina in cui si possono vedere e svolgere le prove utilizzati nella ricerca
https://elearning.unipd.it/orientamento/course/view.php?id=127
Thissen, D., & Steinberg, L. (1988). Data analysis using item response theory. Psychological Bulletin, 104(3), 385.
Van der Linden, W.J. & Hambleton, R.K. (1996). Handbook of Modern Item Response Theory. New York: Springer.