2013.07.13 SappoRo.R #2 http://kokucheese.com/event/index/88324/ 【Lightning Talks】 「R を使ったコンピュータ適応型テスト構築の試み」

1. R を使ったコンピュータ
適応型テスト構築の試み
水本 篤
（関西大学）
2013/07/13
SappoRo.R #2 @北海学園大学

2. 自己紹介
• 水本篤（みずもと あつし）
• 研究分野：英語教育（語彙，言語テスト）
• Twitter: @MizumotoAtsushi

3. コンピュータ適応型テスト
Computerized Adaptive Testing

4. CATを使ったテストの例

5. CATを使ったテストの例

6. CAT
http://www.j-cat.org/page/interpret

7. CATの利点
• 個人の能力に応じた出題
• テスト時間（問題）短縮
• 測定精度が高い
• 無作為抽出の必要がない
www.geocities.jp/kosugitti/labo/irtnote.pdf

8. CATの開発
• 項目作成
• テスト実施
• 分析
• アイテムバンク作成
（スタートライン）

9. 「CATが作りたいです。」

10. MoodleのPlugin
http://moodle2x.info

12. mmm...

16. 1. フリーアカウント（受験者150人/月）
2. Amazon Machine Images（1年間は無料のはず）
3. 自分のサーバーにインストール

17. サーバーにインストール
https://code.google.com/p/concerto-platform/wiki/installation4

18. • オープンソース
• 裏でRを走らせている（catR, RMySQL）
• テスト画面は HTML で作成

19. Wiki（作成方法サンプル等）
https://code.google.com/p/concerto-platform/wiki/Resources?tm=6

20. Forumも助けてくれる
http://concerto.e-psychometrics.com/forum/viewforum.php?f=1

21. Specifications of CAT
• アイテムバンクの項目数
• Starting point（パラメタ数，初期能力値，
項目のランダム化）
• 能力値推定方法（ML, BM, EAP or WL）
• Stopping rule（項目数 or SE）
• 最終能力値推定方法

22. Magis and Raîche (2012, p. 7)

23. 何問ぐらいでSEはどの程度？
• catRパッケージでシミュレーション可能
• Magis, D., & Raîche, G. (2012).
http://www.jstatsoft.org/v48/i08

24. require(catR)
difficulties <- c(2.616,2.399,...,-4.63)
disc <- c(0.868, 1.109, ..., 0.78)
itempar <- as.matrix(cbind(disc,difficulties,0,1))
bank <- createItemBank(itempar,model="2pl")
start <- list(nrItems=1, theta=0)
test <- list(method="BM", randomesque = 5)
final <- list(method="BM")
stop <- list(rule="precision", thr=0.25)
res <- randomCAT(1, bank, maxItems=150,
start=start, test=test, stop=stop, final=final)
plot(res, ci=TRUE)

25. True Theta = 1

26. Concertoでのテスト作成手順
• HTMLで初期画面，出題画面，
フィードバック画面の設定。
• アイテムバンクの登録。
• 問題出題ルールの設定。

27. Platform のコード入力例

28. エラー：どこが原因か教えてくれる

29. 今回作成した語彙テスト
• 水本 (2006) http://www.mizumot.com/files/VocSizeMeasure.pdf
• SVL12000の8000語まで（1レベル30問）
• 合計240問を716名に実施。
• 項目分析で150問を選定。
• 2パラメータロジスティックモデルで困難度と
識別力を推定。→アイテムバンクに使用。

30. http://langtest.jp/concerto/?tid=20

31. 出題画面

32. フィードバック画面

33. 注意点（ConcertoでCAT作成）
• 先に大規模なテスト実施（アイテムバンク）
• サーバー関連の知識
• オープンソースなので基本自力
• 項目応答理論・CATのメカニズムの理解
• フィードバックの方法
• 同時アクセス（さくらのVPS(v3) 4Gで20名程度）