外国語教育メディア学会（LET）関西支部メソドロジー研究部会2013年度第三回研究会の発表資料です。 石井雄隆. (2014). 英語学習者の文法的誤りをめぐって: 最近の動向とエッセイ自動評価のための基礎的検討. 外国語教育メディア学会（LET）関西支部メソドロジー研究部会2013年度第三回研究会.早稲田大学.

1. 英語学習者の文法的誤りをめぐって：
最近の動向とエッセイ自動評価
のための基礎的検討
石井雄隆 (早稲田大学大学院)
yutaka.i.0207@gmail.com
外国語教育メディア学会関西支部
メソドロジー研究部会2013年度第3回研究会
2014/3/15 於：早稲田大学

2. 概要
1. 最近の動向
2. エッセイ自動評価のための基礎的検討
2.1 制約に基づく文法理論を用いた英語学習者
の文法的誤りの自動検出 (Ishii, 2013; 石井,
2013)
2.2 エラータグ付き学習者コーパスを用いた作
文における誤りのアソシエーション分析 (石井,
2014)

3. 1. 最近の動向

4. なぜ今文法的誤りなのか
• 自然言語処理の教育応用に対する外国語教
育からの検討
→英語教育と自然言語処理のクロスロード (小
町, 2014)
• Common European Framework of references
(CEFR)のCan-do statementにおける
Grammatical Accuracyの記述の精緻化

5. 英語学習者支援のための共通タスク
(小町, 2013)
• Helping Our Own (HOO) 2011
European Workshop on Natural Language Generation
論文の文法的誤り訂正
ACL Anthology Reference Corpus
• Helping Our Own (HOO) 2012
Building Educational Applications Workshop
前置詞と限定詞の文法的誤り訂正
Cambridge Learner Corpus
5

6. 英語学習者支援のための共通タスク
(小町, 2013)
• Native Language Identification Shared Task
Building Educational Applications Workshop
英作文から英語学習者の母語推定
TOEFL11 データセット
• Grammatical Error Correction
CoNLL 2013
限定詞、前置詞、数、動詞の形、一致、スペル、句読点
の文法的誤り訂正
NUS Corpus of Learner English
6

7. 誤り検出・訂正ワークショップ 2012
• 英語学習者の作文の誤り自動検出のワーク
ショップ。EDCW 2012 では、前置詞誤り・動詞
（主語-動詞の一致）誤りの2つのトラックに加
え、誤りの種類を限定しないパイロットトラック
を実施。
• ソースコードは以下で公開されている。
• https://sites.google.com/site/edcw2012/
7

8. 自動エラータグ付与
(投野・望月, 2012)
• 対応する正解文さえ用意すれば編集距離を
用いて自動的にオリジナル文と正解文を対比
して差分を特定し，エラータグを付与するツー
ルを開発中
8

9. CEFRの文法的正確さのCDS

10. 自動採点システムにおける
文法的誤りの割合
• e-raterは大きく分けて11個の素性からエッセ
イを評価するが、内３つ(Grammar, Usage,
Mechanics)は文法的誤りを対象としたもので、
全体に占める割合は25％。これは
Organizationの32％、Developmentの29パー
セントについで３番目。

11. 自動採点システムの妥当性
• 作文の誤りを46箇所訂正し、自動採点システ
ムに評価させたところ、訂正前と訂正後のス
コアが同じだった （Jones, 2006)。
→システムの問題か、それとも学習者の誤りは
エッセイ評価に寄与しないのか。

12. 2. エッセイ自動評価のための
基礎的検討
英語学習者の文法的誤りから学習者のエッセ
イを自動分類するために、
• 誤り自動検出研究の可能性
• 誤りのトピック別の共起関係
を検討

13. 2.1 制約に基づく文法理論を用いた英
語学習者の文法的誤りの自動検出

14. はじめに
• 制約に基づく文法理論である語彙機能文法
を自然言語解析機として実装したXerox
Linguistic Environment (XLE)を用いて、英語初
級学習者の文法的誤り自動検出の可能性を
検討する。
14

15. 研究の動機
• 大規模なコーパスや統計手法の出現によって、
統語解析や意味解析の問題がなおざりにされて
きた。 （池原, 2001）
• Chapelle and Chung (2010) stated that “[t]he
ideal hybrid may be one in which sentence-level
feedback is provided by an automated
mechanism, leaving the teacher free to comment.
Nevertheless, research in natural language
processing is focusing on these higher-order
concerns” (p. 41).
15

16. 語彙機能文法 (LFG)

17. XLE
• LFGを自然言語処理機で実装
• Xerox PARCによって開発された。
• “[A] platform for large-scale LFG grammar
development” (King et al., 2000).
→大規模データの解析が可能になった。
17

18. Rules
(1) S --> NP: (^SUBJ)=!
(! CASE)=NOM;
VP: ^=!.
(2) VP --> V: ^=!;
NP: (^OBJ)
(! CASE)=ACC.
(3) NP -- > （D）
N: ^=!.
18

19. Lexicon
walks V * (^ PRED) =’walk<(^SUBJ)>’.
girl N * (^PRED)=’girl’.
the D * .
19

20. 出力結果
20

21. 応用例
• Powerset (→Bing)
• 機械翻訳 (Owczarzak et al., 2007)
• コンピュータ支援語学学習 (Butt & King, 2007)
• 質問応答システム (Judge et al., 2006)
• 日本語LFG (Masuichi et al., 2006)
21

22. XLEの問題点
• “The development of large coverage, rich
unification- (constraint-) based grammar
resources is very time consuming” (Cahill et
al., 2002).
• 語順、左方転移構文などの例文において容
認性に問題がみられることがある。
→改善手法はいくつか提示されている (Kuhn,
Rohrer & Zarries, 2010)。
22

23. XLEを利用した理由
• 制約に基づいて英文を解析することで、学習
者のライティングを一貫して評価することがで
きる。
→評定者間の評価のずれの問題を解決
• XLEは様々なアプリケーション（機械翻訳、質
問応答システム）で応用され、英語学習者の
文法的誤り自動検出に適している。
23

24. 今回対象とした誤り
• 三人称単数形のsの脱落
*he kick it.
• 日本語の影響から生じる誤り
*today is tired. (→I am tired today.)
• 時制のミスマッチ
*we kick it yesterday.
• 冠詞の誤り
*girl is tired.
*a boys are tired.
24

25. 三人称単数形の-sの脱落 (1/2)
• 日本人英語学習者が最も誤りを犯すのが動
詞に関係する誤りである (Abe, 2003; Izumi et
al., 2003)。
• Quirk et al. (1985) stated that “[t]he most
important type of concord in English is
concord of third person number between
subject and verb”.
25

26. 三人称単数形の-sの脱落 (2/2）
• kick V * (^PRED)='kick<(^SUBJ)(^OBJ)>'
{(^SUBJ NUM)=sg
(^ SUBJ PERS)=3
(^ ERROR-TYPE1)=third-person-singular};
V * (^PRED)='kick<(^SUBJ)>'
{(^SUBJ NUM)=sg
(^ SUBJ PERS)=3
(^ ERROR-TYPE1)=third-person-singular}
(^ TENSE)=present.
26

27. *He kick it.
27

28. 議論 (1/2)
• 三人称単数形のsの脱落
→fishやsheepなど単複同形の名詞の扱い
• 日本語の影響から生じる誤り
→比喩的な言語使用の扱い
michi-ga touzai-wo hasitte-iru
road-SUBJ east-and-west-OBJ run-PRO
28

29. 議論 (2/2)
• 時制のミスマッチ
→時を表す名詞が無い場合の時制の扱い
• 冠詞の誤り
→英語母語話者にとっても冠詞の使用は難し
い(石田, 2002)。冠詞の誤りをどの程度扱うか。
29

30. 結論
• 形態素レベルの文法的誤りはルールベースで検出出来る。
• 冠詞などは確率的モデルで検討した方が精度が高い。
• 最適性理論 (OT)などを援用し、error gravityの順位付け。
• [A]utomated feedback would be more appropriate for
students at lower levels of language proficiency who were
still learning basic writing skills (Chen and Cheng, 2008)
30

31. 2.2 エラータグ付き学習者コーパスを用
いた作文における誤りのアソシエーショ
ン分析
31

32. はじめに
• 本研究ではKonan-JIEM Learner Corpusと呼ば
れる日本人英語学習者が産出した英作文の
エラータグ付きコーパスを用いて、誤りのアソ
シエーション分析を行った。アソシエーション
分析には、様々な分析指標が存在するが、
本研究では主に一つのエッセイの中にどう
いった誤りが共起するかをトピックごとに検討
した。
32

33. 学習者コーパスを用いた誤りに関す
る先行研究
• スペリング（He, 1998)
• 語彙（Chi Man-lai et al., 1994; Milton & Freeman
1996; Lenko-Szymanska, 2003）
• 動詞（Källkvist, 1995）
• 時制（Granger, 1999; Housen, 2002)
• 冠詞（Mason & Uzar 2001）
• 談話・照応関係（Flowerdew, 2000）
• コロケーション（Tono, 1996; Nesselhauf, 2005）
• 複数のエラー (Nicholls, 2003; Abe & Tono, 2005;
Albert et al., 2009)
33

34. ライティングとトピックの関係性
• トピックはライティングにおける言語使用に影響
を与える (Reid, 1990; Hinkel , 2009)。
• ライティングのトピックが異なっていたとしても，
ライティングの評価に影響を与えない(Brossell &
Hoetker Ash, 1984; Carlson et al., 1985; Spaan,
1993)。
• 作文テーマによる差は、作文テーマに関連する
内容語の偏り以外はほとんど見られない (杉浦・
阪上・成田, 2007)。
34

35. 文法的誤りとトピックの関係性
• Kitamura (2011)は、日本人英語学習者の文
法的誤りがどの程度エッセイの評価に影響を
与えるかを決定木を用いて検討。
35

36. Kitamura (2011) school education
36

37. Kitamura (2011) money
37

38. Kitamura (2011)
• エラータイプが３種類しか扱われていない（いわ
ゆるProblem-oriented tagging）。
• subject-verb agreement
→ He have been living there since June.
• verb form
→I can’t skiing well, but…
• sentence fragment
→Because people’s interesting thing is not the
same.
38

39. データ
• Konan-JIEM Learner Corpus
• 甲南大学と教育測定研究所（JIEM）が共同で収集、アノ
テーションを行ったコーパス。日本人英語学習者の170
エッセイから成る。また、文法誤り情報と品詞／句情報が
人手で付与されている。
• 研究目的のためであれば言語資源協会を通じて、購入可
能。
• 成田 (2013)
• 名詞句の後置修飾を分析
39

40. データ
エッセイの数 170
エッセイを書いた学生の数 17
総文数 2409
総単語数 19285
異なり語数 2054
40
※学習者はエッセイトピックを示された後、５分間のプランニングタイムを与えられ、
その後35分でエッセイを書く。

41. トピック
University life
Summer vacation
Gardening
My hobby
My frightening experience
Reading
My home town
Traveling
My favorite thing
Cooking
41

42. エラータグの種類
タグ 内容
n_num 名詞-単複エラー、加算、不可算
エラー
n_lxc 名詞-語彙選択エラー
n_o 名詞-その他のエラー
pn 代名詞に関するエラー
v_agr 動詞-人称・数の不一致
v_tns 動詞-時制エラー
v_lxc 動詞-語彙選択エラー
v_o 動詞-その他のエラー
mo 助動詞に関するエラー
aj 形容詞に関するエラー
タグ 内容
av 副詞（句）に関するエラー
prp 前置詞に関するエラー
at 冠詞に関するエラー
con 接続詞に関するエラー
rel 関係詞に関するエラー
itr 疑問詞に関するエラー
o_lxc 二語以上から成る成句での語彙
選択ミス
ord 語順エラー
uk 特定不能なエラー、構成上の致
命的なミス
f フラグメント（断片、未完の文等）
42

43. 誤りの分布
タイプ 割合 (%)
冠詞 19.23
名詞の単複 13.88
前置詞 13.56
動詞の時制 8.77
名詞の語彙選択 7.04
動詞の語彙選択 6.90
代名詞 6.62
動詞の人称・数の
不一致
5.25
形容詞 4.30
タイプ 割合 (%)
動詞その他 4.09
副詞 3.59
接続詞 2.04
語順 1.34
名詞その他 1.30
助動詞 0.88
語彙選択その他 0.74
関係詞 0.42
疑問詞 0.04
43

44. エッセイの例 (University life)
My university life is very interesting. Because I <v_lxc crr="do">act</v_lxc> many things <prp
crr="">since</prp> now. First I <uk crr="am a member of">join</uk> <at crr="a"></at> cercle. I
feel <ord crr="very good about this"><prp crr="about"></prp> this very good</ord>. <uk crr="I
kill time by">My killing time is</uk> writing <n_num crr="novels">novel</n_num> or drawing
<n_num crr="pictures">picture</n_num>. <uk>This has many people like me</uk>.So I
concentrate <prp crr="on"></prp> this. Second is summer vacation. I <v_tns crr="did"><v_lxc
crr="do">act</v_lxc></v_tns> many <n_num crr="things">thing</n_num> in <pn
crr="my"></pn> summer vacation. My best memory is <at crr="the"></at> seminar on the sea. I
went to Ho-chi-min and Singapore. I got many friends <prp crr="from">around</prp> Hyogo
university. And I <av crr="sometimes">sometime</av> meet <pn crr="them">friends</pn>. Last I
have many friends <prp crr="from">in</prp> high school, junior high school and <aj
crr="other">etc</aj> <n_num crr="groups">group</n_num>. We always talk about each <n_o
crr="other's">other</n_o> <n_num crr="lives">life</n_num> <prp crr="by">in</prp> e-mail or
internet. And We play <prp crr="">in</prp> inside or outside home.
We play funny <n_num crr="games">game</n_num>. For example, <n_lxc crr="one of us">a
friend</n_lxc> <v_agr crr="calls">call</v_agr> <prp crr="">in</prp> Macdonald <con
crr="and"></con> <v_lxc crr="says"></v_lxc> "Please give me <at crr="a"></at> hundred <n_num
crr="hamburgers">hunbergar</n_num>.“ And others look <prp crr="at"></prp> him and laugh. I
have many friends, so my university life is very interesting.
44

45. 分析手法
• アソシエーション分析
→大量のデータから「XならばYである」という因
果関係を抽出
買い物バスケットの事例
45
Transaction ID アイテム集合
1 {パン、牛乳、ハム、果物}
2 {パン、オムツ、ビール、ハム}
3 {ソーセージ、ビール、オムツ}
4 {弁当、ビール、オムツ、タバコ}
5 {弁当、ビール、オレンジジュース、果物}

46. アソシエーション分析を用いた先行研
究
• 小林 (2013)
• 日本人英語学習者の話し言葉コーパスにお
ける誤りの共起関係を検討
• 投野 (2013)
• 学習者のCEFRレベルの推定
46

47. アソシエーション分析
• 信頼度 「条件（パンを買う）が起きた場合に，結論（ミ
ルクを買う）が起きる割合」
• 支持度 「条件（パンを買う）と結論（ミルクを買う）が同
時に起こる場合が全トランザクションに占める割合」
• リフト値 結論（ミルクを買う）が条件（パンを買う）と無
関係に起こっていないかどうか。
47

48. アプリオリアルゴリズム
(Agrawal & Srikant, 1994)
• 評価指標の下限を設定し、それを下回る組み
合わせに関する計算を省略
• support値の下限を0.1に設定
• Rのarulesというパッケージ(http://cran.r-
project.org/package=arules)を使用
48

49. support値の結果
University life
Rule support
{} => {at} 1.00
{} => {prp} 0.94
{prp} => {at} 0.94
{at} => {prp} 0.94
{} => {n_lxc} 0.88
{n_lxc} => {prp} 0.88
{prp} => {n_lxc} 0.88
{n_lxc} => {at} 0.88
{at} => {n_lxc} 0.88
{n_lxc,
prp} => {at}
0.88
Summer vacation
Rule support
{} => {at} 0.88
{} => {v_tns} 0.82
{n_num} => {at} 0.70
{at} => {n_num} 0.70
{v_tns} => {at} 0.70
{at} => {v_tns} 0.70
{prp} => {v_tns} 0.64
{prp} => {at} 0.64
{v_lxc} => {v_tns} 0.64
{v_lxc} => {at} 0.64
49

50. support値の結果
Gardening
Rule support
{} => {at} 0.82
{} => {n_num} 0.82
{v_agr} => {n_num} 0.70
{n_num} => {v_agr} 0.70
{n_lxc} => {n_num} 0.64
{prp} => {n_num} 0.64
{v_agr} => {at} 0.64
{prp} => {v_agr} 0.59
{prp} => {at} 0.59
{prp,
v_agr} => {n_num}
0.59
My hobby
Rule support
{} => {prp} 1.00
{} => {at} 0.88
{at} => {prp} 0.88
{prp} => {at} 0.88
{v_tns} => {prp} 0.76
{uk} => {at} 0.70
{at} => {uk} 0.70
{uk} => {prp} 0.70
{at,
uk} => {prp}
0.70
{prp,
uk} => {at}
0.70
50

51. support値の結果
My frightening experience
Rule support
{} => {prp} 1.00
{} => {at} 0.88
{at} => {prp} 0.88
{prp} => {at} 0.88
{v_tns} => {prp} 0.76
{uk} => {at} 0.70
{at} => {uk} 0.70
{uk} => {prp} 0.70
{at,
uk} => {prp}
0.70
{prp,
uk} => {at}
0.70
Reading
Rule support
{} => {prp} 1.00
{} => {at} 0.88
{at} => {prp} 0.88
{prp} => {at} 0.88
{v_tns} => {prp} 0.88
{uk} => {at} 0.70
{at} => {uk} 0.70
{at} => {uk} 0.70
{at,
uk} => {prp}
0.70
{prp,
uk} => {at}
0.70
51

52. support値の結果
My home town
Rule support
{} => {at} 1.00
{} => {prp} 0.88
{prp} => {at} 0.88
{at} => {prp} 0.88
{n_num} => {prp} 0.70
{prp} => {n_num} 0.70
{n_num} => {at} 0.70
{n_num,
prp} => {at}
0.70
{at,
n_num} => {prp}
0.70
{at,
prp} => {n_num}
0.70
Traveling
Rule support
{} => {at} 0.88
{n_num} => {at} 0.70
{at} => {n_num} 0.70
{prp} => {at} 0.70
{at} => {prp} 0.70
{v_tns} => {prp} 0.59
{v_tns} => {at} 0.59
{prp,
v_tns} => {at}
0.59
{at,
v_tns} => {prp}
0.59
{at,
prp} => {v_tns}
0.59 52

53. support値の結果
My favorite thing
Rule support
{} => {at} 0.88
{n_num} => {at} 0.70
{at} => {n_num} 0.70
{prp} => {at} 0.70
{at} => {prp} 0.70
{v_tns} => {prp} 0.58
{v_tns} => {at} 0.58
{prp,
v_tns} => {at}
0.58
{at,
v_tns} => {prp}
0.58
{at,
prp} => {v_tns}
0.58
Cooking
Rule support
{} => {n_num} 0.82
{prp} => {n_num} 0.70
{n_num} => {prp} 0.70
{at} => {n_num} 0.58
{pn} => {prp} 0.52
{n_lxc} => {n_num} 0.52
{pn} => {n_num} 0.47
{n_lxc} => {at} 0.47
{pn,
prp} => {n_num}
0.47
{n_num,
pn} => {prp}
0.47
53

54. 結果
• 前置詞と冠詞に関するエラーはエッセイのト
ピックに関係がなく多い（belong to a clubする
ところをbelong clubと書くなど）。
• Summer vacation, My frightening experience,
Traveling, My favorite thingなどは動詞の時制
に関するエラーが他の誤りと共起しやすい。
54

55. 今後の課題
• 誤りごとの誤用率と正用率の検討
• 誤りを絞って検討
• タグガイドラインの見直し（タグの種類とタグ
付けの難しさはトレードオフ）
• 習熟度別の分析
55

56. おわりに
• 一般化可能性理論、多相ラッシュモデルを用
いた作文評価の分析 (福田・石井, 発表予定)
• 人工エラーデータを用いたエッセイ評価に寄
与する要因の検討 (石井, 発表予定)
• 機械学習を用いたエッセイ評価に寄与する言
語的特徴の検討