DSIRNLP #2 での LT 資料＋α です。

1. 言語判定へのいざない
2011/12/10 DSIRNLP #2
中谷 秀洋＠サイボウズ・ラボ
@shuyo / id:n_shuyo

2. Invitasjon til
språkgjenkjenning
タイトル

3. 何語？

4. 言語判定 Java ライブラリ
http://code.google.com/p/language-detection/
そういうときに役立つ
ライブラリを作りました

5. 53種類の言語
English Deutsch Français Nederlands Italiano Español
Polski Русский 日本語 Português Svenska 中文
Українська ‪ orsk (bokmål) Suomi Tiếng Việt Česky
N
Magyar 한국어 Bahasa Indonesia Türkçe Română
‪‫العربية‬‪‫فارسی‬Dansk Lietuvių Slovenčina ‫עברית‬
Български Slovenščina Hrvatski हिन्दी‪Eesti ไทย‪नेपाल‪
भाषा‪Ελληνικά Tagalog Македонски తెలుగు‪தமிழ்‪
Latviešu Shqip मराठी‪বাাংলা‪Kiswahili ગુજરાતી‪
മലയാളം‪‪‫پنجابی‬Afrikaans ‪‫اردو‬ಕನ್ನಡ

6. 精度：99％以上

7. Apache License 2.0

8. 言語の絞り込みを
検索条件に加えるとき使います

9. Apache Solr に入りました

10. Invitasjon til
språkgjenkjenning
このライブラリを使えば
この謎の言葉も

11. ノルウェー語(ブールモーク)
$ cat title.txt
Invitasjon til språkgjenkjenning.
$ java -jar langdetect.jar -d profiles
--detectlang title.txt
title.txt:[no:0.9999952791002874]
ノルウェー語とわかります

12. twitter 向けの
言語判定もやってます

13. ldig
(中谷 2011)
• 短文言語判定のプロトタイプ
– Language Detection with Infinity-Gram
– https://github.com/shuyo/ldig
– 17言語のツイートを約 99% の精度で判定
• ラテン文字言語を中心に
• [資料]∞-gram による短文言語判定
– http://www.slideshare.net/shuyo/gram-10286133
めっちゃ長いので資料読んでね！

14. 言語判定のやりかた
(3分では収まらないので
LTでは省略しました)

15. 1. 文字で判定
Invitasjon til
språkgjenkjenning
• å を使うのはノルウェー語、デンマーク語、
スウェーデン語の３つだけ
• でも他の言語は絶対無いとまでは言えないの
で、確率で計算していく
– 外来語、顔文字、etc

16. 2. 単語で判定
Invitasjon til språkgjenkjenning
Invitation til sprogregistrering
Inbjudan till språkidentifiering
• 上からノルウェー、デンマーク、スウェーデン
• 「この単語は○○語」という巨大な辞書があれば
判定できそう
– あまり現実的ではない
– 機能語がかぶっていると厳しい(後述)

17. 3. 綴り(n-gram)で判定
Invitasjon til
språkgjenkjenning
• sjo はノルウェー語に多い綴り
• gje はノルウェー語とアルバニア語に多い
– こういう細かい「綴りの確率」を積み重ねて
計算していく

18. 言語は楽しいねアラカルト

19. アゼルバイジャン語の表記
• 20世紀に入ってから3回も文字が変わる
– ～1929 アラビア文字
– 1929～1940 ラテン文字
– 1940～1991 キリル文字
– 1991～ ラテン文字に戻す
こどもがおばあちゃんに
手紙書いても読めない！

20. オランダ語
• 英語で「オランダ語」は “Dutch”
– ←‪もともと「ドイツ語」って意味！
「オランダ語」 「ドイツ語」
オランダ語で Nerderlands Duits
ドイツ語で Holländer Deutsch
つづりは違うけど「ダッチ」↑

21. デンマーク語とノルウェー語
• 共通の機能語から頻度の上位 25個
– 青字はさらにスウェーデン語とも共通
at de den der det
du en er et for
har i ikke jeg kan
man med men og om
på så skal som til
• これらだけで文中の単語の半分を占める
– 見分けるのが難しい！
14世紀に王室の血統が途絶えて……

22. ベトナム語
• 母音 6 × 声調 12 = 72
– 母音だけでひらがなより多い！
aảàãáạ yỷỳỹýỵ
ăẳằẵắặ oỏòõóọ
âẩầẫấậ ôổồỗốộ
eẻèẽéẹ ơởờỡớợ
êểềễếệ uủùũúụ
iỉìĩíị ưửừữứự
これだけでひらがなより多い！

23. そんな つ
とくに役に立たない知識が
身についてしまう

24. 言語判定
かわいいよ！

25. ありがとうございました