さくさくテキストマイニング#2にて発表

1. todesking

2. おはようございます！！！

3. この発表は何か
「テキストマイニング」なるプ
ロセスを定義することにより、
その概観を皆さんに提示するこ
とを試みます。

4. 第一部 自己紹介

5. @todesking

6. はてな:gnarl

7. 自己紹介
● @todesking
● Web系の受託やってる。
● プライマリな興味の対象はソ
フトウェア設計やソフトウェ
ア開発プロセスなんだけど、
たぶん誰もそうは思ってない

8. 勤務先

10. 発表者は何をしているか
ウルトラテクノロジスト集団を
自称する怪しい企業でWeb系
の受託プロジェクトをやる
Javaエンジニアです(主にバッ
チ担当)。

11. 発表者は何をしているか
推薦エンジンをやってるチーム
に属しており、テキストマイニ
ング技術を応用したようなプロ
ジェクトもたまにやる。使用言
語はJavaやRuby、ごくたまに
Rなどを使用しております。

12. よろしく
おねがいします。

13. 第二部 本編

14. テキストマイニング

15. ホワット

16. テキストマイニング
とは何か

17. テキストマイニングと
は、大量の、フリーテ
キストを含むデータか
ら、価値ある情報を取
り出すプロセスである

18. テキストマイニングと
は、大量の、フリーテ
キストを含むデータか
ら、価値ある情報を取
り出すプロセスである

19. 大量の
http://www.flickr.com/photos/callumscott2/280532292/

20. 大量のデータ
● 人間ではハンドリングできない程
度に多いデータを相手にする
● 統計的手法はデータが多いほうが
有効
● 計算機の出番
● データマイニング！

21. テキストマイニングと
は、大量の、フリーテ
キストを含むデータか
ら、価値ある情報を取
り出すプロセスである

22. http://www.flickr.com/photos/wrote/3551555637/
フリーテキスト

23. フリーテキスト
● 自然言語による記述
● 構造化されていないデータ
● さまざまなノイズ
–表記ゆれ
–未知の表現

24. フリーテキスト
● 計算機で処理するには工夫
が必要
● 前処理必須
● 解析ミスがつきもの

25. ならば、なぜ

26. なぜフリーテキストなのか？
● データ量はパワーである
● ノイズ混じりだが大量の
データを入手可能
● 事前に構造を規定しなくて
いい

27. http://www.flickr.com/photos/benstephenson/27533356/in/photostream

28. http://www.flickr.com/photos/benstephenson/27533356/in/photostream
構造化されていない
データを扱う技術が
必要である

29. フリーテキストの構造を分析する
ためにはさまざまな技術が存在す
る。分かち書き分析、形態素解析
といった手段で最小構成単位を識
別し、それらの関係を複合語抽出
や係り受け解析で求め、あるいは
データに特化したルールを使用す
ることもできる。

30. フリーテキストの
構造を分析する
これはノイズとの戦いでもある。
● 未知の用語
● 誤記
● 文法のバリエーション
● テーマの非統一

31. 問題は、いかにフリーテキ
ストの構造を解釈すること
である。うまい解釈ができ
れば、あとはデータマイニ
ングの道具を適用できる。

32. テキストマイニングと
は、大量の、フリーテ
キストを含むデータか
ら、価値ある情報を取
り出すプロセスである

33. データ
http://www.flickr.com/photos/teclasorg/2543197908/

34. データ
フリーテキストがデータのすべ
てではない。日付、作者、タ
グ、数量などの構造化された
フィールドが組み合わさってい
ることがあり、これらは分析の
際大きなヒントとなる。

35. テキストマイニングと
は、大量の、フリーテ
キストを含むデータか
ら、価値ある情報を取
り出すプロセスである

36. 情報
http://www.flickr.com/photos/thefangmonster/352461415/

37. 情報
属性間の相関や似たアイテムの
集合、あるいは全体の傾向な
ど、大量のデータを適切に分析
して初めて見えてくるものがあ
る。

38. 道具
クラスタリング、相関分析、頻
出パターン分析、トピック抽
出、分類、などなど。統計や
データマイニングの分野にさま
ざまな道具が蓄積されている。

39. 問題は道具をどのように使い、
結果をどう解釈するかにある。
元になったデータは不完全であ
り、さまざまなノイズとバイア
スがある。データと道具の性質
をよく理解し、なぜその結果に
至ったのか考えねばならない。

40. テキストマイニングと
は、大量の、フリーテ
キストを含むデータか
ら、価値ある情報を取
り出すプロセスである

41. 価値 http://www.flickr.com/photos/59937401@N07/5475014890/

42. テキストマイニングのゴール
は、他のいとなみと同じく、
価値を生むことである。

43. 価値ある情報は
行動の指針となる
● 仮説の検証ができる
● 意外性のある結論:「ビールとお
むつ」
● その情報は具体的なアクションに
結びつくか？

44. テキストマイニングで
いかに価値を産むか
● その分析結果は、何を意味するの
か？
● 次にすべき行動は？
● その行動は誰に、どのような価値
をもたらすのか？

45. テキストマイニングと
は、大量の、フリーテ
キストを含むデータか
ら、価値ある情報を取
り出すプロセスである

46. プロセス
http://commons.wikimedia.org/wiki/File:Feedback_Loop.svg

47. プロセス
テキストマイニングは、それ自
体で完結するいとなみではな
い。データをどこかから得る必
要があり、分析の結果は別の場
所で使われるだろう。

48. テキストマイニングとは、より
大きなプロセスの一部である

49. テキストマイニングの結果がただ
ちに何らかの価値をもたらすこと
は稀である。しかし、ビジネスプ
ロセスへ分析結果をフィードバッ
クすることでプロセス全体の価値
を向上することができる。

50. フィードバックによる
価値の向上

51. テキストマイニングとは、大量
の、フリーテキストを含むデータ
から、価値ある情報を取り出すプ
ロセスである。願わくば、あなた
のテキストマイニングが誰かに価
値をもたらすことを。ご清聴あり
がとうございました。