カンファレンスの資料

1. 自然言語処理やってみた

2. 概要
・Kaggleのデータセットを使用し、
ツイート (英語) の内容が、災害に関するもの (1) か否 (0) か分類
2

3. Kaggleとは
組織 (企業や政府) と、データサイエンティストや機械学習エンジニアを繋げ
るプラットフォーム
・組織がCompetition形式で課題を掲載
・データサイエンティスト、機械学習エンジニアがモデルの精度を競う
・組織が最も精度の高いモデルを買い取る（賞金）
3

4. 自然言語処理とは
自然言語 (人間が使う言葉など) を、機械で処理し内容を抽出する
・自然言語にはほとんどの場合、曖昧さがある
→「〜〜〜〜 “ 東京都 “ 〜〜〜。」この文章は、
「〜〜〜〜 “ 東京 / 都 “ 〜〜〜。」or「〜〜〜〜 “ 東 / 京都 “ 〜〜〜。」
・上記のような曖昧な表現を、機械でも正しく解釈できるようにしたい
→ 自然言語処理
4

5. 補足：日本語の自然言語処理の難しさ
・形態素解析が難しい
→ 単語の切れ目が分かりにくい（英語などはスペースがあるため、切りやすい）
・機械翻訳の場合、英語などと文構造が大きく異なる
・敬語などの存在
・
・
・
5

6. 自然言語処理のタスク
・形態素解析：文章を単語に分割し、品詞を付与する
・構文解析：文の構造を明らかにする（係り受け解析など）
・意味解析：文章の意味を決定する
・文脈解析：複数の文章の繋がりに関する解析を行う（照応解析など）
6

7. データセットについて
・id：ツイートのID
・keyword：ツイートのキーワード(らしい)、欠損値あり
・location：ツイートされた位置、欠損値あり
・text：ツイート本文 (英語)
・target：正解ラベル（0 or 1）
7

8. 学習の流れ
① データを読み込む（訓練データ、テストデータをわける など）
② データの処理（欠損値を埋める、形態素解析 など）
③ 学習モデルを作成して、訓練データで学習
④ テストデータを、③のモデルを使って予測
8

9. データの処理 ー 使用するモデル・関数
・ツイート本文を形態素解析する
・辞書 (単語にIDがマッピングされている)を基に、単語をIDに変換する
9

10. データの処理ー実際に実行する
・単語数を最大50に設定する
10

11. 学習モデルの作成・学習
11

12. テストデータを学習モデルで予測
↓
・Kaggleでは、テストデータに正解ラベルがなく、決められた形式で予測結果を 提出す
る（Kaggle側で精度を出してくれる）
12