Wikimedia Conference Japan 2013で発表したプレゼンテーションです

1. Wikimedia Conference Japan 2013
2013. 2. 3 発表資料
Wikipediaの信頼性計測
名古屋大学 鈴木 優
suzuki@db.itc.nagoya-u.ac.jp
@suzuki_yu
Logo copied from http://commons.wikimedia.org/wiki/File:Wikimedia_Conference_Japan_2009_Logo.png
by Wikimedia Conference Japan 2009 and modified by Akaniji and licensed under CC-BY 2.1 JP.
13年2月3日日曜日

2. 信頼できますか?
2005年12月のNatureの記事が話題に
Nature 438, 900-901 (15 December 2005) | doi:10.1038/438900a; Published online 14 December 2005
2 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

3. 信頼できますか?
• Wikipedia は Britannica 並に正確
• 各分野の数十人の専門家が記事を精査
• 深刻な誤り 4 件
• 誤解，脱落，誤解 162 件
3 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

4. 秀逸な記事とは
• 専門家が見て説明されるべきことが説明されている
• 分かりやすく説明されている
• 内容が充実している
• 完成度が高い
• 観点の中立性が保たれている
• 出典または参考文献が挙げられている
出典:「Wikipedia:秀逸な記事の選考」
4 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

5. Wikipediaへの批判
• Wikipedia の記事は質が悪い
• 不特定多数の利用者に編集させるなんて非常識だ
• アマチュアの書く記事なんて
• 署名の無い記事なんて信頼性が無い
• 専門家の査読がないなんて
• ...
出典: http://ja.wikipedia.org/wiki/Wikipedia:よくある批判への回答
5 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

6. 信頼度とは?
出典: スーパー大辞林, 三省堂
• ある事柄を信じられるかどうか
• 多くの人がそれを信じているかどうか
• 真実かどうかとは別問題
信頼度算出 = 数多くの意見の集約
6 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

7. 信頼度の測定方法
直接的な測定方法
• 投票
間接的な測定方法
• 編集履歴から信頼度を推定
• 出典の妥当性を解析する
• ノートから類推
7 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

8. 直接的な測定法
Extension: Article Feedback
英語版，ドイツ語版Wikipediaで採用
8 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

9. 投票の利点と問題点
利点
• 分かりやすい
• 実装が容易
問題点
• 投票が集まりにくい
• 一部利用者の意見が過大に (cf. AKB総選挙)
• 不正な値が出やすい (cf. 食べログでのステマ)
9 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

10. 解決方法
投票に準じる特徴を抽出
• 誰が誰に対してどう評価しているか?
Wikipediaには沢山の情報がある
• リンク（出典，参考文献）
• ノート
• 編集履歴
10 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

11. 著者同士の評価
スターバックス スターバックス
スターバックス スターバックス
は，有名ジュエリ は，有名ジュエリ
ーショップであ ーショップであ
る． る．
ボブ (Bob)
悪! アリス (Alice)
11 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

12. 著者同士の評価
スターバックス スターバックス
1971年にシアトル 1971年にシアトル
で創業した． で創業した．
良!
キャサリン (Catharine) アリス (Alice)
12 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

13. 誰が誰をどう思う
悪! アリス (Alice)
良!
ボブ (Bob) キャサリン (Catharine)
アリスに削除された アリスに削除されなかった
13 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

14. 悪い著者 良い著者
悪! 良!
悪! 悪! 良! 良!
悪! 悪! 良! 良!
悪! 悪! 良! 良!
ボブ (Bob)
キャサリン (Catharine)
• 多くの人に削除される著者は悪い著者
• 多くの人が削除しない著者は良い著者
14 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

15. 表示
スターバックス
スターバックス
は，有名ジュエリ 注意が必要!
ーショップであ
る．
1971年にシアトル
で創業した．
安心
15 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

16. 不正行為
良!
良! 良!
良! 良!
良! 良!
悪! 悪!
悪!
悪!
悪! 悪!
悪! 悪!
悪! 悪!
悪!
悪! 悪!
16 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

17. 不正行為への対応
良!
良! 良!
良! 良!
良! 良!
評価する人の良悪も考慮
悪! 良!
デイジー (Daisy) • 良い人は発言力を大きく
• 悪い人は発言力を小さく
17 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

18. 不正行為への対応
良!
良! 良!
良! 良!
良! 良!
評価する人の良悪も考慮
悪! 良!
デイジー (Daisy) • 良い人は発言力を大きく
• 悪い人は発言力を小さく
17 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

19. 不正への対応
良!
良! 良!
良! 良!
良! 良!
悪! 悪!
悪!
悪!
悪! 悪!
悪! 悪!
悪! 悪!
悪!
悪! 悪!
18 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

20. 不正への対応
良!
良! 良!
良! 良!
良! 良!
悪! 悪!
悪!
悪!
悪!
悪!
悪!
悪!
悪! 悪!
悪!
悪!
悪!
18 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

21. 著者のバイアス
出典: スーパー大辞林, 三省堂
バイアスがかかった著者同士の振る舞い
• 反対の考え方のテキストを削除
• 同じ考え方のテキストを残す
19 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

22. バイアス
20 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

23. バイアス
21 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

24. デモ
デモをご覧ください
22 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

25. まとめ
記事の信頼度を算出
• 良い著者は多くの著者から認められている
• 悪い著者は多くの著者から削除される
• 不正行為にも（ある程度）対応
著者間のバイアスを算出
• 著者間の関係からグラフマイニング
23 Wikimedia Conference 2013 発表資料
13年2月3日日曜日

26. • Twitter: @suzuki_yu
• Email: suzuki@db.itc.nagoya-u.ac.jp
24 Wikimedia Conference 2013 発表資料
13年2月3日日曜日