Volume zones hugely_change_with_different_viewpoints
•Als PPTX, PDF herunterladen•
1 gefällt mir•1,361 views
Empfohlen
Weitere ähnliche Inhalte
Andere mochten auch
Andere mochten auch (15)
Mehr von Toshiyuki Shimono
Mehr von Toshiyuki Shimono (20)
Volume zones hugely_change_with_different_viewpoints
- 1. 2014-03-08（土） 明治大学中野キャンパス ニコニコ学会β データ研究会 with 明治大COI-T ツイート数やフォロワー数は サンプリングの方法が違うだけで 桁数すら違って見えてしまう 株式会社ウフル 下野寿之 1000以上のフォロワーを持つアカウントは、全体の 約5%しかいないのに、彼らの発言が 平均的なユーザーのツイッター画面の70%も占め ていることを「分位グラフ」から示します。 （ただし、ある1ヶ月に特定のキーワードのどれかを発言したア カウントに限定しています。） 1
- 2. はじめに “ランダムな3人の方がKinseyの選ぶ300人よりも良い。” これはFFT(高速フーリエ変換) や bit (情報の単位)の言葉を発明した統計学者 Tukey (1915-2000) の言葉である。サンプリングの方法は大事である。 では、どういう方法でサンプリングすれば良いのだろうか。 Twitter で発言する人の特性はとても多様である。 分析上、Twitter上の異集団の比較条件をうまく揃えることすら、 なかなか困難である。 実は “全体像” を捉えることも、難しい。 「 データの “見方” (サンプリング)により、 全く同じ属性値が桁違いに違って見える」 ― この現象をうまく捉える方法を提案し、何が見えるか考えていきます。 2
- 3. 集計対象のツイッター発言データ : 1. 収集期間 ・・・・・・・・・・・・・・・・・・・・・・・・・・ 2013年12月10日から32日間 2. 収集した発言の数 ・・・・・・・・・・・・・・・・・・ ・・ ・・・・・・・・・・・・・・・・ 約320万件 3. 含まれていたアカウント数 ・・・・・・・・・・・・・・・・ ・・・ 約130万アカウント 4. ツイート発言で収集した範囲 ・・・・・・・・・・・下記の単語を含む発言 “おせち イオン ジャスコ ヨーカドー 西友 ルミネ パルコ ラゾーナ ららぽーと 伊勢丹 三越 高島屋 丸井 初売り 初商 福袋 東急 東急本店 東横店 フードショー ヒカリエ シンクス ShinQs 百貨店 デパート ショッピングセンター” ▼ ヒットしたツイート発言の多いアカウント 上位9個 3
- 4. 4
- 5. ヒストグラム 分位プロット 分位プロットは、中央値などの分位値をすぐ読める利点あり 。 5 ▶ 上位5%の値がすぐ読める ▶ 上下15%ずつ除外したときの範囲も分かる ▶ 異常値や例外の意味もはっきりする
- 6. みんな普通に どれくらい発言したり 何人にフォローされたり しているのだろうか? ▶ 的確に捕らえる方法は、難しいし、方法論は確立していない。 ▶ だから、全く気にしないのも、ひとつの賢明な処世の方法である。 ▶ しかし、マーケティング的には重要。人と自分を比較したくなるのも人情。 ▶ 「普通」とは何であるかという、不可知論的命題の一種に触れることになる。 ▶ 上記の疑問全てに答える訳では無いが、答えの一端をここに示す。 6
- 7. “全体像”をどう把握するか ― “要素重み” で解釈は変わる (c) Adam Booth ● 3通りの ”票の重みの違い” で何が起こるか? → 票の重みを変えると、投票結果は変わる。 (1) Twitter の1アカウント毎に1票の場合 (2) 各アカウントの重みづけを “ツイート数” とした場合 (3) “フォロワー数” と “ツイート数” の積を使う場合 4000(または1000)以上のフォロワーを持つ2%(5%) のアカウントによる発言が、”平均的なツイート表 示画面” の50%(70%)を占めていることが判明した。 7
- 8. (1) 1人1票の 重み付けの場合 • フォロー数の中央値は170。 • フォロワー数の中央値は140。 • ツイート回数の中央値は 4000。 • フォロワー数4000以上のアカ ウントは2%。 • 発言数が7万以上のアカウン トも3%。 8
- 9. (2) 各アカウントに ツイート数で 重み付けをした場合 ▶ 4000個未満の発言をする ような人は50%であったが、 ここでは たったの7% 。 ▶ 逆に、7%でしか無かった 3.5万回以上発言する人 の重み計がここでは50%。 ▶ フォロー数とフォロワー数 の中央値は350前後。 9
- 10. (3) 重みづけが、 ツイート数と フォロワー数 の積の場合 ▶ フォロワー数の四分位値が、 1000, 4000, 1.2万 ▶ ツイート数の四分位値が、 3万, 7万, 15万。 ▶ 人数上は2%しか無かった のに、ここでは50%の存在 感を示している。 10
- 11. 全体(320万発言)からの 取り出し方 集計時の票の重みの付け方 (1)一人一票 (2) ツイート数 (3) ツイート数 ×フォロワー数 フォロー数 170未満 50% 12% フォロワー数 140未満 50% 4% フォロワー数 1000 以上 5% 70% フォロワー数 4000 以上 2% 50% 解釈例 5個のアカウントを 見た時の印象 フォロー数とフォロワー数のこの中央値 は大体実感に合う。170 と 140 の違い はフォローとしてもフォロー返しされると は限らないことを反映している。 ライトな会話が多 い 自分の身の周りに数千人もフォロワー数 がいる人はほとんどいないのに、自分の 画面を開くと、大体何千回もつぶやいた 人の発言が画面を占有。 自己紹介の文字 数多い 短いつぶやき多い サークル、よくつぶ やく人 ツイート数 4000 未満 50% 7% 4000回もつぶやいたところで、そのよう な人の発言はたったの7%しか画面を占 めない。 ツイート数 3.5万以上 7% 50% 今回のキーワード群を検索した画面表 示について、その半数は3.5万以上のツ イートをした人の発言。(キーワードによる) 学生、ひとりごとが 多い 3%のアカウントは7万回以上もつぶやい たようだが、そんな彼らが画面の半分を 占有。 サークル、音楽、 趣味 ツイート数 7万以上 ツイート数 20万以上 ツイート数 100万以上 3% 50% 25% 3% ライトなふつうの個 人 限定された話題の ひとりごと ボット多い 11
- 12. まとめ ▶ 読み切れないほど大量のデータがある場合は、ど のようにサンプリングをして実態を知れば良いかを、 よく考える必要がある。 ▶ 属性値(例、ツイート数)の代表値(中央値など)を取 り出すにしても、一見合理的な重み付けの仕方で あっても、方法が異なれば、何十倍も異なることが ある。 ▶ 割合的にごく少数のアカウントが、ツイート利用者 の画面の大半を占有している。具体的な割合を読 み取るには、分位プロットが大いに役に立つ。 12
- 14. 参考 フォロワー数とフォロー数の比が フォロワー数に対してどう分布するか フォロー返し※ により、 フォロー数とフォロワー数は 大体等しいらしい。 では、どれくらい本当だろうか? ▶ アカウント全体の9割は その比は約2倍以内。 7割は約1.5倍以内。 ▶ ただし、フォロワー数が 5000以上になると様子は 大きく変わる。 ― 以上が右のグラフから 読み取れる。 ※ 「フォロー返し」 とは、誰かをフォローしたら その人からフォローされる現象。 14
- 16. (4) 重み付けを、フォロワー数 と”百貨店関係のキーワード を含むツイートを2014年前後 の特定期間に行った数” とし た場合 • (3)とは様子が異なる理 由は考察に値する。 ▶ 発言数の中央値が、2.5 万と下がった理由は、 キーワードに由来してい るからかも知れない。 ▶ フォロー数100以下のアカ ウントが12%も占めるのは、 そういう人がとりあえず、 今回選んだキーワードを 平均よりは多く話す傾向 があるからかも知れない。 16
- 17. 3個の分位グラフの要約 ▶ (1)一人一票と (3)ツイート数とフォロー数で票重みを増幅した後 で、 中央値は10倍程度異なる。 ▶ 「かなり大きい」数値は、見方によって「かなり小さく」なる。 17
- 18. 補足 – 分位値についての考察 • 中央値(50%点)は平均とは異なるが、よく使われる。 • そして、四分位値(25%点, 75%点)もデータの代表値として教科書でよく紹介される。 • しかし、 15%点と85%点の方がもっと有用と考えられる。 ▶ 全体を上・中・下に3分割した時の中央値は、全体の16.66..%点と 50%点と83.33..%点と なって、この3個の値(“3分割中央値”) こそが、中央値と2個の四分位値よりも、データ の性質をよく表していると、考えられる。 ▶ データの分布がガウス分布である場合に、15%点と85%点は μ ± 1.036.. σとなって、偏 差値40と60の値にほぼ近い。( μ±σに相当するのは、15.86%点と84.13%点となる。) つ まり、σの大きさを概算しやすい。 75%点 50%点 25%点 上 中 下 85%点 50%点 15%点 ▶ 従って、分位グラフから値を3個だけ読み取るときは、15%点, 50%点, 85% 点の値を読むと、データの様子を比較的よく把握できると考えられる。 なお、データ全体の最大値と最小値については、サンプリングごとに値が大きく変動するの で、ややデータの代表値としては使いにくいと考えられる。 Tukey: "A random selection of three people would have been better than a group of 300 chosen ..” http://p.tl/Dhka ― 分位に関しては様々な呼び方がある。分位 グラフを描く時に必要な用語は未だ揃っていな いようなので、体系的に作成する必要がありそ うである。 18