20170411 ヒカラボ データを武器に変える
•
6 likes•1,376 views
データ活用と聞くと、最近ではビッグデータというワードを思い浮かべるのではないでしょうか。ビッグデータを扱うためには、数学、統計学、機械学習、ディープラーニング…などなど様々な分野の知識を取り入れなくてはならず、若干ハードルが高いのではないかと敬遠しがちな人もいるのではないでしょうか。 また、ビッグデータを扱うインフラコストを気にしたり、そもそもそんなにデータがないと考えて、なかなか手が出せないと感じる方もいらっしゃるのではないでしょうか。 確かに先進的な企業においては、そのような取り組みも行われているのは事実ですが、組織に合わせて小さく始めることも可能です。小さく始めるが指す箇所としては、いきなり難しいロジックを使わずに早いサイクルで行うという点と、最初から大量のデータを扱わなくとも実施可能な範囲から始めるという点の2つの意味を指しています。 今回の発表では、ビッグデータとは言わず、まずはサービスが保有するデータとSQLを用いて、エンジニアがデータを活用し、サービス、組織に貢献する手段をいくつか提案します。また、難しい数式をエンジニアが理解しやすいSQLをベースに解説し、データ活用に踏み込めるような内容にしたいと考えております。 データ活用は昨今注目を浴びていますが、どのように進めればよいかわからない人、推進する動きがあっても実際はあまりうまくいっていないと悩んでいる人、とにかく売上を上げるために何かしら動いている人に対して、今回の発表が何らかの解決の糸口になればと思います。
Recommended
Recommended
More Related Content
Featured
Featured (20)
20170411 ヒカラボ データを武器に変える
- 4. ■タイトル 前置き
- 8. ■タイトル 標準的なディレクターのお仕事・スキル • 関係各所の調整 • 適切なサイト導線、UI/UXの設計 • レポートを作成し、仮説を⽴てて、施策を検討する • 法令に従った運営指⽰ →景表法、個⼈情報保護法、特定電⼦メール法etc... データまわりについて ツールからデータは抜ける どんなデータがあれば 分析できるか検討は付く レコメンド、 ターゲティングをやりたい SQLはわからない そのデータを集めることが 出来るかわからない どうやってやるのか曖昧…
- 11. ■タイトル 本編
- 12. メルマガ / Push 配信システム 検索システム ⾏動ログ 購⼊データ 商品データ会員データ 保有するデータ 各種API サービスを⽀えるシステム 既存システムの⾼精度化、⾃動化を推進する ユーザーの状態・趣味嗜好に基づいた情報の出し分けをする ⾏動、トレンドの変化を数値化・可視化し、より旬な情報を届ける データ活⽤の⽬的・効果 効果のあるユーザーに 適切なタイミングで ユーザーの求める情報を 商品探している 検索語句を間違って⼊⼒ まだ買っていない それでもヒットする 商品をカゴに追加した 割引きクーポンを送る しばらく使ってなければお得意様が メールで嗜好にあう情報を 抱える問題点 ⼀律同じ対応 ユーザー毎に趣味嗜好や 状態が異なるが、どのように 分類すればいいかわからない ⼈⼿による限界 ⼈⼿による運⽤が存在し、 何パターンもデータを準備 できない サービス運⽤におけるアクターと改善までのストーリー
- 19. ■タイトル デシル分析 ビッグデータ分析・活⽤のためのSQLレシピ Chapter5-1-6 (P.155） session | user_id | action | category | products | amount | stamp ---------+---------+----------+----------+-----------+--------+--------------------- 989004ea | U001 | view | | | | 2016-11-03 18:00:00 989004ea | U001 | favorite | drama | D001 | | 2016-11-03 18:05:31 989004ea | U001 | add_cart | drama | D001 | | 2016-11-03 18:07:34 989004ea | U001 | add_cart | drama | D002 | | 2016-11-03 18:09:51 989004ea | U001 | purchase | drama | D001,D002 | 2000 | 2016-11-03 18:19:09 989004ea | U001 | review | drama | D003 | | 2016-11-03 18:23:09 762afcd3 | | view | | | | 2016-11-03 18:31:29
- 20. ■タイトル WITH user_purchase_amount AS ( SELECT user_id , SUM(amount) AS purchase_amount FROM action_log WHERE action = 'purchase' GROUP BY user_id ) , users_with_decile AS ( SELECT user_id , purchase_amount , ntile(10) OVER (ORDER BY purchase_amount DESC) AS decile FROM user_purchase_amount ) SELECT * FROM users_with_decile ; user_id | purchase_amount | decile ---------+-----------------+-------- U019 | 17800 | 1 U006 | 16700 | 1 U013 | 15700 | 1 U021 | 14700 | 2 U029 | 14600 | 2 U004 | 14400 | 2
- 22. ■タイトル RFM分析 Recency：最新購⼊⽇ 最近購⼊に⾄ったユーザーほど優良顧客として扱う Frequency：購⼊回数 ユーザーが購⼊した回数をカウントし、回数が多いユーザーほど優良顧客として扱う Monetary：購⼊⾦額合計 ユーザーの購⼊⾦額の合計を集計し、⾦額が多いユーザーほど優良顧客として扱う 下記の3つの指標をもとにユーザーをグループ化する ランク R:最新購⼊⽇ F:累計購⼊回数 M:累計購⼊⾦額 5 14⽇以内 20回以上 30万円以上 4 28⽇以内 10回以上 10万円以上 3 60⽇以内 5回以上 3万円以上 2 90⽇以内 2回以上 5000円以上 1 91⽇以上 1回のみ 5000円未満
- 25. WITH purchase_log AS ( SELECT user_id , amount , substring(stamp, 1, 10) AS dt FROM action_log WHERE action = 'purchase' ) , user_rfm AS ( SELECT user_id , MAX(dt) AS recent_date , CURRENT_DATE - MAX(dt::date) AS recency -- ミドルウェアによっては、DATE_DIFF / DATEDIFF関数を⽤いる , COUNT(dt) AS frequency , SUM(amount) AS monetary FROM purchase_log GROUP BY user_id ) SELECT * FROM user_rfm ; user_id | recent_date | recency | frequency | monetary --------+-------------+---------+-----------+---------- U040 | 2016-12-03 | 2 | 7 | 22340 U140 | 2016-11-23 | 12 | 11 | 27640 U128 | 2016-11-23 | 12 | 6 | 18550 U203 | 2016-11-06 | 29 | 3 | 10430 U058 | 2016-12-03 | 2 | 2 | 2970 U144 | 2016-10-31 | 35 | 5 | 13360 U213 | 2016-11-29 | 6 | 4 | 15300 U014 | 2016-11-03 | 32 | 6 | 17160 U154 | 2016-10-25 | 41 | 6 | 15230 U120 | 2016-10-31 | 35 | 4 | 10020 U251 | 2016-10-06 | 60 | 2 | 6580 ビッグデータ分析・活⽤のためのSQLレシピ Chapter5-1-7 (P.159）
- 26. WITH user_rfm AS ( 省略 ) , user_rfm_rank AS ( SELECT user_id , recent_date , recency , frequency , monetary , CASE WHEN recency < 14 THEN 5 WHEN recency < 28 THEN 4 WHEN recency < 60 THEN 3 WHEN recency < 90 THEN 2 ELSE 1 END AS r , CASE WHEN 20 <= frequency THEN 5 WHEN 10 <= frequency THEN 4 WHEN 5 <= frequency THEN 3 WHEN 2 <= frequency THEN 2 WHEN 1 = frequency THEN 1 END AS f , CASE WHEN 300000 <= monetary THEN 5 WHEN 100000 <= monetary THEN 4 WHEN 30000 <= monetary THEN 3 WHEN 5000 <= monetary THEN 2 ELSE 1 END AS m FROM user_rfm ) SELECT * FROM user_rfm_rank; user_id | recent_date | recency | frequency | monetary | r | f | m --------+-------------+---------+-----------+----------+---+---+-- U040 | 2016-12-03 | 2 | 7 | 22340 | 5 | 3 | 2 U140 | 2016-11-23 | 12 | 11 | 27640 | 5 | 4 | 2 U128 | 2016-11-23 | 12 | 6 | 18550 | 5 | 3 | 2 U203 | 2016-11-06 | 29 | 3 | 10430 | 3 | 2 | 2 U058 | 2016-12-03 | 2 | 2 | 2970 | 5 | 2 | 1 U144 | 2016-10-31 | 35 | 5 | 13360 | 3 | 3 | 2 U213 | 2016-11-29 | 6 | 4 | 15300 | 5 | 2 | 2 U014 | 2016-11-03 | 32 | 6 | 17160 | 3 | 3 | 2 U154 | 2016-10-25 | 41 | 6 | 15230 | 3 | 3 | 2 U120 | 2016-10-31 | 35 | 4 | 10020 | 3 | 2 | 2 U251 | 2016-10-06 | 60 | 2 | 6580 | 2 | 2 | 2 U043 | 2016-11-22 | 13 | 2 | 3200 | 5 | 2 | 1 U129 | 2016-09-21 | 75 | 2 | 8830 | 2 | 2 | 2 U057 | 2016-11-22 | 13 | 6 | 22480 | 5 | 3 | 2 U085 | 2016-11-13 | 22 | 6 | 15660 | 4 | 3 | 2 U290 | 2016-09-20 | 76 | 2 | 8490 | 2 | 2 | 2
- 31. ■タイトル
- 32. ■タイトル オススメ枠に何を表⽰するか ⼈気ランキング 新着情報 急上昇 レコメンド ⼈⼿ ◯ ⼈⼿ × ⼈⼿ △集計 楽 集計 ？ 集計 楽 ⼈⼿ × 集計 ？
- 35. WITH monthly_category_amount AS ( SELECT concat(year, '-', month) AS year_month , category , SUM(amount) AS amount FROM daily_category_amount GROUP BY year, month, category ) SELECT year_month , category , amount , FIRST_VALUE(amount) OVER(PARTITION BY category ORDER BY year_month, category ROWS UNBOUNDED PRECEDING) AS base_amount , 100.0 * amount / FIRST_VALUE(amount) OVER(PARTITION BY category ORDER BY year_month, category ROWS UNBOUNDED PRECEDING) AS rate FROM monthly_category_amount ORDER BY year_month, category ; year_month | category | amount | base_amount | rate -----------+---------------+--------+-------------+-------- 2014-01 | ladys_fashion | 263945 | 263945 | 100.00 2014-01 | mens_fashion | 349012 | 349012 | 100.00 2014-01 | book | 135020 | 135020 | 100.00 2014-01 | game | 213263 | 213263 | 100.00 2014-02 | ladys_fashion | 404849 | 263945 | 153.38 2014-02 | mens_fashion | 188667 | 349012 | 54.05 2014-02 | book | 143322 | 135020 | 106.14 2014-02 | game | 197948 | 213263 | 92.81 2014-03 | ladys_fashion | 386651 | 263945 | 146.48 2014-03 | mens_fashion | 263634 | 349012 | 75.53 2014-03 | book | 214231 | 135020 | 158.66 2014-03 | game | 191777 | 213263 | 89.92 ビッグデータ分析・活⽤のためのSQLレシピ Chapter4-2-3 (P.119）
- 41. ■タイトル 検索システム 商品DB 検索エンジン 同義語辞書 ユーザー辞書 AQUOS ＝ アクオス バイト ＝ アルバイト 激おこぷんぷん丸 ビルゲイツ
- 42. ■タイトル 検索におけるユーザー⾏動 検索ワードに検索エンジン最適化のヒントがある ・絞り込み ドラゴンボール → ドラゴンボールZ →並び順の最適化 ・異なる語句 マトリックス２ → マトリックス・リローデッド →同義語辞書に追加 ・離脱ワード / 検索結果0件 →異なる語句、検索結果0件のワードから 同義語辞書・ユーザー辞書への追加可能なものが あれば、対応する
- 44. ■タイトル LAG、LEAD関数 product_id | category | score ------------+----------+------- A001 | action | 94 A002 | action | 81 A003 | action | 78 A004 | action | 64 D001 | drama | 90 D002 | drama | 82 D003 | drama | 78 D004 | drama | 58 product_id | score | lag1 | lag2 | lead1 | lead2 ------------+-------+------+------+-------+------- A001 | 94 | | | D001 | D002 D001 | 90 | A001 | | D002 | A002 D002 | 82 | D001 | A001 | A002 | A003 A002 | 81 | D002 | D001 | A003 | D003 A003 | 78 | A002 | D002 | D003 | A004 D003 | 78 | A003 | A002 | A004 | D004 A004 | 64 | D003 | A003 | D004 | D004 | 58 | A004 | D003 | | SELECT product_id , score -- 現在の行より前の行の値を取得する , LAG(product_id) OVER(ORDER BY score DESC) AS lag1 , LAG(product_id, 2) OVER(ORDER BY score DESC) AS lag2 -- 現在の行より後の行の値を取得する , LEAD(product_id) OVER(ORDER BY score DESC) AS lead1 , LEAD(product_id, 2) OVER(ORDER BY score DESC) AS lead2 FROM products ORDER BY score ビッグデータ分析・活⽤のためのSQLレシピ Chapter3-3-2 (P.61）
- 47. ■タイトル レコメンドシステム モジュール 内容 表⽰例 リマインド ユーザーの過去の⾏動から、再度アイテムを 提案する ・最近⾒た商品 ・もう⼀度買う ランキング 閲覧数、購⼊数等に基づき、⼈気のあるアイテム を提案する ・⼈気ランキング ・急上昇ランキング コンテンツベース アイテムに付属する情報を元に、別のアイテムを 提案する ・この俳優が出演している 他の作品 レコメンド サービスを利⽤するユーザー全体の⾏動履歴から、 次に⾒るアイテム、関連するアイテムを推測し、 提案する ・この商品を⾒ている⼈は こんな商品も⾒ています。 パーソナライズ レコメンド ユーザー個⼈の⾏動履歴から趣味嗜好を推測し、 興味のありそうなアイテムを提案する ・あなたへのオススメ
- 49. U001 U002 U003 U004 U005 P001 1 1 1 0 0 P002 1 1 0 0 0 P003 1 1 0 0 0 P004 1 0 0 0 1 P005 0 1 1 1 0 データのイメージ RDBで扱う形式と 異なるので、直感的に 理解できない⼈は いませんか？ （僕はそうでした） DB上でのイメージ 商品ID ユーザーID 値 P001 U001 1 P001 U002 1 P001 U003 1 P002 U001 1 P002 U002 1 P003 U001 1 ... ... ... こんな形で保存されているイメージが 頭の中で描ければ、⼤丈夫！
- 50. ２つのベクトルのなす⾓ →コサイン類似度 コサイン類似度 -1 <= 0 <= 1となる値を取る。1に近づけば近づく程、正の相関がある 商品A 商品B 1 1 cos 𝜃 商品C アイテム同⼠の関連を導くためには
- 51. ■タイトル 数式を⾒てみると…
- 52. cos 𝜃 = 𝐴 ( 𝐵 𝐴 | 𝐵 | ⾼校で数Ⅱまでしかやっていないから 多分習ってない…。⾒たことない…。 おぇぇぇ… 𝐴 商品Aに関して、ユーザーA、ユーザーB、ユーザーCの値 B 商品Bに関して、ユーザーA、ユーザーB、ユーザーCの値 |𝐴| 0 1 0 1 1 0 商品Aに関して、ユーザーA、ユーザーB、ユーザーCの値をそれぞれ ⼆乗して、全部⾜して、ルートをかぶせる 0 1 0 0- + 1- + 0- 𝐴 ( 𝐵 分⺟ 分⼦ 𝑎2×𝑏2 ＋ 𝑎-×𝑏- … + 𝑎6×𝑏6 (0×1) + (1×1） + （0×0） 商品AとBの関係を各ユーザーの値から導く
- 53. U001 U002 U003 U004 U005 P001 1 1 1 0 0 P002 1 1 0 0 0 P003 1 1 0 0 0 P004 1 0 0 0 1 P005 0 1 1 1 0 P001とP003の相関係数は？ cos 𝜃 = 𝐴 ( 𝐵 𝐴 | 𝐵 | cos 𝜃 = 1×1 + 1×1 + 1×0 + 0×0 + (0×0) 1×1 + 1×1 + 1×1 × 1×1 + 1×1 cos 𝜃 = 2 3 × 2 0.8164... 出来た！！！！
- 54. ■タイトル 実はもう少し計算を楽にすることが出来る cos 𝜃 = 𝐴 ( 𝐵 𝐴 | 𝐵 | cos 𝜃 = 𝐴 ÷ 𝐴 × 𝐵 ÷ 𝐵 cos 𝜃 = < < × = =
- 55. ■タイトル U001 U002 U003 U004 U005 P001 1 1 1 0 0 P002 1 1 0 0 0 P003 1 1 0 0 0 P004 1 0 0 0 1 P005 0 1 1 1 0 item_id user_id score P001 U001 1 P001 U002 1 P001 U003 1 P002 U001 1 P002 U002 1 P003 U001 1 ... ... ... データのイメージ DB上でのイメージ 1×1 + 1×1 + 1×1 𝐴 score A SQRT(SUM(score * score) OVER(PATITION BY item_id)) item_id user_id score calc1 calc2 P001 U001 1 √3 1/√3 P001 U002 1 √3 1/√3 P001 U003 1 √3 1/√3 P002 U001 1 √2 1/√2 P002 U002 1 √2 1/√2 P003 U001 1 √2 1/√2 ... ... ... cos 𝜃 = 𝐴 ÷ 𝐴 × 𝐵 ÷ 𝐵
- 56. ■タイトル item_id user_id score calc1 calc2 P001 U001 1 √3 1/√3 P001 U002 1 √3 1/√3 P001 U003 1 √3 1/√3 P002 U001 1 √2 1/√2 P002 U002 1 √2 1/√2 P003 U001 1 √2 1/√2 ... ... ... 商品A→商品Bとの相関、商品A→Cとの相関 .... 商品B→商品Cとの相関… と⾔うように、全商品の組み合わせを作ってレコメンドリストを作りたい SELECT user_id, t1.item_id, t1.calc2, t2.item_id, t2.calc2, FROM 左記表 t1 JOIN 左記表 t2 ON t1.user_id = t2.user_id ） WHERE t1.item_id <> t2.item_iduser_id t1.item_id t1.calc2 t2.item_id t2.calc2 U001 P001 1/√3 P002 1/√2 U001 P001 1/√3 P003 1/√2 U001 P001 1/√3 P004 1/√2 U001 P002 1/√2 P001 1/√3 U001 P002 1/√2 P003 1/√2 U001 P002 1/√2 P004 1/√2 ... ... ... ... ... U002 P001 1/√3 P002 1/√2
- 57. ■タイトル SELECT t1.item_id, t2.item_id, SUM(t1.calc2 * t2.calc2) as score FROM 左記表 GROUP BY t1.item_id, t2.item_id user_id t1.item_id t1.calc2 t2.item_id t2.calc2 U001 P001 1/√3 P002 1/√2 U001 P001 1/√3 P003 1/√2 U001 P001 1/√3 P004 1/√2 U001 P002 1/√2 P001 1/√3 U001 P002 1/√2 P003 1/√2 U001 P002 1/√2 P004 1/√2 ... ... ... ... ... U002 P001 1/√3 P002 1/√2 t1.item_id t2.item_id score P001 P002 *** P001 P003 *** P001 P004 *** P002 P001 *** P002 P003 *** P002 P004 *** ... ... *** P001 P002 *** あとはこの結果に対して、 t1.item_id、t2.item_idの商品カテゴリや 価格の情報をJOINすれば ・同じカテゴリでのレコメンドリスト ・近い価格帯でのレコメンドリスト など、⾊々作れる
- 58. 途中省略
- 61. ■タイトル まとめ
- 69. ご清聴ありがとうございました。 Amazon ビッグデータ SQL 検索 Amazon ⽥宮直⼈ 検索