Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.

Log解析の超入門

8.003 Aufrufe

Veröffentlicht am

20150408@acrovision

Veröffentlicht in: Daten & Analysen
  • Hello! High Quality And Affordable Essays For You. Starting at $4.99 per page - Check our website! https://vk.cc/82gJD2
       Antworten 
    Sind Sie sicher, dass Sie …  Ja  Nein
    Ihre Nachricht erscheint hier

Log解析の超入門

  1. 1. 1 Log 解析の超入門 @acrovision 菊池佑太
  2. 2. 2 QUESTION 気になる画像は?
  3. 3. 3 A. 車 引用 :http://www.audi.co.jp/
  4. 4. 4 B. 化粧   品 引用 :http://www.shiseido.co.jp/
  5. 5. 5 C. 転職     引用 :https://www.pakutaso.com
  6. 6. 6 D. アニメ     引用 :http://august-soft.com/
  7. 7. 7 男性、車好き、お金持ち?
  8. 8. 8 過去の Log から 予測する
  9. 9. 9 人工知能 機械学習
  10. 10. 10 今日から 自分で始める
  11. 11. 11 Log 記録 性別推定 Recommend Agenda
  12. 12. 12 UI/UX ABTest Marketing I'm Sorry...
  13. 13. 13 I'm Sorry... GPS Realtime Search
  14. 14. 14 Log 記録
  15. 15. 15 Log = Evidence
  16. 16. 16 MapReduce 引用 : http://dme.rwth-aachen.de
  17. 17. 17 Log Forward
  18. 18. 18 Clowd / OnMemory
  19. 19. 19 Business Intelligence
  20. 20. 20 収集および解析 技術の進歩
  21. 21. 21 Log = Evidence Log = Strategy
  22. 22. 22 AccessLog ErrorLog
  23. 23. 23 Architecture
  24. 24. 24 RealTime : fluent-d Batch : rsync Log Forward
  25. 25. 25 Browser Cookie Login Cookie
  26. 26. 26 初回アクセス Cookie に識別子 属性付与
  27. 27. 27 host:::1<Tab>ident:MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ<Ta b>user:1<Tab>time:[08/Apr/2015:10:00:00 +0900]<Tab>Request:GET /sample HTTP/1.1<Tab>status: 200<Tab>size:5039<Tab>referer:foo.com<Tab>agent:Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12A365 Safari/600.1.4<Tab>attr:Mjg0ZmUyMzk0Yzg0ZGIzZTIzYTI3N2ExY zhm One Line
  28. 28. 28 host:::1<Tab>ident:MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ<Ta b>user:1<Tab>time:[08/Apr/2015:10:00:00 +0900]<Tab>Request:GET /sample HTTP/1.1<Tab>status: 200<Tab>size:5039<Tab>referer:foo.com<Tab>agent:Mozilla/5.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12A365 Safari/600.1.4<Tab>attr:Mjg0ZmUyMzk0Yzg0ZGIzZTIzYTI3N2ExY zhm One Line
  29. 29. 29 Parse
  30. 30. 30 BrowserID : MTkyLjE2OC41Ni4xMDE0MDkxMTk2ODQ 遷移先 URL http://acrovision.com/sample 遷移元 URL http://foo.com Attribute : 30 代 男性 UserAgent or Device : Safari / iPhone One Line Summary
  31. 31. 31 正解データ を含む Log
  32. 32. 32 Storage に格納
  33. 33. 33 KVS / Nosql 引用 :http://bynatures.net
  34. 34. 34 KVS Key : Identifier SubKey : Map Map : Label, Attr
  35. 35. 35 Example { MTkyLjE2OC41Ni4xMD... : { Query => ' ガンダム ': 2}, { PageView => '/foo' : 4}, { Gender => 'Male' : 100} }
  36. 36. 36 性別推定
  37. 37. 37 未知への拡張 20% 50% 20%
  38. 38. 38 検索 Log
  39. 39. 39 条件付き確率 P( 男 | ガンダム ) = 0.8
  40. 40. 40 まずは 1 台の PC でも
  41. 41. 41 <?php namespace Algorithms; class NaiveBayes { public function add_instance(){} public function train(){} public function predict(){} ... }
  42. 42. 42 訓練 推定 評価
  43. 43. 43 { 正解 : {KW : 回数 } } { 男性 : { ガンダム : 5 , AC ミラン : 8 } } { 女性 : { 化粧水 : 2 , 日焼け止め : 7 } } ・ ・ ・
  44. 44. 44 $nb = new NaiveBayes(); // iteration $nb->add_instance( 'label' => ' 正解 ', 'attributes' => 'KW : 回数 ' ); $nb->train();
  45. 45. 45 訓練 推定 評価
  46. 46. 46 { 未知 : {KW : 回数 } } { ? : { ガンダム : 3 , シャア : 2 } } ・ ・ ・
  47. 47. 47 // iteration $res = $nb->predict( 'attributes' => 'KW : 回数 ' ); foreach($res as $label => $p) { echo $label . "t" . $p . "n"; } // 男性 : 0.878 // 女性 : 0.122
  48. 48. 48 推定結果は KVS へ格納
  49. 49. 49 訓練 推定 評価
  50. 50. 50 「 PR 曲線」
  51. 51. 51 Balance 精度 拡張量 { 精度 : 70%, 拡張量 : 30% 増 }
  52. 52. 52 Compare 精度 拡張量 既存 Model 新 Model
  53. 53. 53 応用
  54. 54. 54 Hadoop Streaming Hive,Pig で Modeling Spark でもできそう
  55. 55. 55 特徴を追加して 精度を上げる
  56. 56. 56 Cross Validation
  57. 57. 57 Recommend
  58. 58. 58 性別推定結果に 対して Contents を 推薦
  59. 59. 59 集団行動履歴から Contents を推薦
  60. 60. 60 Collaboration Filterling 引用 : http://theegeek.com/
  61. 61. 61 商品 A を買った人は 商品 B も買うだろう
  62. 62. 62 商品特徴を Vector で表現
  63. 63. 63 似ている商品 Vector が似ている
  64. 64. 64 Cosine Similarity[0,1]
  65. 65. 65 User | Item いちご めろん ぶどう すいか User-A Buy! Buy! User-B Buy! Buy! User-C Buy! Buy! Buy! User-D Buy! Buy! Buy! User Item Matrix
  66. 66. 66 Vector ⇓ 購入共起人数
  67. 67. 67 Item | Item いちご めろん ぶどう すいか いちご - 3 人 1 人 0 人 めろん 3 人 - 2 人 1 人 ぶどう 1 人 2 人 - 1 人 すいか 0 人 1 人 1 人 - Item Item Matrix
  68. 68. 68 Vector いちご ={ めろん :3, ぶどう :1, すいか :0} めろん ={ いちご :3, ぶどう :2, すいか :1} ぶどう ={ いちご :1, めろん :2, すいか :1} すいか ={ いちご :0, めろん :1, ぶどう :1}
  69. 69. 69 Cosine Similarity[0,1] いちごとめろんは 類似度 0.3
  70. 70. 70 問題
  71. 71. 71 Sparse A={0,0,0,1,...0} B={1,0,0,0,...0}
  72. 72. 72 Dimension A={1,1,0,1,...0} ・ ・ N={1,1,1,0,...1}
  73. 73. 73 Hashing b-bit-min local-sensitive Matrix Factorization
  74. 74. 74 まとめ
  75. 75. 75 ログの記録 性別推定 (NaiveBayes) Collaboration Filterling
  76. 76. 76 ご清聴 ありがとうござい ました

×