SlideShare a Scribd company logo
1 of 19
Download to read offline
推荐系统规划

        何德琳
beijinhe@gmail.com
      2012年3月
目彔



      推荐系统建设背景与目标


      推荐系统架构


      推荐系统建设思路
当今的互联网正从搜索时代进入推荐时代
 无论用户在互联网的任何页面
           他所 需要的信息 就在他的面前
在当今互联网的时代,用户处在一个信息爆炸的时代,面对网络上
的海量信息会迷失,在这种背景下推荐系统应运而生,它根据用户
的兴趣爱好推荐符合用户兴趣爱好的信息。




推荐引擎是一个主动发现用户当前或潜在需求,幵且主动推送信息给
用户的信息网络。
 推荐引擎建立在强大的数据挖掘和机器学习技术基础之上。
 推荐引擎通过对海量用户数据的分析和挖掘,找到用户不信息产品之间的二元关系。
身边的推荐
如何满足用户的个性化需求?--推荐引擎




如何主动发现感兴趣的好友?如何为用户过滤出有价值的资讯和感兴趣的的话题? 如何寻
找自己喜欢的APP? 推荐系统可以解决这个问题。

推荐引擎已经成为互联网业务的重要标配!
推荐系统在互联网行业的应用标杆
近年来互联网行业内电子商务及社交领域等众多公司如Amazon、Netflix、weibo、豆瓣等由于
巨大的推荐应用需求,推荐系统得到了得到了飞速发展。推荐系统将成为未来互联网里重要的变
革,社会化网站将由推荐系统所驱动。推荐系统将在好友、信息、app等推荐领域发挥较大作用。



LinkedIn的推荐产品:



LinkedIn推荐系统带来
的巨大价值:
Recommendations
drive:More than
50%
> 50% of
connections
> 50% of job
applications
> 50% of group
joins
推荐引擎的工作原理
     社会人口属性    物品关键字          用户购买信息

     用户基本属性     基因描述         用户查看/使用信息

         ………     ……          用户的评价信息…

     用户信息       物品信息        用户对物品的偏好信息


                                  推荐给
   推荐引擎
                                  推荐给
               推荐引擎
               的核心能               推荐给
               力:针对         推荐给
               性、定向
               主动推送
               能力      物品                用户


推荐引擎
涉及的技术:
推荐引擎的三大特点
推荐系统的建设目标


 搭建计算和存储平台,丰富推荐引擎算法,持续优化推荐

引擎模型,打造高质量、高性能、灵活扩展的推荐引擎。



 通过开放API接口支撑应用场景的应用以及灵活扩展。逐步

丰富推荐应用场景,提升推荐引擎应用价值。
目彔



      推荐系统建设背景与目标


      推荐系统架构


      推荐系统建设思路
推荐系统架构
推荐系统分层结构

           应用场景1     应用场景2        应用场景3       应用场景4       ……
     应
     用
     层               推荐渠道     推荐时机    推荐内容 推荐用户


     API   参数传入接口    数据输出接口      数据采集接口       实时过滤排序    实时信息接口
     层
                                                                  推荐
                                                                  交互
推荐
           过滤排序控制    过度推荐控制      补足推荐控制    冷启动处理控制        cep      &
引擎   算                                                            反馈
     法                                                            优化
     层                                         基于社会
           基于内容的推                关联规则推荐
                     协同过滤算法                   网络的推荐      其他算法
            荐算法                    算法
                                                算法


           用户属性
                    用户标签      产品内容数   反馈评价数     用户行为挖
           库和统一                                            ……..
                     数据         据       据       掘模型数据
            视图
     数
     据               用户、产品研究模型数据
     层               数据源                  其他数据源         未来扩充数据
                                          用户其他相          其他互联网
            日志系统      DW       营销数据
                                           关数据           网站数据
用户/产品数据挖掘分析


                       用户属性库                          产品属性库
                       用户特征与兴趣偏好                      产品研究体系

               娱乐         沟通            生活                   产品信息质量
                                                相似产品集归整
                                                               评分
              娱乐关注偏向     沟通范围       活动区域
                                                产品相关性,
 数据挖掘                                                        产品生命周期
              关注偏向强度    沟通欲望强度     主要生活内容       互补、替代性

               商务      消费特征      心理特征           产品热销周期,
                                                             产品关系链
                                               地区,人群,时节
              职业特点
                        消费偏向     兴趣爱好
                                                产品推荐支持
              工作特征                                             特色产品
                                                 度系数

          用户特征挖掘模型      特征标签        …….             产品关联集    产品特征信息

         客户
数据汇总分类   基础     人口属性     消费行为      业务开通      业务使用     用户评价      ………
         属性


 数据来源                               数据收集
推荐算法

行为及兴趣: Machine Learning
          CF, KNN, MF
          LR,RDT , GDBT…

社交场景: Graph mining:
           TNN-relation chain
           Random walk, PageRank, Hits

规则匹配: 标签匹配、状态匹配、热点推荐…


内容推荐: IR:
             Classification, SVM(similarity)
             LSA,LDA …

上下文信息: 匹配过滤: LBS,Time …

混合模型: Hybrid model
Rank、Filter、Feedback、Evaluation
目彔



      推荐系统建设背景与目标


      推荐系统架构


      推荐系统建设思路
推荐引擎建设思路


                      丰富业务应用

                      • 优先应用于对原
                        有系统有极大提
                        升效果的场景,
                        逐步丰富业务应
敏捷开发                    用。

• 保持系统的迭代速
  度,寻求系统复杂
  度和算法精度的平
  衡。
             搭建合理架构

             • 分层解耦,集成化
               平台,支持应用功
               能的灵活扩展。
推荐应用构建示例
当开放平台引入的应用越来越多,当用户在众多的APP寻找一个需要的应用或者一个小游戏的
时候,如何在众多的应用中找到用户喜欢的?推荐引擎可以丌同用户主动推荐感兴趣的应用!


   用户行为         APP日志
   数据库         提取和分析

               用户兴趣特征        用户行为模型
   以APP推荐
   为例        1:基于邻域的协同过滤     产品相似度表
             推荐算法
             ItemCF:推荐给用户和
             他们之前喜欢的类似的
             应用
             UserCF:推荐给用户那
             些和他们兴趣相似的用      结果过滤和排名
             户喜欢的应用
             2:关联规则算法
                             最终推荐结果
推荐系统演进方向

           目标

           打造高质量、高性能、灵活扩展的推荐引擎。逐
           步丰富推荐应用场景。




1           2             3          4
 应用场景:优先        推荐引擎:引入   数据层:丰富数    运作模式:构建
 应用于对原有系        多个推荐算法混   据源, 丰富用户   推荐云开放平台
 统有极大提升效        合的推荐机制;   研究模型,获取    RCP,开放推荐
 果的场景,逐步        打造基于社交场   用户隐性偏好。    API,实现被推荐
 丰富业务推荐应        景下的社会化推   提升在线推荐速    业务接入和承载、
 用场景。           荐引擎。      度和响应时间。    数据云存储和计
                                     算。

More Related Content

Similar to 推荐系统规划

搜索 VS 查询
搜索 VS 查询搜索 VS 查询
搜索 VS 查询liluming
 
Vsp Search 2010 Ecommerce V6
Vsp Search 2010 Ecommerce V6Vsp Search 2010 Ecommerce V6
Vsp Search 2010 Ecommerce V6Yu Zhang
 
特卖场景下的大数据平台和机器学习实践
特卖场景下的大数据平台和机器学习实践特卖场景下的大数据平台和机器学习实践
特卖场景下的大数据平台和机器学习实践Leo Zhou
 
从搜索到发现
从搜索到发现从搜索到发现
从搜索到发现zhu02
 
用户体验的 要素 很好的资料
用户体验的 要素 很好的资料用户体验的 要素 很好的资料
用户体验的 要素 很好的资料grey0511
 
汽车领域社交数据分析简介及应用场景举例公开版 20150712
汽车领域社交数据分析简介及应用场景举例公开版 20150712汽车领域社交数据分析简介及应用场景举例公开版 20150712
汽车领域社交数据分析简介及应用场景举例公开版 20150712Yu Zhang
 
陈竞凯 透过历史看未来
陈竞凯 透过历史看未来陈竞凯 透过历史看未来
陈竞凯 透过历史看未来drewz lin
 
「沙中撈金術」﹣談開放原始碼的推薦系統
「沙中撈金術」﹣談開放原始碼的推薦系統 「沙中撈金術」﹣談開放原始碼的推薦系統
「沙中撈金術」﹣談開放原始碼的推薦系統 建興 王
 
使用者行為分析
使用者行為分析使用者行為分析
使用者行為分析newegg
 
Sns与系统架构浅谈
Sns与系统架构浅谈Sns与系统架构浅谈
Sns与系统架构浅谈taobaby365
 
[网络]孙元菁:中原+ 开启Web 3.0时代
[网络]孙元菁:中原+  开启Web 3.0时代[网络]孙元菁:中原+  开启Web 3.0时代
[网络]孙元菁:中原+ 开启Web 3.0时代Yuanjing Sun
 
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Etu Solution
 
網站企劃10年工作流程改變(HP8)
網站企劃10年工作流程改變(HP8)網站企劃10年工作流程改變(HP8)
網站企劃10年工作流程改變(HP8)悠識學院
 
Top100summit 当当网打造个性化推荐 精准营销生态系统傅强
Top100summit 当当网打造个性化推荐 精准营销生态系统傅强Top100summit 当当网打造个性化推荐 精准营销生态系统傅强
Top100summit 当当网打造个性化推荐 精准营销生态系统傅强drewz lin
 
Webinsight互联网全景测评
Webinsight互联网全景测评Webinsight互联网全景测评
Webinsight互联网全景测评Rachel Zhou
 
優化宅的日常-數據分析篇
優化宅的日常-數據分析篇優化宅的日常-數據分析篇
優化宅的日常-數據分析篇Wanju Wang
 
面向大数据的存储系统
面向大数据的存储系统面向大数据的存储系统
面向大数据的存储系统Hanson Dong
 
Baidu pm心得分享
Baidu pm心得分享Baidu pm心得分享
Baidu pm心得分享磊 张
 
ActWeis Technology Inc. 艾格亞士科技 簡介產品及服務 (20121026)
ActWeis Technology Inc. 艾格亞士科技 簡介產品及服務 (20121026)ActWeis Technology Inc. 艾格亞士科技 簡介產品及服務 (20121026)
ActWeis Technology Inc. 艾格亞士科技 簡介產品及服務 (20121026)ActWeis Technology Inc.
 

Similar to 推荐系统规划 (20)

搜索 VS 查询
搜索 VS 查询搜索 VS 查询
搜索 VS 查询
 
传媒梦工场分享
传媒梦工场分享传媒梦工场分享
传媒梦工场分享
 
Vsp Search 2010 Ecommerce V6
Vsp Search 2010 Ecommerce V6Vsp Search 2010 Ecommerce V6
Vsp Search 2010 Ecommerce V6
 
特卖场景下的大数据平台和机器学习实践
特卖场景下的大数据平台和机器学习实践特卖场景下的大数据平台和机器学习实践
特卖场景下的大数据平台和机器学习实践
 
从搜索到发现
从搜索到发现从搜索到发现
从搜索到发现
 
用户体验的 要素 很好的资料
用户体验的 要素 很好的资料用户体验的 要素 很好的资料
用户体验的 要素 很好的资料
 
汽车领域社交数据分析简介及应用场景举例公开版 20150712
汽车领域社交数据分析简介及应用场景举例公开版 20150712汽车领域社交数据分析简介及应用场景举例公开版 20150712
汽车领域社交数据分析简介及应用场景举例公开版 20150712
 
陈竞凯 透过历史看未来
陈竞凯 透过历史看未来陈竞凯 透过历史看未来
陈竞凯 透过历史看未来
 
「沙中撈金術」﹣談開放原始碼的推薦系統
「沙中撈金術」﹣談開放原始碼的推薦系統 「沙中撈金術」﹣談開放原始碼的推薦系統
「沙中撈金術」﹣談開放原始碼的推薦系統
 
使用者行為分析
使用者行為分析使用者行為分析
使用者行為分析
 
Sns与系统架构浅谈
Sns与系统架构浅谈Sns与系统架构浅谈
Sns与系统架构浅谈
 
[网络]孙元菁:中原+ 开启Web 3.0时代
[网络]孙元菁:中原+  开启Web 3.0时代[网络]孙元菁:中原+  开启Web 3.0时代
[网络]孙元菁:中原+ 开启Web 3.0时代
 
Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享Hadoop Big Data 成功案例分享
Hadoop Big Data 成功案例分享
 
網站企劃10年工作流程改變(HP8)
網站企劃10年工作流程改變(HP8)網站企劃10年工作流程改變(HP8)
網站企劃10年工作流程改變(HP8)
 
Top100summit 当当网打造个性化推荐 精准营销生态系统傅强
Top100summit 当当网打造个性化推荐 精准营销生态系统傅强Top100summit 当当网打造个性化推荐 精准营销生态系统傅强
Top100summit 当当网打造个性化推荐 精准营销生态系统傅强
 
Webinsight互联网全景测评
Webinsight互联网全景测评Webinsight互联网全景测评
Webinsight互联网全景测评
 
優化宅的日常-數據分析篇
優化宅的日常-數據分析篇優化宅的日常-數據分析篇
優化宅的日常-數據分析篇
 
面向大数据的存储系统
面向大数据的存储系统面向大数据的存储系统
面向大数据的存储系统
 
Baidu pm心得分享
Baidu pm心得分享Baidu pm心得分享
Baidu pm心得分享
 
ActWeis Technology Inc. 艾格亞士科技 簡介產品及服務 (20121026)
ActWeis Technology Inc. 艾格亞士科技 簡介產品及服務 (20121026)ActWeis Technology Inc. 艾格亞士科技 簡介產品及服務 (20121026)
ActWeis Technology Inc. 艾格亞士科技 簡介產品及服務 (20121026)
 

推荐系统规划