13426109659
info@21cto.com

如何评价一个推荐系统的好坏?

作者 Admin 分类 资讯 02月26日

现如今,推荐系统几乎无处不在。

 

  • 电商购物,有猜你喜欢。
  • 资讯阅读,有个性推荐。
  • 听歌看电影,都能识别你的兴趣。
  • 就连工作社交,也会提示你可能认识的人...

 

推荐系统火爆的背后,是信息过载的现状下,人们需要通过算法,来帮助自己找到恰当的内容。

 

每个人的兴趣和需求不同,每个内容的特点也各不相同。如何在内容和用户之间,根据不同的场景环境做出恰当的匹配,也就是推荐系统的核心任务。

 

举个简单的例子,你平时用美团点餐,它推荐的可能都是你常吃的附近美食,而如果你去了一个新的旅游地,它会给你推荐当地的热门特色餐饮。

 

精准识别并满足用户不同需求的能力,构成了推荐系统的能力壁垒。

 

那么,我们该如何量化评估这种差异呢?

 

单一的衡量标准不存在

 

推荐得好不好,大家最容易想到的指标,就是点击率。

如果我推荐的内容,就是你满意的,你肯定会点击使用。理论上来说,完美的推荐系统,似乎应该做到100%的点击率。

 

以资讯产品举例,你每次刷新,刷出来的10条内容你都很喜欢,全都点开看了,这说明我们的推荐非常准。

 

但这样会带来明显的问题,因为我们追求高点击率,所以会减少冒险尝试,任何不确定的内容,我们都不敢推给用户。结果就是我们只能把用户曾经点过的品类,反复推给他,形成信息茧房,造成用户审美疲劳,然后离开。

 

这样,尽管我们的点击率上去了,用户留存率却下降了,商业收入也自然而然下降了。

此外,如果我们只关注点击率,就很容易忽略点击质量。举个例子,推荐系统追求点击率的结果,自然就是推荐更多的标题党内容,造成用户点击率很高,阅读时长却非常短。用户被忽悠了两三次以后,很可能愤而离开。

 

同样的,如果我们只追求阅读时长,可能会推出来大量的长时视频内容,减少短内容的曝光机会。

 

甚至在产品商业化阶段,我们有时候为了提升广告收益,还愿意牺牲一点点击率、阅读时长等用户指标...

 

显然,单一的衡量标准,无法确保推荐系统满足我们的需要。

 

多元的评估方式

 

推荐系统通常服务于某个具体业务,业务在不同的时间阶段、场景、用户群体下,都有不同的目标,需要灵活考虑。

 

下面以资讯类APP举例说明:

 

  1. 不同的阶段:产品发展初期,我们更关注用户的粘性和留存,因此重点会放在用户的点击率、PV、阅读时长上。等到追求商业变现的阶段,更多考虑的就是付费率、广告点击量等商业指标。对应的,推荐系统在不同的阶段也要做相应调整。
  2. 不同的场景:搜索场景考虑的是用户的搜索结果点击排序,追求用完即走。但是feeds流考虑的是用户的CTR、阅读时长、内容多样性。两者完全不同,不可混在一起。因此,对于不同场景,我们可以使用完全不同的推荐模型,将场景隔离开。
  3. 不同的用户:新用户考虑的是快速留存,积攒PV。老用户考虑的是探索兴趣,诱导分享。此外,不同偏好的用户需求各不相同,财经的用户希望内容权威、及时、高效,情感的读者希望内容贴近生活,足够有趣。二者追求的指标显然不需要一致。

 

考虑到各种不同的诉求,我们的评估方式也要灵活变化。

 

对不同的场景和用户模型,设定单独的衡量标准。对不同的业务指标,拆解出推荐系统的上线与评估标准。

 

所谓拆解,其实就是用高频变化的指标,去近似代表我们追求的长期业务指标。

 

举个例子,在资讯类APP发展早期,我们希望提升日活用户数,提升用户的使用时长。但是只看这些结果指标,并不能指导我们改进业务。

 

因此,我们可以把这些指标拆解成一些日常容易衡量评估的指标。比如日活用户数等于新增*留存,新增不是推荐系统直接影响的,这里暂不考虑。而留存取决于用户对我们产品的满意度,而满意度又近似等于人均PV(点击)、CTR(点击率)、阅读时长、播放完成率、评论、分享、收藏、点赞等等指标。

 

由此,我们把推荐系统的评价指标,就拆成了以下这些:

 

  1. PV:阅读数量,通常我们用人均值代替。对于资讯类APP来说,PV通常意味着用户的使用深度,同时更多的PV也会带来更多的广告曝光和点击,因此PV是对商业模式的一种近似简化,通过灵敏的PV,来间接提升我们的商业收益。用于推荐算法模型训练的素材,其实最关键就是用户对各篇推荐内容点击与否的数据
  2. CTR:点击率,越高代表用户对你的推荐结果越满意。
  3. 阅读时长、播放完成率:阅读时长、播放完成率配合PV,可以规避掉一些无效点击,提升指标的有效性
  4. 评论、分享、收藏、点赞数:这些行为比一般的阅读更重,更能代表用户的偏好,这些指标的加入(权重计分形式),可以让推荐系统更准确把握用户兴趣
  5. 主观评估满意度、新颖性、惊喜度:这三项其实是偏主观的评价,之所以加入,是因为很多用户体验并不能用数据衡量,往往需要用户凭主观感受打分来反映。具体做法有很多种,比如1)给出两篇内容,让用户进行点对点的对比。(2)给单篇内容提供打分选项,建议用户从内容与自身偏好的相关性、内容的信息量等角度给予1~5分的评分。(3)以提出开放性问题的方式来收集用户对自己信息流的反馈
  6. 内容多样性:对用户来说,产品需要经常有新意,不能陷入信息茧房,因此要评估内容多样性指标。比如可以统计用户的展示历史中各种题材、类目、话题的丰富程度如何,丰富度越高代表个体体验的多样性越好。从内容生产的角度,还可以计算基尼系数、推荐覆盖率,来判断各个内容是否都被推出去了。

具体在日常工作中,我们每次迭代推荐系统,通常都会进行AB实验,考虑对以上指标的影响,如果实验整体正向并且效果显著,那么我们会考虑把实验策略推全到全部用户上。

 

算法侧的评估标准

 

当然,除了业务指标外,我们还需要考虑算法本身的评估方式。毕竟推荐系统的主体是算法模型,在日常的系统迭代中,有大量的离线场景,需要评估算法效果好坏。

 

一般而言,算法是用模型去拟合训练数据,然后去预测新数据。它的评估方式也很直接,即预测的准确性。具体来说有召回率、精准率、准确率、F1值、AUC、RMSE...

 

分类预测类

 

  1. 召回率:也叫做查全率,全部正样本里,有多少被命中了
  2. 精准率:也叫做查准率,即预测为正的样本里,有多少是真的为正
  3. 准确率:一个综合评价指标,计算的是全部预测项里,有多少是正确的
  4. F1值:综合考虑了召回率和精准率,既考虑是否把全部正样本找出来,也考虑找的这些正样本精准率如何,对不平衡类别非常有效
  5. AUC:综合考虑假正例率和真正例率,得到ROC曲线后,计算曲线下的面积。简单理解,就是0~1之间的值,值越大模型分类效果越好,对不平衡类别非常有效

 

回归预测类

 

  1. SSE(和方差)、均方误差(MSE)、MAE(平均绝对误差)、均方根误差(RMSE):这几个都很相似,都是衡量预测值和真实值之间的差别
  2. R Squared:基于方差计算出来的一个比值,取值0~1之间,值越大,模型拟合效果越好

 

从日常的工作流程上来说,我们会先考核算法模型的AUC,AUC比以往模型有所增长时,我们再做线上AB实验,判断业务指标的增减。

 

通过灵敏的业务拆解指标,来反映我们对业务目标的迫近。

 

写在最后

 

随着业务的发展,推荐系统越大,它的评估复杂度也会跟着提升。

 

许多新的目标、特殊的场景都需要纳入考虑范围。

 

比如推荐系统的健壮性(是否容易被攻击)、推荐时效性、推荐地域性、推荐内容质量高低、推荐重复度、用户投诉率等等...

 

因此,推荐系统的评估方式也需要动态调整。

 

灵活调整评价体系,让推荐系统更好的服务业务发展,才能让推荐系统永葆生机。

 

 

作者:Nemo

评论