推荐系统《Recommending What Video to Watch Next A Multitask Ranking System》
z
 2020-06-22 17:42:53  

image-20200622174307097

目标

​ 给定一个用户当前在看的视屏，推荐下一个视屏。

综述

​ 一般而言，一个视屏推荐系统包含两个部分：

  1. candidate generation 【Improving User Topic Interest Profiles by Behavior Factorization】【Effective Training on Very Large corpora via gramian estimation】
  2. ranking

这篇文章主要集中在ranking部分。也就是说，通过candidate generation之后，我们能够获得数量在上百个的候选集合。最后，我们通过一些较为复杂的网络，来进一步进行排序。

挑战

在这个真实的大规模系统中，存在一系列的挑战：

  1. 我们的优化目标可能是不确定的，比如，我们可能希望向用户推荐他们会分享给他人的视屏。
  2. 系统存在很多bias，比如说，某个用户看了某个视屏，不是因为喜欢这个视频，而仅仅只是因为这个视屏的热度高，而用户点击了它。这种情况下就容易导致【feedback loop efect】

方法

针对上面的问题，提出了一下的几个component：

  1. 使用了Deep & Wide 结构。
  2. 在多任务方面引入了Multi-gate & Mixture of Experts。
  3. 引入了Shallow Tower 来处理上面说到的bias的问题。

结构

image-20200622180059917