关于下一代推荐系统的一些看法

首先祝贺我们的队伍"The Ensemble"在leaderboard上取得第一名，最终谁赢得比赛还没有正式宣布，不过我们能在最后30天做出这样的成绩还是不错的，感谢队友们，不是他们的帮助，我永远也无法知道0.855x的结果是如何做出来的。

比赛结束了，我对现有的推荐系统做了一番思考。在中国，我一向最佩服的就是douban的推荐系统，因为他们的推荐系统设计是专业的，而不是只用了简单的方法。据说他们使用了业界的一些先进算法。我用豆瓣很久了，但是他的推荐系统还有问题，当然这个问题不是豆瓣的问题，而是推荐系统中很难解决的一些问题。

1.我们知道，单纯的collaborative filtering在实际系统中是不够的，我们需要利用内容信息，但是我们在使用内容时往往是简单的用来计算相似度。比如我们有书的作者，出版社，书名，标签信息。我们往往用这些信息来比较书的相似度，然后推荐相似的书给用户。但是我在研究中发现，用户对书的不同属性的依赖是不同的，有些用户比较信赖出版社，比如我买计算机书，只买几个著名出版社的，其他出版社的书我对他的质量不信任。也有些时候看作者，比如C++，一般只买大牛的书。但是，豆瓣的推荐系统并没有学习出我的这些喜好（应该说没有完全学习出来），他们只是学习出我喜欢C++的书，但没有学习出我对作者和出版社的要求。这一方面因为我没有提供太多的喜好数据，另一方面也是因为可能并没有进行对这些特征的学习。

2.用户评论和自然语言，我们在淘宝买东西的时候，经常喜欢看以前卖家的评论来决定我们的行为。所以下一代推荐系统设计中对论坛评论需要加以利用。当然这涉及自然语言理解中的情感分析，做到完全准确是困难的，但现有的技术足以利用评论来提高推荐的精度，不管提高多少，肯定是能提高的。

3.海量数据。我们考虑网页推荐，其实也就是个性化搜索。这个问题和电影推荐不同，在电影推荐系统中，电影数总是少于用户数的，但在个性化搜索中，用户数是远远小于网页数的。在这种情况下，我觉得聚类是最有效的，我们很难学习出用户对特定网页的喜好，计算量太大。但是我们还是可以先对网页聚类，然后学习出用户的不同类型网页的态度（这个类型可以是基于内容的，也可以是基于界面的，或者基于域名，总之聚类的方法很多）。而且对于用户也很多的系统，比如google，我们也可以对用户聚类，学习出特定类的用户对特定类网页的喜好。这在设计大型系统中，可以作为一个baseline。

所以，我认为，未来推荐系统需要解决的3个问题就是
1）如何结合内容特征
2）如何理解用户的自然语言
3）如何处理海量数据