3. 主要推荐算法

Report
钟文波 | [email protected]
2013-05-17, Friday
training_set数据集:
 训练集大小:1262741
 用户数:9722(平均每用户评分130部电影)
 电影数:7889(平均每部电影被160用户评分)
 全局评分平均数:3.678 (RMSE:0.6900)
 评分分布:
1
2
3
4
5
17139
64298
400006
608401
172897
1.36%
5.09%
31.68%
48.18%
13.69%
movie_tag数据集:
 标签数量范围:(1~ 52)
user_history数据集:
 历史记录数量:987W
 历史记录用户ID及电影ID在训练集中:1577431
猜测用户观看历史数据中用户对于电影的评分:
 如果用户ID&&电影ID在训练集中的平均评分大于全局平
均评分,则取对应的评分值为大于全局平均数的值。
 如果用户ID&&电影ID在训练集中的平均评分小于全局平
均评分,则取对应的评分值为小于全局平均数的值。

其余取全局平均分或者介于以上两个评分的评分。
user_social数据集

单向关注的社交网路数据 ;类似于新浪微博,用户A可以
关注用户用户B而不需要得到用户B的允许,这种社交网络
中的用户关系是单向的,可以用有向图表示。
模型
RMSE
全局评分值
0.72
以用户评分平均值作为预测评分
0.66
以电影评分平均值作为预测评分
0.66
基于用户的协同过滤
0.6421
基于物品的协同过滤
0.6120
slopeone
0.6489
LFM
0.6227
加入偏置LFM
0.6172
考虑邻域影响的LFM(SVD++)
0.6231
以Bias-SVD为基准的user-base
0.6142
以Bias-SVD为基准的item-base
0.6049
线性拟合模型
0.6012
基于物品的协同过滤推荐算法:
(1)计算电影相似度,得到K个最近邻居
(2)预测用户对于电影的打分
改进的余弦计算公式:
sim(i, j ) 
皮尔逊相似度计算公式:
sim(i, j ) 

(ru,i  ru )(ru, j  ru )

(ru ,i  ri )(ru , j  rj )
uU
2
(
r

r
)
uU u,i u
uU
2
(
r

r
)
uU u,i i
2
(
r

r
)
uU u, j u
2
(
r

r
)
uU u, j j
(1)基于物品的协同过滤相似度压缩:
例如计算item1,item2之间的相似度,如果A表示对
item1评分过的用户集合,B表示对item2评分过的用户集
合,压缩系数公式表示如下:
AB
S  punishFactor(item1, item2) 
AB
增加压缩系数后皮尔逊相似度计算公式:
sim(i, j )  S *

uU
(ru,i  ri )(ru , j  rj )
2
(
r

r
)
uU u,i i
2
(
r

r
)
uU u, j j
(2)利用电影标签信息改进相似度的计算:
基于邻居的协同过滤推荐算法(Item-Base)当中,对于数据
集movie_tag ,利用这个数据集来求两部movie之间的相似度。
我们可以这么认为如果两部电影具有相同的标签,那么这两
部电影之间是具有一定的相似度的,相同标签越多它们则具
有更高的相似度。在标签系统中,两部电影之间的相似度用
两部电影的共同标签数除以两部电影的总标签数成正比。
如果用A表示movie1的标签,B表示movie2的标签,则在标
签系统中两部电影的相似度可以表示为:
AB
St  Sim ilarByTag(m ovie1, m ovie2) 
AB
(3)利用用户观看电影历史记录信息改进相似度的计算:
基于邻居的协同过滤推荐算法(Item-Base)当中,对于数据
集user_history 。我们可以这么认为如果两部电影具有相同的
观看用户,那么这两部电影之间是具有一定的相似度的,相
同观看用户越多它们则具有更高的相似度。
如果用A表示观看过movie1的用户,B表示观看过movie2的
用户,则利用用户观看电影历史记录,两部电影的相似度可
以表示为:
AB
Sh  Sim ilarByUserHis(m ovie1, m ovie2) 
AB
最终item相似度的计算公式:
惩罚系数:
S  punishFactor(item1, item2)
通过标签计算的相似度:
St  SimilarByTag(movie1, movie2)
观看历史计算的相似度:
Sh  SimilarByUserHis(movie1, movie2)
sim(i, j )  S * Pearson(i, j ) *
(1 a * St )
*
(1  b * Sh )
预测评分阶段:
(1)预测评分计算公式(以电影平均分作为基准评分):

p(u, i)  r 
jJ
i
sim(i, j)  (ru , j r j)

jJ
sim(i, j)
(2)最终预测评分计算公式(以SVD预测作为基准评分):
p(u, i)  bu, i


jJ
sim(i, j)  (ru, j bu, j )

jJ
sim(i, j)
加入偏置后的LFM计算公式:
(2)Netflix Prize——BiasSVD
实际情况下,一个评分系统有些固有属性和用户物品
无关,而用户也有些属性和物品无关,物品也有些属性和
用户无关。
rˆui  mean bu  bi   puf qif
f
mean 训练集中所有记录的评分的全局平均数。网站不同,网站的整体评
分分布也会显示出一些差异。
bu 用户偏置项。这一项表示了用户的评分习惯中和物品没有关系的那种
因素。
bi 物品偏置项。这一项表示了物品接受评分中和用户没有什么关系的因
素。
加入偏置后的LFM计算公式:
(2)Netflix Prize——BiasSVD
定义损失函数: rˆ  mean b
ui
u
 bi   puf qif
f
C ( p, q ) 
 rui  rˆui 
2
( u ,i )Train
  (|| pu ||2  || qi ||2 )
最小化上边的损失函数,根据随机梯度下降法,得到递推公式。
加入偏置后的LFM计算公式:
(1)梯度下降法(参数Gamma1,Lambda1,Gamma2,
Lambda2),最小化损失函数,根据随机梯度下降法,得
到如下递推公式:
eui  rui  rˆui
bu  bu   1 * (eui  1 * bu )
bi  bi   1 * (eui  1 * bi )
puf  puf   2 * (eui * qif  2 * puf )
qif  qif   2 * (eui * puf  2 * qif )
γ是学习速度,取值需要通过反复试验获取,每一次迭代对γ进行衰减(γ*=0.9),这
是随机梯度下降算法要求的,目的是使算法尽快收敛。
加入偏置后的LFM计算公式:
(1)影响算法的主要因素:
• 1、Dimension数(factor数)
• 2、P、Q矩阵的初始值( nextFloat()/Math.sqrt(factor))
• 3、学习速率与正则化系数(Gamma1,Lambda1,Gamma2,
Lambda2)
• 4、bi[]、bu[]初始化,bi[]、bu[]一般初始化为0
模型拟合:
(1)预测值线性拟合
method:假设我们有K个不同的预测器。
K
rˆ   ak rˆ ( k )
k 1
(1)《推荐系统实践》项亮
(2)《Netflix Prize 中的协同过滤算法》吴金龙
(3) Baidu URL:http://www.baidu.com
(4)《How we won the Netflix progress prize》Yehuda Koren

similar documents