胡玲玲-报告

Report
实习介绍
胡玲玲
网页搜索部
2013-09-01
目录
LTR
大搜索策略上线
初识-调研流程平台
定位
 平台组快速调研整合的流程整合部份,作为调研的统一入口,对调研的
过程、工具、数据等进行有效的管理。
目标
 为实现调研全过程的改善打下基础,改善大搜索,提升效率。
调研流程平台-整体框架
调研流程平台-整体框架
入手-LTR
 用机器学习的方式做ranking


学术界一般称为Learning to rank(LTR)
也称为machine-learned ranking (MLR)
 定位

机器学习在Ranking系统中应用方法的研究,产出可执
行的系统方法
 Ranking 问题:

简单的说:一个query下的url list,给出一个排序,使得
排序和相关性高低尽可能一致。
为什么需要LTR?
 传统上使用人工经验来确定特征的权值
得到模型易于理解
 性能稳定
 依赖于个人经验,难以国际化
 效率较低,成本较高

 采用机器学习的方法,自动从特征中构建排序模型
提高研发效率,降低国际化壁垒
 参数可以自动确定
 部分模型的可理解性与可解释性不佳

 机器学习的发展
监督学习方法比较成熟
 针对ranking的机器学习越来越多(高质量paper 百余篇以上)

为什么需要LTR?
 Ranking 很难做



基础相关性
页面质量
页面权威性
 ……
 Ranking 怎么做?

Socre(query,url)=
 Function(x)=wx+b
LTR在业界的情况
 第一个使用LTR的搜索引擎: AltaVista 2003
 后称为Overture, 现在是Yahoo一部分
 微软Bing: 2005
 俄罗斯Yandex:2009
 Google?……
 Yahoo! Learning to Rank Challenge2010
 Yandex's Internet Mathematics 2009
LTR基本流程
LTR基本流程-样本获取
 什么是样本
样本即训练数据,是rank模型获取知识的素材。
 型如:(Label,Query,feature1,feature2,...,featureN,URL)

 样本来源?
LTR基本流程-特征
特证名
 网页特征有哪些?
含义
F_BASIC_WEI
 AC中用到28维特征
基础相关性特征
F_NEWQUALITY
 基础相关性特征
页面丰富度
是否英文页
 特征处理目标和方式与选择的训练模型有很大关系,比如目前
F_IS_OTHER
是否繁体页
ACreranking中选择的rank-SVM是线性(不带核函数)的,处理特征的
F_IS_ANTISPAM_PUNISH
是否spam
目标就是尽量提高样本线性可分程度
F_IS_ENG
F_SCORE_LEVEL
score_level
F_VALIDITY_WEI
资源有效性特征准确性不强
FU_CLICK
点击调权值
F_CLICK_NEED
点击需求值点击调权值的组成部分
F_LINK_WEI
链接权威性通过url
F_DICT_SOBAR_PV
sobar
F_PAGERANK
pagerank
LTR基本流程-模型选择
 rank系统的大脑,杂乱无章的网页靠它变得有序
 pairwise模型:
在同一query下抽取两个具不同label值的URL,得到一个pair, 按照
Label url> Label url2划一类, Label url< Label url2为另一类,以此为训
练集,问题转换为二分类问题。
 对此问题选择一种分类器,目前ACreranking用的rank-SVM训练。应用
时拿测试集的query-URL给模型评分。

LTR基本流程-评估
 什么是评估
衡量一个list of URL与理想顺序的接近程度的过程就是评估
为什么要评估?
 评估标准决定优化方向
 如果model的效果好于线上很多,就可以考虑上线了
评估流程



策略调研
准备
PM调研
事前评估
PM上线评
估
小流量评
估
持续评估
监控
LTR 业务项目
 要查看每个环节产出?对比两次调研?
 多个语言调研需建立多次流程?
国际化,多
语种调研
统一管理
LTR 业务项目-统一管理
项目信息
 LTR调研的整个过程,标注、模型上线、监控等,用到的或者产出的重要
数据,如模型、特征、标注、样本等,统一管理、方便各种操作。
 满足LTR调研流程数据的管理和查看、下载、对比等功能
LTR业务项目-统一管理
LTR国际化项目-多语种调研
LTR国际化项目-多语种调研
选择调研语种+模
型
批量修改各项配置
批量运行
查看/分析结果
搜集语言模型
上线
项目二-策略上线项目
 策略?
 如何上线?
 评估?
策略上线项目-策略
 策略

知心,紧密度、知道文库架构改造、散乱命中、click query
影视知心例子
策略上线项目-上线
LTR上线流程
LTR基本流程
策略上线项目-评估
 策略开发人员在全流量上线之前要评估新的策略的优劣,我们可以
使用小流量的方式评估出新策略的优异。
 小流量:与全流量对应,线上流量划分出来的一个子集。这是一个
宽泛的概念,任何方式划分的流量子集都可以称为小流量。
策略对比
策略对比
 常用评估指标
首次点击率:有点击的搜索次数/总搜索次数,即有点击的query占比,小
于1。
 点击率:点击次数和/总搜索次数,一般大于1。
 首页点击率:前十点击结果和次数和/总搜索次数,一般大于1。
 展现率:有展现某策略的搜索次数/总搜索次数,即有展现某策略的query
占比。

Q&A

similar documents