百度实习经历报告

Report
百度实习经历报告以及
OnlineSchemaChange项目和ddbs的简介
[email protected]
2011-10
大纲
• OnlineSchemaChange项目
OSC的背景和需求
OSC的实现
OSC可能的问题和改进建议
• 百度ddbs系统
ddbs的系统架构和功能模块的介绍
ddbs中的基本策略
大纲
• OnlineSchemaChange项目
OSC的背景和需求
OSC的实现
OSC可能的问题和改进建议
• 百度ddbs系统
ddbs的系统架构和功能模块的介绍
ddbs中的基本策略
OnlineSchemaChange项目---- 背景和需求
•
未作修改的Mysql做Schema Change时候的流程:
•
需求:
– 对源表加读锁或者写锁以阻塞新的访问请求
– 按照新的schema建立临时目标表
– 将源表的数据拷贝到临时目标表
– 将源表改名为临时表,将临时目标表改名为源表
– 删除临时表(源表)
– 释放读锁或者写锁
 问题:整个拷表的过程是锁表的;线上业务不可接受!
–
–
–
–
对于使用Innodb 引擎的表,进行schema change的时候,从功能上看不会影响对
该表的读、写访问。
MySQL参数中可以配置Schema change 批量拷贝的速度,用来控制Online
Schema Change的I/O对线上应用的冲击。
对一个表,可以将多个schema的修改请求合在一个Alter SQL语句中。 当一个
schema change正在进行时,对同一个表的后继schema change请求将被阻塞。在
当前schema change完成后,后继的schema change请求才会被执行。
对不同表的schema change操作可以并发进行。
大纲
• OnlineSchemaChange项目
OSC的背景和需求
OSC的实现
OSC可能的问题和改进建议
• 百度ddbs系统
ddbs的系统架构和功能模块的介绍
ddbs中的基本策略
OnlineSchemaChange项目---- OSC的实现1
•
初始数据结构和运行环境的初始化
需要锁表,但是时间很短的
•
•
•
源表的拷贝(非常耗时的部分)
–
–
–
为了不影响线上业务的IO拷贝一定数量的记录后会睡眠;
在这个过程中对源表的查询访问可正常进行。
在这个过程中,对源表的插入、删除、更改操作也会正常进行,但会被额外的记录
在OSC日志中,并且定期刷入磁盘。
在线日志重演
–
–
为了不影响线上业务的IO拷贝一定数量的记录(一个block)后会睡眠;
在这个过程中对源表的查询访问可正常进行,对源表的插入、删除、更改操作也会
正常进行,但会被额外的记录在OSC日志中,并且定期刷入磁盘。【同上】
离线日志重演
–
–
需要锁表;
先处理日志文件中可能存在的记录,再处理内存中的记录。
OnlineSchemaChange项目---- OSC的实现2
•
前期的判断:
–
只有需要进行表的拷贝的时候才会触发OSC(像rename table这样的才做就不会触
发OSC)
– 判断是否属于OSC的支持类型:
 1、对于表的修改,只能处理增加(删除)一列或若干列。
 2、对于所增加的列,必须可为空。
 3、对于索引的增删改没有限制。
•
当schema的变化超出了Online Schema Change当前设计所能处理的范围,则退出,继
续MySQL默认的schema change流程。
日志机制:
–
–
内存数组+日志文件:内存数组满了之后会刷到磁盘;每次刷到文件的记录,组成一
个block,有osc_env->header指定记录条数和大小。
日志重演与操作的添加有互斥锁同步,日志重演的位置会被记录在osc_env>log_file_offset中,它指向下次日志重演的文件偏移。
大纲
• OnlineSchemaChange项目
OSC的背景和需求
OSC的实现
OSC可能的问题和改进建议
• 百度ddbs系统
ddbs的系统架构和功能模块的介绍
ddbs中的基本策略
OnlineSchemaChange---- 可能的问题和建议
•
Mysqld停掉,log_in_memory[OSC_LOG_CAPACITY]会立即被刷
到磁盘吗?【schema-change没有做完,innodb会自动回滚重做】。
•
两次更改的问题,在旧表中的操作被记录在日志中以后,又会在新表
中重演;
•
暂停拷表的时间间隔osc_io_interval是否可考虑随着线上服务请求的
繁忙程度而动态改变;
•
内存日志记录容量OSC_LOG_CAPACITY是否也可以动态;以便适应
复杂的环境;
大纲
• OnlineSchemaChange项目
OSC的背景和需求
OSC的实现
OSC可能的问题和改进建议
• 百度ddbs系统
ddbs的系统架构和功能模块的介绍
ddbs中的基本策略
ddbs系统框架 ---- 整体架构
客户端
客户端
5 dbproxy
tablet_server_cluster
tablet_server_cluster
tablet_server
ts_agent
管理员
1 tablet_server
2 zookeeper
3 cli
4
ts_agent
目前在使用的百度产品线
• 百度百科
• 音乐电台——百度听
• Linkcache——百度新闻的缓存
• Logdata——某产品的日志文件
• 等等
ddbs系统框架 ---- 系统接口
•
•
支持的命令
–
–
–
–
有限制select/insert/update/delete/replace/
• 如果只涉及到单机表,且在同一个ts上,无论多复杂都可以支持。
• 分布式表,不支持嵌套子查询。
• 如果是单表单机或者多表单机,支持order by / group by / limit/ 单机事务。
• 如果是单表多机的情况,支持order by / group by,支持不带offset的limit,不支
持分布式事务。
事务命令start transaction/beigin/commit/rollback,不支持分布式事务
set命令
use命令
不支持的命令
–
–
–
prepare,正在开发中…
调用存储过程、 show、kill
CREATE 类、ALTER类的DDL命令
ddbs系统框架 ---- 数据划分
•
数据划分:在DDBS中,将一张分布式表按照指定的Partition Key和
Partition Mode分成多个数据片(称为Tablet),分散在多个数据存储
节点中,一般情况下,一个cluster里面只有一个Tablet。
•
Partition Key:是 DDBS 中用于数据划分和定位的属性,该属性是
•
Partition Mode:是 DDBS 中用于数据划分的方式,常用的数据划
应用创建的分布式表中的一个字段。Partition Key 的选择决定了数据按
照哪个字段来进行数据分布和组织,一张分布式表只能有一个 Partition
Key。 Partition Key 与 Tablet的索引并无强制对应关系。
分方式包括基于Partition Key 的按范围划分、按散列取模划分、按时间
划分、按枚举/列表划分、以及前几种划分方式的组合(称为组合划分
)等。
ddbs系统框架 ---- 数据划分(例子)
•
•
•
•
•
•
•
•
•
•
•
•
CREATE DISTRIBUTED TABLE IF NOT EXISTS disIntRange1
(
intID INT NOT NULL PRIMARY KEY,
name VARCHAR(1000)
)ENGINE = InnoDB
PARTITION KEY (intID INT)
PARTITION BY RANGE
{
([MIN, 1000], 'tablet__fengchao__disIntRange1__0' TO
'tablet_server_cluster__fengchao__1'),
([1001, 10000], 'tablet__fengchao__disIntRange1__1' TO
'tablet_server_cluster__fengchao__2'),
([10001, MAX], 'tablet__fengchao__disIntRange1__2' TO
'tablet_server_cluster__fengchao__3')
};
ddbs各模块功能介绍(zookeeper)
• zookeeper:表括包,据数元储存于用要主
。等等息信限权、息信分划、息信
– /ddbs/sys_user tsagent的帐户相关信息;
– /ddbs/machine 集群机器;
– /ddbs/command_status/cli cli登录信息;
– /ddbs/product/产品名/ tablet_server mysql信息;
– /ddbs/product/产品名/ tablet_server_cluster mysql_cluster信息;
– /ddbs/product/产品名/ tablet_server_agent 管理代理信息;
– /ddbs/product/产品名/ table 表信息;
– /ddbs/product/产品名/ tablet 表的分片信息;
– /ddbs/product/产品名/ dbproxy dbproxy的配置信息;
– /ddbs/product/产品名/ product_user 应用用户帐户信息;
ddbs各模块功能介绍(cli常用命令)
table:create/register single/distributed; truncate; remove; alter distributed;
tablet_server:show; add; set; remove;
tablet_server_agent:show; add; set; remove;
sys_user:show; add; set; remove;
machine:show; add; set; remove;
tablet_server_cluster:show; add; set; remove;
product_user:show; add; set; remove;
dbproxy:show available_dbproxy/dbporxy_conf/dbproxy; set dbproxy_conf;
其它:install ddbs; install product; show product list;
ddbs各模块功能介绍(dbproxy)
配置文件更新,及重启服务
服
务
框
架
客户端网络:连接,认证,读,写
后端网络:conn_pool管理数据库连接,负载均衡
用户权限认证,连接数管理
日志分析和定期上传
sql协议的实现,mysql internal protocol
处
理
请
求
sql语句解析:解析sql的类型,各部分
sql语句分解:分解原sql到为多个sql语句
sql路由:将分解后的sql转发到相应的ts,包括读写分离;
穿透指定数据库服务器功能
缓存命令处理
结果合并:按不同策略合并结果
ddbs各模块功能介绍(tsagent)
DBA控制命令
传递cli传递过来SQL命令给ts:括包DDL、令命SHOW。令命
控监Tablet Server况情行运的
控监Tablet Server活存否是,常正否是步同从主控监 ,控监 Table Server据数的
量,控监 Table Server载负的,主从切换等。
控监Tablet Server况情行运的器机在所
盘磁、况情间空盘磁,况情量流卡网,况情存内:如例,况状源资的机本查检I/O情
、况CPU 。值计估载负的机本算计并,况情
大纲
• OnlineSchemaChange项目
OSC的背景和需求
OSC的实现
OSC可能的问题和改进建议
• 百度ddbs系统
ddbs的系统架构和功能模块的介绍
ddbs中的基本策略
重要策略----主从分离
query->args
是
当前是否在事务中
是
上次query在事务中
是
写操作
是
读,但时间未到;
是
MS_SLAVE
读操作
MS_MSTER
重要策略----load balance
•
•
•
如。出取中从就那,例实接连的净干有中池接连前当果如
。接连的新个一立建新重要需,了败失接连者或,有没果
需不以所,点节个一有只为因,上库主在落令命条一果如
;理处衡均载负要
中从么那,选可库从个多有,上库从在落令命读条一果如
数接连前当 出选/个一的小最 (的置配是值权)值权slave
。
重要策略----tsagent的单点切换
•
•
•
•
•
当检测到master不存在时,开始单点切换(由leader来控制
,当前cluster中nodes中id最小的为leader)
查找tinker,并与tinker进行出具补齐;
在slave节点中查找并选举master
leader节点向集合R集合查询各个节点的权值,找到权值最大的节点,记为master。
通知R+S新master,R+S各结点都change master到新
master
完成单点切换并清理
Leader通知master完成切换
Mater如果存在parent则尝试加入
master写running_info/master
master删running_info/status
Leader回到S4状态
重要策略----结果合并
•
•
•
检查结果是否都执行成功;
如果是单机命令,返回单机结果;否则,
对insert, update, replace, delete操作,执行merge_without_result_set,超过500个分片
时候,有问题;
•
对select操作执行merge_with_result_set,具体如下:
max/mi
n/sum/c
group
by
order 处理方法
by
0
0
0
直接合并输出;
0
0
1
归并排序输出;
0
1
0
归并,同key只输出一个;
0
1
1
发送命令去掉order by;结果归并,同key只输出一个;排序;
1
0
0
合并结果,只输出一行结果;
1
0
1
合并结果,只输出一行结果;
1
1
0
归并,再做max/min/sum/count处理;
1
1
1
发送时去掉order by,对结果做归并,最后做全结果排序;
百度实习的收获
• 1、工程经验——段错误的处理,core文件
•
•
;
2、做事的专业程度——执行力;
3、与同事的沟通;
Q&A
谢谢!

similar documents