单机处理能力受限

Report
Geminifs 之
Hadoop NameNode Cluster
京东Hadoop
作者: 刘涛
邮箱: [email protected]
关于我们
邮箱:[email protected]
我们在hadoop上的一些工作
Geminifs
集群自动
Jobtracke
部署
r调度优化
JDHadoop
监控 预警
BUG解决,
代码优化
目录
CONTENTS
面临的问题
解决方案
实现的核心细节
未来计划
遇到的问题
内存瓶颈:
*元数据增加
*内存增加
*单机内存受限
提高性能:
* 单机处理能力受限
NameNode Cluster
已有方案 –-HDFS Federation
已有方案 -- MapR
我们的方案 - Geminifs 2.0
/
k
a
ax
ka kk
Namespace
a1
•虚拟节点
•每个虚拟节点代表原目录树空间
中以此节点为根的子树
•每个Namenode负责1个或多个
虚拟节点所对应的子树
z
kz zx zn
zz
zxn
… …
Namenode
BlockManager
Storage
BlockManager
Namenode
Datanode
Datanode
Datanode
•Heartbeat
•Block replicate check
•Block management
Datanode
Geminifs 2.0
DN
安全
管理
权限
原NN
块管
全目
理
录树
安全
块管
权限
理
新NN
新BM
子目
DN
录树
管理
Geminifs 2.0
新增特性
• NN侧重目录树管理
• NN不停机横向扩展
• BM通用存储方案
• BM不停机横向扩展
• 用户无需配置扩展的节点
• 元数据与存储解耦
• NN,BM独立提高性能
• NN,BM HA
实现
目录树拆分
/
z
k
a
•将要拆分的子树目录结构在新的Namenode
的根目录下重建
•将原Namenode上拆分出去的目录节点标记
为虚拟节点
•将原Namenode上拆分出去的目录节点的所
有子节点删除
zx zn
a1 ax ka kk
kz
zxn
…
…
如何访问
/k/kn/knk
a
a1 ax
/ NN1
/ NN2
-
k
k
z
/ NN3
/ NN4
zx
zxn
zx zn
ka kk
kz
…
…
实现
主干树
/
a
z
k
•从根节点到任意虚拟节点的完整路径
•叶子节点是虚拟节点
•虚拟节点上记录此子树被加载的
Namenode地址
•各Namenode及访问的客户端都保存最新
的主干树
zx zn
a1 ax ka kk
kz
zxn
…
/
k
z
zx
…
实现
目录树拆分
/
z
k
a
•将要拆分的子树目录结构在新的Namenode
的根目录下重建
•将原Namenode上拆分出去的目录节点标记
为虚拟节点
•将原Namenode上拆分出去的目录节点的所
有子节点删除
zx zn
a1 ax ka kk
kz
zxn
…
/ 主干树
k NN2 z
NN3
zx NN4
/
NN1
-
a
a1 ax
k
z
…
/ NN2
k
/ NN3
/ NN4
zx
zxn
ka kk
zx zn
kz
…
…
实现
如何访问
/k/kn/knk
/ NN1
/ 主干树
-
k NN2 z
NN3
从主干树上
找最远虚拟
节点
a
zx NN4
a1 ax
k
z
zx znka kk
访问虚拟节
找到Kn
点记录的NN
地址
/ NN2
k
访问NN3
kz
/ NN3
/ NN4
zx
zxn
… …
NN计算真实
路径为
路径
/kn/knk
实现
/
a
如何实现权限验
证
z
k
zx zn
a1 ax ka kk
kz
zxn
…
/
k
z
…
•从根节点到任意虚拟节点的完整路径
•叶子节点是虚拟节点
•虚拟节点上记录此子树被加载的
Namenode地址
•各Namenode及访问的客户端都保存最新
的主干树
•主干树的每个节点记录属主及Mode
zx
路径在主干树部分从主干树上验证,路径中
主干树外剩余部分由NN自己保存的节点信
息验证
实现
主干树完善&优化
主干树缓存
引入版本验证
形成单独进程RDB
(Router Database)
引入版本改变规则
功能独立化
实现
数据块管理功能独立
NN:
- FileNode FileID (唯一)
Namenode
Cluster
Block Manager
Cluster
BM:
- HashMap
- FileID [Blocks]
DN:
- Block 增加FileID属性
Datanode Cluster
实现
完善&优化
给NN一次性分配
BlockManager按
DN块按段汇报到
一段FileID范围
段进行管理调度
相同BM
整合到RDB进程
段到BM路由功能
High Availability
Cluster
Heartbeat
Commands
Cluster
ZK
RDB
Metadata node
Client
Active
Write edits
Read edits
Standby
Share
storage
Local disk
Local disk
下一步的工作
自动化
运维
元数据
存BM
HA功能优化
谢 谢!

similar documents