Cloud computing, Data center and Virtualization

Report
李振华
[email protected]
提纲
云计算
数据中心
虚拟化
Dropbox:一个综合实例
QQ旋风:一个本土实例
结束语
2
忽如一夜春风来,全球遍地云计算
EC2, S3,
SQS, RDS
Azure,
Office365
GFS,
BigTable,
MapReduce
蓝云,
智慧地球
CloudServers
,
OpenStack
iCloud,
iTunes
第一个商业系统:2006年3月,Amazon EC2 (Elastic Compute Cloud)
第一次正式命名:2006年8月,Google 101教学项目
云计算渗透到各行各业、各种应用
云计算
云数据库
(大数据)
云存储
续上
云视频
云安全
云游戏
云商务
云物联
云计算的三个不同层面
• IaaS
偏重硬件
• PaaS
偏重平台
• SaaS
偏重服务
云计算其实老早就有了……
1946年,世界第一台计算机ENIAC
1973年,Ken Thompson
和Dennis Ritchie开发出
UNIX,也是为分时计算
系统服务的
计算机老贵了,只能大家合着用一台
1961年,MIT开发出CTSS
(Compatible TimeSharing System),可谓最
早的“云计算”系统
那么为什么没有流行、后来成了个
人电脑(PC)的时代?
因为多媒体应用成为主
流,
但是网速不给力
啊!
个人电脑上
场:
Internet骨干网带宽以及用户接入带宽不断提升
• 15年前,Modem,56 Kbps
• 10年前,ADSL,200 Kbps
• 5年前,ADSL+,1-4 Mbps
• 现在,十二五规划,中国电信
“光纤入户”计划投资6000亿
人民币,实现10-100 Mbps
9
带宽足够了,还差一个契机!
2004年,Amazon网站
估计其业务量会面临一
个“暴增”,于是IT部
门买进大量服务器
然而,这个“暴增”出
现之后又很快回潮,于
是多出了很多很多的空
闲服务器
租有租的问题
:你们家服务器很好、但太贵!我只需要一台
普通配置的就行了。
:你们家服务器太烂!我需要一台超强配置
的。
:我时而需要一台普通配置的,时而需要一台
超强配置的……
我们都不是网络专家,不会自己组网、调
度。
面对高度复杂的用户需求,怎么办?
构建虚拟化的数据中心!
 资源池
1、一台物理机变多台
虚拟机
2、多台物理机变一台
虚拟机
3、虚拟机配置可动态
调整
数据中心
于是,Amazon EC2横空出世!
EC2
EC2
弹性计算云
S3
简单存储云
SimpleDB
简单数据库
RDS
关系数据库
SQS
简单队列服务
CloudFront
内容推送服务
……
……
数据中心
用一组路由器/交换机把一堆服务器连接起来构成一个
联通的网络、提供/对外出租一套统一的服务。
数据中心老早就有了,但
“云”是虚拟化的数据中心!
虚拟化:一个简单的比喻
一个公司有很多资产(土地、
厂房、设备、桌椅、等等),
也有很多人,如何把资产合理
分配给每个人(衡量其贡
献)?
当然不行!
咱们把资产虚拟
化成股票!想怎
么分就怎么分
虚拟化:资源的统一调度
把所有的硬件设备抽象成
“虚拟机”:
* 对于提供方来说——便
于即时配置、统一调度;
* 对于用户来说——便于
自适应扩展、按需付费。
服务器虚拟化
桌面虚拟化
虚拟化:两个身边的实例
“爱奇艺”视频网采用
Vmware + vSphere 进行服
务器虚拟化
建设银行采用Citrix桌面
虚拟化产品XenDesktop
替换所有员工电脑
Dropbox:一个综合实例
• 近年来云存储服务快速流行
-
Google、微软、苹果、百度、……
真正胜出的是一个小公司——Dropbox
Dropbox拥有超过1亿用户、日均存储/更新10亿个文件
创始人Drew Houston
• 1983年生于美国
• 14岁开始编程
• 在MIT读大学时由于经常忘
带U盘、跑回实验室拷文件
• 觉得太麻烦!
• 于是休学创办Dropbox
• 多地点、多系统、多平台同
步存储文件
Dropbox:如何脱颖而出?
在强手如云的云存储领域,小小的
Dropbox何以如此流行、稳居第一?
策略上:租用Amazon S3存放文件内
容,便于廉价、简单、快速地扩展
商业上:不花钱市场推广、不做广
告,利用95%的免费用户进行“病毒
式营销”、赚剩下5%的付费用户钱
技术上:文件差分同步 + 同步前数据压缩
 非常节流!
Dropbox系统架构
自建“Dropbox云”:存放核心用户信息和
文件索引信息,仅使用数百台商品化服务器
QQ旋风:一个本土实例
QQ旋风的功能和迅雷类
似,主要用来下载视频
云下载,又称离线下载
云下载
普通下载
流行的视频下载速度很
高,但问题是那些不流
行视频,特别是P2P方式
的(BT、电驴、磁链)
不仅下载巨慢、很不稳
定,就连能不能下完都
成问题……
云下载的解决方案
•
•
•
•
构造一个集中的云为用户所复用
用户提交完下载请求即可离线
云下载完成即告知用户
云保证用户高速下载且一定成功
eM ule
client
Cloud
BT
client
2. dow nload
……
U ser
4 . retriev e
U ser
3 . n o tify
1 . r eq u e st
In tern et
High data
rate !
U ser
云下载的广告视频
云下载的系统实现
• 663台服务器、73 Gbps带宽 (2011年)
QQ旋风:云转码
• 移动设备数量庞大、远超PC
• 互联网视频多为面向PC
- 格式单一、解析度高、尺寸大
• 给移动设备带来的问题
- 无法支付视频流量(GPRS/3G/4G)
- 视频太大没空间保存
- 强迫本地转码以适应屏幕
- CPU和电池都不够解码大视频
云转码的基本原理
•
•
•
•
移动用户仅提交视频链接和转码需求
云代替用户去互联网下载并按需转码
云保证高速传送给移动用户
只有一个原则:最小化移动用户的资源消耗!
云转码的广告视频
云计算四大优势
云计算
凝固的硬件  灵活的“资
源”
极大地缩减了企业IT支出
极大地降低了创业门槛
和移动互联网、物联网、
广电网等等深度融合
易扩展、自适应!
按需付费,用多少资源花多少
钱!
让创业者把心思放在内容和商
业模式上,无需担心技术架
构!
成为它们坚实可靠的后
台!
28
结束语
云计算还处在起步阶
段,
核心技术都在美国企
业,
国内技术前景大大地
有!
附1:课件相关论文
• Above the Clouds: A Berkeley View of Cloud
Computing
- Berkeley TechReport’09
• MapReduce: Simplified Data Processing on Large
Clusters
- OSDI’04
• A Scalable, Commodity Data Center Network
Architecture
- SIGCOMM’08
附2:课后阅读论文
• Xen and the Art of Virtualization
- SOSP’03
• Dynamo: Amazon’s Highly Available Key-value Store
- SOSP’07
• Cloud Computing and Emerging IT Platforms: Vision,
Hype, and Reality for Delivering Computing as the 5th
Utility
-《Computer Communications》’09

similar documents