课件下载

Report
云计算实际案例
outline
•
•
•
•
•
•
案例一:Amazon Web Service
案例二: Yahoo!
案例三: eBay
案例四: Baidu
案例五: IBM
案例六: Google
Amazon Web Service
• AWS核心服务
– 计算服务
– 存储服务
– 数据库服务
– 消息传送服务
AWS-计算服务
• Amazon Elastic Computing Cloud (EC2)
– 要通过虚拟化技术向用户提供计算资源
– 用户可以根据自己的需求动态地申请或停止资
源的使用
• Amazon Elastic MapReduce
– 通过在Amazon EC2和Amazon S3上构建Hadoop
框架而实现
AWS-存储服务
• Amazon Simple Storage Service(S3)
– 存储容量是可以动态扩展
– 在AWS云上的其他服务也可以直接访问S3上的
数据
AWS-数据库服务
• Amazon SimpleDB
– 是基于S3和EC2向用户提供轻量级的数据存储和
查询服务
• Amazon Relational Database Service(RDS)
– 用户通过RDS可以使用MySQL所具有的功能
– 还支持Oracle 11g的功能
AWS-消息传送服务
• Amazon Simple Queue Service(SQS)
– 提供计算机之间传递和存储消息服务
• Amazon Simple Notification Service(SNS)
– 在云中建立、操作和发送通知的Web服务
• Amazon Simple Email Service(SES)
– 提供高扩展的大量事务性邮件发送服务
Amazon Web Service
• AWS客户广泛,其中包括著名的互联网公司
和创业型公司
• 2010年,AWS部门的收入已达5亿美元,已
经成为Amazon收入的重要组成部分
Yahoo!
• Yahoo!云计算平台上主要有三大利器
– Hadoop
– Sherpa
– MObStor
Hadoop
• Yahoo!将Hadoop应用于自己的各项业务和
产品中
– 数据分析、内容优化、反垃圾邮件系统、广告
的优化选择、大数据处理、用户兴趣预测、搜
索排名、广告定位等
• 如:实时服务系统从数据库中读取用户到
兴趣的映射,Hadoop集群则基于最新数据
重新排列内容并更新页面。
Sherpa
• Sherpa
– Yahoo!的分布式数据存储和服务平台
– 主要针对的是结构化的记录型数据。
– Sherpa平台上最关键的是PNUTS
• PNUTS
– 大规模并行处理的分布式数据库系统
– 放弃了传统关系型数据库强一致性的要求
– 由Storage Units、Router、Tablet Controller和
Message Broker四部分组成
MObStore
• MObStor
– 主要用来存储非结构化的二进制大文件
– 对数据提供可靠、安全存储的同时还能向用户
提供快速的响应
– 体系结构分为三层,分别为
• 对象存储层(Object Store Layer)
• 本地对象管理层(Local Object Management Layer)
• 全局对象储存层(Global Object Management Layer)
Yahoo!
• Yahoo!一直推动着Hadoop的发展
• Hadoop中国云计算大会也受到许多人的关
注
eBay
• 基于开源云计算框架Hadoop建立了自己的
集群—Athena
• 开源云平台项目—Turmeric
Athena
• 核心层
– 包括Hadoop运行时环境、通用工具和HDFS
• MapReduce层
– 为开发和执行任务提供API和控件
• 数据获取层
– 数据获取层的主要框架是HBase、Pig和Hive
• 工具、加载库层
– 主要的加载库有:统计库(R)、机器学习库(Mahout)、
数学相关库(Hama)和eBay自己开发的解析网络日志的库
(Mobius)
• 监视和警告层
– Ganglia是分布式集群的监视系统,Nagios则用来警告关键事
件如服务器不可达、硬盘已满等。
Turmeric
• 面向服务构架的综合平台,用户可以在上
面开发、部署、管理和监控服务
• 核心运行库
– 基于流水线架构,主要用来运行服务和客户端
• 开发工具
– 提供Eclipse插件来帮助创建服务和客户端
• 监控器
– 该监控器包含多个组件:收集客户端和服务端
信息的运行收集组件、数据配置组件、监控节
点信息的服务监控组件以及方便用户查看的控
制台组件
Turmeric
• 安全服务
– 提供平台上的安全服务(如验证、授权、组服务等)
与策略服务交互,其中策略遵从XACML(可扩展的
访问控制标记语言)结构和语法。
• 策略管理控制台
– 管理策略的定制
• 仓库服务
– 这是端到端平台上服务注册、附件管理功能的抽象,
具体的功能依赖于下层的仓库产品
• WSDL声明服务
– 通过这项功能用户可以定义服务的WSDL接口
eBay
• eBay使用云计算通过构建自己的集群系统
来处理大规模的商品数据和用户需求,
• 面对数据的增长,云计算成为互联网公司
的首选
百度
• Hadoop的应用
• 框计算
Hadoop在百度的应用
• 在百度,Hadoop主要应用于以下几个方面:
– 日志的存储和统计
– 网页数据的分析和挖掘
– 商业分析,如用户的行为、广告关注度
– 在线数据的反馈,及时得到在线广告的点击情
况
– 用户网页的聚类,分析用户的推荐度及用户之
间的关联度
框计算
• 基于互联网的一站式服务
服务
集成
用户在框中
输入服务需
求
系统识别用
户的需求
需求
分析
基于服务提
供商直接返
回服务
百度
• 框计算确定用户需求后会选择哪个服务提
供者为用户提供服务
– 百度的选择甚至影响一些服务提供商的发展
• 云计算带来的影响不仅限于技术,任何互
联网公司都不能置身事外。
IBM
• 云计算解决方案
• 云计算产品
云计算解决方案
• “蓝色洞察力”决策分析云系统
– 处理全球小型交易等业务
• LotusLIve
– 使得公司内员工及合作伙伴协作高效化
• 桌面的集中虚拟化
• 提高了控制管理的安全性及维护的方便性
云计算解决方案
• 存储云
– 实现虚拟化储存,将数据储存在一起,有效地节约了
空间
• 数据中心整合
– 里面的应用程序也随之部署在云计算上,实现资源整
合
• 生产研发
– 如在芯片设计时需要昂贵的软件和巨大的计算存储资
源,采用设计制造云后既减少了设计成本提高资源利
用,同时也保证了知识产权的安全。
云计算产品
• IBM在虚拟化和云计算方面拥有众多产品,设计基础设
施层、平台层和应用层
• IBM Ensembles
– 将计算、存储、网络等物理资源虚拟成基础设施资源池,隐
藏了内部实现细节向上层提供资源访问和管理的接口
• IBM TSAM
– 提供应用服务的管理平台,包括服务的设计、部署和运行管
理整个阶段,实现了硬件到操作系统、中间件的整体管理自
动化
• IBM SmartCloud
– 用于数据中心的云服务软件,在向公司用户提供云存储的同
时也提供数据分析、销售管理、测试工具等服务
IBM
• IBM使用云计算整合自身的全球资源提供优
质服务
• 基于对云计算的认识,IBM提供公有云、私
有云和混合云多个选项,减少用户对隐私、
安全的顾虑来吸引用户
Google
• 云计算技术
• 云计算产品
Google云计算技术
• Google在云计算拥有著名的GFS、Bigtable、MapReduce三大技术
• GFS
– 针对数据密集型应用的分布式文件系统
– 运行在廉价硬件环境上并拥有较高的容错性
• Bigtable
– 管理海量结构化数据的分布式存储系统
– 提供简单的数据模式动态地控制数据部署
– 通过维护稀疏的多维排序映射表来检索数据
• MapReduce编程模型
–
–
–
–
利用输入键/值
对集输出新的键/值对集
将并行计算细节隐藏
用户只需实现map函数和reduce函数即可
Google云计算产品
• Googl e AppEngine
–
–
–
–
一种架构Web应用程序的平台
用户可以利用提供的SDK开发Web应用程序,并将其上传到平台上
Google负责应用的管理和维护
平台还提供网页抓取、图像操作、邮件等多种服务
• 云端应用程序
– Google Docs
• 基于Web的文档处理程序
• 支持在线编辑和多人协作
– Google Cloud Connect
• 可以直接将本地Microsoft office和云端的Google Docs连结起来
• 文档在本地保存的同时也保存在云中
• 并通过链接向别人分享自己的文档
Google
• Google以其先进的技术在云计算发展中处于
领先位置
小结
小结
• 互联网公司
– 云计算的主要提供者和使用者,也是云计算的重要推动者
– 分析和处理海量数据
– 新的商业模式
• 普通用户
– 享受到高性能所带来的服务和便利
• 云计算的问题
– 安全性
• 在云中如何保护用户的隐私并让用户放心?
– 标准化
• 各大IT公司又能否推出统一的标准?
谢谢!

similar documents