shell - sihanjishu

Report
QA Bash 公用函数库介绍
•
•
阿里巴巴 ASC-QA
黄延胜
简介
• QA bash函数库是一种脚本管理框架系统。
• 它可以完成脚本的管理,把脚本管理纳入到
svn
• 它包含很多的使用功能。以函数提供。可以选
择性加载到当前shell
• 它可以完成对应用的封装,降低难度,提高效
率。
• 它可以对测试流程进行规范。
• 共享与积累代码
• 可供二次开发
• 自动加载特定的功能,自动更新
Bash的优势
• Bash是系统自带的。通用性较好。
• 工作环境处于shell中,能够实现和系统的
最紧密结合。
• Bash简单易用
Bash的缺点
• 对底层的支持不够。比如高级正则匹配。
xml数据操作。
• 控制逻辑相对简单。
• 大量的实现,需要依赖第三方的程序。没
有类,没有包,没有模块概念。这点是
bash的致命弱点。
• Bash本就不为程序设计而生。
Function的妙用
• 函数的执行优先级>命令
• 函数可以非常方便的被定义,并被集合到
一个文件中
• 函数可以被动态的加载到当前的shell
函数库的技术基础
•
•
•
•
Bash+function
封装,复用,模块化
Svn
特殊设计的加载流程
从kill进程中想到的
• Ps –x|grep baidu
• Kill 22939
关注你的重点---定制自己的命令
• Ps –x|grep baidu
• Kill 22939
• pkk baidu
• Pkk google baidu
由此产生的联想
•
•
•
•
•
•
Kill进程(进程keyword)
编译isearch(tags)
批量运行isearch(isearch路径,机器列表)
性能测试(并发数,数据,url)
性能监控(进程keyword)
自动化测试(输入数据,期望结果)
需求
• Write here,everywhere use
• One write , all use
• Once write , reuse more
• QA函数库结果介绍
目前的文件结构
• http://svn.alibaba-inc.com/repos/ali_QA/04
测试技术/B2B-QA-BST/虚拟技术小组/项目
/QA
Qa函数库加载流程图
Bash_profile
Bashrc
/etc/bashrc
Seven.sh
$USER.sh
$USER.sh
$USER.sh
isearch.sh
Wp.sh
QA函数库实现细节
QA环境设置
$USER 环境设置
QA函数定义
$USER 函数定义
QA_init
$USER init
QA_load
QA_config
Load 项目文件
Load 项目文件
加载方式
• 加载最新函数库。eval "`curl
http://sihanjishu.googlecode.com/svn/trunk
/QA/script/seven.sh 2>/dev/null`";
• 长期使用:QA_install
命令列表
•
•
•
•
•
•
•
常用功能:pf pkk rsa
批量自动化操作:Gexec Gscp Gsyn
自身设置:public_install,QA_install
性能测试:Abenchload httpload
进程性能监控:simon_*系列
实际应用:机器预定,screen共享,svn文件传送
提醒设置:短信提醒,旺旺提醒,邮件提醒
• QA函数库的使用
实现
• 登陆自动加载,自动更新
• 机器环境检查
• 使用函数库中的函数,进行各种应用,日
常工作,功能测试,性能测试等
• 管理自己的脚本。纳入函数库的管理
• 加载非公共函数库。白盒测试,其他人的
脚本等。
像命令一样使用函数
• Shell支持执行函数
• 使用前看说明。Man gexec
• Gexec qa1 qa2 hostname
主机的标示
• 采用函数与代码复用的优点
• Gexec gsyn gscp rsa
• 函数库中的命令,支持四种类型的主机识
别。
• Qa16.asc.cnz.alibaba-inc.com
• Qa16
• 10.20.137.22
• 22
常用命令演示
•
•
•
•
Rsa 打通多台服务器rsa qa16 qa17 38
S ssh别名,ss 使用screen
Email 发送邮件
Gexec 批量执行,gsyn 同步
让交互的程序自动化
• << 文档字符串。可以实现对序列化输入的
操作自动化。例子,levin的启动。
• Expect,autoexpect
• Sevenexpect实现了对expect简单的封装。
可以指定任何的关键词和对应的输入动作。
sevenexpect -p love -a yes
自动化举例
• 使用EOF
• sevenexpect -p love -a yes -p buy -a yes
Screen共享
•
•
•
•
异地协作
Ss 进入自己的screen。
Ss dinglh: 连接别人的screen
Screen_share dinglh:发共享screen消息
给其他人
url编码
• Urlquote
• Unurlquote
白盒测试
• Load cpptest
•
http://www.51testing.com/?uid-13997-action-viewspace-itemid-87156
• QA_coverage (演示拼写纠错项目代码覆盖
率检测)
性能监控系列函数
• 用于监控进程级的性能指标
• Simon_common 通用的函数,包含了大部
分的监控。可通过svn更新数据。可以实现
在阿里巴巴的监控服务器上监控百度的服
务器性能。
• Man simon_common
性能测试
• Abenchload
• Httpload
• 通过函数的定义,可以实现对性能测试工
具的封装。让工具透明。
3500
60
3000
50
2500
40
2000
30
1500
20
1000
10
500
0
0
1
2
3
4
5
6
7
8
9 10 11 12 13 14 15 16 17 18 19 20
qps
平均响应时间
cpu_busy
自定义加载其他项目脚本
• 在脚本中自动加载。load 可以用来加载其
他的项目所用到的脚本。
• 临时加载最新的svn文件。load isearch
• QA函数库高级使用
Python ruby嵌入
函数重载(自定义配置)
• 创建$USER.sh。
• 加入自己的变量定义与环境设置,(比如
定义自己的旺旺号码,很多命令都是有旺
旺通知功能的,只有设置了自己的旺旺号
码才发的。)
• 加入重名的函数进行替换重载(非严格意
义的重载)
代码积木 (进行二次开发)
• Abenchloadm 使用abench加压,加压,保
存simon图,保存日志,分析日志,保存配
置,发送短信
• 代码参见文件内容 man abenchloadm
• 代码解析
Abenchloadm演示
脚本代码编写新方式
• 通过引用来增强功能。类似ruby的gem模式。
• 通过网络引用
• 通过文件引用
用户中心(个人脚本管理)
• 加载特定项目脚本。使用方法load isearch
wp.sh
• Svn_usr test.sh 上传个人的脚本文件
• QA_tmp tmp.txt 传送临时的文件到svn。
• QA_install 在本机配置qa函数库环境。
• QA_update 自动更新(默认是自动更新的)
函数库的使用情况
• http://spreadsheets.google.com/pub?key=t
XQVTSXbPFJFT0cnyZKy7w&output=html
• QA函数库使用情况统计
期待你的参与
• 我们仍旧有大量的应用和操作没有进行规
范和自动化。通过函数库可以有效减少做
项目的自由度,增加严谨和可控度。
• 每个人在工作中都会积累一些经验技巧。
欢迎大家分享自己的脚本,并把它通用化,
加入到qa函数库中
• 函数编写例子。包含编写者的名字,编写
时间。基本介绍和命令举例。
代码编写规范
脚本编写方法
目的与
介绍
用法
代码
• 拿什么送给你
可供借鉴的优点
•
•
•
•
•
脚本管理与加载的方法
Svn的利用
函数式编程,抛弃脚本式编程
可通用的脚本
封装的思想
函数库的意义
• 我们会因为函数库而逐渐专业。Shell将是
QA重要的优势。
• 函数式编程将会对个人的成长产生巨大的
飞跃。每天领先一小步。还依赖基本命令
的人,将会落后。
• DIY思想。对系统机制的深入,对各种命令
的个性化定制与封装。在DIY中会更加专业。
• 封装,积累的思想
• 这个互联网上,还没有人能做到我们这样。
• 我们会成为全公司最精通bash的人。
研究方向
• 测试管理,测试计划,测试用例。
• Bugfree,trac,wiki,测试数据准备
测试前:
• 测试执行,过程监控
• 测试自动化,测试流程化,规范化。
• Simon,ganglia,自动化脚本,watir,pidstat,数据库监控,进程监控,
服务器状态监控,日记。
测试中:
• 测试分析,测试总结,测试报告
• 测试结果收集,测试结果分析,simon,excel图表,结果分析,日志分析。
测试后:
QA函数库未来设想
xx部门脚本库
BST
xx部门脚本库
平台测试
Bash函数库
xx部门脚本库
运维
Thanks
谦逊,勤奋,持续改进
谦逊的工作态度
•
•
•
•
关心彼此,互帮互助
不要贪慕虚荣,不要自以为是
低调,冷静,睿智
专注,专业,专心。

similar documents