³ºÝ«Ø¸mªº³W¹º»Pµû¦ô..

Report
世新大學電子計算機中心
范修維
2010.11.19
•
•
•
•
•
雲端建置的目標
伺服器硬體平台
虛擬化軟體系統
儲存空間與網路
應用服務
• 虛擬化的迷思
– 節能減碳、綠色環保?
• 是主要目標?還是附屬效益?
• 冷氣、空調的改善要比虛擬化更節能減碳
• 何不直接採用低電壓 CPU、固態硬碟?
※低碳能源是昂貴的
– 充分利用 CPU 閒置效能?
• 若閒置效能過多?何不採用 Atom CPU?
• 若閒置效能過多?為何要購買雙 CPU 機型?
• 虛擬化的迷思
– 主機整併、節省空間?
• 何不直接採用刀鋒、雙子星伺服器?
• 省下的空間作啥?
– 降低總持有成本?
• 降低了什麼?硬體成本?軟體成本?人力成本?
• 增加了什麼?硬體成本?軟體成本?人力成本?
• 虛擬化的迷思
– 集中管控
• 付出代價為何?
• 得到效益為何?
• 不集中管控,與傳統伺服器管理有何差別?
– Live Migration
• Live Migration 得到了什麼?付出了什麼?
• 是否所有伺服器皆需要 Live Migration?
• 虛擬化的迷思
– 主機租/借用服務
• 虛擬主機對租/借用者較好嗎?
• vCPU x 2 優於 vCPU x 1?
• 是否保証 CPU 效能?
• 是否保証 Disk/Network 頻寬?
– 終端用戶
• 關心什麼?虛擬化?應用服務?
– 真正受益者
• 終端用戶?管理人員?企業老闆?
• 學校生態
–
–
–
–
經費成本比人力成本重要 (尤其是少子化的將來)
省下空間無太大效益 (未租用 IDC 機房)
節能減碳效益不易歸屬到資訊部門
可用性需求不像企業生態那麼重要
• 我們的目標
– 降低有形的經費成本
– 提供合理的資源管控
– 增加優質的應用服務
• CPU 的效能
http://www.cpubenchmark.net/
• CPU 價格 (Xeon 3.00G 為例)
– CPU 的型號決定效能與價格
– 以時脈高低作為效能的評估將會陷入迷思
• CPU 價格 (效能價格比)
–
–
–
–
–
–
–
X7460 四顆效能 18304 分,約 NT$530,061
X5680 二顆效能 18253 分,約 NT$133,839
E5640 二顆效能 9411 分,約 NT$63,391
W3520 單顆效能 4889 分,約 NT$12,280
X3440 單顆效能 5235 分,約 NT$9,240
i7 875K 單顆效能 6395 分,約 NT$13,200
i7 980X 單顆效能 10409 分,約 NT$40,000
• 伺服器選擇 (大怪物 v.s. 螞蟻雄兵)
• 伺服器選擇 (大怪物)
• 伺服器選擇 (還是怪物)
• 伺服器選擇 (螞蟻雄兵)
– Dell R210 (NT$6x,xxx)
• CPU: X3440
• RAM: 16GB
• HD: 500GB SATA x 2
• NIC: 1000M x 2 + 1000M x 4
– HP DL360 G6 (NT$7x,xxx)
• CPU: W3520
• RAM: 24GB
• HD: 500GB SATA x 2
• NIC: 1000M x 2 + 1000M x 4
• 伺服器選擇 (電力因素)
– 1 度電 = 1000 W x H = 1 瓧.小時
– 1 度電 = 2.7 ~ 3.5 元 (營業用)
– 範例:
• 500W 伺服器,以每度電 3 元計,
• 一日耗電 36 元,一年耗電 13,140 元,
• 十台伺服器一年耗電 13 萬元
• 伺服器選擇 (集縮比)
– 實體:虛擬 = 1 : ?
– 可以將實體伺服器壓榨到什麼樣的程度?
– 何種虛擬機器的效能才可接受?
• 網路服務主機 (DNS、DHCP、WINS…)
–
–
–
–
89 年採購
PIII @ 1GHz
512M RAM
約5萬
• CPU Benchmark
– 194 分
• 表單系統主機
– 91 年採購
– Xeon @ 1.50GHz
(雙核)
– CPU x 2
– 4G RAM
– 約 50 萬
• CPU Benchmark
– 398 分 (1.7GHz)
• 教務 DB 主機
– 94 年採購
– Xeon @ 2.66GHz
(雙核、HT)
– CPU x 4
– 16G RAM
– 約 80 萬
• CPU Benchmark
– 417 x 4 分
– (四顆=1668 分)
• Dell R210 伺服器
– 99 年採購
– Xeon X3440 @ 2.53GHz (四核、HT)
(中信局規格:約 7 萬元)
– CPU Benchmark 5245 分
• Dell R210 伺服器
– 若 1:4 相當於 Core 2 Duo E6420 @ 2.13GHz (1314)
– 若 1:8 相當於 Pentium 4 @ 3.80GHz (638)
• 虛擬機器的提供
– 使用者:vCPU x 2 就一定優於 vCPU x 1?
– pCPU 速度、VM 的數量、執行效能的限制
– 使用者:只要速度夠快、效能夠好,才不管是否為
虛擬機器或實體機器
• 虛擬化軟體 (參考範例)
資料來源:http://www.citrix.com/
• 虛擬化軟體 (參考範例)
資料來源:http://www.citrix.com/
• VMware vSphere ESX 4.1
–
–
–
–
–
–
–
–
–
–
標準版,1 CPU,1 年,NT$43,239
標準版,1 CPU,3 年,NT$68,402
進階版,1 CPU,1 年,NT$107,375
進階版,1 CPU,3 年,NT$151,079
企業版,1 CPU,1 年,NT$166,865
企業版,1 CPU,3 年,NT$234,952
進階組合包,
1 年,NT$143,096
進階組合包,
3 年,NT$201,444
vCenter Server,1 年,NT$226,886
vCenter Server,3 年,NT$128,643
資料來源:http://www.dell.com.tw/
• VMware vSphere ESX 4.1
– 標準版、進階版、企業版,須外購 vCenter Server
– 進階組合包內含 vCenter Server,具有標準版功能,
上限三台實體機器、每台至多 2 CPU
– 標準版:6 Cores/CPU、256GB RAM/Server
– 進階版:12 Cores/CPU、256GB RAM/Server
– 企業版: 6 Cores/CPU、256GB RAM/Server
– 企業進階版: 12 Cores/CPU、Unlimited
RAM/Server
資料來源:
http://www.vmware.com/files/pdf/vsphere_pricing.pdf
• Citrix XenServer 5.6
– 企業版,1 年,NT$100,948
– 企業版,3 年,NT$128,643
資料來源:http://www.dell.com.tw/
– 集中管理工具:Citrix Essentials
– 免費版、企業版、白金版
– 以伺服器授權計價,不限 CPU 或 Core 數
• Microsoft Windows Server 2008 R2
–
–
–
–
標準版:NT$31,711
企業版:NT$94,858
Datacenter 2 CPU: NT$135,263
Datacenter 4 CPU: NT$257,858
資料來源:http://www.dell.com.tw/
• Microsoft Windows Server 2008 R2 (教育版)
– 標準版:NT$4,186
– 企業版:NT$13,583
– Datacenter 1 CPU: NT$14,000
資料來源:台銀共同供應契約
• 免費版本
– Microsoft Hyper-V Server 2008 R2 (4 vCPU/VM)
– VMware ESXi 4.1 (4 vCPU/VM)
– Citrix XenServer 5.6 (8 vCPU/VM)
• 實機測試
– Dell R210
• ([email protected],16GB RAM,500GB SATA x 2)
– Benchmark
• http://www.passmark.com/products/pt.htm
– FTP Test
• RAM Disk -> RAM Disk (1GB File)
• 實機測試 (W2K8R2 裸機效能:CPU)
• 實機測試 (W2K8R2 裸機效能:Disk Read)
• 實機測試 (W2K8R2 裸機效能:Disk Write)
• 實機測試 (W2K8R2 裸機效能:FTP)
• 實機測試
– W2K8R2 + Guest OS
– ESXi + Guest OS
– XenServer + Guest OS
• Guest OS
–
–
–
–
–
W2K8R2
Windows 7 (64-bit、32-bit)
XP
CentOS 5.5 64-bit
Fedora 12 32-bit
(請自行參閱附件圖檔)
• 測試結果
– vCPU 效能:
• ESXi 明顯高於其它二者 (甚至高於 W2K8R2 裸機)
• Hyper-V 略高於 XenServer
– vDisk 效能
• Read:三者無甚大差異
• Write:ESXi 較好些
• Hyper-V 在 Linux Guest 環境下變化較大,其餘二者皆
較為穩定
– vNetwork 效能
• 在不同 Guest OS 環境下,互有優劣
• Hyper-V 在 Windows Guest 有不錯的效能,但在
Linux Guest 環境下就比較不穩定
• 差異比較
• Guest OS 的支援度:
– ESXi 明顯優於其它二者 (尤其對 Linux Guest)
• VM Migration:
– ESXi 不支援
• 檔案管理:
– Hyper-V 較為方便
• 其它問題 (XenServer)
– 光碟 ISO 必須以 NFS 或 CIFS 方式提供,且不能有
子目錄
– RedHat Linux 無法以傳統 PXE Kickstart 安裝
– License File 一年要更新一次
– VM 關機後,畫面不會 Off,會誤以為尚未完成關
機
– Windows 7 Guest VM 無法在 GUI 模式將 RAM 調至
2GB 以下
– VLAN 設定要以 CLI 方式進行
– Management VLAN 一定要設為 Native VLAN
• 我們的策略
– Windows Guest
• Hyper-V
– Linux Guest
• ESXi
• 補充
– VMware Workstation 與 Oracle VirtualBox (全虛擬
化產品) 效能直逼裸機虛擬化產品 (半虛化產品)
– VMware Workstation 與 Oracle VirtualBox 均提供
vCore 的功能,可突破 Windows 7、XP Guest OS
二顆 CPU 的限制
– XenClient (用戶端虛擬化) 對硬體支援度太差
– 64 位元作業系統 (W2K8R2、Win7-64) 的效能明顯
優於 32 位元作業系統 (Win7-32、XP)
– 用戶端虛擬化方案:
• W2K8R2 + VirtualBox (or VMware Workstation)
• 儲存空間與網路
– NFS 效能很差?
– iSCSI 效能很好?
– 資料網路必須與傳統網路分離?
• 實機測試
– CentOS 5.5 64-bit
• EXT3 Filesystem
– Fedora 12 32-bit
• EXT4 Filesystem
– 500GB SATA
• 3.5 吋、7200 轉、單顆硬碟、無 Raid Card
– HDS 3090 + 2100
• NAS Head + SAN Storage
– Cisco 3560E GE Port
• 串接四級 Switch
• 實機測試
– CentOS 5.5 (EXT3 磁碟寫入測試,約 8x~9x MB/s)
• 實機測試
– CentOS 5.5 (EXT3 磁碟讀取測試,約 11x MB/s)
• 實機測試
– Fedora 12 (EXT4 磁碟寫入測試,約 11x MB/s)
• 實機測試
– Fedora 12 (EXT4 磁碟讀取測試,約 11x MB/s)
• 實機測試
– CentOS 5.5 (NFS 寫入測試,接近 110 MB/s)
• 實機測試
– CentOS 5.5 (NFS 讀取測試,約 10x MB/s)
• 測試結果
– EXT3 寫入效能較佳,不到 100 MB/s
EXT3 讀取效能可達 115 MB/s 左右
– EXT4 寫入效能較佳,可達 115 MB/s
EXT4 讀取效能可達 118 MB/s 左右
– NFS 寫入效能可達 109 MB/s
NFS 讀取效能可達 105 MB/s
– NFS 效能已接近本機硬碟讀寫效能
– 只透過一台 Switch 連接時,更可達 117 MB/s
• 實機測試
– iSCSI EXT4 寫入測試,約 40 MB/s
• 實機測試
– iSCSI EXT4 讀取測試,接近 100 MB/s
• 實機測試
– iSCSI NTFS 寫入測試,約 35 MB/s
• 實機測試
– iSCSI NTFS 讀取測試,約 90 MB/s
• 測試結果
– iSCSI 效能不一定比較好,NFS 效能不見得比較差
– 多個交換器串接,對傳輸效能會有些許影響
– Layer 2 網路交換,效能比 Layer 3 好很多
• 我們的策略
– 盡量使用本機硬碟,降低共用儲存裝置之需求
• 省經費、省頻寬
– 有大量檔案儲存之需求者,採用 NFS Storage 存放
• 如 E-Mail、File Server
– 有 Live Migration 之需求者,再使用 iSCSI
• 目前尚未出現
– 完善的系統建置 SOP,自動的 OS 安裝 (SYSPREP、
PXE Installation),完整的資料備分/回存機制,多
增加些許 RTO 時間,可大幅降低經費成本
– 資料網路暫時不與傳統網路分離,但已做好準備,
隨時可將其獨立
選課系統
• 選課系統 (背景描述)
–
–
–
–
架構:AP x 3、DB x 1
OS:Windows Server 2003 (32-bit)
SQL:SQL Server 2000
無負載平衡器,由學生自由選擇前端入口
• 選課系統 (問題描述)
– 學生容易集中在同一台 AP 主機
– AP 主機的 Swap 情形非常嚴重
– DB 主機 CPU 負載約為 80%
• 選課系統 (問題分析)
–
–
–
–
Swap 過多是 RAM 不足的現象
32 位元主機有 4GB RAM 的限制
OS 升級可能造成 AP 程式的相容性問題
多台機器 + 負載平衡即可解決 Swap 過重之現象
• 選課系統 (機器調度)
– 借調雲端伺服器 (16GB RAM),每台切割三台虛擬
伺服器,皆配備 4GB RAM (共新增八台虛擬機器)
– 使用 P2V 方式,將實體 AP 主機轉入虛擬 AP 主機
– 為避免意外狀況,另借調二台實體機器供調度
• 選課系統 (負載平衡器)
– 負載平衡種類:
• 線路負載平衡 v.s. 伺服器負載平衡
– 建置方式:
• 採購硬體設備 v.s. 自行開發
– 負載平衡模式:
• Proxy Mode v.s. Redirection Mode
– 評估結果:
• 自行開發小程式,以 HTTP 重導方式實作
• 在一台 512MB RAM 的虛擬機器提供服務
• 選課系統 (系統架構)
• 選課系統 (上線結果)
– 第一階段 (資料庫主機強化前)
• AP 主機沒問題,但 DB 主機卻被塞爆
– 第二階段 (資料庫主機強化後)
• AP、DB 主機完全不塞車
• 選課系統 (AP 主機負載)
• 選課系統 (DB 主機負載)
雲端文管系統
• 雲端文管系統
–
–
–
–
OPQ 專案:提供網芳資料上傳 (後台)
KM 專案:提供搜尋引擎下載 (前台)
MOSS 專案:提供線上編輯功能
R-Portfolio 專案:提供雲端讀書會功能
• 雲端文管系統 (系統架構)
AD
Search
Engine
NAS
MOSS
Portal
OPQ-1
ident
(NIS/DC)
OPQ-2
POP3
Webmail
• 雲端文管系統 (後台)
使用檔案總管拖拉式上傳檔案
• 雲端文管系統 (後台,使用者角度)
– O 槽:
• 各單位各有一塊唯讀空間 (知識管理師可寫入),作為
單位內部所共享之儲存空間 (各單位 30GB)
– P 槽:
• 各單位各有一塊可讀寫空間,作為單位內部群體寫作、
共用編輯的空間 (各單位 30GB)
– Q 槽:
• 各人各自擁有一塊自主空間,作為個人的網路儲存區
域,可作為個人重要資料之備分空間 (每人 10GB)
– 帳號、密碼驗証:
• 以 E-Mail 帳號及密碼作為驗証
• 雲端文管系統 (後台,關鍵技巧)
– pop3 主機、webmail 主機使用 pam 機制攔截用戶
登入資訊,同步更新於 ident 主機之 smb 密碼
– opq 主機透過 samba 登入程序,自動創建個人網
路磁碟空間,並設定 quota
– 由校務行政主機寫入 opq 設定檔,提供 O 槽與 P
槽的必要資訊,讓 opq 主機動態生成磁碟分享空間
– 透過 samba 的 force user 功能,達成單位檔案共
享之目的
– 設定特殊唯讀分享,提供搜尋引擎進行全文索引之
製作
• 雲端文管系統 (後台,關鍵技巧)
– 攔截帳號密碼 (Fedora 12)
# yum -y install gcc pam-devel
# wget http://www.upfrontsystems.co.za/Members/izak/libpam-script_0.1.12.tar.gz
# tar -xvzf libpam-script_0.1.12.tar.gz
# cd libpam-script-0.1.12
# make
# cp pam_script.so /lib/security/
# cd ..
# rm -rf libpam-script-0.1.12
# vi /etc/pam.d/password-auth
auth
required
pam_env.so
auth
requisite pam_unix.so nullok try_first_pass
auth
optional
pam_script.so runas=root expose=authtok onauth=/etc/security/onauth
# vi /etc/security/onauth
echo -e "[$1]\t[$PAM_AUTHTOK]" >> /var/log/passwd.log
# chmod 700 /etc/security/onauth
– 將密碼同步至網芳
# echo -e "\$PASS\n\$PASS\n" | smbpasswd -s -a $NAME
• 雲端文管系統 (後台,關鍵技巧)
– 自動產生網芳分享 (設定檔)
# vi /etc/samba/smb.conf
(於 [global] 區段進行設定)
unix charset = CP950
(新增)
disable spoolss = yes
(新增)
workgroup = SHU
(修訂)
security = domain
(修訂)
wins server = 192.192.150.2
(啟用並修訂)
(將 [homes] 區段全部註解掉,於檔案尾端加入下列設定)
[xxx]
path = /etc/samba/opq
writable = yes
browseable = no
valid users = xxx
force user = root
[share-o]
path = /mnt2/share-o
browseable = no
valid users = xxx
[share-p]
path = /mnt2/share-p
browseable = no
valid users = xxx
• 雲端文管系統 (後台,關鍵技巧)
– 自動產生網芳分享 (每分鐘執行一次)
#!/bin/bash
export LANG=zh_TW.Big5
NOTIFY="[email protected]"
A=`/usr/bin/stat --printf=%Y /etc/samba/smb.conf 2> /dev/null`
B=`/usr/bin/stat --printf=%Y /etc/samba/smb-1.conf 2> /dev/null`
C=`/usr/bin/stat --printf=%Y /etc/samba/opq/opq.conf 2> /dev/null`
[ "$B" = "" ] && B=0
[ "$C" = "" ] && C=0
[ "$A" -ge "$B" ] && [ "$A" -ge "$C" ] && exit 0
/usr/bin/dos2unix /etc/samba/opq/opq.conf
echo "# 請勿直接編輯此檔,請編輯 /etc/samba/smb-1.conf" > /etc/samba/smb.conf
echo "# 編輯後,請執行 /root/bin/restart-smb" >> /etc/samba/smb.conf
grep -v ^\; /etc/samba/smb-1.conf | grep -v ^# | grep -v ^$ >> /etc/samba/smb.conf
cat /etc/samba/opq/opq.conf >> /etc/samba/smb.conf 2> /dev/null
grep "path" /etc/samba/opq/opq.conf | (while read LINE
do
ID=`echo $LINE | awk -F '/' '{ print $4 }'`
/usr/bin/id $ID &> /dev/null
if [ $? -eq 1 ]
then
ERROR=1
• 雲端文管系統 (後台,關鍵技巧)
– 自動產生網芳分享 (每分鐘執行一次)(續)
else
if [ ! -e /mnt2/share-o/$ID ]
then
cp -a /mnt2/template /mnt2/share-o/$ID
mkdir /mnt2/share-p/$ID
chown $ID:$ID /mnt2/share-o/$ID/01-公開/*
chown $ID:$ID /mnt2/share-o/$ID/02-保護/*
chown $ID:$ID /mnt2/share-o/$ID/03-私有/*
chown $ID:$ID /mnt2/share-p/$ID
/usr/sbin/edquota -p teacher $ID
fi
fi
done
if [ "$ERROR" = "1" ]
then
cat /etc/samba/opq/opq.conf | mail -s "★`hostname` 主機設定錯誤★" $NOTIFY
fi)
/sbin/service smb restart
cat /etc/samba/opq/opq.conf | mail -s "`hostname` 主機重跑網芳服務" $NOTIFY
• 雲端文管系統 (前台)
使用瀏覽器點選下載
• 雲端文管系統 (前台)
使用瀏覽器點選下載
• 雲端文管系統 (前台)
滾上浮水印,看誰敢洩密
• 雲端文管系統 (前台)
透過瀏覽器進行全文檢索
• 雲端文管系統 (前台,使用者角度)
– 公開:
• 所有人皆可檢索、可瀏覽、可下載
– 保護:
• 外人只可檢索,不可瀏覽、不可下載
• 自己可檢索、可瀏覽、可下載
– 私有:
• 外人不可檢索、遙可瀏覽、不可下載
• 自己可檢索、可瀏覽、可下載
– 浮水印:
• 自動將文檔轉成 PDF 並滾上浮水印再提供下載
• 雲端文管系統 (後台,關鍵技術)
– 搜尋引擎:
• 第一次進行全文索引,以後每二小時進行一次增量索
引 (可由多台機器同時進行索引,以縮短時程)
– 轉檔:
• 後台上傳之檔案於半夜進行批次轉檔;若下載時尚未
完成轉檔,則即時進行轉檔
– 浮水印:
• 按照下載人員之身分,即時滾上浮水印,再提供下載
– 表單:
• 檔名加上前置碼「form-」,即可例外處理 (不轉 PDF、
不滾浮水印)
• 雲端文管系統 (線上編輯)
雲端
記事簿
直接線上編輯
• 雲端文管系統 (線上編輯,展望)
– 組成元件:
• DC + MOSS + SQL + Office Web Apps
– 建置步驟:
• 請參考附件
– 待克服之關鍵:
• 讓 Office Web Apps 開啟 OPQ 網路磁碟的檔案,而不
是開啟 SQL 內的 MOSS 檔案
• 雲端文管系統 (R-Portfolio)
• 雲端文管系統 (R-Portfolio)
直接線上註記
• 雲端文管系統 (R-Portfolio)
未來展望
• 雲端文管系統 (R-Portfolio,展望)
– 個人閱讀歷程:
• 提供雲端電子書個人閱讀註記服務
– 群組閱讀歷程:
• 提供雲端讀書會服務
– e化會議室:
• 節能減碳,環保愛地球
世新山洞客
• 世新山洞客
–
–
–
–
–
–
–
整合 Google Apps
整合 [email protected]
整合 Openwebmail
整合 Video Conference
整合 VoIP
整合 KM
整合…
• 世新山洞客 ([email protected])
• 世新山洞客 (視訊整合:V大樓建置)
• 世新山洞客 (視訊整合:V大樓建置)
• 世新山洞客 (視訊整合:V大樓建置)
筆電全螢幕效果 (130萬像素)
• 世新山洞客 (VoIP 整合)
070
Skype Gateway
(代表號:www.shu.edu.tw)
Skype
威寶電信
SIP Server
Skype
Call Forward
(轉接號:relay.shu.edu.tw)
• 世新山洞客 (VoIP 整合)
通訊錄
查詢
• 附件 (測試圖檔)
– 半虛擬化效能測試
• ESXi
• Hyper-V
• XenServer
– 全虛擬化效能測試
• W2K8R2 + VirtualBox
• W2K8R2 + VirtualPC
• W2K8R2 + VMware Workstation
• Win7-64 + VMware Workstation
– 其它
• 實體機
• iSCSI
• 附件 (簡報檔)
– 演講投影片
• 雲端建置的規畫與評估.pptx
– 虛擬化系統建置範例
• Microsoft Hyper-V 建置範例.pptx
• VMware ESXi 建置範例.pptx
• Citrix XenServer 建置範例.pptx
• Citrix XenClient 建置範例.pptx
– 其它
• Office Web Apps 建置範例.pptx

similar documents