談機房VM化

各校資訊相關業務問題討論,經驗分享

Re: 談機房VM化

文章lucia » 週五 6月 01, 2012 12:19 am

大家談了那麼多東西,但就我個人認為....不管你用的的哪一家的虛擬化程式
最累的部分,花最多時間的部分,絕對都是在......實體轉虛擬的過程中
最痛的地方,頭髮掉最多的地方,絕對都是在......虛擬化後VM的管理,資源的分配,VM的備份還原

九年一貫國教已經將資訊課程改為議題,自此之後學校資訊人員逐漸面臨匱乏,十二年國教即將上路,情況仍未見改善,
當老一輩的資訊人員凋零,願意接任的大多是不知山中猛虎之惡毒的新生菜鳥
菜鳥光是搞懂現有系統架構與網路線路便已奄奄一息,哪有餘力進行機房虛擬化?
沒錯,菜鳥經過歷練是能夠成為老鳥的,但看到太多的菜鳥在成為老鳥之前便已陣亡....
簡單的一句話說,有能力進行機房虛擬化的學校早就已經將機房虛擬化了

即使是首善之都台北,令人懷疑機房虛擬化是否能推行全市所有學校?
更何況機房虛擬化後,管理的技術層次更高了,複雜度更加提升,其中一個環節出錯很有可能全機房陣亡
這讓剛接任資訊的菜鳥面臨到更高的技術高牆,很有可能第一天便陣亡

依稀記的,當橘子即將被韓國併購時,大家驚愕之餘,卻不知這結果是早在九年一貫實施時便可預見
在台灣,連學校資訊課都逐漸被刪減,資訊課上課教師由別科教師擔任時,
韓國在電腦遊戲上侵吞全球市場,印度在全球電腦軟體的產值比重逐漸增加
台灣呢?
即使是未來的十二年國教中,美術優秀可以加分,體育優秀可以加分,音樂優秀可以加分,那資訊優秀呢???
真摯的希望不要再重硬不重軟,頻果的硬體沒甚麼了不起,真正厲害的是蘋果的軟實力
lucia
 
文章: 61
註冊時間: 週一 10月 27, 2003 11:29 pm

Re: 談機房VM化

文章ja » 週五 6月 01, 2012 5:59 am

http://www.howtoforge.com/converting-a-vmware-image-to-a-physical-machine
由此可見clonezilla可以p2v 也可以v2p囉!大家參考看看!
ja
 
文章: 4
註冊時間: 週四 4月 24, 2008 11:17 am

Re: 談機房VM化

文章ntueees » 週六 6月 23, 2012 7:07 pm

個人認為北市是否「推行」機房虛擬化尚有待主管機關討論形成共識,假如能一併附上「免費」的VM化軟體並配合教育訓練則成功度較高。
資訊或系統人員通常利用週三下午或寒暑假進行P2V轉換,假如心有餘力利用週六日報請加班費(雖然學校可能說沒錢只能送休假)亦可。
成功與否看上面支持度,但硬體總有一天會報廢,假若資訊人員依舊拿16核心機器卻僅提供WWW服務則「於心不忍」,此部份有賴
系統管理人員自動提槍上戰場,或自動繳械交由初生之犢的「新生」與「雲端」正面交鋒,反正北市今年不也提報招了幾十位系管師。

說實在的,各位就不要妄想九年國教或十二年國教會有關愛眼神照到「資訊組」或「系管組」,N年前向人事等單位要求增招系管師,
都經幾年了,上級單位就是沒有經費與員額可以提供,加上校內麻吉也說了:學校資訊有你照著風平浪靜,好像也沒必要!
學校本位認定會教國語數學的人比會教電腦的人有用得多,就學校排課來說,「誰都可以教電腦」,但英文就一定要用「具英文資格人士」。
這也意味著有時要像CPU一樣故意延長「fetch decode execute cycle」時間,以免外界認為校內資訊人材不重要的平常心。有時今日CALL修,
後天去修,大後天CALL廠來修可能較會引起長官的注意。舉例來說,以下事件為真實案例,非故意。每年我會很擔心安排連續五天以上
的休假到台灣南部去玩,因為只要休假時間一長,機房的機器就會自以為是開始起鬨,然後自已也跟我一起休假,這類事件已經發生好幾年,
好死不死都是休假期間,個人接到電話只能說一句:請總務處自已想辦法,要我提早結束休假是不可能的事,等我回校再處理。放心好了,
幾天沒網路與電腦不會死人,誰叫學校不給我系管師呢!

回到機房VM化這個主題來,這些日子也有了一些使用上的心得與案例,本週廠商也協助將最後未VM化的MAIL2000完成了,QNAP TS-809U現在
共有六個iscsi服務,個人強烈建議,若用類unix系統連接iscsi是沒有問題的,但VM與VDI不要部署在iscsi上,若以iscsi為datastores置於
esxi 時,僅用以儲存不會啟動的template VM即可,簡言之,Running中的VM不要置於iscsi內!
相關心得請參見 http://www.ntueees.tp.edu.tw/wordpress/
ntueees
 
文章: 20
註冊時間: 週一 11月 19, 2007 5:00 pm

Re: 談機房VM化

文章aho » 週一 6月 25, 2012 9:25 am

ntueees 寫:回到機房VM化這個主題來,這些日子也有了一些使用上的心得與案例,本週廠商也協助將最後未VM化的MAIL2000完成了,QNAP TS-809U現在
共有六個iscsi服務,個人強烈建議,若用類unix系統連接iscsi是沒有問題的,但VM與VDI不要部署在iscsi上,若以iscsi為datastores置於
esxi 時,僅用以儲存不會啟動的template VM即可,簡言之,Running中的VM不要置於iscsi內!
相關心得請參見 http://www.ntueees.tp.edu.tw/wordpress/


為什麼在跑的 vm 不能放在 iscsi 上?你指的是只有類 unix 系統而已嗎?
aho
 
文章: 165
註冊時間: 週一 3月 16, 2009 8:18 am

Re: 談機房VM化

文章ntueees » 週一 6月 25, 2012 11:39 am

aho 寫:為什麼在跑的 vm 不能放在 iscsi 上?你指的是只有類 unix 系統而已嗎?


running中的vm置於iscsi有隨時中斷的可能,例如:
1.校內桌機發生廣擴風暴。
2.switch熱當。
3.雷擊燒掉esxi與iscsi路徑中的任何一台switch。
4.iscsi太忙被esxi認定斷線。
5.人為因素(不小心拉掉電源線或按到電源排線開關)

上述第4點最為重要,無論如何,esxi與iscsi之間的response time都不能超過5000ms,否則皆視為dead path。
一旦發生dead path,置於iscsi datastores上的vm就會死掉,但它於VC或vSphere Client中依舊呈現online,
僅能從console中強制shutdown vm。

但類unix系統是可以連接iscsi的,因為即便發生上述任何一點,因vm置於locah hd或san的原因都不會造成
vm當機(因kernal不在iscsi),僅發生「資料中斷」,待esxi iscsi路徑回復便自動連線,服務雖然中斷,但回復
時間較快,人工介入較少。依實際經驗,發生iscsi dead path時,僅unix samba路徑置於iscsi的server需重開機。

若部署VDI則沒得討論,置於iscsi就是死路一條,網路一斷,所有VDI全斷!加上iscsi所接datastores並非僅
連接esxi,亦提供其中服務運作中,因此流量相當大,iscsi無法撐起所有VDI流量,操作windows7如同回到
Pentium4甚至Pentium3時代,保證電話接不完。以上還是以二條giga連接iscsi並合併頻寬所得到的結果。

這也是為何VMware會說不要將main server的NIC全部接於一台SWITCH的原因,因為任何時候,只要有其他路徑
可找到iscsi datastores就不會造成dead path(但response time仍不得超過5000ms)。此外,機房VM化後因switch單埠流量
(因連接main server)突增,siwtch網路晶片溫度因I/O關係大幅提昇,容易造成switch熱當。以24 ports的switch來說,
假如你曾拆過siwtch就知道可能有6個網路晶片各別負責各4ports網孔I/O,未VM化前,所有24ports的流量
通常較為平均(一般來看),晶片溫度大約一致,但VM化後,所連接main server的這幾個網孔會特別忙碌,假如
這些從main server所接到switch的網路線剛好又全部接到同一顆網路晶片來處理的話,事實上你可以用手去摸這顆
網路晶片與其他晶片作溫度上的比較。是故,main server連到switch的這些線應該間隔開來,例如1、5、9......

雖然各校網路架構與設備不一,因北市許多學校尚未進行VM化,在此僅供參考。
ntueees
 
文章: 20
註冊時間: 週一 11月 19, 2007 5:00 pm

Re: 談機房VM化

文章lucia » 週一 6月 25, 2012 11:43 pm

以下是 iscsi storage 工程師給我的建議
如果要把VM 放在 iscsi 上跑的話
基本上 iscis 最好維持 1 個 initial 只接 1 個 target 與 1 個 virtual disk
簡而言之 ,
若 iscsi storage 有 5個網孔 , 一個網孔只設1個iscsi target 對接一台伺服器的1 個 iscsi initial , 線材Cat6選好一點(不要自己壓線 , 買有認證測試過的)
若伺服器無法使用硬體hba卡 , 最起碼要使用具有 TOE 能力的網卡 , 兩邊全設large frame , 一個 iscis target 指向一個 virtual disk
也就是說具有5 個網孔的 iscsi storage 最多只能接 5台 host , 若要玩 802.3ad link aggregation , 能支援的 host 絕對少於5 部

據他所說 , 大部分處理過在使用 iscsi 上的使用錯誤是
a. 2個( 以上)iscsi initial 指向 1 個iscsi target 與 1 個 virtual disk , 這樣在同時使用時往往容易造成資料error 與 session 錯亂
資料配置張冠李戴 , 最終 virtual disk data crash
b. iscsi storage上, 1個網孔設定 2個(以上) iscsi target , 由於互搶資源 , 造成資料讀寫 delay 形成 death path , 造成 virtal disk 資料錯亂
嚴重的 data crash
c. 大部分 initial 與 target 同接於一台 switch(非 iscsi 專用 switch), switch 處理速度不及 , 資料讀寫 delay 造成 death path

至於 iscsi storage 所使用的媒體也有關係 , SATA 雖然容量大且便宜 , 但存取效能差 , 而且是單工作業 , 若要能支援VM running on iscis
SSD 最佳 , 最起碼也要 SAS 存取效能較好 , 而且支援多工作業 , iscsi 資料能及時讀取寫入 , 避免 time out 的情況發生.

當然 iscsi storage 也占了很大的效能比例
目前大家幾乎都使用軟體式的 iscsi initial + 軟體式 iscsi target
今年向廠商借一台硬體式的低階 iscsi storage 來試玩 , 穩定度上比 NAS 上的軟體 iscsi target 強太多了
NAS 上的 iscsi 在大流量存取時往往發生 delay 或 時快時慢 等靈異現象,硬體上的 iscsi storage 速度穩定
雖只是"低階" iscsi storage , 價格上卻可比擬 "高階" 伺服器 , 中信標要 20幾W , 只能試玩 , 不能褻玩
lucia
 
文章: 61
註冊時間: 週一 10月 27, 2003 11:29 pm

Re: 談機房VM化

文章ntueees » 週二 6月 26, 2012 12:53 pm

lucia 寫:以下是 iscsi storage 工程師給我的建議
如果要把VM 放在 iscsi 上跑的話
基本上 iscis 最好維持 1 個 initial 只接 1 個 target 與 1 個 virtual disk
簡而言之 ,
若 iscsi storage 有 5個網孔 , 一個網孔只設1個iscsi target 對接一台伺服器的1 個 iscsi initial , 線材Cat6選好一點(不要自己壓線 , 買有認證測試過的)
若伺服器無法使用硬體hba卡 , 最起碼要使用具有 TOE 能力的網卡 , 兩邊全設large frame , 一個 iscis target 指向一個 virtual disk
也就是說具有5 個網孔的 iscsi storage 最多只能接 5台 host , 若要玩 802.3ad link aggregation , 能支援的 host 絕對少於5 部

據他所說 , 大部分處理過在使用 iscsi 上的使用錯誤是
a. 2個( 以上)iscsi initial 指向 1 個iscsi target 與 1 個 virtual disk , 這樣在同時使用時往往容易造成資料error 與 session 錯亂
資料配置張冠李戴 , 最終 virtual disk data crash
b. iscsi storage上, 1個網孔設定 2個(以上) iscsi target , 由於互搶資源 , 造成資料讀寫 delay 形成 death path , 造成 virtal disk 資料錯亂
嚴重的 data crash
c. 大部分 initial 與 target 同接於一台 switch(非 iscsi 專用 switch), switch 處理速度不及 , 資料讀寫 delay 造成 death path


感謝lucia大大的建議,以下是個人一些淺見:
關於工程師所述及的a項沒有錯,就b項而言,吾人認為可切成二個方面來看,第一,無論是幾個網孔,通常是設為Port Trunking(802.3ad屬其中一項,尚有Transmit Load Balance等),網路如何進行Port Trunking I/O當由OS Kernal負責處理;第二,無論有幾個iscsi target,皆屬安裝於OS內的software處理。意思就是說這二項應是各自獨立運作,iscsi target無需知道目前主機有幾張網卡,網卡也無需知道系統有幾個iscsi target,網卡只要知道且儘可能將data路由出去即可。假如iscsi target數量一多,則網卡數量與速度會是個bottleneck(當然SATA HD性能亦有影響,但通常是網路跟不上HD速度,故不考慮),但一個datastores設定多個iscsi target實屬正常,工程師是否要表達「一個datastores設定2個以上的iscsi target......」,因為iscsi target設定是在軟體層次而不是硬體層次,即使只有一個網孔的nas亦可設定10個以上的iscsi target,只要這張NIC應付得來。事實上10G網卡的其中一個目的就是為了解決這個bottleneck,否則配10G網卡的NAS卻只能接一個iscsi target是很浪費的。因此,個人不是很同意b項說法。

至於c項,iscsi initial & target同接於一台非iscsi專用的switch沒什麼不對。我們以國小網路架構來看,接esxi與nas這些伺服務的switch理論上都是giga等級,假如是的話,switch處理速度應該從switch本身的背板吞吐量(Throughput)來看,以本校dg3324sr來看就是80Gbps,難道這些giga等級的switch撐不起全校流量?因此,個人不同意c項說法。

個人想知道的是,工程師在說明a~c三項之後是否提供學校更具體建議,例如買SAN。假如還要買iscsi switch等設備,全部加起來的金額幾乎等同直接購買SAN。拜託,我們是皮包骨學校。

最後,個人對工程師以cat6對接initial不是很認同,不認同的地方在於「對接」表示main server的網孔會少一個,不利整體VM運作,亦不認為這樣比直接接GIGA switch會提昇多少速度與穩定度。
ntueees
 
文章: 20
註冊時間: 週一 11月 19, 2007 5:00 pm

Re: 談機房VM化

文章lucia » 週三 6月 27, 2012 2:38 am

我是蠻認同工程師所提的3點說法

第1點是正確的,我以前也曾做過錯誤的示範,結果很淒慘.還好僅是玩票測試,資料毀毫不心痛

第2點我的看法與大大不同,我同意工程師的說法

iscsi 實務使用上幾乎是1個 initial 對上1個 target,在 storage 上1個網卡的確可配置多個 target ,但若1個 storage 網孔設置2個 target,這也代表1個 storage 網卡要負責2個 initial 的連接,也就是負責兩部伺服器的資料傳輸,網卡吃得下這流量嗎 ? 網卡的 iops 撐得起嗎 ?

至於 10G 網卡,這應該是未來不確定式 ^^... ,雖然 10G 已經列入 IEEE ,但目前 10GBASE-T 項目少,價格貴,功耗與散熱的問題還需解決,而且未具備 iscsi 起碼所需的 TOE,除了頻寬大以外,其他功能和螃蟹卡沒兩樣,接頭又為 SFP+(非Rj45),想用還得重新佈線,更何況單卡價格動輒40K以上的價格,使用的可能不高...

至於第3點

工程師所提的 [ iscsi 專用 switch ] 指的是,這部 switch 只接 iscsi initial與 iscsi target , 沒做其他的網路用途.並非是那剛出沒多久,一台貴森森的 iscsi switch , 這點請大家不要誤會 ^^!...

當初我也有這方面疑慮,不過工程師說,很多switch的設計並不佳,資料傳輸過程會有collision發生,效能會七折八扣,廠商寫的數據參考就好,當然設計良好的switch不是沒有,像cisco的switch做的很好,不過大部分學校都用dlink的,dlink的switch很容易熱當,而且大部分學校受限於經費,host與storage之間往往僅有一部網管型giga switch(一部都要上萬)連接,這部switch可能還要負擔伺服器聯外服務的使用,雞蛋放在同一個籃子上犯了兵家大忌,當這部switch出點小問題(熱當或伺服器受DDOS攻擊或不明原因的效能急降),那就全掛了

工程師建議直接連接是他的有考慮的 ,畢竟host與storage之間本來就是要mulitpath的,這需要兩部以上的網管型giga switch,若是做不到,直接連接還比較好,免了switch的關卡問題,更免了因switch造成的respond time out的情況

如果要在iscsi上執行vm ,storage 使用的媒體就要考慮,使用 sata 的確對效能有傷, sata 硬碟架構上還是沿用 ata 8x5線程的,與 sas 硬碟架構沿用 scsi 的 24x7多線程設計有差別,sata 在單一任務上的測試數據很漂亮,但面臨大量數據與多任務讀存上就表現得相當差,顯得有心無力,在 iops 表現上 sas 幾乎為 sata 的兩倍,因此storage媒體選擇上,個人偏好 sas ,寧願犧牲 sata 的大容量,也要選 sas 的高 iops 的效能表現

的確最後工程師是有給建議,不過讓我覺得他似乎是想推銷自家 DAS(SAS-SAN),他認為弊校伺服器間距離近,採用 SAS-SAN 將硬碟集中於 storage 中管理使用,伺服器上執行storage 上 vm
lucia
 
文章: 61
註冊時間: 週一 10月 27, 2003 11:29 pm

Re: 談機房VM化

文章lucia » 週五 6月 29, 2012 1:59 am

上述第4點最為重要,無論如何,esxi與iscsi之間的response time都不能超過5000ms,否則皆視為dead path。
一旦發生dead path,置於iscsi datastores上的vm就會死掉,但它於VC或vSphere Client中依舊呈現online,
僅能從console中強制shutdown vm。


本校使用的是 vmware workstation , 所以 iscsi 掛在 window 上 , 以前發生過明明 iscsi 上設定為多重路徑存取備援容錯 , 可是當移除主要路徑網路線時 , 往往發覺 iscsi 故障切換時間過長 , 導致系統或程式當機 .
關於 window 下的 ms initiator , 我記得在 microsoft iscsi software initiator user guide 中有相關說明 , ms initiator 在 windows 系統登錄中有一個 LinkDownTime 機碼 , 修改他的數值可以強制修改 iscsi 的故障失效線路切換時間 , 加快 iscsi 故障線路切換 , 避免 response time out 的發生 .
vmware esxi 基本為訂製型的 linux , linux 下或許有相關數值可以修改 , 加快 iscsi 故障線路切換時間 , 因為本人 linux base 的系統只具有皮毛程度 , 只能雞婆的提供一點意見 , esxi 實際修改這方面可能要請教 linux 高手
lucia
 
文章: 61
註冊時間: 週一 10月 27, 2003 11:29 pm

Re: 談機房VM化

文章slps » 週六 7月 14, 2012 3:23 am

這裡把校內虛擬化部份簡單上圖說明一下。

0. 網路線速度均為 1000M。
1. 機房內少人進入,基本上不會有電源或網路線被扯掉問題。
2. 所有 VMs 都放置於以 iSCSI 連線的 N7700PRO 上,採用 iSCSI Multipath 方式。
3. 目前是以單一 x3550 M3 跑校內所有的 VMs,將來預計分成兩台,但管理不同的 VMs,避免困擾。兩台都是 24G RAM。
4. 同型 NAS 的考量就是萬一機體掛點,硬碟可以直接移轉到另一台上線回復。
5. 3100-24 2台為堆疊方式,HUB本身64G,另有20G堆疊頻寬。
6. N7700PRO兩台僅供 ESXi 5 使用,不與校內網路硬碟共用,兩條網路線以LACP方式與3100-24連線。
7. 教職員工的網路硬碟未標示,基本上為 1511+ & 2411+,都是兩條網路線以LACP方式與3100-24連線。
8. 所有網路線的考量除了 LACP 外,還有就是互相備援。
9. 這種運作模式大約持續有1年以上,基本上就是 VMs 提供服務的部分與 iSCSI 存取 Storage 的部分是分開的網路線路,目前沒有切 VLAN,但干擾程度不大就是了。
10. 主要 VMs 為天天於下班後稍晚時完整備份,以7天為一個週期,次要 VMs 的為一週備份一次,3週為一個週期。
11. 校務行政為實體機,沒有進行虛擬化。
附加檔案
SLPS_NETWORK (1).jpg
SLPS_NETWORK (1).jpg (57.05 KiB) 被瀏覽 2030 次
slps
 
文章: 62
註冊時間: 週四 11月 20, 2008 9:37 pm

上一頁

回到 各校資訊業務

誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 0 位訪客

cron