談機房VM化

各校資訊相關業務問題討論,經驗分享

Re: 談機房VM化

文章aho » 週五 4月 27, 2012 9:42 am

那我也來分享一下好了

左邊那10台機器,是還沒vm之前每台都要開,現在是全關了
目前只有中間的3台IBM server 及 最上一台的 ps4000 是開的


Vm.jpg
VM機房
Vm.jpg (83.35 KiB) 被瀏覽 1899 次
aho
 
文章: 165
註冊時間: 週一 3月 16, 2009 8:18 am

Re: 談機房VM化

文章lucia » 週五 4月 27, 2012 2:26 pm

不知大大汰換下的 server 可否割愛.... 眼紅中 8)
當初看時並沒有發現這圖可往下拉, 看到第三張圖的資源管理實有點被嚇到
storage磁碟的I/O peak 值居然將近 4GB , CPU loading 也不高
網路頻寬 1Gbps 理論值約 120MB/s , storage I/O 頻寬換算後約 30-40 Gbps
您的 storage 有5個 iscsi port , 也就是說跑的 iscsi 頻寬為 10G
太先進了... :o
lucia
 
文章: 61
註冊時間: 週一 10月 27, 2003 11:29 pm

Re: 談機房VM化

文章ntueees » 週一 4月 30, 2012 4:45 pm

aho 寫:那我也來分享一下好了

左邊那10台機器,是還沒vm之前每台都要開,現在是全關了
目前只有中間的3台IBM server 及 最上一台的 ps4000 是開的


現在來談談另一個主題:你需要vmotion&HA嗎?

針對國民小學而言,這是值得討論的議題,尤其是尚有許多小學未進行機房虛擬化或即將進行,另一方面學校經費原本就不充裕,多一台server表示額外的用電與其他資訊經費的排擠。

資訊人員自有一套模式替學校進行各項資訊規劃,我依舊以敝校為例,首先前文已講過esxi server為hp dl585 g7,datastores為qnap牌。會計上週跟我提到有執行率不足的問題,這表示我可能有額外經費再買dl 585 g7進行vmotion與HA,但,事實的問題在於「需不需要」。國小真有需要達到vmotion或HA地步?
1.學校可否忍受server當機半天OR一天?(我曾經讓學校一週沒有校外網路,過癮!,但這是八年前的事,這不是好事,但至少代表學校各人員對網路的依賴尚不高,時至今日,敝校一天沒有網路也OK)。
2.機房舊有維護模式也沒有容錯系統,亦可接受server當機或零件損壞,為何此機房VM化後變得不行?因為所雞蛋都放在一個籃子嗎?平時沒有將VM備份?還是個人能力不足,死機找不出原因,非得依賴廠商?
3.無論哪台server死機,我的兩間電腦教室一樣要手動調整,拔fiber線,因為電腦教室nat vm化,fiber線可不會自動跳到另一台。
4.server死機就死機,即便是HA架構下一樣要重啟動guest VM,死機還是會造成資料的不完整,因為沒有FT。這樣vmotion還有需要?部署FT對國小而言又覺得太高級,不符經濟效益。
5.主server停機不外乎安裝硬體,這樣會花你多少時間?又你的guest VM有幾個?10來個的話短時間關機不會造成困擾吧,吾校24個VM,加RAM從關機到全啟動OK約一小時多一點,但50~60個VM就另當別論,例如未來部署VDI時。
6.若第二台server的RAM只有第一台的一半,vmotion的結果就是esxi不斷進行磁碟I/O,有服務,但可能反應很慢。
7.我的guest vm尚放在local端,VDR備份在datastores。so無法進行vmotion。因為沒有san switch給HBA用。iscsi做vmotion就別想了。
8.這筆錢拿來採購datastores與san switch更具實用性或購買原廠SERVER延長保固,隔天到府。

vmotion先決條件就是vm不能放在local端,外部datastores是一定要的,假如沒有HBA且你很硬,可以從iscsi,那vmotion也是ok,但你知道vm開機有多慢嗎?敝校即便由iscsi磁碟來啟動兩個vm還是必需等待不少時間開機,windows只能用慢來形容,此情形必需等待開機一段時間後才能回到該有的效能水準,性能實在不佳!HBA至少也要4G起跳,8G最佳,1G免談,這又表示你需要一台可連接HBA的SAN SWITCH,不然怎vmotion。那你至底是在考量vmotion、HA或高級的FT之前建構好VM的環境基礎沒?或者,你可以不考慮vmotion!想一下,你希望vmotion給你什麼?但我會希望手上有HD、POWER SUPPLY、FIBER NIC這類備品隨時替換。

給剛入機房VM的建議是先建構好datastores環境後再考慮vmotion&HA

看來aho大大己經部署好vmotion,不如就分享一下此方面帶給機房管理上的哪些影響,好壞皆可 8)
給luica,那圖的網路表是total來計算,二條cate6不會有10G,70MB/sec就偷笑。
ntueees
 
文章: 20
註冊時間: 週一 11月 19, 2007 5:00 pm

Re: 談機房VM化

文章aho » 週二 5月 01, 2012 4:35 pm

ntueees 寫:看來aho大大己經部署好vmotion,不如就分享一下此方面帶給機房管理上的哪些影響,好壞皆可 8)

目前的環境是可以做到 vmotion 了,但我覺得這只是當初買軟體所附加的功能..我也認為國中小"暫時"的斷線沒什麼大不了的(不過1天…應該會被砍)
我買的是比較便宜的版本,vmware essentials plus 的版本,這個版本就含 HA 及 Vmotion 的功能
vmware essentials plus 的授權方式,可以灌三台雙 cpu 的 server ,並有可控管 3 台 實體主機的 VC server 授權
所以,上面照片裡的三台主機都是灌 essentials plus 4 的版本

一開始的規劃就是 2 台 server 來服務,並可以互相的支援,當有一台掛了,另外一台可以接手..
那還有 1 台,因為是局給的,只有 4G 網卡數也不夠,所以並沒有加入
學校的網站流量都不大,所以無法知道效能上是否真的有很大的差別
目前本校所有 server 全 VM 了

好處當然很多,省電、管理方便…等,增加臨時主機服務,更是方便
壞處就是只有你會,交接上很不容易

學校經費的關係,應該都只是做半套的 HA 而已,不完全是真的 HA ,本校也是…
因為儲存設備只有 1 台,當這台掛了,就全掛了…什麼就都不用談
switch 也是要分 2 台,不然接線的那台掛了,也是全掛..

目前做法是定期把儲存設備的 VM 備份出來放在本機硬碟上
就算儲存設備有一天真的掛了,本機上還有備份,能馬上使用
狡兔有三窟…如果不幸儲存設備及 server 同時掛點...
那每台 VM OS 裡都有灌備份軟體(可異機還原),定期一個月備出來外部 NAS上
再把系統還原到備用(舊)主機上暫時服務....

建議要建置這樣的環境,還是有要專業的廠商協助…
aho
 
文章: 165
註冊時間: 週一 3月 16, 2009 8:18 am

Re: 談機房VM化

文章tory » 週二 5月 01, 2012 10:52 pm

vmotion 還有些名詞要了解
host vmotion
storage vmotion

而且還要看買的軟體版本能不能支援
online vmotion
就我印象所知
vmware essential plus version
只能做到 offline vmotion
但,我覺得很足夠在學校單位使用了
host vmotion不用講,閃一下就過去了...

如果你是要做storage vmotion,二邊的格式都是vmfs
有做thin provisioning 那速度也是很快的啦
當然若二邊的格式有不同的話,當然速度就會變慢了...

aho 建議您將vmware data recovery VDR 跑起來
copy到另一台NAS上,而非本機
可以做到每日備份,而且備份的資料量還算很不錯(並非想像二天就是二倍量)
因為增加的量應該只有差異的部分
當然若不放心的話,還是整個vm 備份比較安心一點
storage若有備份機制的話,用storage 備份,也是一種方法~~
看起來PS4000 有vmware integration tools
可以做到vm smart copy(vm snapshot )
當然storage 的備份,只是在非storage壞的時後能救回之前的資料

以上只是參考啦,也給有想進入的學校一些參考



aho 寫:
ntueees 寫:看來aho大大己經部署好vmotion,不如就分享一下此方面帶給機房管理上的哪些影響,好壞皆可 8)

目前的環境是可以做到 vmotion 了,但我覺得這只是當初買軟體所附加的功能..我也認為國中小"暫時"的斷線沒什麼大不了的(不過1天…應該會被砍)
我買的是比較便宜的版本,vmware essentials plus 的版本,這個版本就含 HA 及 Vmotion 的功能
vmware essentials plus 的授權方式,可以灌三台雙 cpu 的 server ,並有可控管 3 台 實體主機的 VC server 授權
所以,上面照片裡的三台主機都是灌 essentials plus 4 的版本

一開始的規劃就是 2 台 server 來服務,並可以互相的支援,當有一台掛了,另外一台可以接手..
那還有 1 台,因為是局給的,只有 4G 網卡數也不夠,所以並沒有加入
學校的網站流量都不大,所以無法知道效能上是否真的有很大的差別
目前本校所有 server 全 VM 了

好處當然很多,省電、管理方便…等,增加臨時主機服務,更是方便
壞處就是只有你會,交接上很不容易

學校經費的關係,應該都只是做半套的 HA 而已,不完全是真的 HA ,本校也是…
因為儲存設備只有 1 台,當這台掛了,就全掛了…什麼就都不用談
switch 也是要分 2 台,不然接線的那台掛了,也是全掛..

目前做法是定期把儲存設備的 VM 備份出來放在本機硬碟上
就算儲存設備有一天真的掛了,本機上還有備份,能馬上使用
狡兔有三窟…如果不幸儲存設備及 server 同時掛點...
那每台 VM OS 裡都有灌備份軟體(可異機還原),定期一個月備出來外部 NAS上
再把系統還原到備用(舊)主機上暫時服務....

建議要建置這樣的環境,還是有要專業的廠商協助…
tory
 
文章: 71
註冊時間: 週二 7月 01, 2003 11:18 am
來自: ......

Re: 談機房VM化

文章ntueees » 週三 5月 02, 2012 8:59 am

敝校也是採購Essentials Plus 版本,功能已夠國小使用,價格還算OK,
我想tory也要分享一下vmotion的使用經驗給其他學校參考 :D
因學校vm環境尚加強中,AMD&INTEL無法vMotion(一旦主SERVER死機,我會用VDR將VM restore到intel機啟動,但只給dns+dhcp+校務 這三台run起來,其他等主server修好。基本上有網路大家就不會叫),加上目前沒有很強烈的動機非vmotion不可,so無法提供操作經驗。
有VDR授權的學校還是依tory建議架起來,好處多多,重點有二,第一,不要使用SAMBA方式MOUNT進VDR,初始化備份一定OK,從第二次開始就會死,即便錯開備份時間亦同;第二,錯開各VM備份時間,以免備份失敗。基本上只要每天看報表就好。以下是VDR每天MAIL的報表內容。
以完成機房VM化的學校也請表達一下datastores的連線方式,是iscsi or hba? HBA是1G?4G OR 8G?
建議datastores以RAID6,RAID10實在浪費空間。

VMware Data Recovery 2.0.0.1861
Appliance IP: (secret)
Appliance Name: VMware Data Recovery
Appliance Time: 5/1/2012 8:00:00 AM
Engine Start Time: 4/21/2012 6:03:21 PM

For more information, please check Reports and Configuration in VMware Data Recovery Client plug-in UI.


Backup Jobs: 7
Virtual Machines Selected for Backup: 18
Virtual Machines Failed to Back Up: 0
Virtual Machines Not Backed Up: 0
Virtual Machines Backup In Progress: 0
Virtual Machines Successfully Backed Up: 18
Non-Backup Related Warnings and Errors: 0

Destination, Capacity, Used, Status
/SCSI-0:1/, 499.8 GB, 174.5 GB, Ready


Virtual Machines Successfully Backed Up:

Backup Job, Virtual Machine, Duration
www_tower_as_score, tower, 00:15:28
www_tower_as_score, as, 00:17:45
www_tower_as_score, www, 00:14:31
www_tower_as_score, score, 00:13:25
vCenter_View5, windows2008, 00:29:59
vCenter_View5, VMWare_View5, 00:11:05
std_photo_mytube, std, 00:05:25
std_photo_mytube, photo, 00:04:42
std_photo_mytube, mytube, 00:04:06
nano, nano1, 00:05:08
lbs_AD_admin, admin, 00:40:45
lbs_AD_admin, AD, 00:09:21
lbs_AD_admin, lbs, 00:05:53
ComputerRoom_proxy, Computerroom56_NAT, 00:09:35
ComputerRoom_proxy, computerroom34_NAT, 00:08:49
ComputerRoom_proxy, proxy, 00:08:05
acc_staff, accnewgba, 00:10:18
acc_staff, fspersonal, 00:08:54



tory 寫:vmotion 還有些名詞要了解
host vmotion
storage vmotion

而且還要看買的軟體版本能不能支援
online vmotion
就我印象所知
vmware essential plus version
只能做到 offline vmotion
但,我覺得很足夠在學校單位使用了
host vmotion不用講,閃一下就過去了...

如果你是要做storage vmotion,二邊的格式都是vmfs
有做thin provisioning 那速度也是很快的啦
當然若二邊的格式有不同的話,當然速度就會變慢了...

aho 建議您將vmware data recovery VDR 跑起來
copy到另一台NAS上,而非本機
可以做到每日備份,而且備份的資料量還算很不錯(並非想像二天就是二倍量)
因為增加的量應該只有差異的部分
當然若不放心的話,還是整個vm 備份比較安心一點
storage若有備份機制的話,用storage 備份,也是一種方法~~
看起來PS4000 有vmware integration tools
可以做到vm smart copy(vm snapshot )
當然storage 的備份,只是在非storage壞的時後能救回之前的資料

以上只是參考啦,也給有想進入的學校一些參考
ntueees
 
文章: 20
註冊時間: 週一 11月 19, 2007 5:00 pm

Re: 談機房VM化

文章aho » 週三 5月 02, 2012 9:15 am

tory 寫:aho 建議您將vmware data recovery VDR 跑起來
copy到另一台NAS上,而非本機


VDR 的備份我也試過,不過不太喜歡
因為他的備份出來的檔案都是 VDR 自有的格式,當真的出問題時,你的 VDR 還是要活著,才有辦法復原

機器沒壞的前題下
使用 VDR 或 vm smart copy(vm snapshot )就非常好用,可以很快又即時的復原

若機器損壞下
我認為,還是要備出整個完整的 VMDK 檔,在復原時可能會比較方便...

目前我的備份是,ps 4000上有VM、本機也存一份完整的VM、外部 NAS 存一份系統的 vm OS image 檔(備份都是排程)
aho
 
文章: 165
註冊時間: 週一 3月 16, 2009 8:18 am

Re: 談機房VM化

文章aho » 週三 5月 02, 2012 9:58 am

ntueees 寫:因學校vm環境尚加強中,AMD&INTEL無法vMotion
..........
有VDR授權的學校還是依tory建議架起來,好處多多,重點有二,第一,不要使用SAMBA方式MOUNT進VDR,初始化備份一定OK,從第二次開始就會死,即便錯開備份時間亦同;


嗯…要 vMotion 兩台的主機 cpu 等級最好是不要差太多,不然效能會以最低那顆來跑!建議是同一家的 cpu

請教 ntueees ,你第一點說不要 SAMBA 方式 MOUNT 進 VDR 是什麼意思?
架 VDR 起來後,有個設定畫面要你設定儲存空間,那邊你不是用 mount 的方式把儲存空間掛進來嗎?
印象中,VDR 設定儲存空間除了本機的空間外,就是用 \\ 這種方式去連線 NAS 的方式不是嗎?
還是說還有其他方法?
aho
 
文章: 165
註冊時間: 週一 3月 16, 2009 8:18 am

Re: 談機房VM化

文章tory » 週三 5月 02, 2012 11:19 am

我很少在用vmotion 我不喜歡vm跑來跑去的
除非今天host要做整機firmware更新(bios raid network balabala)一年看有沒有一次~~
可能要停個半天或一天,我可能就會先關機然後移到另一台備用的host上跑
習慣的問題~~~啦,不表示vmotion沒有用處~~~
虛擬化平台功能很多,但要自已覺得信賴或是掌握的住比較重要...

曾聽過有人也是信不過VDR 硬要寫script每日co出vm來放比較放心....(沒license 這樣子做可以省很多~~)
因為我很懶....所以........不太想寫script....ccccc

ntueees 寫:敝校也是採購Essentials Plus 版本,功能已夠國小使用,價格還算OK,
我想tory也要分享一下vmotion的使用經驗給其他學校參考 :D
因學校vm環境尚加強中,AMD&INTEL無法vMotion(一旦主SERVER死機,我會用VDR將VM restore到intel機啟動,但只給dns+dhcp+校務 這三台run起來,其他等主server修好。基本上有網路大家就不會叫),加上目前沒有很強烈的動機非vmotion不可,so無法提供操作經驗。
有VDR授權的學校還是依tory建議架起來,好處多多,重點有二,第一,不要使用SAMBA方式MOUNT進VDR,初始化備份一定OK,從第二次開始就會死,即便錯開備份時間亦同;第二,錯開各VM備份時間,以免備份失敗。基本上只要每天看報表就好。以下是VDR每天MAIL的報表內容。

tory 寫:vmotion 還有些名詞要了解
host vmotion
storage vmotion

而且還要看買的軟體版本能不能支援
online vmotion
就我印象所知
vmware essential plus version
只能做到 offline vmotion
但,我覺得很足夠在學校單位使用了
host vmotion不用講,閃一下就過去了...

如果你是要做storage vmotion,二邊的格式都是vmfs
有做thin provisioning 那速度也是很快的啦
當然若二邊的格式有不同的話,當然速度就會變慢了...

aho 建議您將vmware data recovery VDR 跑起來
copy到另一台NAS上,而非本機
可以做到每日備份,而且備份的資料量還算很不錯(並非想像二天就是二倍量)
因為增加的量應該只有差異的部分
當然若不放心的話,還是整個vm 備份比較安心一點
storage若有備份機制的話,用storage 備份,也是一種方法~~
看起來PS4000 有vmware integration tools
可以做到vm smart copy(vm snapshot )
當然storage 的備份,只是在非storage壞的時後能救回之前的資料

以上只是參考啦,也給有想進入的學校一些參考
tory
 
文章: 71
註冊時間: 週二 7月 01, 2003 11:18 am
來自: ......

Re: 談機房VM化

文章ntueees » 週四 5月 03, 2012 1:48 pm

aho 寫:請教 ntueees ,你第一點說不要 SAMBA 方式 MOUNT 進 VDR 是什麼意思?
架 VDR 起來後,有個設定畫面要你設定儲存空間,那邊你不是用 mount 的方式把儲存空間掛進來嗎?
印象中,VDR 設定儲存空間除了本機的空間外,就是用 \\ 這種方式去連線 NAS 的方式不是嗎?
還是說還有其他方法?


是的,samba mount方式絕對是VDR最失敗的地方,我試了近二週,無論如何調整皆失敗,
最神奇的是還會無故跑出其他mount point與容量。
安裝VDR後以add hd方式給個固定容量(例如300G),VDR開機後connect進去UI會看到/dev/hdb,
接著format該增加的HD即成/SCSI-0:1/,VDR的KB亦以/SCSI-0:1/為mount point作說明。
額外add hd依舊放在以iscsi為連結方式的datastores,其實samba mount(不超過500G)亦從相同的datastores分割出來,
奇怪之處就在這裡,個人認為可能是vm格式比CIFS格式更易被VDR接受與相容。
此後backup萬無一失,至少我是這樣的 :D
ntueees
 
文章: 20
註冊時間: 週一 11月 19, 2007 5:00 pm

Re: 談機房VM化

文章hum0522 » 週四 5月 03, 2012 4:01 pm

文章行文至此,似乎一直集中在vMotion、HA和FT...
看到一堆前輩高手在華山論劍,刀光劍影的... :)
小弟佩服的五體投地.. :o
但是對於剛要入門或和小弟一樣使用Free版本的,看到這裡一定心驚驚..心想:"完了!我們家沒那麼有錢買vMotion或HA和FT的...那不是不能VM了嗎?"... :shock:

其實,國小環境單純,Web、DNS、File、Print、VOD...不一定都得"線上移轉、Zero Downtime",
使用免費版的離線轉移也可以..
如果真的不能在上班時離線,大不了晚上6~7點用VPN或遠端連線做VM搬移...
隔天早上上班,啟動時,選擇好"I copy it..."或"I move it..."
照樣可以搬移VM...

至於跑FT一定就Zero downtime嗎?
Guest OS(Windows) Blue Screen出現的時候,FT也沒用..
Secondary VM照樣唱"藍藍的天..白白的雲..",這時只能手動Reset...
如果ESXI沒當,Guest OS也沒當,但是Service停止了,一樣得靠MSCS處理...
只能說,沒有永不當機的環境,應該思考的是,國小可以忍受的Downtime有多長?

沒錢的國小,2台ESXi加1~2台Storage,用Free Hypervisor就夠用了,
但是前提是:平時一定要有備份計畫在跑,以免怎麼"掛"的都不知道...
hum0522
 
文章: 107
註冊時間: 週四 3月 09, 2006 10:39 am
來自: 臺北市

Re: 談機房VM化

文章ntueees » 週五 5月 11, 2012 9:24 am

hum0522 寫:其實,國小環境單純,Web、DNS、File、Print、VOD...不一定都得"線上移轉、Zero Downtime",
至於跑FT一定就Zero downtime嗎?
沒錢的國小,2台ESXi加1~2台Storage,用Free Hypervisor就夠用了,
但是前提是:平時一定要有備份計畫在跑,以免怎麼"掛"的都不知道...


查了一下資料,北市永樂、木柵、三民、百齡、萬大、立農、民權、日新、士林等國小皆完成機房VM化(若有錯請指正)。
希望以上學校也能說說機房VM的心得供尚未完成的學校參考,不比設備或技術什麼的,就心得上提供點意見。
事實上敝人不認為國小環境單純,雖然沒有大企業的規模,但該有架構與服務也都具備,系統管理人員的數量反而很少,
一人當二人用,即便爭取多年還是「不補」,某書提及VM化後企業可合併資訊管理人員與系統管理人員,不知這位寫書
的人有沒有讀過MIS,要真是如此,大家可要小心搞不好未來學校會砍下系管師or資訊組,因為VM化了,管理工作可由一人獨攬,殊不知VM化加重上述二位的管理工作量,頂多就是不用進機房按KVM,但提供的服務反而更多,不過這的確是不作機房vm化的良好理由,飯碗還是比較重要 :D

不知有學校拿CAFE來作否?分享一下吧。
ntueees
 
文章: 20
註冊時間: 週一 11月 19, 2007 5:00 pm

Re: 談機房VM化

文章lucia » 週六 5月 12, 2012 12:26 am

本校目前 server 已全面 vm 化 , 架構是 raid-10 + winserver x64 + vm workstation
所有設備與軟體都是6-7年漫長時間慢慢蒐集而來的 , 目前有五台 server , 為各家品牌的聯合軍
這樣的架構可能會被高手打槍 , 但對本校而言這可說是不斷累積的成果 , 當然過程中包含了很多的嘗試.

記得當年由廠商手中凹到第一部 server 開始 , 對於 server 的高性能 , 可謂驚為天人.
利用 mediacoder 為我小P作影片的轉檔 , 速度是一般桌機的8倍(不要打我..對不起..我錯了..我不該公器私用)
當時就想著要如何壓榨出 server 的全部性能 , 最後想起在陽明山研習中心系管師研習中所用的 VMware 軟體
於是便開始了 server VM 化的過程 .

一開始採用的架構是 raid 5 + VMware GSX (GSX為試用版 , 已不存在 , 現在為 ESX/ESXI)
剛開始一切都是順利的 , 轉了幾個 VM 進入執行 , 可惜某一天因為手賤導致 GSX 故障 , 再也無法連線 , web ssh
任何方式全都沉默 , 不會吧 , VM裡面還有重要資料耶 , 就算用linux livecd開機 , 還是卡在 raid 上無法取出 VM ,
這下讓教務處行政人員樂的清閒 , 而我的手機電話接不完 , 最後由伺服器原廠工程師協助下 , 使用一片 "謎之光碟"
取回 VM , 不敢再重裝 GSX , 於是先用 VM convert 將 VM 轉成 vmplayer 可以使用的格式 , 讓行政系統先回復運作 ,
之後才慢慢收拾殘局 . 也將本校架構由 GSX 改成 Workstation .

平心而論 , ESX/ESXI 執行 VM 的效能的確比較好 , 畢竟他是直接對硬體層進行控制 , 但是為了讓執行效能達到最高 ,
相對的便犧牲了容錯能力 , 若想使用 ESX/ESXI 進行虛擬化的學校 , 請先考慮以下三點
a.硬體支不支援 b.ESX/ESXI故障時有無能力救回 VM c.VM的備份機制完不完善

而 Workstation 開發製作時的目的便是 "針對不同環境下,系統的安裝與測試" , 容錯能力較高 , 由於還有下一層的
OS 存在 , Workstation 故障時 , VM 可以輕易救回 . 救回的 VM 可以直接由桌機安裝 vmplayer 執行 , 算是一種備援
機制 , 緊急時可以將電腦教室變身為 "第二機房" 使用 .

由現在的 workstation 8 的功能可以清楚看出 VMware 的想法 , 先由 Workstation 進行 VM 系統的安裝與測試 ,
穩定時再移至 ESXI 進行高效率運行 , 或是將 ESXI上運行的 VM 移至 Workstation 進行系統更新與修改 , 穩定後再
移回 ESXI 上執行 .

由於本校的各項系統 , 往往三不五時的進行修修改改 , 校務系統更是三天一小修五天一大改 , 在加上上頭老大往往一紙
公文 , 就要你替系統增加一堆特異功能(還記得ipv6嗎?) , 所以本校選擇容錯能力較高的 Workstation , 安全最重要

至於 server 選擇 raid-10 , 這也是有故事的 , 原本 server 由4顆 SAS 硬碟組 raid 5 , raid 5 的確兼顧安全與
容量 , 不料某天其中一顆硬碟故障 , 原本4顆硬碟的 raid 5 剩 3 顆在跑 , 手上沒有備料 , 只好報修待料 , 一星期後
才換給一個新的SAS硬碟 , 待料期間 server 的確是可以開機 , 但進 window 就花了 3 個小時 , 進入系統後的反應跟
烏龜一般慢 , 因這次經驗 , 所以再次修改架構 由 raid 5 改為 raid-10 , 即使一顆硬碟故障 , I/O 效率還是一樣不變 ,
形成現今的架構 .

raid-10 + winserver x64 + vm workstation 的架構 , 缺點便是要進系統室 , 雖然這缺點可以用 teamview 等軟體補完 ,
不過回過頭想想 , 跑系統室這也是一種好處 , 一切遠端處理的結果 , 長官看不到你進系統室工作 , 會直覺得認為你很清
閒 , 工作量太少了 , 適當的在長官面前裝出一副努力與忙碌的狀態是有必要的 , 以免得又被追加其他雜七雜八的工作 .
lucia
 
文章: 61
註冊時間: 週一 10月 27, 2003 11:29 pm

Re: 談機房VM化

文章ja » 週二 5月 29, 2012 1:36 pm

太帥了!有人這樣規劃這就是我們想推行的虛擬化!
ja
 
文章: 4
註冊時間: 週四 4月 24, 2008 11:17 am

Re: 談機房VM化

文章slps » 週四 5月 31, 2012 2:45 am

哇! 真是高手啊,受教!

簡單說,就是自己想玩 VM 化,學校沒有要求,所以2010年初開始我所在的學校就開始自己VM化,一開始就是用免費的 ESXi 4.0 ,沒軟體經費,就算是想買,也會被打槍! 後來改用 ESX 4 + ESXi 4 的序號,這樣就成了 ESX 4 Basic 版,也就是免費版,但多了 vcbMounter & vcbRestore 的內建免費的備份、還原指令,只要配合 cron 排程就可以做到線上不停機壓縮備份,一直用到 ESX 4.1 都不曾為備份煩惱,而備份的資料也是輕易的就可以還原無誤!

到了 ESXi 5 就沒了這兩個指令,也是過VDR,但格式頗麻煩,沒有 VDR 還讀不出來,免費也可以用,只是沒辦法自動&排程備份! 後來尋尋覓覓找到了也是免費的 ghettoVCB.sh 這個程序,其實 4.0 時代就看過,只是因為有前述的指令,所以就不碰,到了 5.0 沒辦法了,只好採用! 這個也是可以做到前述的備份方式,更好的是可以設定歷史備份,備份一定數量就自動刪除較早的備份! 而備份出來的檔案格式就是 vmx & vmdk,只要用 Add to Invetory 的方式就可以重新加入 Server 中了,配合 cron 排程也是與 ESX 4.1 時代一樣的方便 & 免費! 這個目前大概使用了半年了,還好好的自動運作中。

Storage 的方面也是像軟體一樣,如果買2X萬的DELL or HP又會被質疑買這麼貴?! 小學有必要嗎! 但考量到只有一台也不妥,索性一次買了兩台 N7700PRO 各有 4G RAM + 2TB * 7,雖然也要1X萬,但還是算俗,如果一台主機掛點,只要把7顆HD整個移到另一台上,做些IP的設定就又可以運作了! 與 ESXi 5 是採用 multipath iSCSI 的協定! 目前一台跑 SERVER 的 VMs,另一台就是給 ghettoVCB.sh 備份的 VMs 當作儲存的空間,一但有問題,短暫的時間就可以恢復了! 兩台一開始就是跑 RAID6 + Hotspare 方式,算是用到極大的容錯啦,曾經有一台 HD 異常,Hotspare 就立刻上線 rebuild,不過用了 14Hr 左右,沒辦法,非企業的 NAS 就是這樣。不過 N7700PRO 已經是 10G Ready,只是 10G 卡 & HUB 大概就 OOXX 啦 :roll:

Server 目前分兩年買了兩台 x3550 M3,連這樣都會被 OOXX 咧 :Q 24G RAM + onboard 1G *2 + Intel ET Durl port! 雖然無法自動移轉,不過手動移轉大概不用幾分鐘,所以也沒差! 小學這樣也夠用了!

至於 x3650 還是讓它跑純校務行政,沒打算砍掉,不過到想要先VM化,可是得請教各位了,無法用 VMware 的免費 P2V 方式,CentOS 無法備接受,加上又改了 SSH 的 port! 如果可以的話,可以告知如何 VM 化?! 謝謝!

所以除了硬體設備外,軟體的部分,全部採免費啦,省錢為主!

上述的 NAS 僅供 ESXi 使用,老師部分的網路硬碟,另外規劃 1511+ RAID 6(2TB*5) 搭配 2411+ RAID6(HD太貴,只好先買 2TB*10),前者早購買,先行運作,後者今年買的,目前先當作 1511+ 的隨時同步備份,也就是使用 Synology 資料夾同步功能,只要 1511+ 上有異動,馬上同步到 2411+,即使 1511+ 掛點,2411+ 因為已經把 1511+ 的設定備份過來,大概也是幾分鐘就可以上線,而且資料就是同步到掛點前的部分。另外還有更早期的 209+,這個當作 1511+ 的第二備份機,大概是2-4hr 同步一次。總之,ESXi 與老師的 NAS 一開始就是分離的,避免互相影響。

這樣前後算算,大概買了30顆以上的 2TB 的 HD,還真的是恐怖。
slps
 
文章: 62
註冊時間: 週四 11月 20, 2008 9:37 pm

上一頁下一頁

回到 各校資訊業務

誰在線上

正在瀏覽這個版面的使用者:沒有註冊會員 和 0 位訪客

cron