劍橋大學(xué)在2014年投資2000萬英鎊建設(shè)了一個新的綜合性數(shù)據(jù)中心,該數(shù)據(jù)中心已經(jīng)取代了該大學(xué)多個不同的數(shù)據(jù)中心設(shè)施,并大幅度減少劍橋大學(xué)的碳足跡,同時擴大其技術(shù)領(lǐng)先的優(yōu)勢。
劍橋大學(xué)的多用戶數(shù)據(jù)中心采用了一種高效的“冷凍水”混合冷卻系統(tǒng),預(yù)計將減少電力消耗,同時與2013年相比,減少了10%的碳排放量。劍橋大學(xué)在2020年減少34%的與能源相關(guān)的排放量,這意味著向其既定的目標邁出了重要一步。
劍橋大學(xué)西劍橋數(shù)據(jù)中心
合并擊敗更新
建設(shè)該數(shù)據(jù)中心項目始于一個艱難的決定。劍橋大學(xué)有很多部門,各自運行自己的服務(wù)器,并使用大學(xué)的信息服務(wù)。劍橋大學(xué)還進行了一個高性能計算服務(wù)(HPCS)的研究,2014年成為教科文組織統(tǒng)計研究所的一部分。該大學(xué)還擁有劍橋評估、國際服務(wù)、管理三個考試委員會,以及劍橋大學(xué)學(xué)術(shù)出版社。
劍橋大學(xué)所有這些部門有著各自不同的計算資源,其中一些陳舊老化。而不是試圖將所有不同的IT資源分開,機構(gòu)決定形成一個合作伙伴關(guān)系,并建設(shè)一個定制的數(shù)據(jù)中心,可以在未來的幾年里最終支持劍橋所有部門的計算需求、學(xué)習(xí)和研究。
劍橋大學(xué)各部門的合作伙伴委托奧雅納工程顧問公司,提供環(huán)保、土木、結(jié)構(gòu)和巖土工程,以及信息和通信技術(shù)咨詢。而與奧雅納公司合作的還有戴維斯蘭登公司和TTSP建筑公司。
該數(shù)據(jù)中心已經(jīng)建成,并于2014年7月交付使用,并在2014和2015年期間,將工作負載遷移到該數(shù)據(jù)中心,劍橋西數(shù)據(jù)中心將服務(wù)于大學(xué)信息服務(wù)(UIS)部門的當前和未來的需求,提供用戶界面、機構(gòu)所管理的IT基礎(chǔ)架構(gòu)和高性能計算(HPC)服務(wù),以支持大學(xué)各部門的研究活動,以及劍橋大學(xué)的管理需求評估。并且計劃在未來將劍橋大學(xué)出版社遷入劍橋評估數(shù)據(jù)大廳。
劍橋大學(xué)數(shù)據(jù)中心的高效散熱技術(shù)
多樣化的冷卻需求
這三個用戶群體有不同的要求,需要不同數(shù)量的IT負載,為了提供深入研究為基礎(chǔ)的數(shù)據(jù)處理服務(wù),其IT負載從每機架3.5kW低功率密度到每機架30kW高功率密度不等。傳統(tǒng)的設(shè)計方法會為了三個主要類型的IT負載使用三個獨立的數(shù)據(jù)中心設(shè)施,但該數(shù)據(jù)中心采用新興技術(shù),使這些能夠在一個單一的系統(tǒng)使用。
“早期的設(shè)計決定了ASHRAEA2對所有三種類型用戶有著提供冷卻的潛力,這取決于高效的設(shè)計?!贝髮W(xué)信息服務(wù)(UIS)部門主管馬丁?貝拉米在有關(guān)網(wǎng)站發(fā)表文章中表示。低密度區(qū)使用熱通道氣流遏制系統(tǒng)和普通計算機房空氣處理系統(tǒng)(CRAH),而對于具有較高的IT密度的高性能計算領(lǐng)域,則采用背機架背靠背的冷卻系統(tǒng)。
該數(shù)據(jù)中心設(shè)施利用一個單一的冷卻系統(tǒng),采用來自外部空氣(100%自然冷卻系統(tǒng))進行冷卻。大學(xué)信息服務(wù)(UIS)部門指出,一些數(shù)據(jù)中心這么做會被人們認為這是一個勇敢的決定,但該系統(tǒng)的好處將遠遠大于風(fēng)險?!拔覀儗υS多冷卻技術(shù)和方法進行了探討,其中包括全空氣間接蒸發(fā)系統(tǒng)?!盪IS部門表示,“為了達到劍橋大學(xué)的目標,很明顯,我們的數(shù)據(jù)中心的解???????方案需要超越采用全空氣蒸發(fā)冷卻的能力?!?
該系統(tǒng)采用冷卻水而不是采用壓縮機冷卻,蒸發(fā)冷卻的所有好處是不使用冷卻器。為了滿足HPC用戶的需求,冷卻水通過back-of-rack機架冷卻系統(tǒng)進行冷卻。該系統(tǒng)采用的是當?shù)毓?yīng)商Coldlogik公司的設(shè)備,并經(jīng)過測試之后選擇的。
該冷卻系統(tǒng)采用了冷卻水溫度浮動與控制系統(tǒng),將數(shù)據(jù)中心的工作溫度保持在最有效的設(shè)置值,同時將供氣溫度保持在ASHRAE容許范圍內(nèi)。按照最新的ASHRAE建議,數(shù)據(jù)中心溫度可以推薦的范圍上下浮動1-2度。劍橋大學(xué)堅持使用水冷空壓機系統(tǒng),即使是高性能計算負載。當外面的空氣太熱的時候,傳統(tǒng)數(shù)據(jù)中心將需要DX壓縮機進行冷卻。
該系統(tǒng)將在炎熱的時段使用更多的電力,因為使用大量的風(fēng)扇降溫,但這已經(jīng)在設(shè)計考慮到了。
該數(shù)據(jù)中心采用艾默生TrellisDCIM解決方案進行管理。
劍橋大學(xué)采用效率高達99%的UPS供電系統(tǒng)
兩個POP和雙電源
該中心有兩個獨立的通信路由存在點(POP),并具有來自英國電力網(wǎng)絡(luò)的兩個單獨的變電站11000V的雙路電源,并配備一個3150kVA變壓器。該數(shù)據(jù)中心已經(jīng)其供應(yīng)商獲得了2200kVA的初始容量,另外還可以增加3000kVA。
其備用電源來自三個容量為1100kVA發(fā)電機組,采用的是N+1配置,因此只需要兩臺發(fā)電機就可以提供足夠的備用電源。部署的發(fā)電機組有足夠的燃料,可以運行72小時。該冷卻系統(tǒng)也采用了N+1冗余配置:有三個混合冷卻塔,只有其中只需要兩個正常運行就可。
數(shù)據(jù)中心供電系統(tǒng)采用三臺1000kVA的模塊化UPS(配置為n+1),每一個都具有5個智能控制的200kVA功率模塊,其電源效率達到了98%。有兩個單獨的A和B饋送給每個機柜,并通過架空軌道母線系統(tǒng)交付的智能計量柜電源插板。
劍橋大學(xué)低密度數(shù)據(jù)大廳
數(shù)據(jù)中心的四個數(shù)據(jù)大廳
該數(shù)據(jù)中心是一個新的兩層樓,有四個數(shù)據(jù)大廳。1號大廳容納的是HPC系統(tǒng),具有900kW的高密度IT負載,多達96機柜;2號大廳為劍橋大學(xué)評估需求的201kW負載;而3號大廳則是容量為240kW的大學(xué)信息服務(wù)UIS部門的服務(wù)器。4號大廳沒有部署設(shè)備,計劃在未來的增長時可以添加40個到50個機架。
這個建筑還建設(shè)了一個操作室,安全辦公室和會議室的空間。房屋內(nèi)具有全天候安全保障,具有廣泛的內(nèi)部和外部的視頻監(jiān)控。訪問數(shù)據(jù)的大廳由“星際迷航”一樣的防尾隨的門禁控制,并在地板上部署內(nèi)置秤。一旦有人員出現(xiàn)在數(shù)據(jù)大廳,智能鑰匙柜將會監(jiān)控和控制所使用人的鑰匙。
總體而言,該數(shù)據(jù)中心的能源使用效率(PUE)預(yù)計為1.2,其PUE接近像谷歌公司和Facebook公司這樣的整體網(wǎng)絡(luò)規(guī)模的供應(yīng)商。這與以前的數(shù)據(jù)中心相比,有了很大的改善了,并降低了劍橋大學(xué)10的%碳排放量。
劍橋大學(xué)數(shù)據(jù)中心安全密鑰訪問
用戶驗收
為了獲得成功,數(shù)據(jù)中心必須說服潛在的用戶:每個大學(xué)的部門(物理、化學(xué)等)仍然可以自由地運行自己的服務(wù)器,但他們都將工作負載遷移到共享數(shù)據(jù)中心,以節(jié)省資金,并得到改進服務(wù)。九個月后,該數(shù)據(jù)中心被加載到26%的容量,其計算出的能源帳單將每年節(jié)約一百萬英鎊,并減少了40%的碳排放量。
獲得該項目的中央資金可能是一個挑戰(zhàn),但該團隊使用所設(shè)計的效率水平證明,搬遷設(shè)備到數(shù)據(jù)中心,其節(jié)省的水電費相當于或略高于數(shù)據(jù)中心的運行成本。而劍橋大學(xué)數(shù)據(jù)中心凈成本實際上為零,而數(shù)據(jù)中心也有顯著擴張潛力。例如在HPC領(lǐng)域,相比以前的空間,HPC的處理能力提高了300%。
除了節(jié)省電力,各個相關(guān)部門也可以騰出空間。他們以前進行數(shù)據(jù)處理的空間,可以更多地提供給教學(xué)或進行更多的研究,這增加了額外的效益。
盡管如此,一些潛在的用戶們關(guān)注其增加的工作溫度可能會導(dǎo)致硬件的故障率增加,但UIS部門提供了可靠數(shù)據(jù),證明了其硬件可靠性的降低影響可以忽略不計。
劍橋大學(xué)認為,在選擇了水冷空壓機系統(tǒng)之后,并完全遵循ASHRAE指導(dǎo)方針,未來的IT系統(tǒng)將會有足夠的信心應(yīng)對業(yè)務(wù)。
數(shù)據(jù)中心經(jīng)理伊恩?塔斯克說:“西劍橋的數(shù)據(jù)中心項目為劍橋大學(xué)引進了一個最新的節(jié)能技術(shù),其成功應(yīng)用將會被其他高等教育機構(gòu)效仿?!?
編譯:apple.lei