Az adatközpontok életünk számos területét kiszolgálják. Nélkülük nincs közösségi média vagy online megbeszélés. Még az építőiparra is hatással vannak, mivel olyan régi épületekbe kerülnek új adatközpontok, ahol korábban gyártó üzemek vagy nyomdák működtek. Csakhogy szervereket és klímaberendezéseket zsúfolni nem kifejezetten erre a célra tervezett épületbe jelent némi kockázatot. Ezt csökkenti az adatközpont CFD szimuláció úgy, hogy felfedi a légkezelő rendszer határait. Képes előre jelezni a túlmelegedő szerverek pozícióját és megmutatni azokat a klímaberendezéseket, amelyek energiaigénye nagyobb a gépteremben lévő többi egységnél.
Adatközpont komponensek: szerverek és klímák
Egy adatközpont szimuláció modellje még akkor is igen jelentős méretű, ha nem modellezünk minden szervert a 42 vagy 47 egység magas rack-ben. Volt olyan projektünk, ahol csak 60 rack-et vizsgáltunk, de volt olyan is, ahol 200-at. Az utóbbi megduplázta a korábbi 74 milliós elemszámú rekord szimulációs háló méretet.
A kék térfogatok jelenítik meg az egymás fölé betárazott szervereket. A rack által generált hőterhelést és az áramoltatott levegő mennyiségét a szimulációban ezekre a kék térfogatokra adjuk meg. Még sohasem kérték, hogy az egy rack-ben lévő 47 szervert egyenként modellezzük. Nincs is rá szükség, mivel a tervezés ezen fázisában nem ismert a szerverek típusa.
A szerverterem hűtéséről speciális klímaberendezések gondoskodnak. Az angol nevük alapján (Computer Room Air Handling) CRAH-nak is hívják ezeket. A szimulációs modelljük ezeknek is lehet egészen egyszerű úgy is, hogy minden lényeges funkcióval rendelkeznek, mint a valóságban.
A legfelül lévő szürke blokk a szűrő, amely a klímába felül beáramló levegő útját egyengeti. A középen lévő zöld térfogat a hűtő, amire az adott CRAH hűtési teljesítményét írjuk elő. Egy szerverteremben számos hűtő lehet és mindegyik eltérő teljesítményen üzemelhet.
Az utolsó alkatrész a hűtőben a ventilátor. Szintén számos elrendezés lehet, van olyan CRAH, amiben 3 van, van olyan, amiben 2 vagy csak 1. Ezek radiális ventilátorok, és mi csak a külső kontúrt modellezzük. Nem foglalkozunk az egyébként hátrahajló lapátozással, most csak a szállított térfogatáram érdekes.
Adatközpont belső elrendezés
Most, hogy már vannak szerverek, amik előállítják, és vannak klímaberendezések, amik elvezetik a hőt a szerverterem légteréből, a kérdés az, hogyan rendezzük el ezeket az épületben.
Ha jobban megnézzük a fenti példát, azt látjuk, hogy itt bizony a meleg és a hideg oldalon is van két-két klímaberendezés. Akkor mégis hogy választják el a két oldalt és miért kell CRAH minden folyosóra?
Először is, azért van két CRAH a hideg oldalon a fenti példában, mert nincs elég hely nekik a meleg folyosón. Amikor a tervező kitalálja a hűtési koncepciót és az alaprajzot, a klímaberendezéssel kapcsolatban biztonsági tartalékkal számol. Ha egy CRAH valamiért beadja kulcsot, a többi még működő egységnek kell átvennie a hiányzó hűtési teljesítményt. A rendszerben elegendő extra hűtésnek kell lennie ahhoz, hogy ilyen vészhelyzet esetén is biztosítható legyen a szerverek megfelelő hőmérséklete.
A hideg oldalon lévő két klíma levegő belépő csatornája magasabb, így elér a szerverteremben kialakított álmennyezetig. Az álmennyezet feletti légtér szintén a szellőztetési koncepció aktív része. Ezt a légteret légrácsok (a fenti ábrán a felül lévő zöld téglalapok) kötik össze a meleg folyosóval. Minden rack sor meleg oldala felett vannak ilyen szellőzőrácsok.
A meleg levegő két irányból jut a klímaberendezésekbe
A meleg levegő bizonyos része az álmennyezet feletti térbe jut, ahonnan a hideg oldalon lévő két CRAH-ba áramlik. A másik része a meleg folyosón marad és az itt lévő másik két klíma gondoskodik a lehűtéséről.
Mind a négy klíma a 600mm magasan lévő álpadló alatti térbe küldi a lehűtött levegőt. Az álpadlót több száz vékony oszlop tartja, amit mi sohasem modellezünk a CFD szimuláció során. A szerverek hideg oldala előtt a padlóban szintén rácsok találhatók, ezeken keresztül jut a hűtőlevegő a hideg folyosóba. Ezek a rácsok máshogy néznek ki, mint amik az álmennyezetben vannak. Ezeknek az a dolga, hogy a levegő áramlását függőleges irányba tereljék, és ezt viszonylag nagy sebességgel (1.3 – 1.7m/s) teszik. Ennek a nagy sebességnek az a célja, hogy a 2m magasan lévő szerverek is elég hideg levegőhöz jussanak.
A levegő ezután átáramlik a szervereken, felmelegszik és a kör kezdődik újra. Csakhogy az álpadló alatti tér nem ám olyan szép tiszta, mint amit a fenti vázlat bemutat.
Tálcák, kosarak, gerendák a levegő áramlás útjában
Néhány adatközpont CFD szimuláció megáll a rack-ek, a klímák és az épület modellezésénél. A valóság azonban ennél jóval bonyolultabb, inkább az alábbi ábrára hasonlít, mint a fenti levegő keringtetéses vázlatra:
Az álpadló alatti térben lévő narancs színnel jelöltük az elektromos kábelek vezetésére szolgáló tálcákat, amelyek a szünetmentes áramforrásokat kötik össze a klímákkal. Ezeket a beton padlóra fektetik, általában 50mm magasak és és ha sok van belőlük, akkor rétegenként fektetik őket egymásra.
A lila színű a szintén az álpadló alatt lévő kosár rendszer, amely a földelés és a tűzvédelmi rendszer kábeleit vezeti. Ez a kosár lehet akár a földre fektetve, de némi hézaggal függeszthetik az álpadló alá is. Bárhogy is sikerül elrendezni, a kábeleket vezető rendszer értékes helyet foglal el az álpadló alatti térből és a levegő rendezett áramlásának igencsak útjában van.
A meleg és hideg folyosók területe sem mentes az akadályoktól. Bár ezek többnyire kevésbé akadályozzák a hűtőlevegő mozgását. A sárga színű tálcák rendezik a hálózati kábeleket, amelyeket a szerverek és a hálózati elosztók között húznak ki. A világoskék alkatrészek neve DataBar, ez viszi az elektromos áramot a szerverekhez. Minden szerver hideg oldala felett van egy-egy databar. Ha esetleg a régi épület alacsony belmagassága miatt nem lenne elég hely a rack felett, a hálózati kábel tálcák és a szerverek betápja is a padlóba kerül.
Visszatekintve az eddigi projektjeinkre, még egy dolog nyilvánvalóan közös volt bennük. Mégpedig az, hogy az álmennyezet feletti térben mindig voltak tartó gerendák, amelyek még tovább nehezítették az áramló levegő dolgát.
Amikor egy adatközpont CFD szimuláció elkészítése a feladatunk, a modellben a tálcák, kosarak és gerendák mindig ott vannak. A tapasztalatunk ugyanis azt mutatja, hogy ezek a részletek különböztetik meg a valós körülményeket tartalmazó szimulációt a demonstrációs célból készült gyakorlatoktól.
Szivárog vagy nem szivárog
Néhányan azon a véleményen vannak, hogy legyen bármilyen részletes is a szerverterem geometriája, a szimuláció csak szemfényvesztés a meleg és a hideg folyosók közötti szivárgások figyelembe vétele nélkül.
Az én véleményem az, hogy a szimuláció lehet pontos és adhat hasznos válaszokat szivárgás nélkül is. De ha az ügyfél azt kéri, nálunk megvan a módszer a szivárgások modellezésére. Ha az ügyfél tudja, mit akar és azt pontosan meg is adja a feladat kiírásakor, rajtunk nem múlik. De hol vannak egy olyan rendszerben szivárgások, amely arra a koncepcióra épül, hogy a meleg és hideg oldalt minél jobban elválasszuk egymástól?
Nos, a meleg és hideg folyosókat elválasztó falakon vannak ajtók, amelyek az ajtó két oldalán és alul is szivárognak. A rack-ek feletti elválasztó falak sem zárnak tökéletesen, a felületük 5%-a a szivárgás szokásos nagysága. A rack-ekhez vezető kábel átvezetés is szivárog. Az átvezetés általában 200x200mm-es, ennek a 20%-át szokták figyelembe venni az álpadló alatti hideg tér és a meleg folyosót összekötő rövidzár méreteként.
Adatközpont CFD szimuláció hőtan, szivárgás nélkül
Ennek a szimulációnak a nagyszerűsége az egyszerűségében rejlik. A célja pontosan megfogalmazható: mutassa meg, hogy a meleg folyosón hol vannak a legmelegebb területek. Továbbá mutassa meg, hogy melyik CRAH kap melegebb levegőt a többinél, aminek következtében több energiát használ a hideg oldali hőmérsékletű levegő előállításához.
Ehhez a típusú szimulációhoz a következők kellenek:
- rack hőteljesítménye [kW-ban]
- hideg folyosó cél hőmérséklete,
- meleg folyosó cél hőmérséklete. A meleg és hideg oldal közötti hőmérséklet különbséget dT-nek (delta T-nek) hívjuk, ami az adatközpont hűtőrendszerének kritikus fontosságú paramétere.
Az ezek alapján egy megfelelően részletes modellen elkészített szimuláció a valósághoz igen jól közelítő módon írja le a szerverterem hőtani viszonyait. Ez a szimuláció a meleg és a hideg oldal közötti hőtani egyensúlyon alapul. Feltételezi, hogy a rendszerben lévő összes hűtési teljesítmény azonos a rendszerben lévő összes generált hőmennyiséggel. Ez a szimuláció arra is alapoz, hogy a rack-ek által mozgatott levegő összes mennyisége (tömegárama) azonos a klímaberendezések által mozgatott levegő összes mennyiségével.
Hogyan borítja fel a hőtani egyensúlyt a szivárgás
Ez a megközelítés a fenti hőtani megfontolásokon túl a szivárgások nagyságának és helyének megadását is igényli. Ezek azok, amikről a “szivárog, nem szivárog” részben írtam. Ezeken túl figyelembe kell venni az EnergyStar térfogatáram arány görbéjét is.
Az EnergyStar görbe a rack-en áthaladó kW-onkénti levegő térfogatáramot adja meg a hideg oldali hőmérséklet függvényében. Ez a térfogatáram azonban kevesebb, mint amit a cél dT igényelne, legalábbis ha az általában szokásos 25°C hideg oldali cél hőmérsékletet vesszük alapul. Ez azt jelenti, hogy a rack-en felmelegedő levegő dT-je nagyobb, mint a klímákon lehűlő levegő dT-je.
Egy példa. Tegyük fel, hogy a hideg és meleg folyosó cél hőmérsékletei közötti különbség dT=11.5°C. Ebből rögtön ki is számolhatnánk a klímák hűtési teljesítményét. Csakhogy az EnergyStar alapján egy 8kW-os rack-re 25°C hideg oldali hőmérséklet esetén dTr=14.23°C rack-en létrejövő hőmérséklet növekedés jön ki. Magyarul: a rack-ek több hőt nyomnak a rendszerbe, mint amennyit a klímák elvisznek. Viszont a hideg és a meleg területek közötti szivárgás, amely elkerüli a rack-ek által keltett hőmérséklet növelést ki is egyensúlyozza a szerverterem hőtani folyamatait.
Az adatközpont CFD szimuláció eredményei
Az ügyfelek általában nagyon pontosan tudják, mit akarnak látni eredményként. Az első, hogy vannak-e túl meleg zónák a meleg folyosón:
A rack-ek alsó részénél lévő zöld foltok a legmelegebb foltokat jelzik. Annak oka, hogy miért az alsó rack esélyes a melegedésre az, hogy a padlóban lévő rács elég nagy sebességgel engedi be a hideg levegőt, ami nehezen fordul be a rack alja felé. A gyakorlatban használt megoldás erre az, hogy a rack-ek általában 100mm-re a rácsok szintje felett kezdődnek.
Továbbá érdekli őket, hogy vannak-e alacsony sebességű zónák a meleg folyosón? Az ügyfelek általában nem mondják meg, hogy mit értenek alacsony sebesség alatt. Erre azt szoktam javasolni, hogy nézzük meg a 0.05 – 0.1m/s áramlási sebesség közötti területeket. A 0.1m/s azért ennyi, mert ez az a sebesség, amelyet az ember huzatként már érzékel. Ráadásul ezt az értéket alkalmazzák más szellőztető rendszerek tervezésekor is. A lenti ábrán a rack-ek között nincs ilyen zóna, ebből a szempontból a telepítés rendben van.
Hideg odali szerver hőmérséklet és a klímák által ellátott terület
Ezt pedig az áramvonalak tudják jól szemléltetni. Minden klímából kilépő áramvonalat más színnel jelölök, ez pedig szépen kiadja az egyes klímák által lefedett területet.
A klímával kapcsolatban mérni szoktam a hűtést végző térfogat átlaghőmérsékletét is. A CRAH-ok közül a legmagasabb hőmérsékletű az, amelynek a valóságban a legnagyobb teljesítményt kell kiadnia magából, hogy tartani tudja a hideg folyosóra beállított cél hőmérsékletet. Érdemes tehát megnézni, hogy vajon ezt mi okozza és például a szerverterem átrendezésével, a rack-ekre megadott teljesítmény korlátok átgondolásával javítható-e a helyzet.
Az adatközpont kontroll stratégiájának szimulációja
Előfordul, hogy egy ügyfél annyira bele akar menni a részletekbe, hogy a szerverterem hőmérséklet kontroll stratégiájának működését is le akarja ellenőriztetni. A kontroll stratégia annyit jelent, hogy a szerverterem meleg folyosóján elhelyezett hőmérséklet jeladók alapján szabályozzák a csoportba rendezett klímaberendezésekbe áramló hideg víz mennyiségét, azaz a hűtési teljesítményt.
A kontroll stratégia szimulációja fontos lehet akkor, amikor az ügyfél tudni szeretné, a hűtőrendszer hogyan viselkedik egy vészhelyzet esetén. Vészhelyzet akkor fordulhat elő, amikor egy CRAH működése leáll. Azért, hogy a szerverek elszenesedése elkerülhető legyen, a kieső hűtési teljesítményt a többi működő klímának kell pótolnia. Ha egy hőmérséklet szenzor a meleg folyosónak a leállás által érintett szakaszán található, akkor ez a szenzor érzékelni fogja a megnövekedett levegő hőmérsékletet. A nagyobb hőmérsékletet látva a vezérlő rendszer beavatkozik, és megemeli az érintett CRAH csoport hűtési teljesítményét.
CFD szempontból nézve a kontroll stratégia működésének vizsgálatához először le kell szimulálni a leállt CRAH miatt kialakult hőmérséklet eloszlást. Várható, hogy az érintett területen lévő rack-ek hőmérséklete emelkedik. Abban az esetben, ha az ügyfél jó helyre tervezte a hőmérséklet szenzorokat, a szimulációban ezek közül egy vagy több érzékelni fogja a meleg folyosón a tervezettnél magasabb hőmérsékletet.
A szimulációban lévő hőmérséklet szenzorok adatai tehát mutatnak eltérést a cél meleg folyosó hőmérsékletéhez képest. Ebből tudjuk, hogy melyik CRAH csoport hűtési teljesítményét kell növelni. A feladat annyi, hogy a módosított CRAH hűtési teljesítményekkel újra le kell futtatni a szimulációt.
A különböző részletességű és bonyolultságú szimulációknak mind megvan a helye és ideje a tervezési folyamat során. Szivárgással vagy anélkül, EnergyStar görbével vagy az egyszerű hőtani egyensúllyal készített adatközpont CFD szimuláció az ügyfél minden kérdésére válaszolni tud.
Dr Dúl Róbert