Pandora din Ubuntu

Posted: 30/06/2010 in Uncategorized
Tags: ,

https://i0.wp.com/www.osn.ro/wp-content/uploads/afis-avatar-200x300.jpg Cel mai recent film de mare succes tocmai rulează și pe ecranele românești. Avatar, la cei 230 mil. USD investiți, este mega-producția cu una din cele mai mari costuri asociate din istoria filmului dar și cu cele mai mari încasări din toate timpurile. Pelicula lui James Cameron a câştigat Globurile de Aur pentru cel mai bun film dramatic şi cel mai bun regizor. Datorită premiilor oferite de presa străină de la Hollywood, pelicula Avatar a devenit marea favorită la premiile Oscar.
Avatar este povestea unui veteran de război care este trimis într-o colonie umană de pe o planetă îndepărtată numită Pandora. Scopul acestei baze este de a exploata cât mai multe dintre resursele minerale planetei. Dupa o serie de evenimente, soldatul-veteran pe nume Jake ajunge să lupte alături de rasa băștinașilor, Na’vi, împotriva oamenilor. Însă oamenii au creat o tehnologie prin care pot să posede corpurile băștinașilor, preluând astfel controlul acestora și folosindu-le drept avatare.
Dar unde își au originea lumea futuristă și creaturile albastre din hit-ul Avatar? Care este tehnologia din spatele efectelor speciale și cum au fost realizate acestea?
Miramar este o suburbie a orașului Wellington, capitala și al
treilea oraș ca număr de locuitori a Noii Zeelande. Wellington este în mod frecvent numită Windy Wellington deoarece este orașul cu cele mai puternice vânturi din Noua Zeelandă.
Weta-DigExt.Wellywood este o altă denumire informală a orașului Wellington, o îmbinare a denumirilor Wellington şi Hollywood – referinţă la companiile de producţie cinematografică înfiinţate în oraş de către regizorul Peter Jackson pentru trilogia Lord of the Rings şi King Kong şi compania de efecte speciale Weta Workshop cu sediul în Wellington.
Impresionantele imagini din filmul lui James Cameron au fost create de compania Weta Digital Ltd., companie cu cinci nominalizări și patru Oscar-uri la activ, aceasta fiind responsabilă şi pentru randarea computerizată a scenelor din trilogia Lord of the Rings, precum şi a celor din alte producţii celebre cum ar fi District9, Day the Earth Stood Still, Jumper, Enchanted, King Kong, Fantastic Four, Eragon, X-Men şi I-Robot.
Weta Digital este compusă practic din două companii, Weta Workshop, unde o echipă de artişti şi meseriaşi crează modelel fizice şi, compania propriu-zisă Weta Digital, care realizează efectele digitale pentru reclame, filme de scurt metraj şi megaproducţii.
Rezultatul procesului care implică realizarea efectelor vizuale speciale, este realizat dintr-o mixtură de informaţii care vin prin schiţe (storyboards), revizii şi corecţii regizorale şi optimizări realizate de artişti digitali care transformă conceptul şi viziunile regizorului într-o imagine 3D printr-un program de editare specializat cum ar fi Maya (Autodesk) sau RenderMan (Pixar).
weta-render-farm-211209avatarActivitatea principală dintr-un centru de date de imagistică se numeşte randare, respectiv procesul prin care se transformă informaţia digitală a unei imagini într-o imagine concretă care poate fi salvată pe disc sau chiar integrată pe film sau alte tipuri de suport media.
Fiecare parte a unui film este un element individual, iar toate aceste elemente trebuiesc unite. Practic, un artist care lucrează la o secvenţă, va apăsa un buton care va lansa o funcţie (job) de randare pe fermă, sau o va încărca într-un “sistem de aşteptare” (queue) pentru randare.
Sistemul de randare este un produs al Pixar, numit Alfred, în care un artist crează o structură de funcţii ierarhică de sarcini (tasks) care trebuie să ruleze într-o ordine prestabilită. Într-un singur job pot exista sute de sarcini interdependente, care trebuie procesate de către fermă în mod distribuit. În momentul în care există putere de procesare disponibilă, noile sarcini sunt preluate şi executate de către procesoarele libere.
În momentele culminante din producţia Avatar, ferma procesa peste 10.000 de job-uri şi un estimat de 1,3 la 1,4 milioane de sarcini pe zi, la o viteză de procesare de până la 8 gigabytes pe secundă. În plus, fiecare din cele 24 de frame-uri pe secundă cât are filmul, itinera de mai multe ori între directori şi artişti pentru realizarea corecţiilor şi reintra în procesul de randare. Indiferent dacă fiecare frame din cele 240.000 selectate pentru produsul final avea 12 megabytes sau fiecare secundă de film ocupa 288 de megabytes, fiecare trebuiau revizuite în repetate rânduri atât de artişti cât şi (aprobate) de către directori.
weta-digital-nasgul-installedArtiştii Weta au reuşit să transforme aproape orice viziune a regizorilor în “realitatea” proiectată pe ecrane folosind aplicaţii de imagistică 3D, finisând la perfecţiune fiecare frame în mai multe etape. Astfel, fiecare minut din Avatar a ajuns să reprezinte aproximativ 17.28GB de date, conform Weta Digital.
Inima informatică care reuşeşte performanţa de a transforma viziuni în imagini este o fermă de computere întinsă pe o suprafaţă de 10.000 metri pătraţi, umplută cu 34 de cabinete în care sunt aşezate frumos peste 4.000 de sisteme lamelare (blades) Hewlett-Packard (BL2×220c pentru curioși), după cum detaliză într-un mail Paul Gunn, administratorul acestui centru de date.
Afundându-ne în detalii tehnice, mai aflăm că puterea de procesare a acestui monstru informatic include aproximativ 35.000 de procesoare şi 104 TB de memorie RAM. Pe lângă acestea, compania mai dispune de un sistem de stocare de 3 Petabytes (peste 3 milioane gigabytes) de la BluArc și NetApp care comunică prin fibră optică cu ferma de randare, reţele multiple pe 10GBps şi un sistem de răcire dedicat, pe apă.
Datorită cerinţelor extreme, tot procesul de producție se realizează local, excluzând opţiuni pecum colocaţia sau infrastructura nor (cloud): “We need to stack the gear closely to get the bandwidth we need for our visual effects, and, because the data flows are so great, the storage has to be local”. Şi cu toate acestea, randarea unor scene grafice complexe poate ocupa până la 48 de ore de procesare.
weta-cooling-211209avatarDar de ce răcirea pe apă? Deoarece sistemele rulează 24 de ore la capacitate maximă în perioada unui termen de predare (deadline), tehnicile clasice de răcire prin aer condiţionat nu pot face faţă căldurii generate de către acestea. Astefel, s-a optat pentru răcirea cabinetelor de servere prin sisteme specializate create de Rittal Corp. în combinaţie cu răcire naturală datorată climatului zonei.
Astfel, clădirea, locaţia şi construcţia ei sunt optimizate energetic, costurile clasice fiind “absorbite”, iar răcirea pe apă devenind mai puţin costisitoare decât sistemele de aer condiţionat. Conform Gunn, economiile pot ajunge la câteva mii de dolari prin modificarea temperaturii cu doar un grad. Gunn mai adaugă: “the server farm is only cooled to 25C (77F), which is warmer than many data centers. By not cooling unnecessarily, we make additional energy efficiency gains”.
weta-homepageDar lumea o să se mai întrebe, ce sistem de operare şi aplicaţii rulează pe o astfel de fermă pentru a duce la îndeplinire aceste viziuni megalomanice. Ei bine, Paul Gunn spune că sistemul de operare open source Ubuntu este responsabilul tuturor nodurilor de randare, dar este folosit şi ca mediu de lucru pe 90% din staţiile grafice existente la Weta Digital. Paul mai precizează că ferma (“render wall” după cum o denumește el) este în fapt o fermă pe Ubuntu Server și nu RHEL după cum a mai fost prezentată în massmedia.

Va urma…

Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s