22 Митове и легенди за performance capture

Image: wikipedia

Two roads diverged in a yellow wood,

And sorry I could not travel both

And be one traveler, long I stood

And looked down one as far as I could

To where it bent in the undergrowth

- The Road Not Taken

Robert Frost

В момента в интернет е почти невъзможно да се намери адекватна позиция по въпроса за performance capture. Независимо дали е българска или чужда, всяка статия, която се опитва да го засегне, или пък ревю на филм, който използва процеса, страдат най-малкото от неинформираност по отношение на технологията, а твърде често и от пълно изопачаване на фактите - къде следващо от някакви масови течения (Тод Макарти казал така-и-така, значи трябва да е така-и-така), къде - от вдъхновяващи PR-акции (Джеймс Камерън казал така-и-така, значи е така-и-така), къде - от някакви лични симпатии и антипатии... След като направих несръчен опит да вкарам малко ред и логика в отношението към самата 3D-презентация и масовите погрешни нагласи (несръчен, защото приличаше повече на гневно писмо, отколкото на систематичен анализ на процеса - ама техническото задълбаване последва в коментарите, 10x corley), тук ще пробвам малко по-подреден преглед на технологията performance capture. Поглед, който е базиран на десетки изгълтани на екс мейкинги на филми, както и на елементарното нещо, което се нарича common sense.

Тъй като тази тематика бъка от неправилно употребяван жаргон, започвам с малко дефиниции, за да е ясно всичко, което следва. Да кажем, че искаме да поставим движещ се компютърно генериран обект в някакъв кадър. Този процес минава през няколко фази:

1) Моделиране на обекта, което най-общо се състои в представянето му като набор от точки в 3D пространството, оформящи полигони. Това може да става "на ръка", или със сканиране на скулптури, или пък с техники като Zbrush, които на практика представляват моделиране в 3D пространството с детайлно манипулиране на повърхността на 3D обекта, като че ли е направен от компютърна глина.

2) Раздвижване на 3D модела, което в дадения случай се нарича компютърна анимация. Това може да стане посредством стандартния keyframe метод (използван още от класическата 2D анимация), в който се задава поредица от ключови положения на обекта, развиващи се във времето, и след това кадрите между тях се запълват с междинни състояния (т.нар. inbetweens); или пък въпросният motion capture - сканиране на движението на реален модел, което с помощта на няколко контролни точки се "прехвърля" върху компютърния.

3) Рендер на 3D модела и неговото движение е представяне на цялата тази математически описана в 1) и 2) съвкупност от точки, повърхности и тяхното движение в 2D проекция. Това представяне може да започва от обикновен wireframe, който показва само вертексите и връзките между тях (това се използва за бърза визуализация), и да стигне в крайна сметка до изцяло реалистична презентация с пълна симулация на падащата светлина върху различните повърхности (това, на което се наслаждаваме като финален резултат във филмите).

Както се вижда, на всеки един етап може да се стигне до различна степен на комплексност. Тя често е била следствие от развитието на технологиите (което директно може да се проследи в серия като Играта на играчките от 1995 до 2010) или пък на специфичните стилистични изисквания на филма. И в текста по-долу е важно именно второто: степента на целенасочено отдалечаване от реалността за постигане на определен ефект - процес на стилизация на всички нива (от модел, през анимация до рендер), поставен срещу стремежа към максимална реалистичност. Противопоставяне, нагледно демонстрирано на картинката по-долу - Up срещу Beowulf:

И двата пътя - на стилизираност или на хипер-реалистичност, имат една и съща цел: емоционална ангажираност на публиката с движещите се CG-обекти. Но добрите намерения и в двата случая могат да достигнат до задънена улица по съвсем различни причини, които са ни били демонстрирани многократно досега. За първото са много показателни анимациите на Дриймуъркс, сравнени с тези на Пиксар - нещо, което е систематизирано в тази весела картинка (макар и точно това да не е целта на автора й):

За този проблем бях намекнал в ревюто за "Как да си дресираш дракон" - за порочния кръг, от който Дриймуъркс аниматорите не могат да излязат, когато става дума за лицевите движения на героите им. Анимациите им от близкото минало съдържаха предимно говорещи животни с антропоморфни характеристики, а в лицето на единствен метод, по който човешките емоции могат да лепнат за животинските физиономии, техничарите виждаха хиперболизирането им до степен на гротескност, преминавайки с много границата, унаследена още от златните времена на класическата анимация. После изведнъж Дриймуъркс почнаха да правят CG-филми с хора в тях, обаче хипер-експресивността на магарето в Шрек се пренесе непокътната върху физиономиите им. Всичко изглеждаше така, като че ли не става дума за отделни проекти със собствен подход, а за използване на някаква библиотека от физиономии, които се използват без оглед на приносителя. В Пиксар, дали заради по-голямото тематично разнообразие на филмчетата (което донякъде замъгля перспективата), дали заради усета на екипа, стилизацията като че ли изглеждаше по-премислена и по-органично вписваща се в концепцията за персонажите, а не толкова елементарно принизена до един основен прийом. Тук обаче не е чак толкова важно на кой отбор симпатизира човек, а това, че и двата са направили своя избор по отношение на метода, по който да направят филмите си въздействащи. Бокс-офисът е добър показател кой кога успява да го направи в достатъчна степен, но като цяло е факт, че пътят на стилизацията е утъпкан, приятен, сигурен и лесен. (И писнал ми до болка, ако трябва точно тук да добавя някакво лично отношение.)

Вторият път - този към колкото се може по-голяма реалистичност, пък в крайна сметка пропада в uncanny valley. Това е термин от роботиката, който дефинира кривата на емоционална привързаност към човекоподобен обект в зависимост от степента на неговата човекоподобност. В началото, когато този обект е съвсем груб, привързаността е ниска. После с "очовечаването" хората започват да изпитват пропорционална на това симпатия, докато не се стигне до момент, в който човекоподобното има толкова реалистични човешки черти, че хората се чувстват силно обезпокоени, дори отвратени от малката разлика, която го отдалечава от пълната реалистичност. Именно тази емоционална дупка е uncanny valley.

Към "зловещата долина" ще се върна по-късно, тук само трябва да обобщя, че на практика двата пътя описани по-горе са единствените засега измислени начини (опити) да се преодолее проблема с емоционалната дистанцираност на публиката от компютърно генерирани антропоморфни същества. Стилизацията се опитва да "прескочи" долината. Стремежът към по-голяма реалистичност, следващ технологичния бум, пък иска методично да я "извърви" до слънчевия край.

Както се вижда от горната графика, когато CG-обектът под въпрос е в движение, проблемът с преодоляването на негативната емоция е още по-дълбок, особено когато става дума за репликиране на комплексните мимики на лицето. И тук идва ролята на performance capture, като средство за максимална реалистичност на анимацията. На теория нещата са прости - това е тип motion capture, който има за цел да "хване" лицевите движения, т.е. "играта" на актьора, и да ги пренесе върху модела. Самата технология на motion/performance capture се свежда до използване на маркери от различен тип, залепени по тялото/лицето, които се снимат с няколко камери, за да се направи триангулация на всеки един от тях и да се локализира в пространството. Колкото повече камери, толкова по-точно определяне на местоположението на всеки маркера. Колкото повече маркери, толкова по-детайлна картина на движението. За тялото като правило са достатъчни само няколко контролни точки, поставени около ставите, чието движение лесно се записва (оттам и широкото приложение на техниката открай време дори в евтини игри). Нюансираните движения на лицевите мускули обаче са истинско предизвикателство за capture и оттук идват всички проблеми, за които ще стане дума по-долу.

Първо: По принцип дори заснемането на обикновено видео може да се брои за performance/motion capture, защото е някакъв вид записване на движението, което в една или друга степен може да се използва при анимацията на 3D-модел - примерно като референс, от който гледаш и опитваш да повториш "на ръка". Откъде тогава започва истинският performance capture? Това е хлъзгава територия, на която всеки продуцент и рекламна кампания гледа със собствено око, но едно е ясно - при истинския performance capture се изисква, като резултат от процеса, аниматорите да разполагат с компютърна версия на движението на всеки лицев маркер в 3D-пространството. Всичко друго в най-добрия случай псведо-performance capture, независимо от качеството на финалния резултат.

Второ: Във всеки филм до момента, използващ технологията motion/performance capture, тя достига някаква граница, след което започва работата на аниматорите, които tweak-ват записаните данни "на ръка", за да оправят несъвършенствата при capture-а или да добавят това, което липсва по една или друга причина. Пълен автоматизиран процес, при който 100% от записаната в процеса на capture информация се използва директно върху модела и след това се рендва като финален продукт, все още не съществува. Това пък е основният критерий за степента на напредналост на технологията - колкото по-малко работа се налага да се оставя на аниматорите за дооправяне, толкова по-съвършен е процеса на capture.

От тези два обективни проблема, касаещи по-скоро дефиницията на процеса и показващи колко лесно е да се спекулира на тази основа, идват и неразбиранията, изкривяванията на информацията, представянето на една технология за по-напреднала, отколкото е, или дори за такава, каквато няма как да бъде по определение. Преди обаче да задълбая в разнищване на спекулациите, тъй като въпросът тук в много голяма степен е за възможностите за постигане на колкото се може по-голяма реалистичност, се налага кратко историческо отстъпление и поглед към началото на века, преди самото навлизане на performance capture технологията. Примерите са... поучителни.

Final Fantasy: The Spirits Within от 2001 остана във филмовата историята като доста недолюбвано и проблемно преживяване. Едно, че никой не разбра дали това трябва да бъде филм за дълбокия душевния мир на Аки Рос, пълен със символизъм по азиатски, или прост кютек по холивудски (в крайна сметка почитателите и от двете страни на барикадата останаха поизлъгани). Второ, че хората не приеха особено топло фотореалистичните амбиции на студиото Square Pictures. Което намирам за леко нечестно, защото каквото и да си говорим, Реална фантазия е първият пълнометражен опит в историята да се направи реалистичен компютърно генериран филм, и когато нещо опитва да нагази смело в нова територия, е хубаво да бъде гледано с малко по-толерантно око. Колкото и примитивен да е крайният резултат от днешна гледна точка, бързо сравнение с филмчетата от StarCraft II (какво друго да дам за пример, освен екипа на Matt Samia, който още от средата на 90-те бълва атмосфера на талази и е нещо като символ на качествения game cinematic) показва, че огромната и мултимилионна гейм-индустрия чак сега успява да прескочи летвата, поставена през 2001.

Причината е проста: Final Fantasy (точно както филмчето с Керигън от линка) използва класически motion capture за раздвижване на телата, но не и performance capture за раздвижване на лицата. Оттук и пословичната "дървеност", която отблъсна хората тогава и която все още настоятелно присъства навсякъде в игралната индустрия (но странно защо се толерира от хората - може би настройката "майната му, това е просто игра" си върши работата). Имайки предвид развитието на технологията за 10 години и резултатите в момента, когато се опита реализъм "на ръка", намирам Final Fantasy наистина за технологично постижение (и всъщност за съвсем поносим филм по принцип, но това е друга тема, в която със сигурност се намесва и симпатията ми към Елиът Голдентал).

Вторият пример от pre-performance-capture ерата е Властелинът на пръстените (основно втората и третата част), където присъства живописното същество Ам Гъл. Това пък е първият опит на WETA (и по принцип) да пренесе актьорска игра върху компютърно генериран модел. Крайният резултат е впечатляващ и днес, но ключът за успеха (особено при положение, че motion capture маркери има само по тялото на Анди Съркис, а не по лицето - то е анимирано на ръка с използване на заснет материал като референс) е много тривиална: Ам Гъл е човекоподобно същество, но чертите му са силно деформирани. При това положение е много по-лесно човешките възприятия да бъдат "излъгани" - ако Джаксън беше опитал "технологията си" върху компютърно генериран човек, напълно лишен от стилизация, резултатът нямаше да е много далеч от това, което имаме в примерите от горния абзац. Ам Гъл всъщност е перфектен пример за ефективна симбиоза между стилизация (на модела) и реалистичност (на движенията), която е следствие от къртовския труд на аниматорите.

Някъде тук започва историята за истинското противопоставяне на двете... да ги наречем "школи" в performance capture - от една страна еволюцията на WETA след Ам Гъл, а от друга - революцията на ImageMovers Digital - студиото, което Робърт Земекис основа, за да покорява нови територии в компютърно генерирания реализъм. Защо казвам еволюция и революция съответно се надявам постепенно да стане ясно.

Чувствата ми по отношение на ImageМovers са смесени - от една страна съжалявам, че Земекис прекара десет години от кариерата си пред мониторите на екипа си, вместо да държи реална камера в ръка, лишавайки ни от поне 4 "истински" филма. От друга - той винаги е бил цар на хитрото използване на специални ефекти на границата на възможното (повечето хора дори не подозират за количеството CG в последните му live-action филми), така че не е особено учудващо как изведнъж той реши, че трябва да превърне поредния си филм след Cast Away (а и още 2 по-нататък) в един огромен самоцелен специален ефект.

2004 година. По екраните излиза Полярен експрес. Забележителен филм по няколко причини. Най-напред, това е първият пълнометражен филм, в който е използвана истинска performance capture технология, която взема актьорската игра на Том Ханкс, превръща я в нули и единици, и я лепва за 5 персонажа във филма (само не разбрах значеше ли това петократен хонорар или останахме само с илюзията, че плащаш на Ханкс веднъж, пък получаваш... превъзходното му актьорско изпълнение няколко пъти):

На второ място - този филм е все още 3D IMAX сензация, която и до ден днешен е ненадмината като преживяване (при все, че в началото не е била планирана като такава, което показва вродения усет на Земекис към композирането в 3D). Оказа се, че това е първият "истински" филм за IMAX - дотогава там се прожектираха само късометражни глупотевини. На трето място, Полярен експрес е забележителен с пълната си ненужност от всякаква друга гледна точка, освен техническа, което обаче е тема на друг разговор (и все пак - въпреки че още се чудя от какъв зор Земекис е решил да се занимава с адаптация на 30-странична книжка, предимно с илюстрации, все пак крайният резултат е най-доброто, което може въобще да се извади от нея).

Сега да обърнем внимание на самата технология, защото конкретните факти постепенно започват да стават важни. 170 милионен бюджет. Около 170 рефлекторни сензора, 150 от които по лицата на актьорите. 72 камери, които улавят движението им и го записват в 3D. Краен резултат? Според повечето критици, филмът е зомби-фест, пълен с човекоподобни същества, лишени от живот и емоция, с оцъклени стъклени очи. И всички са прави - това е факт. Причините за тази реакция са комплексни и трудни за формулиране, но нека все пак опитам:

На първо място с пълна сила идва Final Fantasy-ефекта, нищо че в случая говорим за истински performance capture. Зрителската аудитория до момента е тренирана всяко "изкуствено" същество на екран да бъде с хиперболизирани/стилизирани емоции (все пак всички сме нагъвали от кютнеса на Пиксар и Дриймуъркс до момента, вкл. и в появилия се по същото време The Incredibles) и изведнъж това отдръпване от статуквото към хипер-реалистичен подход изглежда чуждо, непривично и притеснително. Когато пък заедно с това притеснение идва и пълното игнориране на авторските цели - а е пределно ясно, че целият Полярен експрес всъщност е експеримент, който да покаже докъде може да се стигне в момента по този път - тогава вече започва да се говори за зомбита в коледен филм и как следователно зрителите никак не се чувстват докоснати от Коледния Дух. Очаквания, какво да ги правиш...

Второ: от горното видео се вижда, че есенцията на актьорската игра е хваната в голяма степен, но дори като гледа човек live-action изълнението на Ханкс, няма как да го приеме за нормално. Този тип актьорска игра е характерна и нататък, в Беоулф и Коледна песен - просто Земекис изисква от актьорите си да се държат изключително странно, до степен на зловещо, и това неминуемо се просмуква в CG-героя им, правейки филмите още по нечовешки (което зрителите екстраполират погрешно единствено върху несъвършенствата на технологията). Чел съм много мнения, че тези филми биха били прекрасни, ако бяха live-action, но всички грешат, защото по трасето от живото изпълнение до движещата се кукла във филма е изгубено много по-малко, отколкото creepiness е привнесен след инструктажа на Земекис как да се изиграе ролята. Самите изпълнения могат да бъдат определени като... "дървени" - те не са станали тазкива само заради несъвършенствата на технологията.

Трето: дизайнът на героите (т.е. самите CG-модели), както и финалният рендер страдат от много проблеми. Това са камъни в градината на Doug Chiang - дизайнерът на продукцията, и той няма оправдание за тях. Тук, вместо да давам примери, ще дам линк към едно доста критично изследване на това защо Полярният експрес не работи, направено от действащ аниматор - Ward Jenkins. В него има доста неточности, доста предубеждения и доста от типичната аниматорска пристрастност, която е следствие от изявленията на екипа на Полярен експрес, че видите ли, performance capture ще изяде хляба на аниматорите (особено в първата част, която буквално е изнервяща за четене). Но извън това, що се отнася до tweak-ването на кадрите от филма, има доста правилни наблюдения, защо тези модели не работят, дори оставяйки движението настрана. За тези, на които не им се чете стена от текст на английски (въпреки че предполагам е по-леко занимание от четене на стената от текст, която тук се получава), ще спомена само най-фрапиращият пример, защото се отнася точно до проблема със "стъклените очи":

Оставяйки настрана, че веждите след редакцията показват съвсем различна емоция (не толкова на учудване, колкото на страх), ключовият момент е в следния цитат:

Тук момчето получава своя билет и очевидно трябва да е възхитено от него, но изглежда безизразно. Това, което забелязах във филма е постоянната осветеност на очите на главния герой, като че ли искат да сме в постоянен потрес от тях. На практика обаче, те изглеждат като на кукла. Просто не е естествено да виждаш постоянно целия ирис - винаги ще има сенки, дори при най-драматичните и въздействащи очи. Като следствие, омекотих интензивността на ирисите и зеницата, като добавих малко сянка точно под горния клепач.

Като че ли всички в екипа на Земекис са били толкова въодушевени от това как работи технологията, която са създали, че са игнорирали всички потенциални проблеми, които не са свързани пряко със самата нея. И аудиторията, просто погнусена, без да може да посочи с пръст от какво точно (нещо, което е предизвикателство дори за хората от бранша) - просто заявява, че performance capture sux cox и толкова. Което води до...

Четвърто: Земекис е направил фундаменталната грешка да се обгради от много добри техничари, които са създали работеща система за performance capture, но не и от много добри аниматори. Това е съзнателен ход от негова страна, който показва колко експериментален всъщност е филма. Както споменах по-рано, независимо колко напреднала е технологията на capture, аниматорите все още имат ключово значение при дооформянето за получаване на финалния резултат. Забележете, че тук, на всичкото отгоре, си говорим за първата стъпка, т.е. за най-примитивната форма на performance capture. Заръката на Земекис към компютърния екип (дори не мога да го нарека аниматорски в класическия смисъл на думата) е да оставят колкото се може повече от хванатия материал, недокоснат. Като че ли е искал да види докъде може да стигне само по този начин, дори да рискува провал.

И въпреки че емоционалният провал е налице като комплексно следствие от горните четири причини, по-скоро го адмирирам за това му решение. Първо, показва смелост, не само безразсъдност. И второ, като че ли е реакция на другата крайност - на изцяло анимираните на ръка физиономии с напън за пълен реализъм, провалили се вече във Final Fantasy и Animatrix (и продължаващи да се провалят и до днес в cinematics на видео-игрите), които показват, че само с key-frame анимация нещата няма как да се получат. Абсолютно ясно е, че на този етап performance capture не може бъде оставен на самотек и има нужда от доизпипване в голяма степен. Но ако трябва да избера дали точно  Полярен експрес трябва да е емоционално ангажиращ филм, който смесва нова и добре отработена стара технология (в превес на втората), или представление, което има за основна цел да бъде showcase на нова технология, която в крайна сметка, когато бъде доведена до неизбежното техническо съвършенство след 10 или 50 години, ще унищожи възможността класическата key-frame анимация да участва като средство за постигане на реалистични движения - предпочитам второто.

Има и още един интересен момент около филма, който засяга степента на стилизация. Идеята на Земекис не е била постигане на пълна фотореалистичност, а paint-like стил, като че ли илюстрациите от книжката са оживели. Това се вижда в избора на осветление и палитра (всичко е синьо-жълто-оранжево, а всеки друг цвят поне в първата половина идва като случайно изпуснат), както и в степента на детайлизация на моделите (вижда се, че не е симулирана всяка бръчка по лицето на Ханкс). Това е може би другата причина за негодуванието на публиката - уж залагаме на реалистични движения, а всъщност ги прехвърляме върху модели, които не изглеждат чак толкова реалистични в крайна сметка. Досега тя не се е сблъсквала с подобно нещо, и следователно то й е чуждо.

Това е добра отправна точка да спомена няколко думи и за следващия проект на ImageMovers - Monster House от 2006. Със Земекис и Спилбърг като продуценти, филмчето беше изненадващо свеж реверанс към 80-тарското кино, без да се пъчи драматично с това, както Джей Джей направи със Супер 8. Същият тип performance capture, както в Полярния експрес беше използван за раздвижване на моделите, т.е. филмът разчиташе на пълен реализъм и детайлност по отношение на запазването на актьорската игра. Но подходът към самите модели и рендер нямаше как да бъде по-изненадващ: героите приличаха на пластилинени фигурки, извадени от stop-motion анимация. Дори стилизацията на останалите елементи - като се почне от дърветата и листата им, та се стигне до пушечни, огнени и други particle-ефекти, беше много силно насочена към максимална простота. Monster House всъщност направи point-ът на Земекис за ползата от "хващането" на нюансирането актьорско изпълнение и използването му върху каквото фантазията ти успее да роди, още по-силен. Вероятно заради това, че героите този път бяха силно стилизирани и не приличаха кой знае колко на истинските актьори, публиката този път не изпротестира. Обаче никой не обърна внимание на огромното количество детайлчета, които няма как да се появят просто ей-така измислени от аниматорите, без да са изиграни преди това. Както и да е, Monster House се оказа много силно подценен филм, а всъщност дава доста добра идея за истинската функция на performance capture - не да приземи фантазията до реалността, а да освободи реалността и да я впрегне в полза на фантазията.


По същото време Земекис правеше Беоулф - още един фундаментален филм в историята на performance cpature. Този път нещата станаха лични. Земекис осъзна къде е част от грешката му, взе присърце оплакванията по повод "мъртвите очи" и се напъна да демонстрира какво значи хипер-реализъм, който всъщност работи. Това, разбира се, не го накара да кривне от избрания път и той не назначи повече аниматори да доошлайфат несъвършенствата. Просто осъзна, че информацията, която се получава със старата технология от 2002-2003 не е достатъчна за степента на "автоматизацията" на процеса, която иска да постигне, и презиобрети технологията си. Оптическите сензори и камери от Полярния експрес бяха заменени с инфрачервени. Броят на камерите беше повишен от 70 на 244, а броят на сензорите - от 150 на 200. За да бъдат по-добре "хванати" движенията, се е изисквало температурата в студиото да бъде доста ниска, така че сензорите да изпъкват и местоположенията им в 3D пространството да се определят по-прецизно. Освен това, Земекис въведе използването на електроокулография (виждате електродите по лицето на Анджелина Джоли вляво), която да регистрира фините движения на околоочните мускули, пропуснати от сензорите. И още нещо, за разлика от Полярния, тук е използвана "камера", базирана на MotionBuilder (виртуално копие на реална такава), която да използва в реално време грубата геометрия на сетовете и данните от motion capture (от 78-те сензора по телата на актьорите), за да даде идея на Земекис как ще изглежда финалния кадър. (Забележете, че години по-късно Камерън се фукаше с нововъведената за Аватар подобна камера - каквато всъщност  още Джаксън използваше във Властелините.) Другото интересно нещо е големината на самия сет - 8 x 11 метра, което е позволило capture на 20-тина човека едновременно и дори на коне (сериозно - из мейкингите се вижда как асистентите на продукцията метат конски фъшкии).

Доста добри намерения. Които обаче, за съжаление, отново служеха за постелки към пътя за ада. Проклятието на "зловещата долина" заработи в пълна сила - колкото по-реални се оказваха CG-персонажите, толкова по-дискомфортно се чувстваха зрителите. Нищо, че проблемите на Полярен експрес присъстваха в много по-малка степен. Моделите на централните персонажи, за времето си, бяха изумителни с детайлността си (стигна се до степен да се симулира мъха по лицето на Анджелина Джоли, докато е в човешка форма). Рендерът наистина успя да постигне заявената цел: да направи всичко да изглежда като движеща се картина на Фразета - хем фентъзи-лайк осветление, но пък с добавен елемент на фотореалистичност, какъвто до момента не беше виждан (забележете примерно капката пот, която се стича по лицето на Беоулф в първия шот от филма, по-горе). Колкото до самите движения - човек може да направи реална преценка за това колко огромно количество от актьорската игра е хваната и пренесена върху героите, само ако види филма, паралелно с live-action изпълненията на актьорите, която опция е достъпна на blu-ray (нещо, което горещо препоръчвам). Сцената между Хротгар и Беоулф, непосредствено след срещата с майката на Грендел е изключително показателна. Изпълнението на Хопкинс там е уловено до най-дребния детайл. Сковаността на Беоулф пък се вижда, че е следствие от сковаността на играта на Рей Уинстън (инструкции на Земекис, какво друго...), а не на кофти capture.

И хората пак се размрънкаха - "какви са тия Shrek-like хора 5 години по-късно, бе". Ами ей такива са: когато фокусът на филма са 3-4 персонажа; когато имаш 150 милиона бюджет, а не 400; когато екипът ти се състои от 200 човека, а не от 500; и когато имаш 2-3 години за направата на филма, а не 5, тогава имаш и приоритети. В резултат на съвсем нормалните ограничения, всички от екипа са се впуснали да изпипват главните герои, а второстепенните са оставени настрана, за когато остане време. И в крайна сметка наистина има трагикомична разлика между детайлността на модела и движенията на Хротгар и тези на случаен негов поданик. Което е ужасно разсейващо и създава крайното лошо впечатление. Това се простираше и до самите сетове - бедни на детайли, с нелепо изглеждащи дървета, с очевиден стремеж да са колкото се може по-малко на брой (примерно целият финален акт на филма според първия драфт на сценария е трябвало да се развива през пролетта, ама кой ще се занимава да моделира и рендва листа по дърветата и трева?). Изключително явно е къде са били поставени приоритетите, и с малки изключения по тях човек трудно може да забележи драматични дефекти. Тук си имаме класическия случай, в който чашата за мнозинството е полу-празна, когато тя всъщност е 2/3-пълна. Човек просто трябва да избере - дали може да преглътне несъвършенствата по фона, и да се възхити от това, което е в центъра на кадъра. Или просто му харесва да мрънка.

Следващата стъпка в еволюцията на технологията на Земекис дойде 2 години по-късно с Коледна песен, която отново беше подчинена на стремеж към колкото се може по-голяма автоматизираност на performance capture процеса и изолирането му от допълнителна аниматорска намеса. Нововъведенията се виждат от горния кадър - маркерите по лицето на Джим Кери са още повече и по-нагъсто. Ключовото обаче е, че тяхното движение в 3D не се получава относно координатната система на сета, а относно координатна система свързана неподвижно с главата на актьора. Това е осъществено с помощта на "каската", от която стърчат 4-те HD камери от двете страни на лицето. Това е минимума, който е необходим, за да се получи информация за положението на всяка точка в 3D (стереоскопично заснемане на двете половини от лицето). И тъй като performance capture в дадения случай се прави от изключително близко разстояние, то детайлността на хванатите емоции е на порядъци по-голяма, в сравнение с предходните технологии. Дори зеницата на очите е била използвана като допълнителен маркер.

В резултат Коледна песен все още е еталон за качество на високотехнологичен истински performance capture - безпрецедентна до момента детайлност на лицевите движения, която се вижда в следното видео, особено между първата и втората минута:

Естествено, филмът имаше много технически проблеми, които отново докараха масова негативна реакция сред аудиторията - остана си проклятието от Беоулф върху второстепенните персонажи, които на места изглеждаха съвсем като изскочили от миналия век (просто е нямало време за тях); недоклатеният рендер (нещо, което не мога да оправдая по никакъв начин); и дори качеството на моделите може да бъде поставено под въпрос (Робин Райт беше малтретирана дигитално за пореден път, а за косата на Скрудж дори не искам да започвам...).

Между другото, след Beowulf, ImageMovers Digital беше закупено от Дисни, които имаха план да изстрелват срещу публиката по едно performance capture заглавие на година, разбира се с името на Земекис като режисьор или продуцент. Започна да се говори за милиони, раздадени за правата над песните на Бийтълс, за нова версия на Жълтата подводница, в която се очакваше да видим, немислимото - компютърно генерирани фотореалистични музикални икони (част от които вече не са между живите), насред халюциногенния сетинг. Обаче финансовите резултати на Коледна песен се оказаха незадоволителни при огромния бюджет и в Дисни започнаха да се чешат по главите и чудят дали са направили изгодна сделка.

Точката на ImageMovers Digital беше сложена миналата година след като Mars Needs Moms се оказа пълно зрителско фиаско и при 150 милиона, похарчени за направата му, успя да спечели 30-тина, беше изтеглено от кината, и международния пазар. През пролетта на миналата година на Дисни им писна и затвориха ImageMovers Digital, а със Земекис се случи чудо - върна към live-action-а (с Flight с Дензъл Уошингтън, който се чака през есента).

Това е цялата, тъжна в много голяма степен история на едно десетгодишно падение. В същото време се развиваше веселата история на един петгодишен триумф - този на WETA Digital, Питър Джаксън и Джеймс Камерън. Вече споменах за първите успешни стъпки на тази компания в реалистичното раздвижване отпреди въвеждането на performance capture - Ам Гъл. Сега е време за това, което последва - истерията около Аватар.

Джеймс Камерън се скъса да рекламира каква технологична революция представлява филмът му - как актьорската игра на Сам Уъртингтън, Зоуи Салдана и Сигърни Уийвър съживява по невиждан досега начин съответните им наавита с помощта на свръх-развита нова технология на performance capture, която не пропуска и най-дребните детайли. И хората масово налапаха въдицата, защото пред очите си наистина виждаха продукт, който работи. Аватар безкомпромисно написа кино-история, което е неоспорим факт. Това, което не е факт, а мит, индуциран с агресивната PR-кампания на филма е, че е безпрецедентна технологична революция и последен писък на performance capture.

3-дисковото blu-ray издание на Аватар включва час и половина мейкинг, посветен само на създаването на наавитата, и единственото, което успя да направи е да затвърди съмненията ми, че използваната технология за раздвижване на наавитата е много трудно дори да се нарече performance capture, камо ли да се брои за последен негов писък. Картинката по-горе е достатъчно красноречива: по лицето на Зоуи има около 50-тина зелени точки, които предполагам са нарисувани с флумастер. Пред лицето й пък има една HD камера, която го снима. Сега, Камерън очаква, че като видим тази картинка ние трябва да се възхитим и да му изръкопляскаме, че в WETA по негово настояване са разработили нечувана досега технология за ефективно раздвижване на лицата на моделите.

Това просто няма как да се случи физически. Дори да оставим настрана подробности като количеството "контролни точки", цялата идея за истински performance capture се разпада заради това, че тези точки са снимани от една единствена позиция. При това положение триангулация е невъзможна, следователно крайният резултат от целия този процес няма как да бъде движение на всеки маркер в 3D пространсвото, а е просто видеозапис на Зоуи в 2D равнина. Това е фундаментална разлика с процеса развит от Земекис - там движението на точките в 3D директно се транслира върху 3D модела. При Аватар се случва това, което се случваше през 2001 с Ам Гъл - аниматорите разполагат с 3D модел и с референс видео на неговото движение. Тяхната работа е да напаснат "на ръка" и да имитират в максимална степен това видео - нещо като overpaint. Разбира се, огромното предимство в сравнение с Властелинът е, че тук позицията, от която се прави референс видеото е фиксирана и процесът в една или друга форма може да се подпомогне софтуерно. Това обаче пак е по-примитивна технология, дори от тази използвана в Полярния експрес. Представете си как на горната снимка Зоуи се усмихва. Маркерите около устата й ще се издърпат не само встрани, но и назад спрямо камерата. Камерата обаче ще загуби информацията за издърпването назад и ще остане само проекцията на това движение. После аниматорите могат да нагласят страничното движение, но моделът на наавито е 3D, така че движението назад трябва да си го "измислят", т.е. да го добавят на ръка, без да е базирано на какъвто и да било capture.

Когато спорих по този въпрос на един форум, някакъв разбирач ми даде статия, в която са направени сметки, че движението в дълбочина може да се възстанови дори от 2D проекция, като се има предвид промяната в размера на маркерите, когато отиват назад. Да, теоретично това е така. Но на практика, с подобна големина на маркерите, с такава широкоъгълна камера (което води до невероятни изкривявания по периферията), и най-вече - при толкова фини движения, тази техника ми се струва абсолютно неприложима (а и ако беше, някой щеше да се похвали). Това, с което Камерън не се хвали по обясними причини е, че в Аватар е използвана библиотека от лицеви движения - т.нар. FACS tехнология (Facial Action Coding System). С помощта на тази система, която е в действие от 1978 година, е било възможно да се генерират реалистични изражения на страх, гняв, смях и т.н. От WETA само са направили ъпгрейд, за да могат да включат и симулиране на говорене.

В крайна сметка едно е ясно - Аватар изобщо не разчита на някакво революционно развитие в performance capture. Данните получени при това заснемане на лицата са смешно малко в сравнение с правения по същото време Коледна песен. И също, в контраст с филма на Земекис, този на Камерън е разчитал в необозримо по-голяма степен на армията аниматори, които са доизпипвали на ръка всеки кадър с наави в него в продължение на години. Това е много типично за WETA - екип от много и много талантливи хора, които отгоре в хранителната пирамида имат един титаничен деспот (Камерън, Джаксън... изберете си), който да ги направи сами да си приказват, докато изпипат всичко до съвършенство.

И тук идва най-важният въпрос: защо след като технологията на Земекис е очевидно по-напреднала (и човек може да проследи еволюцията й през годините), а технологията на Аватар е на практика същата, която е използвана за анимирането на Ам Гъл с бих казал козметични изменения, филмите на Земекис се сгромолясаха и пред критика и пред публика, а Аватар стана най-касовия филм в историята. Нещата отново са прости - ще изброявам за краткост и нагледност:

• Аватар струва почти толкова, колкото трите филма на Земекис взети заедно.
• Аватар е правен в продължение на 5 години (половината от това време е било нужно на аниматорите да раздвижат наавитата), докато Коледна песен е правен за 2.
• Камерън е имал акип от 500 аниматора, Земекис - от 200.
• Земекис е направил 3 доста провокативни филма, разчитащи на странна и необичайна актьорска игра, която би се приела смесено дори ако не беше облечена в компютърни одежди, докато Аватар съдържа човекоподобни същества с огромни котешки очи, в които публиката по дефиниция няма как да не се влюби. Тези същества, също така се подвизават в повърхностна трактовка на историята за Покахонтас.
• Земекис направи 3 филма, в които показа докъде може да достигне технологията в раздвижването на истински фотореалистичен човек; Камерън никога не е имал амбиции за подобно нещо. Наавитата просто няма как да попаднат в uncanny valley, защото са с котешки носове и очи, с елфически уши. И защото целите са сини.

Накратко: филмите на Земекис са много по-рисковани, базирани са на много по-развита технология, която систематично надгражда над предходната, и опитват да покажат неща, които до момента не са опитвани и дори противопоказни. Освен това, имат за цел да минимизират отношението (бюджет + времеемкост)/качество. Както и да освободят напълно режисьора от физическата реалност - той буквално може да направи всичко, и независимо дали двама души си говорят или се бият с дракони, сцената пак ще струва едни и същи пари (за момента - по милион на минута, с тенденция за намаляване). Грешката на Земекис е, че така е прегърнал системата си за performance capture и толкова си е повярвал, че тя е самодостатъчна, че е залитнал и не е осъзнал необходимостта от сериозна допълнителна аниматорска намеса след това. В идеалния случай, може би след 10-20 години бихме стигнали и дотам - когато можеш да запечаташ в 3D движението на всяка клетка от кожата на първолкасен актьор и после с един клик на мишката да го прехвърлиш върху модел на Хъмфри Богарт. И всичко това ще струва жълти стотинки. Но просто още не му е дошло времето.

От една страна, тази систематичност при Земекис, да остане верен на идеята си, е похвална и смела - човек вижда нагледно докъде може да се достигне по този път в момента. Това е единственият начин, по който може да се стигне до "идеалния случай" (как иначе, ако никой не опитва и не се проваля). От друга е някак тъжно, че експерименталните му филми са си по-скоро чисти експерименти и на тях не може да се гледа като на пълноценно кино (с уговорки за Беоулф, който е интересен по толкова много начини, че ще трябва отделен пост).

Сигурно започвам да звуча като Земекис-фенбойчето (което съм), но в интерес на истината ще спомена, че намирам Аватар за истинско псотижение в CG-киното. Отгоре изброих точки, които изглеждаха като оправдания в полза на Земекис, сега ще изредя няколко други:

• Аватар е стряскащо консистентен (за разлика от филмите на Земекис) - всяко незначително наави из бекграунда е пипнато, все едно ще е централен персонаж.
• Аватар е чудовищно рендиран, създавайки усещането за почти пълен фотореализъм (сравнете как светлината реагира с кожата на наавитата и как същото се случва с кожата на Скрудж).
• Наавитата може и наистина да не са хора, но човек им вярва. Дори при този издишащ и гледан многократно романс.
• Пандора може и да не е най-блестящият пример за creature-design, но пък е... ОГРОМНА. Всяко дърво, всяко листо, всяко стръкче трева е било измислено, създадено и раздвижено, за което е паднал епичен къртовски труд. (Като си представя ужасяващите горички от Беоулф ме досрамява, че въобще отварям уста да защитавам екипа зад тях.)

Последното всъщност многократно ме е навеждало на мисълта, че в някакъв момент ще има компания, която изработва цял виртуален свят с всички възможни детайли в него, а режисьорите ще си купуват част от него, за да "заснемат" филмите си там. Тук е мястото, в което пълното развитие на технологията на Земекис и деспотичността по отношение на изпипването на детайлите на Камерън - независимо дали са във фокуса или не, биха си подали ръка. И всичо това само с първоначална инвестиция, после буквално всеки филм ще е за без пари. Може и да го доживеем този момент, кой знае...

Между другото, някой въобще стигна ли дотук?