Spracovanie multimédií
Animácia tváre

Existuje veľa metód na animáciu a modelovanie tváre. Pred tým, než sa vyberie správny spôsob, je potrebné definovať požiadavky na konkrétnu animáciu. Príklad takýchto požiadaviek na modelovanie a animáciu je nasledovný:

- Musí byť animácia nepretržitá, kontinuálna?
- Výkon musí byť optimalizovaný pre PC alebo mobilný telefón?
- Musí sa animácia synchronizovať s rečou?
- Kvalita animácie musí byť čo najlepšia, výsledná animácia by mala byť čo najviac podobná skutočnosti.

Sú dva základné prístupy pre animáciu tváre: dvojrozmerná alebo trojrozmerná a animácia v reálnom čase alebo spätne vypočítaná animácia.

Animácia v reálnom čase dovoľuje používateľovi interaktívne zasahovať do animácie a redukuje čas potrebný pre prípravu animácie. Nevýhodou tejto metódy je kvalita obrazu, keďže čas a tým pádom aj výkon na prípravu obrazu je obmedzený. Kalkulácia potrebná pre vyrátanie každého obrázku by nemala byť dlhšia ako približne 0,05 s, pretože je potrebné dosiahnuť aspoň 20 obrázkov za sekundu. (20 FPS – obrazy (frames) za sekundu). Kvalita trojrozmernej animácie je samozrejme subjektívne lepšia ako kvalita dvojrozmernej animácie, pretože výsledná animácia je viac prirodzená.

V oblasti animácie tváre sú najznámejšie metódy ako interpolácia, parametrizácia, simulácia svalov atď.

Je veľa rozličných techník na modelovanie ľudskej tváre v priestore, napríklad polygonálne modelovanie, modelovanie pomocou parametrických plôch, modelovanie menších častí.

## Hovoriaca hlava v mobilnom telefóne

Táto časť predstavuje projekt aplikácie syntézy reči spolu s animáciou tváre na mobilnom telefóne. Cieľom tohto projektu bolo vytvorenie multimediálneho komunikačného systému neprenášajúceho video a hlas, ale iba text a pomocné informácie pre animáciu tváre. Výsledkom bola mobilná Java aplikácia fungujúca na mobilných telefónoch, ktorá dokázala čítať krátke textové správy (SMS). Po prijatí krátkej textovej správy SMS sa na obrazovke zjavil animovaný obraz hovoriacej hlavy vytvorený z fotografie odosielateľa (fotografia bola dopredu uložená v databáze telefónu). Táto hlava následne čítala prijatú správu.

V našom príklade sa model aj vizémy potrebné pre animáciu nachádzali priamo vo formáte objekt (OBJ), čo znamená, že hlava nemala iba čiary a kontúry, ale aj textúru.

Obr. 6.6: Neutrálny model a textúra tváre

Vizéma je špecificky deformovaný model tváre. Deformácia samozrejme nie je ľubovoľná, ale tvár je deformovaná tak, aby to vyzeralo, že tvár vyslovuje príslušnú fonému. Model vizémy má tie isté čiary a body a schému ako nedeformovaná tvár. Mení sa iba pozícia uzlov modelu. Na základe tejto zmeny je model schopný pomerne jednoducho a s malým nárokom na výkon robiť interpolácie uzlov ako aj zmenu orientácie povrchov definovaných príslušnými uzlami.

Samotná animácia je realizovaná spomenutými interpoláciami vizém. Neutrálny model je prečítaný zo súboru (spolu s ostatnými modelmi a vizémami). Interpolácia sa robí medzi modelmi. Animácia je robená medzi jednotlivými modelmi (model reprezentuje rôzne sa tváriaceho človeka, resp. rôznu mimiku tváre). Animácia je vytváraná v reálnom čase. Model je deformovaný na základe výsledkov detekcie bodov tváre (opísané v predošlej kapitole).

Obr. 6.7: Vizémy

Animácia sa prehráva spolu so syntetizovanou rečou. Rečový syntetizátor použitý v tomto projekte je identický s difónovým syntetizátorom, opísaným v kapitole Syntéza reči. Veľmi dôležité je zosynchronizovať animáciu a syntetizovanú reč.

Obr. 6.8: Ukážka aplikácie na mobilnom telefóne: personalizovaný model (prvý) a všeobecný model (druhý a tretí)