Zpracování multimédií
Animace obličeje

Existuje mnoho metod pro animaci a modelování obličeje. Před tím, než se vybere správný způsob, je potřebné definovat požadavky na konkrétní animaci. Příklad takových požadavků na modelování a animaci je tento:

- Musí být animace nepřetržitá, kontinuální?
- Výkon musí být optimalizován pro PC anebo mobilní telefon?
- Musí se animace synchronizovat s řečí?
- Kvalita animace musí být co nejlepší, výsledná animace by měla být co nejvíce podobná skutečnosti.

Existují dva základní přístupy pro animaci obličeje: dvourozměrná anebo trojrozměrná a animace v reálném čase anebo zpětně vypočítaná animace.

Animace v reálném čase dovoluje uživateli interaktivně zasahovat do animace a redukuje čas potřebný pro přípravu animace. Nevýhodou této metody je kvalita obrazu, neboť čas a tím pádem i výkon na přípravu obrazu je omezen. Kalkulace potřebná pro výpočet každého obrázku by neměla být delší než přibližně 0.05s, protože je třeba dosáhnout alespoň 20 obrázků za sekundu. (20 FPS – obrazy (frames) za sekundu). Kvalita trojrozměrné animace je samozřejmě subjektivně lepší než kvalita dvourozměrné animace, protože výsledná animace je více přirozená.

V oblasti animace obličeje jsou nejznámější metody jako interpolace, parametrizace, simulace svalů atd.

Je mnoho různých technik pro modelování lidského obličeje v prostoru, například polygonální modelování, modelování pomocí parametrických ploch, modelování menších částí.

## Hovořící hlava v mobilním telefonu

Tato část představuje projekt aplikace syntézy řeči společně s animací obličeje na mobilním telefonu. Cílem tohoto projektu bylo vytvoření multimediálního komunikačního systému nepřenášejícího video a hovor, ale pouze text a pomocné informace pro animaci obličeje. Výsledkem byla mobilní Java aplikace fungující na mobilních telefonech, která dokázala číst krátké textové zprávy (SMS). Po přijetí SMS se na obrazovce objevil animovaný obraz hovořící hlavy vytvořený z fotografie odesílatele (fotografie byla předem uložena v databázi telefonu). Tato hlava následně četla přijatou zprávu.

V našem příkladu se model i vizémy potřebné pro animaci nacházely přímo ve formátu objekt (OBJ), což znamená, že hlava neměla jen čáry a kontury, ale i texturu.

Neutrální model a textura obličeje

Vizéma je specificky deformovaný model obličeje. Deformace samozřejmě není libovolná, ale obličej je deformován tak, aby to vypadalo, že obličej vyslovuje příslušnou fonému. Model vizémy má ty samé čáry a body a schéma jako nedeformovaný obličej. Mění se pouze pozice uzlů modelu. Na základě této změny je model schopný poměrně jednoduše a s malým nárokem na výkon provádět interpolace uzlů jakož i změnu orientace povrchů definovaných příslušnými uzly.

Samotná animace je realizována zmíněnými interpolacemi vizém. Neutrální model je přečtený ze souboru (spolu s ostatními modely a vizémami). Interpolace se provádí mezi modely. Animace je prováděna mezi jednotlivými modely (model reprezentuje různě se tvářícího člověka, resp. různou mimiku obličeje). Animace je vytvářena v reálném čase. Model je deformován na základě výsledků detekce bodů obličeje (popsané v předešlé kapitole).

Vizémy

Animace se přehrává současně se syntetizovanou řečí. Řečový syntetizátor použitý v tomto projektu je identický s difónovým syntetizátorem, popsaným v kapitole Syntéza řeči. Velmi důležité je zesynchronizovat animaci a syntetizovanou řeč.

Ukázka aplikace na mobilním telefonu: personalizovaný model (první) a obecný model (druhý a třetí)