Na blogu Hugging Face vyšel 30. října 2026 příspěvek autorů Ricka Grandyho a Maryam Motamedi, kteří uvádějí, že pracují v NVIDIA. Popisují projekt MonsterHouse, interaktivní halloweenskou projekci. Postavou je nevrlý starý dům, garážová vrata s pusou, která mluví hlasem zlostné pirátské lodi. Reaguje na děti vybírající sladkosti a obměkčí se, když návštěvníci použijí slušné chování. Celé to běží na jedné pracovní stanici a staví na NVIDIA Nemotron Voice Agent.

Z čeho se postava skládá

Poslouchá ji streamovací anglický model nvidia/nemotron-speech-streaming-en-0.6b s 0,6 miliardy parametrů. Myslí model Nemotron 3.5 Bolt E4B 4GB, uvedený na stránce jako textový model s 8B parametry. Autor jako výchozí použil 4bitovou kvantizovanou verzi a porovnával ji s BF16 checkpointem. Osobnost doplňuje adaptér LoRA. Mluví přes Magpie TTS Zeroshot, který místo natrénovaného hlasu používá krátkou referenční ukázku.

Pusu animuje Audio2Face-3D v Unreal Engine 5, postavu autor vytvořil v Autodesk Maya a oheň za vraty přidal v Unrealu. Návštěvníky sleduje model Nemotron 3 Nano Omni (30B-A3B), který popisuje kostýmy, zatímco YOLO a ByteTrack počítají a sledují lidi. Příspěvek neuvádí licence jednotlivých modelů. Zajímavé je, že aplikace, ne model, si pamatuje stav konverzace, například zda už návštěvník řekl „prosím“.

Proč Bolt E4B a LoRA

Autor vyzkoušel víc než tucet modelů a pro živý dialog zvolil Bolt E4B, protože má podle příspěvku „menší nároky než jiní favorité“. Jmenuje Qwen3 30B-A3B a Qwen 3.6 35B-A3B. Adaptér LoRA trénoval na „tisících zkontrolovaných ukázkových konverzací“, datová sada obsahovala přes 5 000 vícekolových rozhovorů. Některé běhy trénování zabraly zhruba hodinu, jiné několik hodin. Trénink a testy řídil lokální agent a data pomáhal vytvářet i hodnotit velmi velký jazykový model.

Postava má být nevrlá, ale nakonec povolí. Návštěvníci jsou nejdřív odbyti, vytrvalost dům obměkčí, „prosím“ zabere hned a „děkuji“ vyvolá vlídné rozloučení. Autor nechce, aby se z ní stal veselý vrátný. Stav rozhovoru, třeba to, zda už návštěvník poprosil, přitom hlídá aplikace, ne samotný model, a postava tak může povolit až ve chvíli, kdy to dává smysl.

Rychlost, hlas a hardware

Medián od konce řeči po zvuk odpovědi je s kvantizovaným Boltem a syntézou hlasu 1,70 sekundy. U předpřipravených odpovědí klesá na 0,72 sekundy. Detekce konce řeči čeká na 300 ms ticha. Pozdravy a vtipy o sladkostech jsou uložené v bance textů a nahrávky šetří syntézu. Dům má sedm nálad od nevrlé a výhružné po pobavenou a nadšenou. Pro každou je potřeba samostatná hlasová ukázka dlouhá 3 až 10 sekund. Synchronizaci pusy kompenzuje posun 100 ms.

Úlohy jsou rozdělené mezi dvě karty. Jazykové a hlasové modely běží na NVIDIA RTX PRO 6000 Blackwell Max-Q, grafika v Unrealu a Audio2Face-3D na RTX PRO 4000 Blackwell. Omezením byl podle autora výpočetní výkon, ne paměť.

Co ještě chybí a jak na vlastní postavu

Test s videem pěti kostýmovaných ovcí model označil jako pirát, upír, čarodějnice, dýně a duch, autor ale zdůrazňuje, že šlo o syntetický test. Skutečné skupiny na příjezdové cestě a noční osvětlení teprve čekají. Zbývá vylepšit animaci, dokončit testy s opravdovými návštěvníky a automatizovat výdej sladkostí. Nechat dům běžet bez dozoru se autorovi zatím nepodařilo.

Příspěvek uvádí šestikrokový postup: spustit Voice Agent, vybrat profil Bolt E4B, začít systémovým promptem a případně natrénovat LoRA, zvolit hlas, přidat Audio2Face-3D a volitelně kamerový model. Magpie TTS Zeroshot vyžaduje pro lokální běh žádost o přístup a použít se mají jen hlasy, k nimž máte svolení. Pro české čtenáře je důležité, že rozpoznávací model v projektu je anglický, česky mluvící postavu by tedy bylo potřeba řešit jinak. Kód MonsterHouse autor k vydání nepřipravil.

Zdroje

• MonsterHouse: NVIDIA Nemotron Halloween Project, Hugging Face, 30. října 2026