NVIDIA Nemotron 开放模型驱动万圣节互动装置 MonsterHouse

OmniTools 10月31日消息，Hugging Face 博客消息，NVIDIA 技术文章介绍了万圣节互动投影装置 MonsterHouse。该装置由 NVIDIA 的 Rick Grandy 和 Maryam Motamedi 创作，能够聆听上门讨糖的访客，并以暴躁老海盗船的口吻回应；当访客使用“请”和“谢谢”等礼貌用语时，它的态度会缓和。

MonsterHouse 基于 NVIDIA Nemotron Voice Agent 构建，使用 Nemotron Speech ASR 将语音转文本，Nemotron 3.5 Bolt E4B 4GB 生成对话，Magpie TTS Zeroshot 合成语音，Audio2Face-3D 在 Unreal Engine 5 中驱动嘴部动画。系统还借助 Nemotron 3 Nano Omni 描述服装，并用 YOLO 和 ByteTrack 统计与跟踪访客。

整套系统运行在一台工作站上：语言与语音模型管线跑在 NVIDIA RTX PRO 6000 Blackwell Max-Q 上，Unreal Engine 图形与 Audio2Face-3D 跑在 NVIDIA RTX PRO 4000 Blackwell 上。文章给出的中位“语音结束到音频输出”延迟为：Bolt Q4 与 TTS 组合 1.70 秒，缓存回复 0.72 秒；当前语音结束检测会等待 300 毫秒静音。

角色塑造方面，作者使用 LoRA 适配器和超过 5000 条多轮对话数据集训练模型，并设置七种情绪。控制台可调整对话流程、模型选择、录音、提示词和嘴部动画，还提供现场、演示和麦克风等模式。