Meta为AI助手Muse配上虚拟形象与实时语音,可视频通话
Meta首席执行官马克·扎克伯格在社交平台上发布串文,宣布个人AI助手Muse正式上线实时语音对话与富有表现力的虚拟形象功能。这两项能力率先面向美国用户推送,覆盖移动端、网页端和Mac应用。
像打电话一样交谈,可随时打断
用户点击应用右上角的电话图标,就能像打电话一样与Muse交谈,并可在其回答过程中随时打断。交互方式上,用户可选择仅语音、在聊天界面旁显示虚拟形象,或切换至全屏“面对面”模式。
Muse的默认形象是昵称为“Jolly”的卡通角色,用户也可将其替换为人物、动物或其他角色;语音方面提供数百种风格,包括“纽约客式活力”和“海盗风”等。
双模型驱动,声音与画面同步
本次更新主要由Muse Realtime Voice语音模型和Muse Realtime Avatar虚拟形象模型提供支持。前者会同时生成“说什么”和“怎么说”的信息;后者基于同一数据流实时生成表情、口型和肢体动作,让声音与画面保持同步。
Meta称,该系统可流式输出448×768分辨率、25帧每秒的竖屏视频,从用户说完话到收到首个音视频响应的延迟约为870毫秒。
从语音到表情、口型与肢体动作,均由同一数据流实时驱动,声音与画面保持同步。
定位更自然的个人智能体交互
Meta将这一能力定位为更自然的个人智能体交互:用户可以在散步、双手忙碌时口头安排任务,Muse则在后台继续处理;也可用于头脑风暴、旅行规划、面试或演讲练习。Meta还展示了让Muse虚拟形象跳舞并分享到Instagram、Facebook或WhatsApp的玩法。
从纯文字问答到能听会说、有表情有动作的实时对话,个人AI助手的交互形态正在向“面对面”靠拢,Muse的这次更新是其中一个值得关注的样本。