近日,腾讯首席科学家,腾讯AI Lab及腾讯Robotics X实验室主任张正友在 2024 年中国三维视觉大会(China3DV 2024)上发表了精彩的主题演讲,并分享了腾讯在AI数字人领域的最新研究成果。 期间,张正友展示了以《和平精英》数字代言人吉莉为代表的全双工对话数字人技术,并进行了现场演示。 这是吉莉继出席联合国妇女署活动、央视五四青年节特别节目等场景之后的又一次亮相,进一步展示了光子工作室群在AI数字人领域的积淀和新探索。 技术革新,AI NPC连接虚实集成世界 2024 年中国三维视觉大会由中国图象图形学学会(CSIG)主办,是目前国内唯一专注于三维视觉领域的学术盛会。本届大会设置了包括3DV与世界模型战略、数字人等多个前天富注册登录官网沿论坛,吸引到相关领域超过1400名专家学者到场研讨。 会上,张正友表示,随着技术力进化,数字世界和真实世界的结合日趋紧密,虚实集成世界已成趋势。作为虚实集成世界交互的核心,数字人需要向人格化、知识化、个性化三个方向持续进化,以帮助人类更好地完成数字、物理世界任务,同时避免交互多样化导致的失控风险。 在这样的理念下,腾讯光子工作室群联合腾讯 AI Lab对AI数字人的多链路技术能力进行了持续的研究与探索,以《和平精英》的数字人代言人吉莉为载体,团队聚焦于全双工对话数字人与高效动画制作管线两大方向。 全双工对话数字人:人机交互新篇章 为了实现更流畅、精准的人机交互,团队在语音识别、处理、数字人内容生成和语音播报等多个环节完成了关键技术积累。 识别阶段,ASR语音识别技术可在声学特征提取、声学模型、语言模型与语言处理等多种能力的配合下实时、准确地识别多样真人自然语言,实现真正意义上的“边说边听”。 处理阶段,数字人背后的对话能力依托于千亿级参数的LLM进行预训练加风格人设微调,同时依赖RAG技术给数字人对话内容进行知识辅助,可快速理解用户意图,关联上下文内容,搜天富平台注册登录地址索相关知识,最终生成逻辑清晰的回答,并依托TTS语音生成、SVC歌唱等技术,结合应用场景实现自主规划的主动对话。 另一方面,为推动语音交互向动画交互的进化,团队还在探索Speech2Face 脸部AI驱动算法和LLM-based动作预测及生成等前沿技术,实现数字人多模态驱动。 通过Speech2Face 脸部AI驱动算法,数字人可实现更精细的口型、表情脸部驱动,LLM-based动作预测及生成则可基于海量训练,达成数字人躯体与语言表达、场景等元素的自然配合,使其整体交互表现更趋近于真人。 在实机演示中,吉莉展现出了出色的交互能力。她能够即时理解用户需求,并给出自然流畅、情绪饱满的反馈。同时,她的口型、表情和动作演绎都十分自然流畅,无论是对话、外形与动作演绎,还是面部微表情、皮肤肌理都达到天富平台了细腻、逼真的程度,为用户带来了全新的体验。

---

这是水淼·PHPWEB站群文章更新器的试用版本更新的文章，故有此标记(2024-06-11 13:15:25)