Speech Graphics：打造基于云的实时面部动画平台，服务游戏与元宇宙概念下品牌推广
近日，图像及语音处理技术解决方案商Speech Graphics完成了700万美元融资，由Sands Capital领投。该笔资金将用于扩充团队、发展合作伙伴关系及扩大产品服务。
点击视频 了解更多
Speech Graphics于2010年在英格兰成立，一直致力于高质量的面部动画自动化处理技术，在肌肉动力学、面部建模、语音识别和计算机图形领域有深入研究，因在游戏项目中引入逼真的面部动画技术而受到关注。
Speech Graphics基于音频驱动的面部动画技术，能使游戏及其他应用中的数字角色在说话时有逼真的面部动作和嘴型。Speech Graphics CEO Gregor Hofer表示，在此技术支持下，游戏开发商将能节省大量时间和金钱成本。
《堡垒之夜》《古墓丽影》《消逝的光芒2》......众多大型游戏都应用了Speech Graphics的相关技术。Speech Graphics的客户涵盖微软、EA、卡普空等全球大型游戏公司。游戏已成为Speech Graphics主要收入来源。
目前，Speech Graphics正在进军人工智能市场，发布基于云的实时面部动画平台。借助Rapport平台，用户将能够通过网络、游戏引擎或应用程序与虚拟化身进行高度个性化交互。此举也是为了将业务拓展至非游戏领域。
此外，Speech Graphics还对“元宇宙”产生了浓厚兴趣。Gregor Hofer表示，“很多公司找我们洽谈合作，咨询如何在元宇宙概念下推广品牌，而我们认为逼真的虚拟化身能明确做到这一点。”
Speech Graphics：
将逼真的面部动画引入游戏
Speech Graphics成立于2010年，总部位于英格兰爱丁堡，是一家图像及语音处理技术解决方案商。
创始人Michael Berger之前从事自动语音研究工作，在爱丁堡大学攻读信息学博士学位期间，他又开始研究语音动画系统，并遇到了另一个深耕语音动画的创始人Gregor Hofer。之后两位创始人决定成立公司，将自己的研究成果和技术商业化，这才有了Speech Graphics的诞生。
于是，两位创始人开始通过Siggraph这类计算机图形领域的兴趣小组、活动寻找潜在客户。Speech Graphics的首个客户是Monolith的大型游戏项目《中土世界:暗影摩多》。
当时，这类有影视IP基础的大型游戏项目包含非常多的动画呈现，开发商往往会面临繁杂且大量的动画制作工作。为了确保游戏完整度或按时交付，有时候还不得不牺牲掉一些动画效果。
Speech Graphics的技术能够自动为数千行音频制作动画，而无需手动制作动画。极大的解决了行业痛点，为游戏开发商节省大量的时间，且不必担心保真度。
2016年，Speech Graphics推出了第一款软件产品SGX，即能够将音频批量处理成面部动画。不久后又推出了实时技术SG Com，该技术可以将音频同步转换成面部动画。
二者的区别在于，SGX一般用于离线动画，也就是使用预先录制的音频。SG Com则是一个软件开发工具包，可促进运行时的实时动画。尤其当对话是由特定的游戏事件触发时，或者玩家之间交流时，SG Com就派上用处。
与其他面部动画技术不同的是，Speech Graphics的核心技术不仅传达语音，还传达语音中的情感内容。这些内容先通过Speech Graphics专有的分析技术从音频中捕获，然后将面部动作和说话者的声音进行动态匹配，从而让语音中的情感内容同步反映在面部。
实际上，让虚拟角色对口型并不是什么难事，借助语音驱动的口型同步算法在90年代初就能实现。但这种技术只限于对口型，且呈现效果比较粗糙，已经无法满足当下的市场需求。而Speech Graphics采用的的语音图形技术要复杂得多，能够更好地还原面部动作。
其中的难点在语音捕捉上，因为会涉及嘴唇和舌头的咬合、嘴巴的形状变化、语言运动的速度等方面。而Speech Graphics的程序音频驱动技术与基于光学或视频的捕获相结合，提供了完整的性能驱动解决方案。Speech Graphics的技术几乎与任何面部制作工具兼容，且为Maya和Unreal提供了特定的插件，进一步加速开发流程。
目前，Speech Graphics已在这一技术领域建立了领导地位。客户包括微软、EA、动视暴雪、Epic等一众大厂。《堡垒之夜》《消逝的光芒2》《战争机器4》《古墓丽影:暗影》等游戏中都应用了Speech Graphics的面部动画技术。Michael Berger称，游戏已成为Speech Graphics主要收入来源。
Speech Graphics曾在2018年募集了300万美元，近期又完成了700万美元融资。之后，公司将会扩充团队，并借助Rapport平台将自身业务拓展至非游戏领域。
正借助Rapport平台，
以虚拟化身为切口，拓展游戏以外的行业
Rapport是一个基于云的实时面部动画平台，集成了Speech Graphics在面部动画领域的核心技术，使用户能够在网络、游戏引擎或应用程序中与虚拟化身创建高度个性化的交互。
该平台包含实时虚拟化身技术、低延迟且无需插件的浏览器实时动画技术，及解读用户声音并做出相应反映的情感AI技术。这些技术都与一个高度可扩展的后端插件基础设施集成在一起，因而可以连接越来越多的第三方技术，比如对话式AI、语音识别和语音合成等技术。
在此基础上，考虑到用户对产品的使用需求，Rapport将复杂的技术转化成易于启动、使用和集成的平台。在Rapport平台上，只需要几行代码就能将一个会说话的虚拟化身集成到任何网站。生成的虚拟化身不仅有逼真的人物，还有风格化的角色、拟人化的动物等。
当下，游戏之外的领域对虚拟化身的需求愈发显性，相关产品也已经大量投入使用。比如智能虚拟助理，已经渗透至医疗保健、金融服务、零售、旅游等各个垂直行业。根据海外市场调研机构Verified Market Research的数据，2020年全球智能虚拟助理市场规模为50亿美元，预计到2028年将为509亿美元。2021年至2028年将以30%的复合年增长率增长，市场前景广阔。
重要的是，这种需求不仅只体现在量上，还有对虚拟化身交互真实性的需求。
人们对于数字角色的呈现期望正在快速提升。在现在的行业环境中，不管是游戏对话还是虚拟助手，诸如不同步的音频、僵硬的面孔、千篇一律的回答这类影响观感的问题会越发突出，市场需要的是更具表现力的数字角色。
不过，对于大多数企业来说，内部缺乏相应的技术能力和资源去生产数字角色。因为面部动画对技术要求高且复杂，会涉及音频处理、实时面部运动合成、低延迟的流媒体传输、3D可视化等专业技术。
为此，Speech Graphics推出Rapport平台，致力于为企业提供完整且高效的解决方案，让相关开发人员能够在没有专业技术障碍的前提下，创建由面部动画技术驱动的实时数字角色。
去年9月，Rapport还和Pandorabots达成合作伙伴关系，将Rapport的实时面部动画技术融入至Pandorabots的聊天机器人平台，后者拥有超25万注册用户。在Pandorabots看来，通过与Rapport的合作，能够让开发人员更容易制作出高真实度的对话式AI机器人，而这恰好满足平台受众的需求。对于Rapport来说，扩展至Pandorabots不仅是原有技术的再验证，还意味着其将在AI技术应用上进行更切实的探索。
目前，Rapport平台正处于早期访问阶段，仅对特定客户开放。Gregor Hofer近日在接受外媒采访时称，已经有很多公司前来洽谈合作，“咨询如何在元宇宙概念下推广品牌，而我们认为逼真的虚拟化身能明确做到这一点。”