10月1日,美国AI视频公司Tavus发布名为Griffin的模型,并把它定义为全球第一个「人类交互模型」(Human Interaction Model,简称HIM)。Tavus将其描述为一个「全双工、视频到视频」的模型。
Tavus公布的数据显示,在一项一分钟视频通话测试里,54名参与者中有26人事后认为自己是在和真人聊天,比例接近48%;作为对照,其上一代系统在同样测试中,41个人里只骗过1个,比例2.4%。
技术层面,Griffin由「连续对话建模」与音视频生成引擎两部分构成。语音侧,Tavus自研了名为Tavec的音频编解码器;视频侧经蒸馏后可实时生成720p画面,从听到声音到脸上做出反应平均延迟0.43秒。在NVIDIA的全双工音视频对话基准VideoFDB上,Griffin-Lite在生成赛道拿到3.83分,人类参考值为3.92。
