如实说明准确度
读唇很难。LipScribe 会告诉你它有多确定。
许多发音在嘴唇上看起来一模一样——英语中的 “pat”、“bat” 和 “mat” 口型相同——即使是训练有素的读唇者也会漏掉很多。因此,LipScribe 不假装完美:每个词都有一个概率,你还能看到其他可能的读法。请期待大意,而不是逐字记录。
数据
约 2/3的英语词能读对:各类真实视频片段,仅凭唇语。
约 85%的英语词能读对:清晰、正对镜头的录音室说话人。
约 65%的西班牙语词能读对——西班牙语为测试版。
约 9/10的英语词能读对:LipScribe 同时听取声音时,即使有人群嘈杂或另一个人在说话。
93%显示为 80–100% 的词确实是对的;显示为约 50% 的词大约一半是对的。
仅凭唇语:我们的测试集,67 个真实视频片段,共 60 分钟(词错误率:英语 34.5%,西班牙语 35.4%)。唇语 + 声音:46 个英语片段,分别在干净音频、混入人群声、混入另一个人声(音量与说话人相同)三种条件下测试(词错误率依次为 8.9%、13.9% 和 10.8%)。西班牙语唇语 + 声音:21 个片段,干净音频 8.6%,混入人群声 11.7%;无法应对与说话人音量相同的另一个人声(62%)。
颜色和百分比是什么意思
每个词的百分比表示它正确的概率,根据模型在该词附近看到的内容估算。白色的词很可能正确(80% 以上),琥珀色的词不确定,带下划线的珊瑚色词存疑(低于 50%)。在应用中点按一个词,看看它还可能是什么;每句话的读法显示概率在解码器保留的各读法之间如何分配。
一句话的样子
0:07
Thank you all for coming tonight
- 44%Thank you all for coming tonight
- 23%Thank you all for coming to night
- 11%Thank you all for becoming tonight
可能 80% 以上不确定 50–80%存疑 低于 50%
片段好读还是难读,取决于什么
效果最好
- 一位正对镜头的说话人
- 人脸占画面的较大部分
- 光线稳定、运动模糊少
- 每秒 25–30 帧
较难的情况
- 转头和侧脸
- 人脸很小或很远
- 手、麦克风或胡须遮住嘴
- 低帧率、高压缩、生僻名字和数字
读唇之前,应用会检查人脸大小、头部转向、检测覆盖率和帧率,并在片段可能难以读取时提醒你。