如实说明准确度

读唇很难。LipScribe 会告诉你它有多确定。

许多发音在嘴唇上看起来一模一样——英语中的 “pat”、“bat” 和 “mat” 口型相同——即使是训练有素的读唇者也会漏掉很多。因此,LipScribe 不假装完美:每个词都有一个概率,你还能看到其他可能的读法。请期待大意,而不是逐字记录。

数据

约 2/3的英语词能读对:各类真实视频片段,仅凭唇语。
约 85%的英语词能读对:清晰、正对镜头的录音室说话人。
约 65%的西班牙语词能读对——西班牙语为测试版。
约 9/10的英语词能读对:LipScribe 同时听取声音时,即使有人群嘈杂或另一个人在说话。
93%显示为 80–100% 的词确实是对的;显示为约 50% 的词大约一半是对的。

仅凭唇语:我们的测试集,67 个真实视频片段,共 60 分钟(词错误率:英语 34.5%,西班牙语 35.4%)。唇语 + 声音:46 个英语片段,分别在干净音频、混入人群声、混入另一个人声(音量与说话人相同)三种条件下测试(词错误率依次为 8.9%、13.9% 和 10.8%)。西班牙语唇语 + 声音:21 个片段,干净音频 8.6%,混入人群声 11.7%;无法应对与说话人音量相同的另一个人声(62%)。

颜色和百分比是什么意思

每个词的百分比表示它正确的概率,根据模型在该词附近看到的内容估算。白色的词很可能正确(80% 以上),琥珀色的词不确定,带下划线的珊瑚色词存疑(低于 50%)。在应用中点按一个词,看看它还可能是什么;每句话的读法显示概率在解码器保留的各读法之间如何分配。

一句话的样子
0:07

Thank you all for coming tonight

  1. 44%Thank you all for coming tonight
  2. 23%Thank you all for coming to night
  3. 11%Thank you all for becoming tonight
可能 80% 以上不确定 50–80%存疑 低于 50%

片段好读还是难读,取决于什么

效果最好

  • 一位正对镜头的说话人
  • 人脸占画面的较大部分
  • 光线稳定、运动模糊少
  • 每秒 25–30 帧

较难的情况

  • 转头和侧脸
  • 人脸很小或很远
  • 手、麦克风或胡须遮住嘴
  • 低帧率、高压缩、生僻名字和数字

读唇之前,应用会检查人脸大小、头部转向、检测覆盖率和帧率,并在片段可能难以读取时提醒你。