工作原理

添加视频,选择说话人,开始读唇。

LipScribe 会找出视频中的人脸,跟踪说话人的嘴部,并用完全在浏览器中运行的 AI 模型读取唇语。你会得到一份带时间戳的文字稿,其中每个词都标明了正确的概率。

01 · 添加

原样导入你的视频

来自手机或电脑的 MP4、MOV 或 WebM——一个或多个片段都可以。视频在浏览器标签页中打开,不会发送到任何地方。

02 · 选择

选择读谁的唇语

自动查找人脸并在整个片段中跟踪。画面中有多人时,点按你想要的那位;应用会准确显示它正在读取哪张嘴。

03 · 读唇

可以核对的文字稿

带时间戳的句子,每个词按其正确概率着色。点按一个词,看看它还可能是什么。可导出 TXT、SRT、VTT 字幕,或包含所有候选项的 JSON。

只读唇语,或唇语和声音一起读

默认情况下,LipScribe 只读取嘴唇。对于静音片段,或者声音太差、无法使用的视频,这正是你需要的。

对于有声音的视频,可以勾选“同时听取声音”。这时一个更大的模型会同时读取嘴唇和声音:十个词中接近九个能读对,而仅凭嘴唇大约是三个词读对两个。在英语中,由于它盯着嘴部,即使有其他人同时说话,它也会紧跟画面中的那个人。西班牙语模型能应付人群或街道的嘈杂声,但如果另一个人的声音和说话人一样响,它就应付不了:这时它可能会把那个人的话写下来。如果人声清楚、没有其他人说话,普通的语音转文字工具也能做得一样好。

告诉它你知道的

人名和主题词。读唇之前,在“人名和主题词”里输入你预计会出现的人名和不常见的词(说话人的名字、地名、主题)。在唇形与其中某个词吻合的地方,读唇会偏向这个词。在我们的测试中,输入的、确实说过的人名和少见词被读错的情况减少了 20–25%;输入了但并没有说过的词,被写出来的机会不到百分之一。

改正一个词。点一下读错的词,选它的一个备选词,或者输入正确的词。LipScribe 会把你的词放在原位,重新读这一行,旁边的词可以随之调整;这一行的其余部分保持不变。你改的词带绿色下划线,因此而变化的词会被高亮,所有导出都会保留你的改正。在我们的测试中,每次改正平均还会顺带改对约 0.3 个其他词,同时改错约 0.15 个,所以请检查被高亮的词。

每种语言一个模型,只需下载一次

每种说话语言都有自己的模型:英语 264 MB,西班牙语(测试版)169 MB,唇语 + 声音模型英语 286 MB、西班牙语 298 MB。你第一次使用某个模型时,浏览器会下载并缓存它,之后 LipScribe 会立即启动,也可以离线运行。读唇前请在应用中选择“视频中的语言”——它与界面语言相互独立。

一切都在你自己的处理器上完成。在笔记本电脑的 CPU 上,1 分钟的片段大约需要 40 秒;手机和较旧的电脑需要数倍时间。