添加视频,选择说话人,开始读唇。
LipScribe 会找出视频中的人脸,跟踪说话人的嘴部,并用完全在浏览器中运行的 AI 模型读取唇语。你会得到一份带时间戳的文字稿,其中每个词都标明了正确的概率。
原样导入你的视频
来自手机或电脑的 MP4、MOV 或 WebM——一个或多个片段都可以。视频在浏览器标签页中打开,不会发送到任何地方。
选择读谁的唇语
自动查找人脸并在整个片段中跟踪。画面中有多人时,点按你想要的那位;应用会准确显示它正在读取哪张嘴。
可以核对的文字稿
带时间戳的句子,每个词按其正确概率着色。点按一个词,看看它还可能是什么。可导出 TXT、SRT、VTT 字幕,或包含所有候选项的 JSON。
只读唇语,或唇语和声音一起读
默认情况下,LipScribe 只读取嘴唇。对于静音片段,或者声音太差、无法使用的视频,这正是你需要的。
对于有声音的视频,可以勾选“同时听取声音”。这时一个更大的模型会同时读取嘴唇和声音:十个词中接近九个能读对,而仅凭嘴唇大约是三个词读对两个。在英语中,由于它盯着嘴部,即使有其他人同时说话,它也会紧跟画面中的那个人。西班牙语模型能应付人群或街道的嘈杂声,但如果另一个人的声音和说话人一样响,它就应付不了:这时它可能会把那个人的话写下来。如果人声清楚、没有其他人说话,普通的语音转文字工具也能做得一样好。
告诉它你知道的
人名和主题词。读唇之前,在“人名和主题词”里输入你预计会出现的人名和不常见的词(说话人的名字、地名、主题)。在唇形与其中某个词吻合的地方,读唇会偏向这个词。在我们的测试中,输入的、确实说过的人名和少见词被读错的情况减少了 20–25%;输入了但并没有说过的词,被写出来的机会不到百分之一。
改正一个词。点一下读错的词,选它的一个备选词,或者输入正确的词。LipScribe 会把你的词放在原位,重新读这一行,旁边的词可以随之调整;这一行的其余部分保持不变。你改的词带绿色下划线,因此而变化的词会被高亮,所有导出都会保留你的改正。在我们的测试中,每次改正平均还会顺带改对约 0.3 个其他词,同时改错约 0.15 个,所以请检查被高亮的词。
在唇语中搜索一个词
视频读完后,在“在唇语中搜索”里输入一个词或一个名字。LipScribe 会在每一句里找出嘴形与这个词最吻合的片段,用的是模型已经看过的内容(不会重新读一遍),所以即使转写写的是别的词,也可能找到它。匹配连同时间一起列出,最好的排在最前;点一下即可从那里开始播放视频。
每个匹配都有一个得分:嘴形与这个词的吻合程度(0 为最吻合)。“可能”的匹配高于一条分界线,这条线是在我们的测试中划定的,使其中十个里有九个确实是这个词;低于分界线的“较弱”匹配,确实是这个词的不到一半。对于转写在英语中只写对 4%(西班牙语中 9%)的少见词和人名,搜索在英语中把其中 37% 列为“可能”匹配,在西班牙语中为 57%;把较弱的也算上,分别约为十分之六和十分之七。匹配绝不能证明有人说过某个词,没有匹配也不能证明没说过:在较长的视频里,难免会在没说这个词的地方出现个别“可能”匹配。勾选“同时听取声音”时,搜索框会隐藏:它的得分是用纯唇语模型测得的,而有了声音,转写本身就可靠得多。
每种语言一个模型,只需下载一次
每种说话语言都有自己的模型:英语 264 MB,西班牙语(测试版)169 MB,唇语 + 声音模型英语 286 MB、西班牙语 298 MB。你第一次使用某个模型时,浏览器会下载并缓存它,之后 LipScribe 会立即启动,也可以离线运行。读唇前请在应用中选择“视频中的语言”——它与界面语言相互独立。
一切都在你自己的处理器上完成。在笔记本电脑的 CPU 上,1 分钟的片段大约需要 40 秒;手机和较旧的电脑需要数倍时间。