问题,直截了当地回答。
关于隐私、准确度、语言、速度和许可。没找到你的问题?应用在每一步都会给出提示。
我的视频会被上传吗?
不会。你的浏览器打开文件,AI 模型在浏览器内存中运行,导出时文字稿保存到你的下载文件夹。整个过程没有服务器参与:即使我们想看你的视频也做不到。如何亲自验证。
能读中文视频吗?
暂时不能。目前可读英语,西班牙语为测试版。读唇前在应用中选择“视频中的语言”——它与界面语言(中文、英语、西班牙语、德语或法语)相互独立。目前西班牙语的准确度略低于英语。
准确度如何?
在各类真实的英语视频片段上,大约三个词能读对两个;对于清晰、正对镜头的录音室说话人,大约 85%。西班牙语(测试版)约为 65%。结果很大程度上取决于素材,因此每个词都带有概率,你也能看到每个词和每句话的其他可能读法。请期待大意而不是逐字稿;人名、数字和生僻词尤其困难。查看完整数据。
能同时利用声音吗?
可以:勾选“同时听取声音”后,一个更大的模型(英语 286 MB,西班牙语 298 MB)会同时读取嘴唇和声音。这样十个词中接近九个能读对,即使身处人群之中。有人盖过说话人的声音时,英语模型也会紧跟说话人;西班牙语模型则可能把那个人的话写下来。如果人声清楚、没有其他人说话,普通的语音转文字工具也能做得一样好。
颜色和百分比是什么意思?
每个词的百分比表示它正确的概率,根据模型在该词附近看到的内容估算。白色的词很可能正确(80% 以上),琥珀色的词不确定,带下划线的珊瑚色词存疑(低于 50%)。每句话的读法显示概率在解码器保留的各读法之间如何分配。在我们的测试集中,显示为 80–100% 的词约有 93% 是对的。
什么样的视频效果最好?
一位正对镜头的人,脸足够大,光线好,25–30 fps。较新的浏览器都支持 MP4、MOV 和 WebM。画面中有多人也没关系——由你选择读谁的唇语。
为什么第一次比较慢?
第一次读取某种语言时,浏览器会下载该语言的读唇模型(英语 264 MB,西班牙语 169 MB;唇语 + 声音:英语 286 MB,西班牙语 298 MB)并缓存。之后会立即启动,离线也可以。在笔记本电脑的 CPU 上,读唇速度约为实时的 1.6 倍——1 分钟的片段大约需要 40 秒;手机和较旧的电脑需要数倍时间。