鸣谢与许可
建立在开放研究之上。
LipScribe 在你的浏览器中运行开源模型和库。它的三个读唇模型均仅限研究和非商业用途,LipScribe 也是如此。
读唇模型
- 英语,唇语,较小的模型(可选):Auto-AVSR(Ma 等人,ICASSP 2023;代码 Apache-2.0),LRS3 视觉模型,采用我们自己的 4 位量化 ONNX 导出(编码器 + CTC + 注意力解码器重打分),由 LipScribe 使用约 1,480 小时的 AVYT 英语片段(AVSRCocktail,Interspeech 2025;YouTube 视频,CC BY-NC-SA 4.0)、欧盟委员会视听服务的新闻发布会和演讲(© European Union,CC BY 4.0)及知识共享(Creative Commons)视频进行微调。
- 西班牙语,唇语:ViSpeR(Djilali 等人,TII),CC BY-NC 2.0,采用我们自己的 4 位量化 ONNX 导出,由 LipScribe 使用 Parlamento de Canarias、Congreso de los Diputados、RTVE 的公开录像及知识共享(Creative Commons)视频进行微调。
- 英语,唇语:FLARE Large(Zhang 等人,NeurIPS 2026;代码 MIT,权重 CC BY-NC 4.0),使用其唇部流和面部流,采用我们自己的 4 位 ONNX 导出(编码器 + 由束搜索读取的注意力解码器)。其上用于在唇语中搜索词语的一个小层,由 LipScribe 用 500 小时英语片段(AVYT 和我们自己的来源)训练。
- 英语,唇语 + 声音(可选):AVSRCocktail(Nguyen 等人,Interspeech 2025),CC BY-NC 4.0,基于 Meta 的 AV-HuBERT:“AV-HuBERT is licensed under the AV-HuBERT license, Copyright (c) Meta Platforms, Inc. All Rights Reserved.”(许可:仅限非商业研究)。
- 西班牙语,唇语 + 声音(可选):ViSpeR 的视听模型(Djilali 等人,TII),CC BY-NC 2.0,采用我们自己的 4 位量化 ONNX 导出。
四个模型均仅限研究和非商业用途。商业用途需要用版权清晰的视频训练的模型。
开源库
- 人脸检测:MediaPipe BlazeFace(Apache-2.0),运行于 LiteRT.js(Apache-2.0)。
- 跨镜头区分不同的人:SFace(OpenCV Zoo,Apache-2.0)。
- 推理:ONNX Runtime Web(MIT)。
- 视频解码:Mediabunny(MPL-2.0)。
首页的演示
这是 LipScribe 在无声状态下的真实读唇结果(英语)。视频:Fermilab 的《The Standard Model》,CC BY 3.0(已剪辑、裁切并去除声音)。