Crédits & licences
Fondé sur la recherche ouverte.
LipScribe fait tourner dans votre navigateur des modèles et des bibliothèques ouverts. Ses trois modèles de lecture labiale sont sous licence pour la recherche et l’usage non commercial uniquement, et LipScribe l’est donc aussi.
Modèles de lecture labiale
- Anglais, lèvres, le modèle plus petit (en option) : Auto-AVSR (Ma et al., ICASSP 2023 ; code Apache-2.0), modèle visuel LRS3, dans notre propre export ONNX 4 bits (encodeur + CTC + réévaluation par le décodeur à attention), affiné par LipScribe sur ~1 480 h d’extraits en anglais d’AVYT (AVSRCocktail, Interspeech 2025 ; vidéos YouTube, CC BY-NC-SA 4.0), de points de presse et discours de la Commission européenne de son Service audiovisuel (© European Union, CC BY 4.0) et de vidéos Creative Commons.
- Espagnol, lèvres : ViSpeR (Djilali et al., TII), CC BY-NC 2.0, dans notre propre export ONNX 4 bits, affiné par LipScribe sur des enregistrements publics du Parlamento de Canarias, du Congreso de los Diputados, de RTVE et de vidéos Creative Commons.
- Anglais, lèvres : FLARE Large (Zhang et al., NeurIPS 2026 ; code MIT, poids CC BY-NC 4.0), son flux des lèvres et son flux du visage, dans notre propre export ONNX 4 bits (encodeur + décodeur à attention lu par une recherche en faisceau). Une petite couche ajoutée par-dessus, pour chercher un mot sur les lèvres, a été entraînée par LipScribe sur 500 h de vidéos en anglais (AVYT et nos propres sources).
- Anglais, lèvres + son (en option) : AVSRCocktail (Nguyen et al., Interspeech 2025), CC BY-NC 4.0, fondé sur AV-HuBERT de Meta : « AV-HuBERT is licensed under the AV-HuBERT license, Copyright (c) Meta Platforms, Inc. All Rights Reserved. » (licence : recherche non commerciale uniquement).
- Espagnol, lèvres + son (en option) : le modèle audiovisuel de ViSpeR (Djilali et al., TII), CC BY-NC 2.0, dans notre propre export ONNX 4 bits.
Les quatre modèles : réservés à la recherche et à un usage non commercial. Un usage commercial nécessiterait des modèles entraînés sur des vidéos dont les droits sont acquis.
Bibliothèques
- Détection des visages : MediaPipe BlazeFace (Apache-2.0) sur LiteRT.js (Apache-2.0).
- Reconnaître les personnes d’un plan à l’autre : SFace (OpenCV Zoo, Apache-2.0).
- Inférence : ONNX Runtime Web (MIT).
- Décodage vidéo : Mediabunny (MPL-2.0).
La démo de la page d’accueil
Résultat réel de LipScribe, lu sans le son, sur la vidéo « The Standard Model » de Fermilab (parole en anglais), CC BY 3.0 (coupée, recadrée, sans le son).