Créditos y licencias
Construido sobre investigación abierta.
LipScribe ejecuta en tu navegador modelos y bibliotecas abiertos. Sus tres modelos de lectura de labios tienen licencia solo para investigación y uso no comercial, y LipScribe también.
Modelos de lectura de labios
- Inglés, labios, el modelo más pequeño (opcional): Auto-AVSR (Ma et al., ICASSP 2023; código Apache-2.0), modelo visual LRS3, en nuestra propia exportación ONNX de 4 bits (codificador + CTC + reordenación con el decodificador de atención), ajustado por LipScribe con ~1.480 h de clips en inglés de AVYT (AVSRCocktail, Interspeech 2025; vídeos de YouTube, CC BY-NC-SA 4.0), ruedas de prensa y discursos de la Comisión Europea de su Servicio Audiovisual (© European Union, CC BY 4.0) y vídeos Creative Commons.
- Español, labios: ViSpeR (Djilali et al., TII), CC BY-NC 2.0, en nuestra propia exportación ONNX de 4 bits, ajustado por LipScribe con grabaciones públicas del Parlamento de Canarias, el Congreso de los Diputados, RTVE y vídeos Creative Commons.
- Inglés, labios: FLARE Large (Zhang et al., NeurIPS 2026; código MIT, pesos CC BY-NC 4.0), su flujo de labios y su flujo de cara, en nuestra propia exportación ONNX de 4 bits (codificador + decodificador de atención leído con búsqueda en haz). Una pequeña capa añadida encima, para buscar una palabra en los labios, la entrenó LipScribe con 500 h de clips en inglés (AVYT y nuestras propias fuentes).
- Inglés, labios + sonido (opcional): AVSRCocktail (Nguyen et al., Interspeech 2025), CC BY-NC 4.0, basado en AV-HuBERT de Meta: “AV-HuBERT is licensed under the AV-HuBERT license, Copyright (c) Meta Platforms, Inc. All Rights Reserved.” (licencia: solo investigación no comercial).
- Español, labios + sonido (opcional): el modelo audiovisual de ViSpeR (Djilali et al., TII), CC BY-NC 2.0, en nuestra propia exportación ONNX de 4 bits.
Los cuatro modelos: solo para investigación y uso no comercial. El uso comercial necesitaría modelos entrenados con vídeo con los derechos en regla.
Bibliotecas
- Detección de caras: MediaPipe BlazeFace (Apache-2.0) sobre LiteRT.js (Apache-2.0).
- Distinguir a las personas entre cortes: SFace (OpenCV Zoo, Apache-2.0).
- Inferencia: ONNX Runtime Web (MIT).
- Decodificación de vídeo: Mediabunny (MPL-2.0).
La demo de la página principal
Lo que LipScribe leyó de verdad, sin sonido, en “SUBJUNTIVO más FÁCIL en 8 minutos”, de Spanish with Vicente, CC BY 3.0 (recortado y sin sonido). La demo de la página en inglés usa “The Standard Model”, de Fermilab, CC BY 3.0 (recortado y sin sonido).