Créditos y licencias

Construido sobre investigación abierta.

LipScribe ejecuta en tu navegador modelos y bibliotecas abiertos. Sus tres modelos de lectura de labios tienen licencia solo para investigación y uso no comercial, y LipScribe también.

Modelos de lectura de labios

  • Inglés, labios, el modelo más pequeño (opcional): Auto-AVSR (Ma et al., ICASSP 2023; código Apache-2.0), modelo visual LRS3, en nuestra propia exportación ONNX de 4 bits (codificador + CTC + reordenación con el decodificador de atención), ajustado por LipScribe con ~1.480 h de clips en inglés de AVYT (AVSRCocktail, Interspeech 2025; vídeos de YouTube, CC BY-NC-SA 4.0), ruedas de prensa y discursos de la Comisión Europea de su Servicio Audiovisual (© European Union, CC BY 4.0) y vídeos Creative Commons.
  • Español, labios: ViSpeR (Djilali et al., TII), CC BY-NC 2.0, en nuestra propia exportación ONNX de 4 bits, ajustado por LipScribe con grabaciones públicas del Parlamento de Canarias, el Congreso de los Diputados, RTVE y vídeos Creative Commons.
  • Inglés, labios: FLARE Large (Zhang et al., NeurIPS 2026; código MIT, pesos CC BY-NC 4.0), su flujo de labios y su flujo de cara, en nuestra propia exportación ONNX de 4 bits (codificador + decodificador de atención leído con búsqueda en haz). Una pequeña capa añadida encima, para buscar una palabra en los labios, la entrenó LipScribe con 500 h de clips en inglés (AVYT y nuestras propias fuentes).
  • Inglés, labios + sonido (opcional): AVSRCocktail (Nguyen et al., Interspeech 2025), CC BY-NC 4.0, basado en AV-HuBERT de Meta: “AV-HuBERT is licensed under the AV-HuBERT license, Copyright (c) Meta Platforms, Inc. All Rights Reserved.” (licencia: solo investigación no comercial).
  • Español, labios + sonido (opcional): el modelo audiovisual de ViSpeR (Djilali et al., TII), CC BY-NC 2.0, en nuestra propia exportación ONNX de 4 bits.

Los cuatro modelos: solo para investigación y uso no comercial. El uso comercial necesitaría modelos entrenados con vídeo con los derechos en regla.

Bibliotecas

La demo de la página principal

Lo que LipScribe leyó de verdad, sin sonido, en “SUBJUNTIVO más FÁCIL en 8 minutos”, de Spanish with Vicente, CC BY 3.0 (recortado y sin sonido). La demo de la página en inglés usa “The Standard Model”, de Fermilab, CC BY 3.0 (recortado y sin sonido).