Preguntas, respondidas sin rodeos.
Sobre privacidad, precisión, idiomas, velocidad y licencias. ¿Falta algo? La app te da una pista en cada paso.
¿Se sube mi vídeo a algún sitio?
No. Tu navegador abre el archivo, los modelos de IA se ejecutan en la memoria del navegador y la transcripción se guarda en tu carpeta de descargas cuando la exportas. No hay ningún servidor de por medio: no podríamos ver tu vídeo aunque quisiéramos. Cómo comprobarlo tú mismo.
¿Lee vídeos en español?
Sí, en beta. Elige el idioma hablado en la app antes de leer: es el idioma que se habla en el vídeo y es independiente del idioma de la interfaz (español, inglés, alemán, francés o chino). Por ahora el español es algo menos preciso que el inglés.
¿Qué precisión tiene?
Con clips reales variados en inglés acierta unas dos de cada tres palabras; con una persona de frente y bien grabada en estudio, alrededor del 85%. El español (beta) acierta alrededor del 65%. El resultado depende mucho del vídeo; por eso cada palabra lleva una probabilidad y puedes ver las otras lecturas probables de cada palabra y de cada frase. Espera la idea general más que una transcripción literal; los nombres, los números y las palabras poco comunes le cuestan especialmente. Todas las cifras.
¿Puede usar también el sonido?
Sí: marca «Escuchar también el sonido» y un modelo más grande (286 MB para inglés, 298 MB para español) lee a la vez los labios y la voz. Así acierta casi 9 de cada 10 palabras, incluso entre el ruido de una multitud. El modelo en inglés, además, no pierde a quien habla aunque otra persona hable por encima; el de español puede escribir en su lugar lo que dice esa otra voz. Con una voz clara y sin nadie más hablando, un programa normal de voz a texto lo hace igual de bien.
¿Qué significan los colores y los porcentajes?
El porcentaje de cada palabra es su probabilidad de ser correcta, estimada a partir de lo que el modelo vio alrededor de esa palabra. Las palabras en blanco son probables (80% o más), las ámbar, inseguras, y las de color coral subrayadas, dudosas (menos del 50%). Las lecturas de cada frase muestran cómo se reparte la probabilidad entre las lecturas que conservó el decodificador. En nuestro conjunto de prueba, las palabras mostradas con un 80–100% eran correctas alrededor del 93% de las veces.
¿Qué vídeos funcionan mejor?
Una persona de frente a la cámara, con la cara razonablemente grande, buena luz y 25–30 fps. MP4, MOV y WebM funcionan en los navegadores actuales. Que haya varias personas en el plano no es problema: tú eliges a quién leer los labios.
¿Por qué la primera vez es más lenta?
La primera vez que lees un idioma, tu navegador descarga su modelo de lectura de labios (inglés 264 MB, español 169 MB; labios + sonido: inglés 286 MB, español 298 MB) y lo guarda en caché. A partir de ahí arranca enseguida, incluso sin conexión. En la CPU de un portátil, la lectura va unas 1,6 veces más rápida que el tiempo real (un clip de un minuto tarda unos 40 segundos); los móviles y los ordenadores antiguos tardan varias veces más.
¿Es gratis? ¿Puedo usarlo en el trabajo?
Es gratis. Los modelos abiertos de lectura de labios que usa tienen licencia solo para investigación y uso no comercial, así que LipScribe también: el uso personal, educativo y de investigación está permitido; el uso comercial necesitaría modelos entrenados con vídeo con los derechos en regla (créditos y licencias). Si LipScribe te ha servido, puedes hacer una donación de lo que quieras.