Precisión honesta

Leer los labios es difícil. LipScribe te dice cuánto se fía.

Muchos sonidos se ven iguales en los labios —en inglés, «pat», «bat» y «mat» son la misma forma de boca— e incluso los lectores labiales expertos se pierden mucho. Así que, en lugar de fingir que acierta siempre, cada palabra lleva una probabilidad y puedes ver las otras lecturas probables. Espera la idea general, no una transcripción literal.

Las cifras

~2 de 3palabras correctas en inglés con clips reales variados, solo con los labios.
~85%de palabras correctas en inglés con una persona de frente y bien grabada en estudio.
~65%de palabras correctas en español, que está en beta.
~9 de 10palabras correctas en inglés cuando LipScribe escucha también el sonido, incluso con el ruido de una multitud o una segunda voz encima.
93%de las palabras mostradas con un 80–100% eran correctas; las mostradas con ~50% acertaban más o menos la mitad de las veces.

Solo labios: nuestro conjunto de prueba de 67 clips reales, 60 minutos (tasa de error por palabra: inglés 34,5%, español 35,4%). Labios + sonido: 46 clips en inglés, limpios y con el ruido de una multitud o una segunda voz mezclados al mismo volumen que quien habla (tasa de error por palabra: 8,9%, 13,9% y 10,8%). Labios + sonido en español: 21 clips, 8,6% limpios y 11,7% con una multitud; no resuelve una segunda voz al mismo volumen que quien habla (62%).

Qué significan los colores y los porcentajes

El porcentaje de cada palabra es su probabilidad de ser correcta, estimada a partir de lo que el modelo vio alrededor de esa palabra. Las palabras en blanco son probables (80% o más), las ámbar, inseguras, y las de color coral subrayadas, dudosas (menos del 50%). Toca una palabra en la app para ver qué otra podría ser; las lecturas de cada frase muestran cómo se reparte la probabilidad entre las lecturas que conservó el decodificador.

Así se ve una frase
0:07

Thank you all for coming tonight

  1. 44%Thank you all for coming tonight
  2. 23%Thank you all for coming to night
  3. 11%Thank you all for becoming tonight
probable 80%+insegura 50–80%dudosa menos del 50%

Qué hace que un clip sea fácil o difícil

Funciona mejor con

  • una persona de frente a la cámara
  • una cara que ocupa buena parte del encuadre
  • luz estable y poco desenfoque de movimiento
  • 25–30 fotogramas por segundo

Le cuesta más con

  • cabezas giradas y perfiles
  • caras pequeñas o lejanas
  • manos, micrófonos o barbas que tapan la boca
  • pocos fotogramas por segundo, mucha compresión, nombres raros y números

Antes de leer, la app comprueba el tamaño de la cara, el giro de la cabeza, la detección y la frecuencia de imagen, y te avisa si un clip va a ser difícil.