Leer los labios es difícil. LipScribe te dice cuánto se fía.
Muchos sonidos se ven iguales en los labios —en inglés, «pat», «bat» y «mat» son la misma forma de boca— e incluso los lectores labiales expertos se pierden mucho. Así que, en lugar de fingir que acierta siempre, cada palabra lleva una probabilidad y puedes ver las otras lecturas probables. Espera la idea general, no una transcripción literal.
Las cifras
Solo labios: nuestro conjunto de prueba de 67 clips reales, 60 minutos (tasa de error por palabra: inglés 34,5%, español 35,4%). Labios + sonido: 46 clips en inglés, limpios y con el ruido de una multitud o una segunda voz mezclados al mismo volumen que quien habla (tasa de error por palabra: 8,9%, 13,9% y 10,8%). Labios + sonido en español: 21 clips, 8,6% limpios y 11,7% con una multitud; no resuelve una segunda voz al mismo volumen que quien habla (62%).
Qué significan los colores y los porcentajes
El porcentaje de cada palabra es su probabilidad de ser correcta, estimada a partir de lo que el modelo vio alrededor de esa palabra. Las palabras en blanco son probables (80% o más), las ámbar, inseguras, y las de color coral subrayadas, dudosas (menos del 50%). Toca una palabra en la app para ver qué otra podría ser; las lecturas de cada frase muestran cómo se reparte la probabilidad entre las lecturas que conservó el decodificador.
Thank you all for coming tonight
- 44%Thank you all for coming tonight
- 23%Thank you all for coming to night
- 11%Thank you all for becoming tonight
Qué hace que un clip sea fácil o difícil
Funciona mejor con
- una persona de frente a la cámara
- una cara que ocupa buena parte del encuadre
- luz estable y poco desenfoque de movimiento
- 25–30 fotogramas por segundo
Le cuesta más con
- cabezas giradas y perfiles
- caras pequeñas o lejanas
- manos, micrófonos o barbas que tapan la boca
- pocos fotogramas por segundo, mucha compresión, nombres raros y números
Antes de leer, la app comprueba el tamaño de la cara, el giro de la cabeza, la detección y la frecuencia de imagen, y te avisa si un clip va a ser difícil.