Lire sur les lèvres est difficile. LipScribe vous dit à quel point il est sûr.
Beaucoup de sons se ressemblent sur les lèvres — en anglais, « pat », « bat » et « mat » ont la même forme de bouche — et même les lecteurs labiaux entraînés en manquent beaucoup. Plutôt que de prétendre être parfait, LipScribe donne donc une probabilité à chaque mot et vous montre les autres lectures probables. Attendez-vous à l’essentiel, pas à un compte rendu mot pour mot.
Les chiffres
Lèvres seules : notre jeu de test de 67 vidéos réelles, 60 minutes (taux d’erreur par mot : anglais 34,5 %, espagnol 35,4 %). Lèvres + son : 46 vidéos en anglais, sans bruit puis avec une foule ou une deuxième voix mixée aussi fort que la personne qui parle (taux d’erreur par mot : 8,9 %, 13,9 % et 10,8 %). Lèvres + son en espagnol : 21 vidéos, 8,6 % sans bruit et 11,7 % avec une foule ; une deuxième voix aussi forte que la personne qui parle n’est pas gérée (62 %).
Ce que signifient les couleurs et les pourcentages
Le pourcentage d’un mot est sa probabilité d’être juste, estimée d’après ce que le modèle a vu autour de ce mot. Les mots blancs sont probables (80 % et plus), les mots ambre incertains et les mots corail soulignés douteux (moins de 50 %). Touchez un mot dans l’app pour voir ce qu’il pourrait être d’autre ; les lectures d’une phrase montrent comment la probabilité se répartit entre les lectures retenues par le décodeur.
Thank you all for coming tonight
- 44%Thank you all for coming tonight
- 23%Thank you all for coming to night
- 11%Thank you all for becoming tonight
Ce qui rend une vidéo facile ou difficile
Idéal avec
- une personne face à la caméra
- un visage qui occupe une bonne partie de l’image
- un éclairage stable et peu de flou de mouvement
- 25 à 30 images par seconde
Plus difficile avec
- les têtes tournées et les profils
- les visages petits ou lointains
- les mains, micros ou barbes devant la bouche
- les faibles fréquences d’images, la forte compression, les noms rares et les nombres
Avant de lire, l’app vérifie la taille du visage, la rotation de la tête, la détection et la fréquence d’images, et vous prévient si une vidéo s’annonce difficile.