Ajoutez une vidéo. Choisissez qui parle. Lisez.
LipScribe repère les visages dans votre vidéo, suit la bouche de la personne qui parle et lit sur ses lèvres avec un modèle d’IA qui tourne entièrement dans votre navigateur. Vous obtenez une transcription horodatée où chaque mot indique sa probabilité d’être juste.
Votre vidéo, telle quelle
MP4, MOV ou WebM depuis votre téléphone ou votre ordinateur — un clip ou plusieurs. Elle s’ouvre dans l’onglet du navigateur ; rien n’est envoyé nulle part.
Choisissez sur quelles lèvres lire
Les visages sont trouvés et suivis automatiquement tout au long du clip. S’il y a plusieurs personnes à l’écran, touchez celle que vous voulez ; l’app montre exactement quelle bouche elle lit.
Une transcription que vous pouvez vérifier
Des phrases horodatées, chaque mot coloré selon sa probabilité d’être juste. Touchez un mot pour voir ce qu’il pourrait être d’autre. Exportez des sous-titres TXT, SRT ou VTT, ou un JSON avec toutes les alternatives.
Les lèvres seules, ou les lèvres et le son ensemble
Par défaut, LipScribe ne lit que les lèvres. C’est ce qu’il vous faut pour une vidéo sans son, ou quand le son est inexploitable.
Pour les vidéos qui ont du son, cochez Écouter aussi le son. Un modèle plus lourd lit alors les lèvres et la voix ensemble : près de 9 mots sur 10 justes, contre environ 2 sur 3 avec les lèvres seules. En anglais, comme il regarde la bouche, il reste sur la personne à l’écran même quand quelqu’un d’autre parle par-dessus. Le modèle espagnol tient bon dans le brouhaha d’une foule ou le bruit de la rue, mais pas quand une autre voix est aussi forte que celle de la personne qui parle : il peut alors transcrire cette voix à la place. Quand la voix est claire et que personne d’autre ne parle, un logiciel de reconnaissance vocale ordinaire fait aussi bien.
Dites-lui ce que vous savez
Noms et mots du sujet. Avant la lecture, tapez les noms et les mots peu courants que vous attendez (le nom de la personne qui parle, un lieu, le sujet) dans Noms et mots du sujet. Là où les lèvres concordent avec l’un d’eux, la lecture penche vers lui. Dans nos tests, les noms et mots rares tapés qui étaient vraiment prononcés ont été mal lus 20 à 25 % moins souvent, et les mots tapés qui n’étaient pas prononcés ont été écrits dans moins de 1 cas sur 100.
Corriger un mot. Touchez un mot faux, puis choisissez l’une de ses alternatives ou tapez le bon. LipScribe relit la ligne avec votre mot en place, de sorte que les mots voisins peuvent changer pour s’accorder ; le reste de la ligne ne bouge pas. Votre mot est souligné en vert, les mots modifiés sont surlignés, et chaque export conserve vos corrections. Dans nos tests, chaque correction a aussi rectifié en moyenne environ 0,3 autre mot et en a faussé environ 0,15 : vérifiez donc les mots surlignés.
Chercher un mot sur les lèvres
Une fois une vidéo lue, tapez un mot ou un nom dans Chercher sur les lèvres. LipScribe cherche dans chaque phrase le passage où la bouche concorde le mieux avec ce mot, à partir de ce que le modèle a déjà vu (rien n’est relu), et peut donc trouver un mot même là où la transcription a écrit autre chose. Les correspondances s’affichent avec leur moment, la meilleure d’abord ; touchez-en une pour lire la vidéo à partir de là.
Chaque correspondance a un score : à quel point la bouche concorde avec le mot (0 est la meilleure concordance). Les correspondances probables dépassent une ligne fixée dans nos tests pour que 9 sur 10 soient le mot ; les plus faibles, en dessous, l’étaient moins d’une fois sur deux. Sur des mots rares et des noms que la transcription n’écrivait que dans 4 % des cas en anglais (9 % en espagnol), la recherche en a trouvé 37 % comme correspondances probables en anglais et 57 % en espagnol, et environ 6 et 7 sur 10 en comptant les plus faibles. Une correspondance ne prouve jamais que quelqu’un a dit un mot, et l’absence de correspondance ne prouve pas qu’il ne l’a pas dit : dans une longue vidéo, attendez-vous à quelque correspondance probable là où le mot n’a pas été dit. Avec Écouter aussi le son, la recherche est masquée : ses scores ont été mesurés avec les modèles lèvres seules, et avec le son la transcription elle-même est bien plus fiable.
Un modèle par langue, téléchargé une seule fois
Chaque langue parlée a son propre modèle : anglais 264 Mo, espagnol (bêta) 169 Mo, et lèvres + son 286 Mo en anglais, 298 Mo en espagnol. Votre navigateur télécharge un modèle la première fois que vous l’utilisez et le garde en cache : ensuite, LipScribe démarre tout de suite et fonctionne hors ligne. Choisissez la langue parlée dans l’app avant la lecture ; elle est indépendante de la langue de l’interface.
Tout tourne sur votre propre processeur. Sur le processeur d’un ordinateur portable, une vidéo d’une minute se lit en une quarantaine de secondes ; les téléphones et les ordinateurs plus anciens mettent plusieurs fois plus de temps.