IN ARBEIT LipScribe ist ein frühes Experiment: Die Lippenlese-Modelle werden noch trainiert und liegen bei vielen Wörtern daneben. Nutze es für den groben Inhalt und prüfe jedes Wort.
Echte Ausgabe von LipScribe für diesen Clip, ohne Ton gelesen (englische Sprache). Video: “The Standard Model”, Fermilab, CC BY 3.0 (gekürzt, zugeschnitten, ohne Ton).
LipScribe findet die Gesichter in deinem Video, folgt dem Mund der sprechenden Person und liest ihre Lippen mit einem KI-Modell, das komplett in deinem Browser läuft. Du bekommst ein Transkript mit Zeitstempeln, in dem jedes Wort zeigt, wie wahrscheinlich es stimmt. Gesprochen werden kann Englisch und, als Beta, Spanisch. Nichts wird hochgeladen. Kostenlos.
Jede gesprochene Sprache hat ihr eigenes Lippenlese-Modell (Englisch 169 MB, Spanisch 169 MB). Es wird einmal in deinen Browser geladen, wenn du die Sprache zum ersten Mal nutzt, und bleibt im Cache — danach funktioniert LipScribe offline. Alles läuft auf deinem eigenen Prozessor; dein Video geht nirgendwohin.
MP4, MOV oder WebM vom Handy oder Computer — ein Clip oder mehrere. Es öffnet sich im Browser-Tab; nichts wird irgendwohin geschickt.
Gesichter werden automatisch gefunden und durch den Clip verfolgt. Sind mehrere Personen im Bild, tippst du die gewünschte an; die App zeigt genau, welchen Mund sie liest.
Zeilen mit Zeitstempel, jedes Wort eingefärbt nach seiner Trefferwahrscheinlichkeit. Tippe auf ein Wort, um zu sehen, was es sonst sein könnte. Export als TXT-, SRT- oder VTT-Untertitel oder als JSON mit allen Alternativen.
Viele Laute sehen auf den Lippen gleich aus — im Englischen sind „pat“, „bat“ und „mat“ dieselbe Mundform —, und selbst geübte Lippenleser verpassen vieles. Statt Perfektion vorzutäuschen, bekommt deshalb jedes Wort eine Wahrscheinlichkeit, und du siehst die anderen wahrscheinlichen Lesarten. Erwarte den Sinn, kein wörtliches Protokoll. Gemessen auf unserem Testset: 67 Clips aus dem echten Leben, 60 Minuten.
Thank you all for coming tonight
Vor dem Lesen prüft die App Gesichtsgröße, Kopfdrehung, Erkennungsquote und Bildrate und sagt dir, wenn ein Clip voraussichtlich schwierig wird.
„Wir laden dein Video nicht hoch“ verspricht jeder Dienst. LipScribe ist so gebaut, dass du dich nicht auf das Versprechen verlassen musst:
Network. Lies einen Clip — du siehst, wie das Modell zu dir heruntergeladen wird und nichts hinausgeht.Ein Video mit ausgeschaltetem Mikro oder ohne Ton geteilt: Bekomm eine grobe Vorstellung davon, was gesagt wurde.
Wind, Verkehr, Musik oder Stimmengewirr über der Stimme. Der Lärm erreicht die Lippen nicht — sie tragen die Wörter weiter.
Untertitel-Entwürfe für deine eigenen Aufnahmen, wenn es keine brauchbare Tonspur gibt — ein Ausgangspunkt zum Korrigieren, keine fertigen Untertitel.
Familienfilme und Archivrollen, deren Ton verloren ging oder nie aufgenommen wurde — gelesen auf deinem eigenen Rechner.
Bitte verantwortungsvoll nutzen: für Videos, die du selbst gemacht hast oder mit denen du arbeiten darfst, und mit Respekt für die Menschen darin.
Nein. Dein Browser öffnet die Datei, die KI-Modelle laufen im Speicher deines Browsers, und das Transkript landet beim Export in deinem Download-Ordner. Es gibt keinen Server dazwischen: Wir könnten dein Video nicht sehen, selbst wenn wir wollten.
Noch nicht. Gesprochen werden kann Englisch und, als Beta, Spanisch. Die gesprochene Sprache wählst du in der App vor dem Lesen — sie ist unabhängig von der Sprache der Oberfläche (Deutsch, Englisch, Spanisch, Französisch oder Chinesisch). Spanisch ist vorerst etwas ungenauer als Englisch.
Bei vielfältigen englischen Clips aus dem echten Leben stimmen etwa zwei von drei Wörtern, bei einer klar sichtbaren Person im Studio etwa 85 %. Spanisch (Beta) liegt bei etwa 65 %. Das Ergebnis hängt stark vom Material ab; deshalb trägt jedes Wort eine Wahrscheinlichkeit, und du siehst die anderen wahrscheinlichen Lesarten jedes Wortes und jeder Zeile. Erwarte eher den Sinn als ein wörtliches Transkript; mit Namen, Zahlen und seltenen Wörtern tut es sich besonders schwer.
Die Prozentzahl eines Wortes ist seine Wahrscheinlichkeit, richtig zu sein — geschätzt aus dem, was das Modell rund um dieses Wort gesehen hat. Weiße Wörter sind wahrscheinlich (80 %+), bernsteinfarbene unsicher und unterstrichene korallenrote zweifelhaft (unter 50 %). Die Lesarten einer Zeile zeigen, wie sich die Wahrscheinlichkeit auf die Lesarten verteilt, die der Decoder behalten hat. Auf unserem Testset stimmten Wörter mit 80–100 % in etwa 93 % der Fälle.
Eine Person, die in die Kamera schaut, ein ausreichend großes Gesicht, gutes Licht, 25–30 fps. MP4, MOV und WebM funktionieren in aktuellen Browsern. Mehrere Personen im Bild sind kein Problem — du wählst, wessen Lippen gelesen werden.
Wenn du eine Sprache zum ersten Mal liest, lädt dein Browser ihr Lippenlese-Modell herunter (Englisch 169 MB, Spanisch 169 MB) und legt es in den Cache. Danach startet es sofort, auch offline. Auf einer Laptop-CPU läuft das Lesen etwa 1,6-mal schneller als Echtzeit — ein Clip von einer Minute dauert rund 40 Sekunden; Handys und ältere Rechner brauchen ein Mehrfaches davon.
Es ist kostenlos. Die offenen Lippenlese-Modelle, die es verwendet (Auto-AVSR für Englisch, ViSpeR für Spanisch), sind nur für Forschung und nichtkommerzielle Nutzung lizenziert — und damit auch LipScribe: Private, schulische und wissenschaftliche Nutzung ist in Ordnung; kommerzielle Nutzung bräuchte Modelle, die auf rechtlich geklärtem Videomaterial trainiert wurden. Wenn LipScribe dir geholfen hat, gibt es eine Spendenkasse nach eigenem Ermessen.