Video rein. Person wählen. Lesen.
LipScribe findet die Gesichter in deinem Video, folgt dem Mund der sprechenden Person und liest ihre Lippen mit einem KI-Modell, das komplett in deinem Browser läuft. Du bekommst ein Transkript mit Zeitstempeln, in dem jedes Wort zeigt, wie wahrscheinlich es stimmt.
Dein Video, wie es ist
MP4, MOV oder WebM vom Handy oder Computer — ein Clip oder mehrere. Es öffnet sich im Browser-Tab; nichts wird irgendwohin geschickt.
Wähle, wessen Lippen gelesen werden
Gesichter werden automatisch gefunden und durch den Clip verfolgt. Sind mehrere Personen im Bild, tippst du die gewünschte an; die App zeigt genau, welchen Mund sie liest.
Ein Transkript, das du prüfen kannst
Zeilen mit Zeitstempel, jedes Wort eingefärbt nach seiner Trefferwahrscheinlichkeit. Tippe auf ein Wort, um zu sehen, was es sonst sein könnte. Export als TXT-, SRT- oder VTT-Untertitel oder als JSON mit allen Alternativen.
Nur die Lippen — oder Lippen und Ton zusammen
Standardmäßig liest LipScribe nur die Lippen. Genau das brauchst du bei einem stummen Clip oder wenn der Ton zu schlecht ist, um etwas damit anzufangen.
Bei Videos mit Ton kannst du Auch den Ton anhören aktivieren. Dann liest ein größeres Modell Lippen und Stimme zusammen: Fast 9 von 10 Wörtern stimmen, gegenüber etwa 2 von 3 allein mit den Lippen. Das englische Modell schaut dabei auf den Mund und bleibt so bei der Person im Bild, auch wenn jemand anderes dazwischenredet. Das spanische Modell kommt mit Stimmengewirr oder Straßenlärm zurecht, aber nicht mit einer zweiten Stimme, die so laut ist wie die der sprechenden Person: Dann schreibt es womöglich stattdessen mit, was diese Stimme sagt. Ist die Stimme klar und redet sonst niemand, schafft eine gewöhnliche Spracherkennung das genauso gut.
Sag ihm, was du weißt
Namen und Themenwörter. Trag vor dem Lesen die Namen und ungewöhnlichen Wörter ein, die du erwartest (den Namen der sprechenden Person, einen Ort, das Thema), unter Namen und Themenwörter. Wo die Lippen zu einem davon passen, neigt das Lesen zu diesem Wort. In unseren Tests wurden eingetippte Namen und seltene Wörter, die wirklich gesagt wurden, um 20–25 % seltener falsch gelesen, und eingetippte Wörter, die nicht gesagt wurden, landeten in weniger als 1 von 100 Fällen im Text.
Ein Wort korrigieren. Tippe auf ein falsches Wort und wähle eine seiner Alternativen oder gib das richtige ein. LipScribe liest die Zeile mit deinem Wort an seinem Platz neu, sodass sich die Wörter daneben anpassen können; der Rest der Zeile bleibt, wie er war. Dein Wort ist grün unterstrichen, geänderte Wörter sind hervorgehoben, und jeder Export behält deine Korrekturen. In unseren Tests hat jede Korrektur im Schnitt etwa 0,3 weitere Wörter berichtigt und etwa 0,15 andere falsch gemacht; prüfe also die hervorgehobenen Wörter.
Ein Wort auf den Lippen suchen
Ist ein Video gelesen, gib unter Auf den Lippen suchen ein Wort oder einen Namen ein. LipScribe sucht in jeder Zeile die Stelle, an der der Mund am besten zu diesem Wort passt, aus dem, was das Modell schon gesehen hat (es wird nichts neu gelesen), und findet ein Wort so auch dort, wo das Transkript etwas anderes geschrieben hat. Die Treffer stehen mit ihrer Zeit da, der beste zuerst; tippe auf einen, um das Video ab dort abzuspielen.
Jeder Treffer hat einen Wert: wie gut der Mund zum Wort passt (0 passt am besten). Wahrscheinliche Treffer liegen über einer Linie, die wir in unseren Tests so gesetzt haben, dass 9 von 10 von ihnen das Wort waren; schwächere darunter waren es in weniger als der Hälfte der Fälle. Bei seltenen Wörtern und Namen, die das Transkript auf Englisch nur zu 4 % richtig schrieb (auf Spanisch zu 9 %), fand die Suche 37 % davon als wahrscheinliche Treffer auf Englisch und 57 % auf Spanisch, mit den schwächeren etwa 6 und 7 von 10. Ein Treffer beweist nie, dass jemand ein Wort gesagt hat, und kein Treffer beweist nicht, dass es nicht gesagt wurde: In einem langen Video ist mit dem einen oder anderen wahrscheinlichen Treffer zu rechnen, wo das Wort nicht fiel. Mit Auch den Ton anhören ist die Suche ausgeblendet: Ihre Werte wurden mit den reinen Lippenmodellen gemessen, und mit dem Ton ist das Transkript selbst weit zuverlässiger.
Ein Modell pro Sprache, einmal geladen
Jede gesprochene Sprache hat ihr eigenes Modell: Englisch 264 MB, Spanisch (Beta) 169 MB und Lippen + Ton 286 MB auf Englisch, 298 MB auf Spanisch. Ein Modell wird einmal in deinen Browser geladen, wenn du es zum ersten Mal nutzt, und bleibt im Cache — danach startet LipScribe sofort und funktioniert offline. Die gesprochene Sprache wählst du in der App vor dem Lesen; sie ist unabhängig von der Sprache der Oberfläche.
Alles läuft auf deinem eigenen Prozessor. Auf einer Laptop-CPU dauert ein Clip von einer Minute rund 40 Sekunden; Handys und ältere Rechner brauchen ein Mehrfaches davon.