Fragen, klar beantwortet.
Zu Datenschutz, Genauigkeit, Sprachen, Tempo und Lizenzen. Etwas fehlt? Die App gibt dir bei jedem Schritt einen Hinweis.
Wird mein Video irgendwo hochgeladen?
Nein. Dein Browser öffnet die Datei, die KI-Modelle laufen im Speicher deines Browsers, und das Transkript landet beim Export in deinem Download-Ordner. Es gibt keinen Server dazwischen: Wir könnten dein Video nicht sehen, selbst wenn wir wollten. So prüfst du es selbst nach.
Liest es deutschsprachige Videos?
Noch nicht. Gesprochen werden kann Englisch und, als Beta, Spanisch. Die gesprochene Sprache wählst du in der App vor dem Lesen — sie ist unabhängig von der Sprache der Oberfläche (Deutsch, Englisch, Spanisch, Französisch oder Chinesisch). Spanisch ist vorerst etwas ungenauer als Englisch.
Wie genau ist es?
Bei vielfältigen englischen Clips aus dem echten Leben stimmen etwa zwei von drei Wörtern, bei einer klar sichtbaren Person im Studio etwa 85 %. Spanisch (Beta) liegt bei etwa 65 %. Das Ergebnis hängt stark vom Material ab; deshalb trägt jedes Wort eine Wahrscheinlichkeit, und du siehst die anderen wahrscheinlichen Lesarten jedes Wortes und jeder Zeile. Erwarte eher den Sinn als ein wörtliches Transkript; mit Namen, Zahlen und seltenen Wörtern tut es sich besonders schwer. Alle Zahlen.
Kann es auch den Ton nutzen?
Ja: Aktiviere „Auch den Ton anhören“, dann liest ein größeres Modell (286 MB für Englisch, 298 MB für Spanisch) Lippen und Stimme zusammen. So stimmen fast 9 von 10 Wörtern, selbst bei Stimmengewirr. Das englische Modell bleibt außerdem bei der sprechenden Person, wenn jemand dazwischenredet; das spanische schreibt dann womöglich stattdessen mit, was die andere Stimme sagt. Bei einer klaren Stimme, wenn sonst niemand redet, schafft eine gewöhnliche Spracherkennung das genauso gut.
Was bedeuten die Farben und Prozente?
Die Prozentzahl eines Wortes ist seine Wahrscheinlichkeit, richtig zu sein — geschätzt aus dem, was das Modell rund um dieses Wort gesehen hat. Weiße Wörter sind wahrscheinlich (80 %+), bernsteinfarbene unsicher und unterstrichene korallenrote zweifelhaft (unter 50 %). Die Lesarten einer Zeile zeigen, wie sich die Wahrscheinlichkeit auf die Lesarten verteilt, die der Decoder behalten hat. Auf unserem Testset stimmten Wörter mit 80–100 % in etwa 93 % der Fälle.
Welche Videos funktionieren am besten?
Eine Person, die in die Kamera schaut, ein ausreichend großes Gesicht, gutes Licht, 25–30 fps. MP4, MOV und WebM funktionieren in aktuellen Browsern. Mehrere Personen im Bild sind kein Problem — du wählst, wessen Lippen gelesen werden.
Warum ist der erste Durchlauf langsamer?
Wenn du eine Sprache zum ersten Mal liest, lädt dein Browser ihr Lippenlese-Modell herunter (Englisch 264 MB, Spanisch 169 MB; Lippen + Ton: Englisch 286 MB, Spanisch 298 MB) und legt es in den Cache. Danach startet es sofort, auch offline. Auf einer Laptop-CPU läuft das Lesen etwa 1,6-mal schneller als Echtzeit — ein Clip von einer Minute dauert rund 40 Sekunden; Handys und ältere Rechner brauchen ein Mehrfaches davon.
Ist es kostenlos? Darf ich es beruflich nutzen?
Es ist kostenlos. Die offenen Lippenlese-Modelle, die es verwendet, sind nur für Forschung und nichtkommerzielle Nutzung lizenziert — und damit auch LipScribe: Private, schulische und wissenschaftliche Nutzung ist in Ordnung; kommerzielle Nutzung bräuchte Modelle, die auf rechtlich geklärtem Videomaterial trainiert wurden (Credits & Lizenzen). Wenn LipScribe dir geholfen hat, gibt es eine Spendenkasse nach eigenem Ermessen.