Ehrliche Genauigkeit

Lippenlesen ist schwer. LipScribe sagt dir, wie sicher es ist.

Viele Laute sehen auf den Lippen gleich aus — im Englischen sind „pat“, „bat“ und „mat“ dieselbe Mundform —, und selbst geübte Lippenleser verpassen vieles. Statt Perfektion vorzutäuschen, bekommt deshalb jedes Wort eine Wahrscheinlichkeit, und du siehst die anderen wahrscheinlichen Lesarten. Erwarte den Sinn, kein wörtliches Protokoll.

Die Zahlen

~2 von 3englischen Wörtern richtig bei vielfältigen Clips aus dem echten Leben, allein mit den Lippen.
~85 %der englischen Wörter richtig bei einer klar sichtbaren Person im Studio, die in die Kamera spricht.
~65 %der spanischen Wörter richtig — Spanisch ist noch Beta.
~9 von 10englischen Wörtern richtig, wenn LipScribe auch den Ton anhört — selbst wenn Stimmengewirr oder eine zweite Stimme darüberliegt.
93 %der Wörter, die mit 80–100 % angezeigt wurden, stimmten; Wörter um 50 % etwa jedes zweite Mal.

Nur Lippen: unser Testset mit 67 Clips aus dem echten Leben, 60 Minuten (Wortfehlerrate: Englisch 34,5 %, Spanisch 35,4 %). Lippen + Ton: 46 englische Clips, ungestört, mit Stimmengewirr und mit einer zweiten Stimme, beides so laut wie die sprechende Person dazugemischt (Wortfehlerrate 8,9 %, 13,9 % und 10,8 %). Lippen + Ton auf Spanisch: 21 Clips, ungestört 8,6 %, mit Stimmengewirr 11,7 %; mit einer gleich lauten zweiten Stimme kommt es nicht zurecht (62 %).

Was die Farben und Prozente bedeuten

Die Prozentzahl eines Wortes ist seine Wahrscheinlichkeit, richtig zu sein — geschätzt aus dem, was das Modell rund um dieses Wort gesehen hat. Weiße Wörter sind wahrscheinlich (80 %+), bernsteinfarbene unsicher und unterstrichene korallenrote zweifelhaft (unter 50 %). Tippe in der App auf ein Wort, um zu sehen, was es sonst sein könnte; die Lesarten einer Zeile zeigen, wie sich die Wahrscheinlichkeit auf die Lesarten verteilt, die der Decoder behalten hat.

So sieht eine Zeile aus
0:07

Thank you all for coming tonight

  1. 44%Thank you all for coming tonight
  2. 23%Thank you all for coming to night
  3. 11%Thank you all for becoming tonight
wahrscheinlich 80 %+unsicher 50–80 %zweifelhaft unter 50 %

Was einen Clip leicht oder schwer macht

Am besten mit

  • einer Person, die in die Kamera schaut
  • einem Gesicht, das einen guten Teil des Bildes füllt
  • ruhigem Licht und wenig Bewegungsunschärfe
  • 25–30 Bildern pro Sekunde

Schwieriger mit

  • abgewandten Köpfen und Profilansichten
  • kleinen oder weit entfernten Gesichtern
  • Händen, Mikrofonen oder Bärten vor dem Mund
  • niedrigen Bildraten, starker Kompression, seltenen Namen und Zahlen

Vor dem Lesen prüft die App Gesichtsgröße, Kopfdrehung, Erkennungsquote und Bildrate und sagt dir, wenn ein Clip voraussichtlich schwierig wird.