Credits & Lizenzen
Aufgebaut auf offener Forschung.
LipScribe führt offene Modelle und Bibliotheken in deinem Browser aus. Seine drei Lippenlese-Modelle sind nur für Forschung und nichtkommerzielle Nutzung lizenziert — und damit auch LipScribe.
Lippenlese-Modelle
- Englisch, Lippen, das kleinere Modell (optional): Auto-AVSR (Ma et al., ICASSP 2023; Code Apache-2.0), visuelles LRS3-Modell, in unserem eigenen 4-Bit-ONNX-Export (Encoder + CTC + Neubewertung mit dem Attention-Decoder), von LipScribe nachtrainiert mit ~1.480 h englischer Clips aus AVYT (AVSRCocktail, Interspeech 2025; YouTube-Videos, CC BY-NC-SA 4.0), Pressebriefings und Reden der Europäischen Kommission aus ihrem Audiovisuellen Dienst (© European Union, CC BY 4.0) und Creative-Commons-Videos.
- Spanisch, Lippen: ViSpeR (Djilali et al., TII), CC BY-NC 2.0, in unserem eigenen 4-Bit-ONNX-Export, von LipScribe nachtrainiert mit öffentlichen Aufnahmen des Parlamento de Canarias, des Congreso de los Diputados, von RTVE und Creative-Commons-Videos.
- Englisch, Lippen: FLARE Large (Zhang et al., NeurIPS 2026; Code MIT, Gewichte CC BY-NC 4.0), sein Lippen-Strom und sein Gesichts-Strom, in unserem eigenen 4-Bit-ONNX-Export (Encoder + Attention-Decoder, per Strahlsuche gelesen). Eine kleine Schicht darüber, für die Suche nach einem Wort auf den Lippen, hat LipScribe mit 500 Stunden englischer Clips trainiert (AVYT und eigene Quellen).
- Englisch, Lippen + Ton (optional): AVSRCocktail (Nguyen et al., Interspeech 2025), CC BY-NC 4.0, aufgebaut auf Metas AV-HuBERT: „AV-HuBERT is licensed under the AV-HuBERT license, Copyright (c) Meta Platforms, Inc. All Rights Reserved.“ (Lizenz: nur nichtkommerzielle Forschung).
- Spanisch, Lippen + Ton (optional): das audiovisuelle Modell von ViSpeR (Djilali et al., TII), CC BY-NC 2.0, in unserem eigenen 4-Bit-ONNX-Export.
Alle vier Modelle: nur für Forschung und nichtkommerzielle Nutzung. Kommerzielle Nutzung bräuchte Modelle, die auf rechtlich geklärtem Videomaterial trainiert wurden.
Bibliotheken
- Gesichtserkennung: MediaPipe BlazeFace (Apache-2.0) auf LiteRT.js (Apache-2.0).
- Personen über Schnitte hinweg auseinanderhalten: SFace (OpenCV Zoo, Apache-2.0).
- Inferenz: ONNX Runtime Web (MIT).
- Video-Dekodierung: Mediabunny (MPL-2.0).
Die Demo auf der Startseite
Echte Ausgabe von LipScribe, ohne Ton gelesen (englische Sprache). Video: „The Standard Model“ von Fermilab, CC BY 3.0 (gekürzt, zugeschnitten, ohne Ton).