Credits & Lizenzen

Aufgebaut auf offener Forschung.

LipScribe führt offene Modelle und Bibliotheken in deinem Browser aus. Seine drei Lippenlese-Modelle sind nur für Forschung und nichtkommerzielle Nutzung lizenziert — und damit auch LipScribe.

Lippenlese-Modelle

  • Englisch, Lippen, das kleinere Modell (optional): Auto-AVSR (Ma et al., ICASSP 2023; Code Apache-2.0), visuelles LRS3-Modell, in unserem eigenen 4-Bit-ONNX-Export (Encoder + CTC + Neubewertung mit dem Attention-Decoder), von LipScribe nachtrainiert mit ~1.480 h englischer Clips aus AVYT (AVSRCocktail, Interspeech 2025; YouTube-Videos, CC BY-NC-SA 4.0), Pressebriefings und Reden der Europäischen Kommission aus ihrem Audiovisuellen Dienst (© European Union, CC BY 4.0) und Creative-Commons-Videos.
  • Spanisch, Lippen: ViSpeR (Djilali et al., TII), CC BY-NC 2.0, in unserem eigenen 4-Bit-ONNX-Export, von LipScribe nachtrainiert mit öffentlichen Aufnahmen des Parlamento de Canarias, des Congreso de los Diputados, von RTVE und Creative-Commons-Videos.
  • Englisch, Lippen: FLARE Large (Zhang et al., NeurIPS 2026; Code MIT, Gewichte CC BY-NC 4.0), sein Lippen-Strom und sein Gesichts-Strom, in unserem eigenen 4-Bit-ONNX-Export (Encoder + Attention-Decoder, per Strahlsuche gelesen). Eine kleine Schicht darüber, für die Suche nach einem Wort auf den Lippen, hat LipScribe mit 500 Stunden englischer Clips trainiert (AVYT und eigene Quellen).
  • Englisch, Lippen + Ton (optional): AVSRCocktail (Nguyen et al., Interspeech 2025), CC BY-NC 4.0, aufgebaut auf Metas AV-HuBERT: „AV-HuBERT is licensed under the AV-HuBERT license, Copyright (c) Meta Platforms, Inc. All Rights Reserved.“ (Lizenz: nur nichtkommerzielle Forschung).
  • Spanisch, Lippen + Ton (optional): das audiovisuelle Modell von ViSpeR (Djilali et al., TII), CC BY-NC 2.0, in unserem eigenen 4-Bit-ONNX-Export.

Alle vier Modelle: nur für Forschung und nichtkommerzielle Nutzung. Kommerzielle Nutzung bräuchte Modelle, die auf rechtlich geklärtem Videomaterial trainiert wurden.

Bibliotheken

Die Demo auf der Startseite

Echte Ausgabe von LipScribe, ohne Ton gelesen (englische Sprache). Video: „The Standard Model“ von Fermilab, CC BY 3.0 (gekürzt, zugeschnitten, ohne Ton).