Molmo2 Video Captioner wandelt eine öffentlich erreichbare Video-URL in eine detaillierte Beschreibung um, die den zeitlichen Ablauf erfasst und nicht nur den Inhalt eines einzelnen Frames. Das Modell erkennt Motive, Objekte, Szenenwechsel, Kamerabewegungen, Interaktionen und wichtigen visuellen Kontext. Dadurch eignet sich das Ergebnis als barrierefreier Alternativtext, durchsuchbare Beschreibung für eine Medienbibliothek oder Eingabe für nachgelagerte Kreativ- und Automatisierungsabläufe. Wähle „niedrig“ für eine kurze Zusammenfassung, „mittel“ für eine ausgewogene Beschreibung oder „hoch“ für eine umfassendere Darstellung zeitlicher Aktionen und der Szenenstruktur. Clips dürfen bis zu zwei Minuten lang sein. Die API liefert die Beschreibung asynchron zurück und eignet sich damit auch für länger laufende Videoanalysen in Produktionspipelines, Workflow-Knoten und Hintergrundjobs.
1Barrierefreiheit: Erstelle Videobeschreibungen, damit Menschen mit Screenreadern die visuelle Handlung nachvollziehen können.
2Medienbibliotheken: Erzeuge durchsuchbare Beschreibungen und Tags für große Sammlungen hochgeladener Videoclips.
3Content-Prozesse: Fasse Videomaterial vor dem Schnitt, der Prüfung, Veröffentlichung oder weiteren kreativen Verarbeitung zusammen.
4Video-QA: Prüfe Aktionen, Szenenübergänge, Objekte und visuellen Kontext in generierten oder von Nutzern eingereichten Clips.
5Workflow-Automatisierung: Übergib eine Beschreibung ohne manuelle Prüfung an einen weiteren Text-, Such- oder Content-Generierungsknoten.