Erweiterung von Lichtquellen mit generativer KI in Photoshop

Selbstständiges Forschungs- und Praxisprojekt

Marie Klischat

5/3/2025

Für das Video „A Feeling of Anger and Rebellion“ stand ich vor der Aufgabe, einen Teil des Hintergrunds zu entfernen. Aufgrund des begrenzten Platzes beim Dreh war im Videofootage stets ein Teil des Raumes sichtbar, der im finalen Bild nicht präsent sein sollte.

Grundsätzlich war die Hintergrundentfernung mit KI zum Zeitpunkt des Experiments (Stand: März 2025) bereits gut umsetzbar, insbesondere bei statischen Videoaufnahmen. Auch in meinem Fall war die Kamera statisch. Eine wesentliche Einschränkung ergab sich jedoch durch die nicht statische Lichtquelle, wodurch sich die Lichtverhältnisse von Frame zu Frame veränderten.

Ein erster Ansatz bestand darin, das Video mithilfe einer generativen Video-KI zu erweitern, konkret mit dem Inpaint-Tool von Runway AI, das zu diesem Zeitpunkt zu den gängigen Tools für videobasierte KI-Bearbeitung zählte. Aufgrund der wechselnden Lichtverhältnisse lieferte dieser Ansatz jedoch keine konsistenten Ergebnisse, sodass sich diese Methode für das Projekt nicht eignete.

Daraufhin entschied ich mich für eine manuelle Umsetzung Frame für Frame in Photoshop. Hierfür wählte ich jeweils den zu verändernden Bildbereich aus und generierte den neuen Hintergrund mithilfe eines Prompts. Obwohl dieser Workflow grundsätzlich funktionierte, war er mit einem sehr hohen zeitlichen Aufwand verbunden.

Frame mit störendem Hintergrund.

Frame mit KI-Überarbeitung.

Frame per Frame überarbeitetes Video.

Aus diesen Gründen entschied ich mich, diese Technik nicht im finalen Projekt einzusetzen und den Prozess stattdessen als Research-Experiment zu dokumentieren. Die Arbeit zeigt exemplarisch die damaligen Grenzen der KI-gestützten Videobearbeitung im März 2024, insbesondere im Hinblick auf Lichtkonsistenz und Frame-übergreifende Stabilität.

Um den Prozess zu beschleunigen, experimentierte ich zusätzlich mit einem Photoshop-Skript, das zumindest das erneute generieren eines Hintergundes für die Auswahl automatisierte. Allerdings zeigten sich auch hier deutliche Limitationen: Sichtbare Übergänge im Bild, harte Kanten sowie das gelegentliche, zufällige Hinzufügen unerwünschter Objekte durch die KI.

Letztlich war es notwendig, für jeden Frame eine individuelle Auswahl zu erstellen und den Prompt erneut anzupassen, um ein möglichst fließendes Ergebnis zu erzielen. Trotz dieses hohen Aufwands kam es weiterhin zu einem leichten Flickern im Video, das sich nicht vollständig vermeiden ließ.