AI in der Filmindustrie

Künstliche Intelligenz ist mittlerweile in vielen Bereichen der Audio- und Bildverarbeitung angekommen, selbst Schnitt wird schon teilweise mit AI unterstützt. Was den AI Boom der 90s zum heutigen unterscheidet ist ganz einfach die Performance der Rechner, welche uns heute zur Verfügung stehen. Bereits in den 90ern glaubte man die AI würde nun alles verändern und erleichtern, aber die Limitierung durch die Rechengeschwindigkeit war einfach zu groß.

Heute finden wir AI in zahlreichen Tools und Anwendungen, und immer mehr im Bereich der Ton und Bildverarbeitung, und damit auch im Film Workflow. Die Entwickler der NLEs sind da sehr schnell und wir dürfen uns über Automatische Maskierungs-Funktionen freuen, aber auch Gesichtserkennung und AI unterstütztes Sky-Replacemnt.

Mittlerweile schießen AI basierte Tools wie Pilze aus dem Boden. Frameworks, wie beispielsweise TensorFlow oder PyTorch erleichtern den Einstieg in AI basierte Entwicklung enorm!

On The Edge

Eine der größten Herausforderungen wird definitv die Entwicklung neuer Anwendungen "on the edge", was bedeutet, dass die Funktionen lokal auf dedizierten Geräten laufen können. Hier entwickelt die Industrie schon seit einigen Jahren extrem leistungsstarke neue Prozessoren und Chips, welche bereits die erforderliche KI - etwa für Bildverarbeitung - implementiert haben, wie etwa die Kneron Edge AI Chips. Besonders im Bereich Automotve und in der Medizin wird es im Image Processing Anwendungen große Sprünge geben.

Auch die Film- und Postproduktion wird davon profitieren. Es werden dank solcher Chips in den Kameras bereits Funktionen ausgeführt werden können, von denen wir heute noch träumen. Der Trend hin zu "on the edge" Lösungen hat auch einen andern Grund. Die Cloud-basierten Lösungen sind viel zu Traffic-intensiv, besonders in kritischen Anwendungen wie Bilderkennung in der Automotive Industrie oder bei Medizinischen Anwendungen wird man partiell immer weniger auf Cloud-Lösungen zurück greifen.

Für die AI basierte und unterstütze Bildverarbeitung werden völlig neue Tools entstehen, welche nicht nur auf NN zurück greifen, sondern noch viel komplexere Strukturen und Modelle nutzen werden, dagegen ist Midjourney Kinderkram.

Automatisierung durch AI?

Meiner Meinung nach wird es schon bald automatisierte Farbanpassungen geben, welche kaum noch manueller Justierung bedürfen. Farbkorrektur wird in einigen Jahren nicht mehr Bestandteil des Jobs eines Coloristen sein, ja die ganze Branche der Bildbearbeitung wird stark durchgerüttelt und neu sortiert werden, dieser Prozess hat schon längst begonnen. Es wird neue Player geben und die aktuellen Stakeholder sind gut beraten diesen Trend nicht "zu verschlafen".

Die AI-basierte und automatisierte Farbanpassung in Szenen ist bereits heute schon in guter Qualität möglich, wenngleich hier immer noch eine manuelle Nachbearbeitung erforderlich ist. Die Geschwindikeit der Bildverarbeitung wird sich ebenfalls durch die AI sigifikant steigern, so dass manuelle Bildverarbeitung sukksesive immer weiter schon aus Kostengründen verdrängt werden wird.

AI wird in absehbarer Zukunft die Rolle der Coloristen nicht ersetzen, sondern eher ergänzen. Aber es ist nur eine Frage der Zeit, bis auch Tools das Licht der Welt erblicken, welche die Rolle eines Coloristen vollständig übernehmen können. Ich wundere mich sowieso, dass bestimmte Funktionen noch nicht umgesetzt wurden, denn rein technologsich sind Funktionen wie automatische und sichere Skin Tone Korrektur und Retusche bereits heute schon möglich, hier bin ich schon auf die nächste DaVinci Resolve Version gespannt!

Das Aufgabengebiet eines Coloristen wird sich in den nächsten Jahren drastisch ändern, auch wenn ich mit dieser Aussage im Moment noch oft allein da stehe. Ich habe schon zu viele neue Technologien im Rahmen von Forschungsprojekten kommen und gehen sehen, die AI in der Bildverarbeitung wird einen hohen Grad an Automatisierung erreichen, da bin ich mir ganz sicher.

Was zählt in der Zukunft?

Dies bringt mich zu einem ganz anderen, aber dennoch damit in engem Zusammenhang stehenden Punkt. Bereits heute können alle, die dies möchten, mit erschwinglichen Kameras sehr gute Bilder erzeugen, das ist keine Kunst mehr. Die Technik wird immer preiswerter und die Qualitätsunterschiede immer geringer. Natürlich wird es immer Gold-Standards wie die Arri Kameras geben, aber um gute Bilder zu erzeugen reicht oft auch schon eine kompakte Kamera mit Log-Format und dadurch möglichen 15+ Stops Dynamic Range. Kurzum, die Unterschiede der Bilder werden nicht mehr so stark durch technische Unterschiede bestimmt.

Eine deutliche Abgrenzung wird zukünftig immer mehr nur noch über Inhalte erfolgen können. Ich denke, dass eine gute Story und hochwertiger Inhalt wieder "King" und immer mehr gefragt sein werden, ich würde es sehr begrüßen!

Dies spiegelt auch bereits die Branche wieder. Immer öfter erlebe ich in Gesprächen mit Cinematographern größerer Produktionshäuser, dass die Themen, über die man in der Branche spricht, kaum noch technikbasiert sind, dies war vor wenigen Jahren noch ganz anders.

Heute sind wieder mehr gute Inhalte gefragt, gutes Storytelling ist wieder Thema. Wer jetzt denkt, dass ich die AI über alles stelle, irrt. Analoge Technologien sind mir genauso lieb und teuer, nicht umsonst fotografiere ich immer noch sehr gern analog, was natürlich nicht zuletzt auch mit meinem Hintergrund zu tun hat. Die Vorliebe für ein "gutes Bild" steht dabei mehr im Vordergrund als die Liebe zu neuen Technologien. Und natürlich sollten wir alle die AI Technologie generell kritisch betrachten und ihr nicht blind alles anvertrauen.

Eins ist jedoch sicher. AI wird die Filmbranche von innen heraus verändern. Und Blackmagick wird mit DaVinci Resolve im Bereich der NLEs mit hoher Warscheinlichkeit mit ganz vorn dabei sein, wenn es um AI basierte Bild- und Tonverarbeitung geht. Natürlich muss auch noch jemand all diese Tools bedienen und füttern, aber das wird immer mehr eher eine Frage der Schnittstellen. Coloristen wird es auch zukünftig geben, aber sie werden immer mehr andere Funktionen und Aufgaben übernehmen müssen. Ich kann völlig verstehen, wenn Leute mich nach diesem Blog-Beitrag verteufeln, aber sie werden es erleben, es führt kein Weg mehr daran vorbei.

AI-Einbindung im Film-Workflow

In unseren Workflows hält bereits jetzt schon AI Einzug. Im Moment sind die Ergebnisse zwar noch nicht so weit ausgereift und es bleiben einige wichtige Aspekte ausßen vor. Das liegt sowohl an den Tools selbst (z.B. ChatGPT) als auch an der notwendigen Lern-Tiefe.

Einfach nausgedrückt ist es eine Frage des "Trainings" der AI. Je mehr und je besser man die AI füttert, desto besser wird sie. Was wäre beispielsweise, wenn Walt Disney all seine Drehbücher nimmt, einer AI "hin wirft" und dann unter vorgabe weiterer Parameter diese dazu bringt, Drehbücher nach Vorbild der eigenen Vorgaben zu schreiben? Man muss kein Experte sein um zu erkennen, dass es dabei vor allem um die Qualität des Trainings geht, aber es ist heute bereits denk- und machbar. Geschichten und Gedichte sind bereits kein Problem mehr. Bleibt die Frage, ob hinterher noch einmal manuell "nachgebessert" wird, was bei dem Beispiel Walt Disney mit Sicherheit der Fall sein würde. Aber vielleicht ist sogar denkbar, dass diese - nennen wir es "Verfeinerung", perspektivisch eingespart und vollständig von der AI übernommen wird.

Glaubhafte Dialoge und wirklich nuancierte Charactere bedürfen immer noch der Hilfe des Menschen, und das finde ich gut. Schließlich haben Autoren Erfahrung und wissen, wie man Dialoge, welche das Publikum fesseln, schreibt und entwickelt. Die AI kann (noch) nicht in die Köpfe der Autoren und produzenten blicken, aber auch das ist ansatzweise heute schon möglich. Ebenso wären die Beziehungen der glaubwürdigen Persönlichkeiten noch offen, hier ist die AI noch nicht in der Lage auf Basis von Layern der einzelnen Akteuere wirklich Beziehungen zu entwickeln, aber es wird kommen, da bin ich mir ziemlich sicher.

AI in der Vorproduktion

Selbstverständlich spielt AI in der Vorproduktion eine große Rolle, das ist sicher. Allein schon die zahlreichen Tools die wir heute bereits in der Vorproduktion verwenden, werden immer mehr in Richtung AI weiter entwickelt. Tools, welche die Kosten von Crew, Drehorten und Ausrüstung analysieren und optimale Produktionspläne und Budgets erstellen, sind durchaus in mittlerer Zukunft denkbar. Dabei ginge es zwar "nur" um Daten, aber jeder Informatiker weiß, dass man aus solchen Daten Mehrwerte und auch neues Wissen generieren kann.

Bedenkt man allein nur die Recherche nach potentiellen Schauspielern für die Besetzung der einzelnen Rollen, wird einem schnell klar, dass hier die AI schon große Dienste leisten kann. Bezieht man dann noch Nominierungen für Preise, frühere Auszeichnungen und Publikumsdemografien mit ein wäre die KI sehr gut in der Lage mit hoher Treffsicherheit die idealen Besetzungen für die Rollen zu eruieren.

Auch Drehorte ließen sich mit Hilfe von KI noch schneller und gezielter finden und bewerten. Auch dies wäre wieder eine Frage der Datenqualität.

Und natürlich ist es auch eine Kostenfrage, ob man weiterhin alles händisch und manuell erledigen möchte oder eine KI zumindest die Vorselektion und Auswahl treffen lässt.

AI macht Filme

Jetzt wird's scary! AI macht Filme? Ja, natürlich, dies geschieht bereits schon heute, zumindest stellenweise! Bereits jetzt ist die KI schon stark involviert. Die AI kann bereits Kameras und Drohnen steuern, Zoomen, Schwenken, Tilten und Fokus-Ziehen übernehmen, wenngleich bis jetzt zum Großteil nur unterstützend.

Eine Welt, in der die AI Personen verfolgt und Verwackelungen mittels angepasster Stabilisierung in Camera und "on the fly" bereinigt, ist durchaus vorstellbar. Bleibt die Frage, was sie noch übernehmen kann. Denken wir doch mal an die Analyse einer Sezene und derer Contrast Ratio, gekoppelt mit dem Licht-Setup wäre sie in der Lage die gewünschte Contrast Ratio einzustellen und das Image genau auf 18% Grau einzuleuchten. Manch einem wird bei solchen Visionen schlecht, aber abwenden werden wir diese Entwicklung nicht können.

Selbst die passende Objektivauswahl könnte die AI übernehmen und dazu noch in Echtzeit Entscheidungen über die Komposition und der besten Kamerawinkel treffen. Na, wird Euch schon bange?

Die Kinematographie ist eine der komplexesten Künste und wir alle haben einen großen Respekt vor ihr und beten Cinematographen großer erfolgreicher Produktionen regelrecht an, ich nehme mich da stellenweise nicht aus. Wir sind gut beraten eine nur schwer zu akzeptierende Entwicklung nicht zu verteufeln, sondern diese und die damit verbundenen Potentiale zu erkennen und uns rechtzeitig mit diesen Technologien und Möglichkeiten zu beschäftigen.

Die Kinematographie ist eines der umfassendsten Handwerke, wenn es um menschliche Kreativität geht - etwas, das wir verehren und anbeten. Es wäre eine schwer zu schluckende Pille, wenn all dies automatisiert würde.

AI in Postproduktion

Eine weitere bittere Pille ist die Postproduktion. Sie ist uns heilig und nur ungern geben Coloristen, Cutter und VFX Artists ihre Arbeit an eine KI ab. Aber sie ist "überschaubar" und am ehesten von einer AI kontrollierbar. Besonders im Schnitt und beim Color Grading ist die Entwicklung bereits weit fortgeschritten. Auch Color Management wird schon teilweise von KI übernommen und täglich lesen wir von neuen Entwicklungen und Durchbrüchen. Es wird nicht allzulange dauern bis die ersten Tools wirklich hochwertige Ergebnisse liefern.

Stell Dir vor eine AI mit Sprache zu steuern: noch etwas mehr Orange in den Lichtern, die Specualr highlights aber weiß lassen, die Schatten ein kleines bisschen mehr entsättigen und den Himmel bitte mehr blau mit einer Nuance Cyan und bitte noch etwas mehr Textur in den Skin Tones. So ein Szenario könnte schon in wenigen Jahren möglich sein. Was wird dann aus all den Coloristen?

Ebenso denkbar und garnicht so abwegig ist, dass AI Gesichter glättet, Skintones an die Umgebung ideal anpasst, Glanzlichter retuschiert und Make up auffrischt, unzwar unter Vorgabe von ein paar Referenzbildern. Na, liebe Coloristen, wird Euch schon warm?

Gehen wir noch einen Schritt weiter. Transkriptionen und auch Synchronisationen sind keine Kunst mehr und könnten ohne Sprecher auskommen, wenn die AI dies übernimmt. Sprache zu ersetzen ist bereits jetzt schon in hoher Qualität möglich. Man kann sich beispielsweise sehr gut ein Tool vorstellen, welches Filmmaterial analysiert und automatisch die besten Aufnahmen und Sequenzen auswählt. Dann noch Übergänge verbessern und andere Elemente einfügen, um die Geschichte zu verbessern. Selbst Sound-Design könnte dann noch von einem AI Tool übernommen werden.

Sonst noch was?

Natürlich reicht das Wirkungsfeld von AI noch viel weiter. Denken wir nur einmal an Auswertung von Sehgewohnheiten, Publikumsmonitoring und Auswertung von Trends, Publikumsvorlieben und der Verschneidung mit demografische Daten, welche helfen den Vertrieb eines Films zu optimieren. Teilweise wird dies sogar schon mit Hilfe von AI umgesetzt, auch hier ist es nur eine Frage der Zeit, dass uns Tools dabei fast voll unterstützen oder diese Aufgabe in einer Qualität erledigen können, die "nur noch" eine Nachselektion benötigt, wenn überhaupt.

Aus meiner Sicht sind es zwei zentrale Fragen, welche unbedingt berücksichtigt werden müssen. Stimmt die Qualität und wie hoch ist die Zeitersparnis, denn nur dann wird es auch wirtschaftlich Sinn machen Aufgaben an die KI abzugeben.

Meiner Meinung nach wird die KI zumindest im Schnitt und in der Farbkorrektur die bestehenden Berufsfelder heftig durchschütteln. Ob es in wenigen Jahren überhaupt noch Coloristen im heutigen Sinne geben wird, bleibt abzuwarten. Meine Prognose ist diesbezüglich ganz klar. Das Aufgabengebiet eines heutigen Coloristen wird es in absehbarer Zeit nicht mehr geben, ebenso die des Cutters, bestimmte Disziplinen mal noch ausgenommen.

Fazit

Eine wichtige abschließende Frage lautet: Möchten wir das lles?

Um beim Beispiel zu bleiben hieße dies, dass wir jeden Monat eine neue Folgen von Walt Disney hätten - zum Beispiel in Form einer Dayli Soap. Walt Disney bis der Arzt kommt!

Meiner Meinung nach wird sich die gesamte Film Industrie immer mehr auf AI stützen und sie als Hilfe nutzen, vielleicht auch um eigene Ideen zu prüfen. Die ethischen Aspekte einer solchen Entwicklung stehen noch auf einem ganz anderen Blatt.

Darum herum kommt niemand mehr. Bleibt die Frage, wie schnell sich die einzelnen Berufsbilder verändern werden. Bisher war es immer ein gesellschaftlicher Prozess mit einem Abstand von ca. 5 bis 10 Jahren, bis eine völlig neue Technologie in der Breite Akzeptanz und Anwendnung fand. Ob es diesmal schneller geht?

Tim