Apple mit Neural 3D Engine

Apple schlägt mit FaceLit eine Neural 3D Engine für Relighting von Gesichtern vor. Die Engine soll

3D-Gesicht generieren können, welche bei verschiedenen benutzerdefinierten Lichtverhältnissen und Ansichten gerendert werden können. Als input benötigt die Engine lediglich 2D-Bilder. Die Engine verlässt sich dabei auf standardmäßige Schätzer für Pose und Beleuchtung. Mit diesen Schätzungen wird das Phong-Reflexionsmodell in das neuronale Volumen-Rendering-System integriert. Das Modell lernt dabei die Form- und Materialeigenschaften eines Gesichts so zu generieren. Dies ist gleichzeitig die Grundlage zur Erzeugung von fotorealistische Gesichtsbildern mit Multiview-3D- und Beleuchtungskonsistenz.

Selbstbewusst erklärt Apple: "Unsere Methode ermöglicht die fotorealistische Erzeugung von Gesichtern mit expliziten Beleuchtungs- und Ansichtskontrollen auf mehreren Datensätzen - FFHQ, MetFaces und CelebA-HQ. Wir zeigen den modernsten Fotorealismus unter 3D-bewussten GANs auf dem FFHQ-Datensatz und erreichen einen FID-Score von 3,5."

Mit Relight FX hat Blackmagic bereits eine ähnliche Funktion in die neue DaVinci Resolve 18.5 BETA integriert. Dieser KI-Effekt ermöglicht es in Resolve Szenen mit virtuellen Lichtquellen nachträglich zu beleuchten. Der entscheidende Unterschied: dieser Effekt arbeitet mit vollständigen Videos und produziert keine neuen perspektivischen Ansichten.