elaspix
       Real-Live-Fotos mit
Artificial-3D-Stills kombinieren



       Tobias Günther
Übersicht

●   Flexibilität von 3D-Modellen
●   Realismus der Realität
●   Motivation
●   Kombination von CGI und Fotos
       ●   Was war mir wichtig
       ●   Wie bin ich vorgegangen




                                     elaspix
Flexibilität von CGI
●   CGI=Computer Generated Images
       ●   3D-Modelle
       ●   Beleuchtung & Materialien
●   Wiederverwendbarkeit mit
●   Anpassungsmöglichkeit für geänderte Kundenwünsche
●   100% Kontrolle in allen Eigenschaften
       ●   Wetter, Bestandteile der Szene, Tageszeit
●   Jederzeit physikalische Naturgesetze missachten
●   Contra: je realistischer, desto teurer

                                                       elaspix
Realismus von Fotos
●   Es gibt keine bessere Grafik-Engine als die reale Welt
●   Sehr große Vielfalt von Stimmungen und Atmosphären
●   „Modellierung“ von noch so kleinen Details (sogar
    Nanostrukturen, in der Wüste gibt es jedes Sandkorn als
    einzelnes Objekt )
       ●   Von technisch über häuslich bis zu Naturumgebungen
●   „Einfangen“ der Stimmung mit einem Klick (geringe
    Erstellungskosten bei maximalem Realismus)
●   Contra: Änderung von Eigenschaft der Szene sehr teuer
    bis unmöglich (Beispiel: Materialien)

                                                       elaspix
Motivation

●   Das beste aus zwei Welten
       ●   Fotos transportieren maximalen Realismus
       ●   3d-Modelle bieten maximale Flexibilität
●   Optimale Kombination bzgl. Herstellungskosten
       ●   Beiden Welten können sich gegenseitig nur unter
           extrem hohen Kosten ersetzen




                                                        elaspix
Ausgangsmaterial

●   „Backplate“ Schwetzinger Schloss




                  J.Kubasch, Schlossgarten Schwetzingen

                                                          elaspix
Ausgangsmaterial

●   3D-Modell „Elaspix-Car“




                              elaspix
Anwendungen

●   Stills                          ●   CGI-Animationen
        ●    Zeitschriften,                ●   Film, Werbung, Messe,
             Webseiten, Plakate,               Demos, (Bewegtbild-
             (bewegungslos)                    Medien)
●   Hohe Qualität des einen         ●   Tausende Frame nötig
    Frames                          ●   Mittlere Qualität
        ●    Lange Betrachtung          (Ablenkung durch Beweg.)
        ●    Hohe Auflösung (10k)   ●   Mittlerweile auch hohe
●   Hohe Fertigungszeit für             Fertigungszeit durch
    den einen Frame                     Cloud-basiertes Rendern
                                                           elaspix
Arbeitsschritte Übersicht

●   Konzeption und Planung (skipped)
●   Fotoaufnahmen von mindestens zwei Standorten
●   CGI-Modelle erstellen (besorgen)
●   Kombination beider „Welten“




                                                   elaspix
Fotoaufnahmen

●   „Backplate“ fotografieren
       ●   Landschaft,
           Straßenszene etc.
●   HDR-Panorama
    aufnehmen
       ●   Von der Position an
           dem das CGI-Objekt
           integriert wird („Was
           würde das CGI-Objekt    http://eyefish.tv/files/images/images/Tracking-markers-hand.jpg

           sehen“)

                                                                                         elaspix
CGI-Modell erstellen in Blender

●   Geometrie, Materialien, Texturen Außen, Innen
●   Individualanfertigung / Vorgabe von Kunden / Kauf als
    digitales Gut




                                                    elaspix
Kombination von 3D und 2D

●   Fünf Schritte
       ●   Kamera-Matching
       ●   Modellanpassungen & Ausrichtung
       ●   Beleuchtung und Schatten setzen
       ●   Reflektionen der Umgebung erzeugen
       ●   Externes „Compositing“




                                                elaspix
Schritt 1 Kamera Matching

●   Ausrichtung der 3D-
    Cam auf 2D-Cam
       ●    Standort,
            Blickrichtung,
            Öffnungswinkel
●   Tools
       ●    Camera Marker und
            Backgroundimage




                                elaspix
Schritt 2 Modellanpassung

●   Modell muss in Skala der Backplane passen
       ●   Größe, Bodenhaftung
●   Ästhetische Anpassungen
       ●   Rotation & Position




                                                elaspix
Schritt 3 Lichtsetzung & Schatten

●   Lichter des Realbildes
    nachbauen
       ●   Richtung, Stärke,
           Lichtfarbe, Typ
●   Schatten setzen und auf
    reale Lichtquelle anpassen




                                    elaspix
Hilfsmittel Lichtsetzung

●   „Light probes“ (Kugeln)
    werden am Realschauplatz
    aufgestellt und
    fotografiert
       ●   Zeigen das einfallende
           Licht von allen Seiten
       ●   Task: Lichter setzen, bis
           Oberfläche der 3D-
           Sphere ähnlich ist

                                       http://images.gamedev.net/columns/hardcore/hdrrendering/Image12-Different%20Exposures.jpg




                                                                                                   elaspix
Unterschiedliche Lichter

●   Hauptlicht
       ●   Entspricht der
           stärksten Lichtquelle
           aus der Realszene
       ●   Schattenquelle
●   Back-Light
       ●   Anti-Schatten des
           Hauptlichts
       ●   Ist oft ein homogenes
           orts-loses Licht

                                   elaspix
Schritt 4 Reflektionen aus Backplate

●   Metall-Oberflächen benötigen unbedingt Reflektionen
       ●   Verlauf der Reflektionen macht die Form erst sichtbar



                                        ig
                                    weil
                                lang
                            =
                       tion
                    ek
                 efl
               eR
           Kein




                                                          elaspix
Hilfsmittel für Reflektionen

●   360°-Panorama-Aufnahme vom Real-Ort anfertigen
●   Diese auf einen Zylinder oder Kugel legen
●   3D-Modell darin „einschließen“




                    http://www.3dm3.com/tutorials/seatleon/FImagen_21_Ilum_hdri.jpg




                                                                                      elaspix
Schritt 5 Compositing

●   Zusammenkopieren von CGI und Backplate
       ●   Meist extern, geht aber auch intern
●   Neben Backplate noch 7 weitere Layer (Render-Passes)
●   Maskierung ermöglich CGI im Mittelteil einzufügen
    (Vorder- und Hintergrund ist Realfoto)
●   Artefakte und Bildfehler entfernen
●   Fake-Rauschen einbringen
●   Homogenisierung durch Adaption der Render-Passes


                                                   elaspix
Reflection   Alpha    Diffuse Light
                                                 Render-Passes




elaspix




          Ambient
          Occlusion    Shadow   Specular Light
Compositing mit Gimp
●   Alle passes als Ebenen laden
●   Manipulationen
       ●   Stärke der Ebenen gewichten
       ●   Teile ausblenden über Ebenenmaske
●   Modi
       ●   Normal (Backplate und Diffuser Pass)
       ●   Multiplikation (dunkle Grafiken, Schatten)
       ●   Aufhellen (helle Grafiken, Glanzlichter)
       ●   Bildschirm (alle andere Passes)

                                                        elaspix
Vielen Dank
                                                                    Backplate
                                        J.Kubasch, Schwetzinger Schlossgarten

                                                                Armaturenbrett
                                                               Schoschie, Flickr




      Notiz an selbst: Mülltonnendeckel sind als Felgen ungeeignet

                                                                 elaspix

3D stills mit fotos kombinieren

  • 1.
    elaspix Real-Live-Fotos mit Artificial-3D-Stills kombinieren Tobias Günther
  • 2.
    Übersicht ● Flexibilität von 3D-Modellen ● Realismus der Realität ● Motivation ● Kombination von CGI und Fotos ● Was war mir wichtig ● Wie bin ich vorgegangen elaspix
  • 3.
    Flexibilität von CGI ● CGI=Computer Generated Images ● 3D-Modelle ● Beleuchtung & Materialien ● Wiederverwendbarkeit mit ● Anpassungsmöglichkeit für geänderte Kundenwünsche ● 100% Kontrolle in allen Eigenschaften ● Wetter, Bestandteile der Szene, Tageszeit ● Jederzeit physikalische Naturgesetze missachten ● Contra: je realistischer, desto teurer elaspix
  • 4.
    Realismus von Fotos ● Es gibt keine bessere Grafik-Engine als die reale Welt ● Sehr große Vielfalt von Stimmungen und Atmosphären ● „Modellierung“ von noch so kleinen Details (sogar Nanostrukturen, in der Wüste gibt es jedes Sandkorn als einzelnes Objekt ) ● Von technisch über häuslich bis zu Naturumgebungen ● „Einfangen“ der Stimmung mit einem Klick (geringe Erstellungskosten bei maximalem Realismus) ● Contra: Änderung von Eigenschaft der Szene sehr teuer bis unmöglich (Beispiel: Materialien) elaspix
  • 5.
    Motivation ● Das beste aus zwei Welten ● Fotos transportieren maximalen Realismus ● 3d-Modelle bieten maximale Flexibilität ● Optimale Kombination bzgl. Herstellungskosten ● Beiden Welten können sich gegenseitig nur unter extrem hohen Kosten ersetzen elaspix
  • 6.
    Ausgangsmaterial ● „Backplate“ Schwetzinger Schloss J.Kubasch, Schlossgarten Schwetzingen elaspix
  • 7.
    Ausgangsmaterial ● 3D-Modell „Elaspix-Car“ elaspix
  • 8.
    Anwendungen ● Stills ● CGI-Animationen ● Zeitschriften, ● Film, Werbung, Messe, Webseiten, Plakate, Demos, (Bewegtbild- (bewegungslos) Medien) ● Hohe Qualität des einen ● Tausende Frame nötig Frames ● Mittlere Qualität ● Lange Betrachtung (Ablenkung durch Beweg.) ● Hohe Auflösung (10k) ● Mittlerweile auch hohe ● Hohe Fertigungszeit für Fertigungszeit durch den einen Frame Cloud-basiertes Rendern elaspix
  • 9.
    Arbeitsschritte Übersicht ● Konzeption und Planung (skipped) ● Fotoaufnahmen von mindestens zwei Standorten ● CGI-Modelle erstellen (besorgen) ● Kombination beider „Welten“ elaspix
  • 10.
    Fotoaufnahmen ● „Backplate“ fotografieren ● Landschaft, Straßenszene etc. ● HDR-Panorama aufnehmen ● Von der Position an dem das CGI-Objekt integriert wird („Was würde das CGI-Objekt http://eyefish.tv/files/images/images/Tracking-markers-hand.jpg sehen“) elaspix
  • 11.
    CGI-Modell erstellen inBlender ● Geometrie, Materialien, Texturen Außen, Innen ● Individualanfertigung / Vorgabe von Kunden / Kauf als digitales Gut elaspix
  • 12.
    Kombination von 3Dund 2D ● Fünf Schritte ● Kamera-Matching ● Modellanpassungen & Ausrichtung ● Beleuchtung und Schatten setzen ● Reflektionen der Umgebung erzeugen ● Externes „Compositing“ elaspix
  • 13.
    Schritt 1 KameraMatching ● Ausrichtung der 3D- Cam auf 2D-Cam ● Standort, Blickrichtung, Öffnungswinkel ● Tools ● Camera Marker und Backgroundimage elaspix
  • 14.
    Schritt 2 Modellanpassung ● Modell muss in Skala der Backplane passen ● Größe, Bodenhaftung ● Ästhetische Anpassungen ● Rotation & Position elaspix
  • 15.
    Schritt 3 Lichtsetzung& Schatten ● Lichter des Realbildes nachbauen ● Richtung, Stärke, Lichtfarbe, Typ ● Schatten setzen und auf reale Lichtquelle anpassen elaspix
  • 16.
    Hilfsmittel Lichtsetzung ● „Light probes“ (Kugeln) werden am Realschauplatz aufgestellt und fotografiert ● Zeigen das einfallende Licht von allen Seiten ● Task: Lichter setzen, bis Oberfläche der 3D- Sphere ähnlich ist http://images.gamedev.net/columns/hardcore/hdrrendering/Image12-Different%20Exposures.jpg elaspix
  • 17.
    Unterschiedliche Lichter ● Hauptlicht ● Entspricht der stärksten Lichtquelle aus der Realszene ● Schattenquelle ● Back-Light ● Anti-Schatten des Hauptlichts ● Ist oft ein homogenes orts-loses Licht elaspix
  • 18.
    Schritt 4 Reflektionenaus Backplate ● Metall-Oberflächen benötigen unbedingt Reflektionen ● Verlauf der Reflektionen macht die Form erst sichtbar ig weil lang = tion ek efl eR Kein elaspix
  • 19.
    Hilfsmittel für Reflektionen ● 360°-Panorama-Aufnahme vom Real-Ort anfertigen ● Diese auf einen Zylinder oder Kugel legen ● 3D-Modell darin „einschließen“ http://www.3dm3.com/tutorials/seatleon/FImagen_21_Ilum_hdri.jpg elaspix
  • 20.
    Schritt 5 Compositing ● Zusammenkopieren von CGI und Backplate ● Meist extern, geht aber auch intern ● Neben Backplate noch 7 weitere Layer (Render-Passes) ● Maskierung ermöglich CGI im Mittelteil einzufügen (Vorder- und Hintergrund ist Realfoto) ● Artefakte und Bildfehler entfernen ● Fake-Rauschen einbringen ● Homogenisierung durch Adaption der Render-Passes elaspix
  • 21.
    Reflection Alpha Diffuse Light Render-Passes elaspix Ambient Occlusion Shadow Specular Light
  • 22.
    Compositing mit Gimp ● Alle passes als Ebenen laden ● Manipulationen ● Stärke der Ebenen gewichten ● Teile ausblenden über Ebenenmaske ● Modi ● Normal (Backplate und Diffuser Pass) ● Multiplikation (dunkle Grafiken, Schatten) ● Aufhellen (helle Grafiken, Glanzlichter) ● Bildschirm (alle andere Passes) elaspix
  • 23.
    Vielen Dank Backplate J.Kubasch, Schwetzinger Schlossgarten Armaturenbrett Schoschie, Flickr Notiz an selbst: Mülltonnendeckel sind als Felgen ungeeignet elaspix