Ein Gastbeitrag von Selina Lochmann und David Salaws
Vom virtuellen 3D-Rundgang bis zur zeitlich erweiterten 4D-Rekonstruktion
Gaussian Splatting hat sich in den letzten Jahren als spannendes und leistungsfähiges Verfahren für die bildbasierte 3D-Rekonstruktion etabliert. Statt polygonbasierte Modelle oder klassischer Punktwolken werden Szenen hier durch viele kleine Ellipsoide (Gaussians) repräsentiert, die Geometrien und Farben direkt aus den Bilddaten lernen.
Das klingt erstmal abstrakt, macht in der Praxis aber einen riesigen Unterschied zu klassischen Verfahren: Die Ergebnisse sehen oft extrem gut aus und laufen gleichzeitig überraschend performant, teils sogar in Echtzeit und direkt im Webbrowser.
Gerade für die Geovisualisierung ist das interessant. Gebäude, Innenräume oder einzelne Objekte lassen sich realitätsnah rekonstruieren und interaktiv erlebbar machen, ohne mühsame Modellierung, Texturierung oder Belichtung. Allerdings bringt das Gaussian Splatting auch Herausforderungen mit sich: Von der Datenerfassung über das Training bis hin zu Weiterverarbeitung und der Integration in Webanwendungen ist der Workflow aktuell noch nicht „plug and play“.
In unserer Bachelorarbeit haben wir die Möglichkeiten und Grenzen des Gaussian Splatting in zwei Anwendungsfeldern betrachtet: zum einen die Darstellung statischer Umgebungen als 3D-Modell und zum anderen die Rekonstruktion eines bewegten Objekts im Sinne eines 4D-Gaussian-Splatting Ansatzes, bei dem das klassische 3D-Modell um die zeitliche Dimension erweitert wird.
Virtueller 3D-Rundgang mithilfe von 360°-Erfassung
Als statische Umgebung haben wir die Röntgen-Gedächtnisstätte an der THWS erfasst und als virtuellen Rundgang im Web umgesetzt. Zur Datenerfassung nutzten wir eine Insta360 Pro 2, eine professionelle 360°-Panoramakamera mit sechs Fisheye-Objektiven. Der große Vorteil: Schon mit wenigen Standpunkten erhält man eine Rundumerfassung und spart sich im Vergleich zu klassischen Mehrbild-Setups einiges an Aufnahmeaufwand.
Gleichzeitig zeigte sich, dass die 360°-Erfassung einen technisch anspruchsvollen Workflow mit sich bringt. Bildqualität, Stitching-Artefakte und der begrenzte Dynamikumfang erschweren die präzise Kamerapositionierung und damit die Rekonstruktion. Um Gaussian Splatting überhaupt einsetzen zu können, mussten die Panoramabilder zunächst aufbereitet und in mehrere virtuelle Kamerablicke zerlegt werden.
Das Training lief über aktuelle Gaussian-Splatting-Tools wie 3DGUT aus dem NVIDIA-Umfeld, die überwiegend per Kommandozeile eingerichtet und genutzt werden. Dabei merkt man schnell: Gaussian Splatting ist aktuell noch sehr „techniknah“. Abhängigkeiten von GPU-Treibern, CUDA, Python und weiteren Libraries machen das Setup aufwendig.
Für die Webdarstellung nutzten wir die nutzerfreundliche PlayCanvas Umgebung. Mit geeigneter Kompression der Modelle war ein performanter virtueller Rundgang direkt im Browser möglich.
Blicke in Raum und Zeit: 4D-Gaussian Splatting
Spannend wird es, wenn man 3D-Rekonstruktionen um die Zeit erweitert, also Bewegung als vierte Dimension abbildet. Beim 4D-Gaussian-Splatting (4DGS) wird die Bewegung eines Objekts innerhalb eines Gesamtmodells trainiert.
Als bewegtes Aufnahmeobjekt diente uns ein Roboterarm aus dem Vermessungsbereich der THWS. Ein „echtes“ 4DGS Modell war vor allem wegen hoher Hardwareanforderungen und eingeschränkter Webunterstützung nicht umsetzbar. In unserer Bachelorarbeit wählten wir daher einen alternativen Ansatz: Die Bewegung des Arms wurde über 254 einzelne 3D-Gaussian-Splatting Modelle dargestellt, die nacheinander in einer insgesamt etwa 10 Sekunden langen Sequenz abgespielt werden. Jedes Modell entspricht dabei einem Frame. Voraussetzung dafür war eine saubere Datenerfassung mit synchronisierten Videoaufnahmen aus verschiedenen Blickwinkeln.
254 einzelne 3D-Modelle im Web? Funktioniert tatsächlich! Möglich wurde es durch das SOG-Kompressionsformats (Spatially Ordered Gaussians), das den Datensatz von rund 28 GB auf etwa 2 GB reduziert. Für eine flüssige Darstellung braucht es trotzdem schnelles Internet, gute Hardware und aktiviertes WebGPU. Dadurch eignet sich der Ansatz momentan eher für kurze Sequenzen und kleinere Szenen, zeigt aber gut, in welche Richtung sich das Thema entwickeln kann.
Generell herrscht im Bereich Gaussian Splatting aktuell eine hohe Entwicklungsdynamik, sodass in naher Zukunft weitere Verbesserungen und spannende Ansätze im 3D- und 4D-Bereich zu erwarten sind.
Link zum virtuellen Rundgang
Link zum 4D-Gaussian-Splatting
