# data[].attributes.body
Jan Schäfer ist Fachberater für Extended Reality am Digitalisierungszentrum Ulm | Alb-Donau | Biberach.
Davor war der Dipl. Kommunikationsdesigner mit dem Schwerpunkt New Media über 10 Jahre als Entwickler im Bereich Augmented, Mixed und Virtual Reality in Startups und Agenturen tätig.

Fachberater Virtual & Augmented Reality

0731 / 72557528

0162 / 2667130

j.schaefer@dz-uab.de

# data[].attributes.headline
Hier finden Sie eine Übersicht unserer Kernkompetenzen am DZ

# data[].attributes.subject
Hier finden Sie eine Übersicht unserer Kernkompetenzen am DZ

# data[].attributes.headline
Hier finden Sie eine Übersicht der weiteren Kompetenzen im Bereich XR

# data[].attributes.subject
Hier finden Sie eine Übersicht der weiteren Kompetenzen im Bereich XR

# data[].attributes.attachment_link.readable_text
Ich habe gerade drei Stunden damit verbracht, in Mixed Reality mit Mini-Autos durch meine Wohnung zu rasen, und es war großartig.
Dem tschechischen Indie-Studio Brainz Gamify ist mit seinem Erstlingswerk ein kleiner Geniestreich gelungen. Mit Track Craft für Meta Quest 3 zeigen die Entwickler:innen eindrucksvoll, wie man mit einfachen Mitteln den Spieltrieb in Erwachsenen weckt, sie komplett die Zeit vergessen lässt und gleichzeitig auf simple Weise das immense Potenzial von Mixed Reality aufzeigt.

Track Craft ist eine Mixed-Reality-Matchbox-Bahn

Nachdem ich vor ein paar Tagen den Trailer der Track Craft Demo gesehen hatte, wollte ich eigentlich nur mal kurz reinschnuppern. Daraus wurde dann aber eine ausgewachsene Mixed Reality Session, die nur durch die Akkulimits meiner Quest 3 samt Elite Strap mit Zusatzbatterie gestoppt werden konnte. Achtung: Track Craft macht süchtig.

Im Grunde ist Track Craft das, was viele von uns früher im Kinderzimmer hatten: eine Spielzeugautobahn. Nur, dass sich diese hier virtuell durch die Quest 3 in den physischen Raum einblendet. Die Strecken sind voller Hindernisse, Loopings, Halfpipes und enger Kurven. Ziel ist es, ein kleines Fahrzeug von einem Ende zum anderen zu manövrieren - und das ist leichter gesagt als getan.

Spaßige Fahrphysik und tolle Stunts

Die Fahrphysik ist so ausgelegt, dass ihr alle möglichen verrückten Stunts machen könnt. Wenn ihr zum Beispiel über eine Sprungschanze fahrt und den Joystick bewegt, macht das kleine Fahrzeug Saltos oder dreht sich im Kreis. Während der Sprünge gilt es, das Auto im Gleichgewicht zu halten oder durch geschickte Drehungen direkt in die nächste Kurve oder das Ziel zu manövrieren.

Wer zu schnell ist, fliegt sofort aus der Kurve und das kleine, virtuelle Auto landet auf eurem physischen Fußboden. Gebt ihr im Looping oder auf der Sprungschanze zu viel oder zu wenig Gas gibt, droht euch das gleiche Schicksal. Hinzu kommen Grünflächen oder Öl- und Wasserpfützen, die euch ins Schleudern bringen.

Die vorgefertigten Strecken sind wunderbar kreativ und werden von Level zu Level anspruchsvoller. Manche erstrecken sich sogar über mehrere Stockwerke und ihr müsst kleine Portale durchqueren, um auf die nächste Ebene zu gelangen.

Leicht zu lernen, schwierig zu meistern

Die Steuerung von Track Craft ist herrlich intuitiv. Zu Beginn führt euch die App auf angenehme Weise in die Spielmechanik ein und erklärt anhand eines kurzen Videos, wie ihr die kleinen Fahrzeuge steuert und die Größe der Bahn anpasst.

Führt ihr beide Controller an die Strecke und haltet die Grip-Taste gedrückt, könnt ihr sie frei im Raum bewegen. Bewegt ihr dabei die Hände auseinander oder zusammen, wird die Bahn größer oder kleiner.

Mit dem rechten Trigger beschleunigt ihr, mit dem linken bremst ihr oder fahrt rückwärts. Gelenkt wird mit dem linken Joystick. Da sich jedes Spielzeugauto anders fährt und die Strecken immer chaotischer werden, bleibt das Spiel stets angenehm fordernd.

Hier könnt ihr eurer Kreativität freien Lauf lassen

Bisher gibt es drei verschiedene Streckentypen mit über 50 Levels, die ihr schrittweise freischaltet. Sowohl die Strecken als auch die kleinen Autos sind liebevoll und kreativ gestaltet und strotzen vor kleinen Details.

Mein persönlicher Favorit sind die Malibu-Strecken aus virtuellem Karton, die ihr mit einem klapprigen VW-Bus samt Surfbrettern auf dem Dach umkurvt. Habt ihr nach knapp zwei Stunden alle Kurse durchfahren, könnt ihr im Streckeneditor selbst Hand anlegen.

Im Editor platziert ihr einen Start- und einen Endpunkt und könnt dazwischen verschiedene Streckenelemente, Hindernisse, Portale oder Dekoration frei platzieren und sogar bemalen. Wer will, kann seine ganze Wohnung in eine Mini-Rennbahn verwandeln - und genau das werde ich jetzt tun.
Track Craft ist ab sofort im Early Access über Metas App Lab für Meta Quest 3, Quest 2 und Quest Pro erhältlich und kostet knapp 10 Euro. Das Spiel soll laufend erweitert werden. In den kommenden Wochen beabsichtigen die Entwickler einen Ghost-Multiplayer einzuführen, der an Trackmania angelehnt ist, einen Live-Multiplayer-Modus und viele weitere Features.
Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.

Der MIXED-Adventskalender Jetzt teilnehmen

# data[].attributes.attachment_link.title
Track Craft ist die vielleicht spaßigste XR-App für Meta Quest 3

# data[].attributes.attachment_link.description
Ich habe gerade drei Stunden damit verbracht, in Mixed Reality mit Mini-Autos durch meine Wohnung zu rasen, und es war großartig.

# data[].attributes.attachment_link.description
Eine Studie befasst sich mit dem Einsatz von VR in der Landwirtschaft. VR-Mitarbeiterschulungen könnten vor allem die Effizienz steigern.

# data[].attributes.headline
Move AI Motion Capture seamless to Unreal/Blender/Unity

# data[].attributes.subject
Move AI Motion Capture seamless to Unreal/Blender/Unity

# data[].attributes.body
https://www.move.ai/pricing

# data[].attributes.attachment_link.readable_text
Move One

The Move One iOS app offers single-camera motion capture. Move One is also available for teams.

iPhone only

Maximum of 1 person captured

Up to 5m x 5m volume

HD max resolution

Captures at 60 FPS

60 second capture limit

Hand and finger tracking

Export FBX, USD, and MP4

Community support

Move One for Teams

Move Multi-Cam

Move Multi-Cam offers markerless motion capture with standard cameras.

Web platform

Up to 8 people captured

Up to 20m x 20m volume

4K max resolution

Up to 120FPS

5GB single file uploads

Up to 12 cameras with support for GoPro, Sony, & more.

Hand and finger tracking

Export FBX, USD, and MP4

Basic Support and Technical Account Management

Move Real-Time

Move Real-Time offers live motion capture in broadcast, xR, film, and live events.

Software only. On-premise.

Up to 2 people captured

Up to 10m x 10m volume

Captures at 110FPS

4-8 cameras

Solo operation

100ms latency

1 minute calibration time

1 hour setup time

Unreal plug-in

Enterprise Support

Technical Account Management

# data[].attributes.attachment_link.description
Move offers plans for single-camera and multi-camera motion capture products that scale from freelance 3D animators to major brands and studios.

# data[].attributes.attachment_link.description
Anwendungsszenarien für XR-Technologien in Wirtschaft und Gesellschaft

# data[].attributes.attachment_link.description
Discover an entirely new way to use your headset with Pillow, the ONLY immersive app designed to be used lying down! Relax in bed in mixed reality as you experience four amazing interactive dreams, all playable in singleplayer or 2-player co-op! Wind down with short immersive mixed reality dreams designed to bring tranquility to your routine.

# data[].attributes.attachment_link.readable_text
SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration

Google DeepMind¹

Google Research²

Google Inc.³

Tübingen AI Center, University of Tübingen⁴

Your browser does not support the video tag.

Your browser does not support the video tag.

Your browser does not support the video tag.

Your browser does not support the video tag.

Abstract

Recent techniques for real-time view synthesis have rapidly advanced in fidelity and speed, and modern methods are capable of rendering near-photorealistic scenes at interactive frame rates. At the same time, a tension has arisen between explicit scene representations amenable to rasterization and neural fields built on ray marching, with state-of-the-art instances of the latter surpassing the former in quality while being prohibitively expensive for real-time applications. In this work, we introduce SMERF, a view synthesis approach that achieves state-of-the-art accuracy among real-time methods on large scenes with footprints up to 300 m^2 at a volumetric resolution of 3.5 mm^3. Our method is built upon two primary contributions: a hierarchical model partitioning scheme, which increases model capacity while constraining compute and memory consumption, and a distillation training strategy that simultaneously yields high fidelity and internal consistency. Our approach enables full six degrees of freedom (6DOF) navigation within a web browser and renders in real-time on commodity smartphones and laptops. Extensive experiments show that our method exceeds the current state-of-the-art in real-time novel view synthesis by 0.78 dB on standard benchmarks and 1.78 dB on large scenes, renders frames three orders of magnitude faster than state-of-the-art radiance field models, and achieves real-time performance across a wide variety of commodity devices, including smartphones.

Real-Time Interactive Viewer Demos

How we boost representation power to handle large scenes

Getting the maximum out of our representation via distillation

We demonstrate that image fidelity can be greatly boosted via distillation. We first train a state-of-the-art offline radiance field (Zip-NeRF). We then use the RGB color predictions \(\mathbf{c}\) of this teacher model as supervision for our own model. Additionally, we access the volumetric density values \(\tau\) of the pre-trained teacher by minimizing the discrepancy of volume rendering weights between teacher and student.

Citation

If you want to cite our work, please use:

@misc{duckworth2023smerf,
      title={SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration},
      author={Daniel Duckworth and Peter Hedman and Christian Reiser and Peter Zhizhin and Jean-François Thibert and Mario Lučić and Richard Szeliski and Jonathan T. Barron},
      year={2023},
      eprint={2312.07541},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Acknowledgements

The website template was borrowed from Michaël Gharbi. Image sliders are based on dics.

# data[].attributes.attachment_link.description
Project page for SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration> <meta name=