Openluchtexpo in XR: droom of realiteit?

Tijdens het vooronderzoek van Cohack Reality 2: XR as a design tool (januari / juni 2020) werden verschillende pistes onderzocht over hoe we dit medium kunnen aanwenden binnen een ontwerp. Uiteindelijk kwam het thema permacultuur vaak opnieuw bovendrijven. Reden hiervoor is omdat de campus van St-Lucas gedeeltelijk verhuisd naar het kasteeldomein Ter Beken, waar een deel van het bos eventueel toegewijd kan worden aan permacultuur. Hieruit ontsprong het idee om een tool te ontwikkelen waarin je in XR een voedselbos leert ontwerpen: ‘XR as a design tool for permaculture’. 

We kwamen vrij snel terecht bij een gelijkaardig educatief project: Light Farm. We leerden uit dit voorbeeld dat de creatie van zo’n applicatie een erg brede scoop heeft op technisch, creatief en inhoudelijk vlak. Bovendien stelden we ons intern de vraag in hoeverre onze studenten binnen dat traject XR als een design tool kunnen gebruiken: het lijkt eerder een tool te worden voor toekomstige landbouwers, wat niet strookt met het profiel van onze student. Vandaar dat we een denkoefening opzetten waarin we bestaande XR-design tools aanleren aan onze studenten om kunst virtueel te ontwerpen om in de natuur te portretteren.

De rode draad binnen dit onderzoek is natuurbewustzijn: wat is de functie van een bos, hoe voedt het lichaam en geest? Samen ontwikkelen we digitale content in XR, die we nadien toevoegen op de digitale laag die we over Ter Beken heen leggen. Bij afloop van dit traject nodigen we mensen uit om de symbiose tussen het bos en digitale kunst te ontdekken. Onze doelstellingen hierbij zijn de volgende:

• De gebruiker uitnodigen om een natuurgebied te bezoeken.
• De gebruiker de effecten van een bos bijbrengen:
  • Ecologisch: bv. agroforestry, carbon sequestration
  • Psychologisch: bv. forest bathing
• De gebruiker digitale kunstwerken laten ontdekken die gemaakt zijn in XR

Het idee is dat de app een mix wordt tussen een openluchtexpo en Pokémon Go.

• 

• 

Location-based AR in het bos

Door de camera van mijn smartphone zag ik partikels zweven door de lucht.
Ik liep ze instinctief achterna en kwam zo op plaatsen in het bos waar ik nog nooit eerder geweest was.
Plots kwamen er uit het niets 3D-objecten tevoorschijn: sculpturen, grafische werken, virtuele personages die performances gaven, … 

Als ik dichtbij deze werken kwam, kon ik iets virtueel nalaten van mezelf: mijn mening over het werk,
een audiobericht, foto of filmpje … Ik zag heel wat herinneringen van mensen rondom mij en dat gaf me een fijn gevoel.
Alsof we allemaal verbonden zijn door dit bos en deel uitmaken van iets groter.

Een enthousiast toekomstig bezoeker van Ter Beken in XR

Bij bovenstaande use case kunnen ze ons vragen stellen:

• Kan een virtueel object met AR in het bos geplaatst worden? Hoe?
• Is AR überhaupt een meerwaarde en werkt dit goed in de praktijk?
• Volstaat een gps-signaal om objecten te positioneren op hun locatie? Wat is de nauwkeurigheid?
• Welke hardware en software is er nodig om dit te verwezenlijken?
• Is deze technologie toegankelijk voor een breed publiek?

We zullen dit onderzoeken binnen Unity.

Aan de slag met AR+GPS Location

De Unity-package AR+GPS Location biedt de mogelijkheid om 3D-objecten in reële geografische locaties te positioneren via hun GPS-coördinaten met behulp van Unity en AR (AR Core voor Android en AR Kit voor iOs).

Zo kan je:

• 3D-objecten plaatsen in geografische posities: onder goede omstandigheden kan de precisie variëren van 2 tot 5 meter, en onder slechte omstandigheden van 10 tot 20 meter.
• AR-hotspots activeren wanneer de gebruiker zich in de buurt van een bepaalde locatie bevindt.
• Objecten kunnen een vooropgesteld pad volgen, bv. een game-character laten rondwandelen op de paadjes in een bos.

Tutorials: 

• Walking Zombie Scene – Location-based AR in Unity3D: https://www.youtube.com/watch?v=4-YX0UTXVyI
• Creating a Location-Based Christmas AR Experience in Less Than 10 Minutes
  https://medium.com/@daniel.mbfm/creating-a-location-based-christmas-ar-experience-in-less-than-10-minutes-3f900bd35e27

Gezien de licentie ongeveer 70 euro kost, mailden we de ontwikkelaar, Daniel Fortes, met de vraag of een educatieve versie beschikbaar is. Een dagje later kregen we een mailtje terug met een downloadlink voor de Unity package. We mogen die gebruiken tijdens het onderzoek, vermits we de software aankopen wanneer het gebruikt wordt binnen aan gepubliceerd project. Fair deal, bedankt Daniel!

Sessie 1: eerste stappen in de tuin

Na installatie van de plugin begin ik met mijn test scene. Ik wil een 3D-model van een kip in mijn straat plaatsen. Hiervoor gebruik ik het ‘Place At Location’ script. Na setup maak ik een build naar mijn Android telefoon, maar ik krijg helaas een zwart scherm te zien in plaats van het beeld door mijn camera. Blijkbaar moet je eerst via de Google Play Store de ‘Google Play Services for AR’ downloaden (vervelend om eindgebruikers dit te laten doen). Dit lost het eerste probleem op, maar nog steeds geen kippetje te zien. Misschien is ze te klein? Ik voeg ook enkele bomen toe rond mijn huis met uiteenlopende grootte.

Uiteindelijk krijg ik alles aan de praat en krijg ik mijn bomen en het kippetje te zien. De positie varieert wel per gebruik: de ene keer staan de objecten op mijn oprit, wat later in de tuin, … De volgende test wil ik dit uitproberen in een stadsomgeving.

Sessie 2: objecten verspreid op een plein

Voor deze test wil ik enkele grote en kleine 3D-objecten in de stad Blankenberge plaatsen. Ik voeg een reuzenrad toe in het midden van het Koning Leopold III-plein. Mijn kippetje plaats ik net voor het Kruidvat. Ik voeg ook nog een boom toe vlak nabij de kerk, op 50 meter van het plein.

Na een bezoek ter plaatse merk ik dat de positie relatief nauwkeurig is (10 meter) voor objecten waar je vlak bij staat. Zo zie je op de rechtse afbeelding dat de boom in de groene zone staat, zoals aangegeven op de kaart.

• 

• 

Maar wanneer je op het Leopold III-plein staat, en de boom bekijkt in de verte, dan staat ie 50 meter van het punt. 

Dit is waarschijnlijk omdat de gyroscoop van het mobiel toestel niet op elk moment perfect weet waar het noorden ligt. Hieruit concludeer ik dat de objecten  best pas in AR weergegeven worden vanaf een bepaalde afstand. We hangen dus best geen grote zwevende pijl met ‘hier is het!’ boven een gebied dat verder ligt dan 100 meter. Hiervoor is een digitale kaart nog steeds de beste oplossing. 

Het kippetje vond ik niet terug voor het Kruitvat. De draaimolen stond wel op het plein, maar deze steekt door de grond – dit door een menselijke fout waarbij het ankerpunt centraal stond ipv onderaan.

Wat me opvalt, is dat de AR niet erg stabiel werkt. De grond wordt gedetecteerd, maar het object zweeft rond in plaats van een vaste positie te krijgen. Dit probleem, en de GPS-onnauwkeurigheid, komen ook voor (in mindere mate) bij apps als PokéMon Go (uiteraard in mindere mate). Wanneer zelfs Niantic niet in staat is om dit op te lossen, dan kunnen we enkel concluderen dat dit de huidige limitaties zijn van mobiele augmented reality. Gelukkig wordt er stevig gewerkt om de beleving van mobiele AR te verbeteren, zoals bijvoorbeeld het toevoegen van occlusion, waarbij een virtueel object achter een echt object kan komen te staan.

Reflecties na test

Kan een virtueel object met AR in het bos geplaatst worden? Hoe?
Volstaat een gps-signaal om objecten te positioneren op hun locatie?

Positionering in AR is mogelijk, maar tot op heden is het niet mogelijk om een virtueel object nauwkeurig te plaatsen op een geolocatie in AR, zonder kalibratie aan de hand van user input (bv. Aero: sleep het object in positie) of trackers (bv. Vuforia object- en image recognition). De nauwkeurigheid van een gps signaal wijkt namelijk steeds enkele meters af, zeker op ‘off-road’ posities.

Is AR überhaupt een meerwaarde en werkt dit goed in de praktijk?
Welke hardware / software is nodig? Heeft het publiek hier toegang toe?

De meerwaarde is subjectief. Persoonlijk vind ik de beleving op de huidige reeks smartphone beperkt. Maar volgens verschillende bronnen zullen mobiele devices nog betere AR-technologie inbouwen en zullen AR-glasses binnen vijf jaar toegankelijk zijn voor het grote publiek. 

De software is alvast voor handen: een game-engine als Unity biedt de nodige tools om hiervoor te ontwikkelen. En wat niet out-of-the-box beschikbaar is, wordt ontwikkeld door externen en op hun Unity Asset Store geplaatst.

Proof of Concept: realiteit of droom?

Tijdens development lijkt dat de huidige technologie al aardig wat potentieel heeft, maar dat de zwaktes toch doorwegen op de beleving. Voor de volgende milestone denk ik dan ook dat de keuze gemaakt moet worden tussen het uitwerken van het idee over hoe AR er kan uitzien  in de toekomst in plaats van wat nu kan met de huidige AR-technologie.

Deze presentatie kan in de vorm van een Proof of Concept-video, zoals de welbekende voorbeelden van Magic Leap, PokeMon Go, HoloLens. Deze voorbeelden uit 2015 verkochten allemaal een idee over de mogelijke toepassingen van AR, die tot op heden slechts in beperkte mate verwezenlijkt zijn. Bij nader inzien voorbarig optimisme, dat in het geval van Magic Leap heeft geleid tot gigantische investeringsblunders. Het grote verschil tussen deze video’s is dat PokeMon Go als enige een duidelijke user-experience demonstreerde. En de beleving ook snel wist te brengen naar hun publiek, ook al zag het er allemaal een stuk eenvoudiger uit dan in de video.

We vinden het belangrijk dat de beleving ‘in theorie’ al kan werken met de juiste hardware en software, ook al is dit momenteel nog te duur of onstabiel om aan een groot publiek te presenteren. Volgens bovenstaand onderzoek concluderen we dat we nog niet op dit punt zijn. Indien dit toch het geval was, dan waren dit de volgende stappen.

Stappenplan Ter Beken XR

• Storytelling rond agroforestry in XR
  • Mindmap maken van onderwerp
  • Oplijsting maken van van doelstelling: wie, wat, waar, wanneer, waarom, hoe?
  • Fysieke locaties bezoeken
  • Opdeling in scenes gelinkt aan locaties + bijhorend verhaal
• Proof-of-concept app of video / website?
  • App bv. op een willekeurige locatie (al dan niet in het bos) kijk je naar een scène in AR.
  • Video bv. Proof-of-concept, uitgaande van stabiele / toekomstige AR-technologie

De component ‘XR as a design tool’ komt expliciet aan bod bij het uitwerken van de scènes:

1. Op locatie gebeurt een captatie van een fysiek object a.h.v. photogrammetry. Op die manier bestaat een virtuele kopie waarvan vertrokken kan worden door de artiest.
   De artiest capteert een karaktervolle boom met een app op zijn smartphone.
   
2. De artiest tekent zijn virtuele content rond de virtuele kopie. Dit kan hij doen met software in VR of op desktop.
   De artiest opent zijn model in TiltBrush en schildert bovenop de boom.
   
3. De artiest publiceert zijn model zodat het toegankelijk wordt in AR.
   De artiest doet een upload naar SketchFab, Aero of een andere locatie in de Cloud.
   
4. De artiest en zijn publiek aanschouwen het geaugmenteerde object op de locatie van het fysiek object (merged reality) en kunnen interageren.
   Heden: de artiest laat de bezoekers de AR bekijken op zijn tablet, waar hij het model manueel op gepositioneerd heeft.
   Toekomst: de bezoekers dragen een AR-bril en de content komt automatisch bovenop het fysiek object.

Het thema permacultuur kan hier dienen als rode draad om (aspirerende) artiesten te laten bouwen aan een deze primeur.

Besluit

Hoe zal een location-based kunstbeleving in AR eruit zien door zo’n bril in 2025? Welke gebruikers trekken we hiermee aan en wat zal de meerwaarde zijn t.a.v. een virtueel bezoek of een klassieke kunstroute? Momenteel staat deze piste on hold maar we hopen dit in een nabije toekomst verder te kunnen zetten. We zijn alvast een nieuwe piste aan het onderzoeken en houden jullie op de hoogte. Wordt vervolgd!