Karelian Base Camp-hankkeessa kehitetään yrittäjyyspolkuja yrittäjyyttä suunnittelevien tai jo yrittäjänä toimivien opiskelijoiden tarpeisiin. Hankkeessa toteutetaan opiskelijoille yrittäjyyteen liittyviä valmennuksia, myös välimatkariippumattomasti etävalmennuksen keinoin.
Kokoonnuimme koko Base Camp -tiimin voimin tuumailemaan neljännessä valmennuksessa pilotoitavaa etäteknologiaa. Helpot vaihtoehdot oli jo käytetty aiemmin, ja nyt haluttiin kokeilla jotain vähän haasteellisempaa sekä enemmän kokeiluasteella olevaa teknologiaa. Mielessä pyörivät erilaiset laajennetun todellisuuden ratkaisut.
Microsoft Research on tehnyt tutkimustyötä hologrammitallenteiden kehittämisen parissa jo vuodesta 2012, ja julkaisi Kinect-sensoreihin perustuvan holoportaatioratkaisunsa 2016. Hologrammien pilotointi ei kuitenkaan aluksi herättänyt suurta kiinnostusta. Paremman perehtymisen jälkeen idea vaikutti kuitenkin juuri sellaiselta, jota olimme etsineet. Euroopan sosiaalirahaston rahoittamassa kansainvälisessä SMErec-hankkeessa oli pilotoitu useita erilaisia teknologioita rekrytointimahdollisuuksien parantamiseksi, joissa eräänä kohteena oli syvyyskameroilla toteutettu virtuaalihologrammiteknologia. Hankkeessa oli kehitetty mobiililaitteilla toimiva Unity-sovellus, joka toisti hologrammitallennetta. Tallenteella opiskelija esitteli osaamistaan potentiaalisille työnantajille, ja tilassa liikkumalla esitystä pystyi katselemaan eri kuvakulmista sekä eri etäisyyksiltä.
Pilotti sanana voidaan tulkita merkitsevän jotain ensimmäistä kertaa tai kokeiluluontoisesti tehtävää asiaa ja idean hyödyntäminen valmennuksen jakamisessa etäosallistujille vaikutti juuri sellaiselta. Base Camp-hankkeessa päädyimmekin pilotoimaan virtuaalihologrammeja välimatkariippumattoman etävalmennuksen saralla tuotteistaminen ja brändäys-intensiivivalmennuksen avoimessa osuudessa. Alun perin ajatuksena oli toteuttaa livestriimaus hologrammia hyödyntäen, mutta aikataulullisista syistä hologrammi toteutettiin tallenteena.
Tiivistetysti sanottuna, virtuaalihologrammiteknologia perustuu fotogrammetriaan. Siinä hyödynnetään Intel Realsense-syvyyskameroita ympäristön lukemiseen reaaliajassa, ja niiden tuottama reaaliaikainen väri- ja syvyyskuvasta tallennetaan h264-muotoiseksi videoksi, joka voidaan toistaa eri päätelaitteilla.
Tallennusympäristön rakentaminen ja tallennuksen tekeminen
Kameroiden asettelussa testattiin neljän ja viiden kameran kokoonpanoa, joiden hahmotelmat ovat näkyvissä kuvassa 1. Suurin muutos viidestä neljään kameraan siirryttäessä on suoraan sivuilta tehtävien hologrammitallenteiden puuttuminen. Suoraan edestä kuvattua hologrammia ei haluttu jättää pois, koska oletettavasti katsoja haluaa seurata esitystä “aitiopaikalta”. Joka tapauksessa esittäjän takapuolen kuvaaminen ei ole etusijalla, sillä katsojatkin todennäköisesti seuraavat esitystä edestäpäin.
Tallennusympäristö suunniteltiin Intel Realsense D435-kameroita hyödyntäen (kuvat 2 ja 3) Kamerat asetettiin esiintymisalueen ympärille, jolloin edestä ja molemmin puolin etuviistosta olisi mahdollista saada parempilaatuinen tallenne esiintyjästä. Kamerat vaativat toki jalustat, joiden järjestämisestä suuri kiitos Karelian vahtimestari Tomille.
Kameroiden kuvan tallentamista varten kehitettiin OBS-ohjelmaan Intel Realsense SDK:ta käyttävä liitännäinen, jonka avulla on suhteellisen yksinkertaista sijoittaa kunkin kameran väri- ja syvyyskuva yhteen videoon, josta on esimerkki ruutukaappauksena kuvassa 4.
Iäkkään PC-koneen laskentateho osoittautui riittämättömäksi, kun käytettiin viittä kameraa. Tallennuksen nopeus tippui tuolloin alle 20 ruutuun sekunnissa. Suurin syy on Realsense-kameroiden tallennetun syvyyskuvan parannussuodattimien käyttö, joka vie prosessoriaikaa. Näytönohjaimella ei tähän ole niinkään vaikutusta. Vaihtoehtoina on joko kytkeä parannusalgoritmeja pois päältä, tai käyttää tehokkaampaa konetta, tai vähentää kameroiden määrää. Koska videokuvan pitäisi olla mahdollisimman hyvälaatuinen, päädyttiin käyttämään neljää kameraa.
Tallennuskoneen etäkäyttö
Kuten kuvasta 3 on havaittavissa, tallennuskone oli sijoitettuna esiintyjien TV-ruudun alapuolelle, jotta kameroiden vaatimat USB3-aktiivikaapelit ylsivät kiinni koneeseen. Koska esittäjien kalvot näytettiin TV-ruudulla, tallennusta oli hallinnoitava etätyöpöytäohjelmistolla.
Etäohjelmisto on osa Windows-käyttöjärjestelmää, joten se ei vaatinut erillistä asennusta. Ongelmia aiheutti ainoastaan esiintyjien ääntä tallentava USB-mikrofoni. Sitä ei voi ottaa etänä käyttöön, ellei aseta ennen yhteyden muodostamista etäkäyttöohjelmiston äänienhallinta-asetuksista äänien toistamista pelkästään etäkoneelle (kuva 5). Tämän jälkeen hallinta oli mahdollista varsin mutkattomasti esityksen aikana, ja tallenne saatiin aikaan neljän syvyyskameran avulla.
Hologrammitallenteen tekeminen itsessään oli varsin mutkatonta, kun tekniset edellytykset oli saatu kuntoon. Kun tallenne seuraavaksi siirretään hologrammien visualisointiohjelmistoon, pääsemme tutkimaan tallenteen laadun soveltuvuutta etävalmennuksen hologrammivisualisoinnissa tarkemmin. Luodun tallenteen syvyyskuvaa joudutaan ehkä käsittelemään hologrammiesityksen laadun parantamiseksi. Etäteknologiakokeilun pariin palataan virtuaalihologrammien visualisoinnista kertovassa artikkelissa.
Kirjoittajat:
Anssi Gröhn, lehtori, Karelia-ammattikorkeakoulu
Mika Lappalainen, projektiasiantuntija, Karelia-ammattikorkeakoulu