Tijdens de Computable Awards 2018 op 30 oktober demonstreerde Computable tal van innovaties. Blikvanger was de 3D-mensenscanner, waarmee naast ‘gewoon’ 3D-printen meer toepassingen mogelijk waren. Zo werden er tijdens de avond 3D-hologrammen getoond en werd bij de uitreiking gebruikgemaakt van een digitaal 3D-hoofd dat lip sync optrad als voice-over. Hoe kwam deze innovatie tot stand?
Om tot The Visual Voice te komen, doorliepen een handvol partijen een traject van maanden. Drijvende krachten achter het project waren het Alkmaarse Reproshape, CoVince uit Utrecht en Computable zelf, dat zijn hoofdredacteur Sander Hulsman in 3D liet scannen zonder dat op dat moment precies duidelijk was wat er met dat beeld ging gebeuren.
Het was 9 mei 2018 toen CoVince bij Computable over de vloer kwam om te komen pitchen in het kader van de Computable Awards 2018 in de categorie ICT-project van het Jaar in het Onderwijs. ‘Tijdens deze middag kwam naar voren dat de Computable Awards 2018 in het teken zou komen te staan van nieuwe technologie’, vertelt Richard van Tilborg, medeoprichter van CoVince. Het CoVince-platform bevat een module waarin gescande personen worden gebruikt om met elkaar te kunnen communiceren en interacteren in virtual reality. Ook zijn deze scans in te zetten in avontuurlijke trainingen. Van Tilborg: ‘Hiermee wordt écht gepersonaliseerd leren werkelijkheid.’
Reproshape
Tijdens de pitchdag koppelde de andere medeoprichter van CoVince, Melanie van Halteren, de concepten aan elkaar en ontstond het idee om met een gescande Sander Hulsman een innovatieve maar ook humoristisch tint toe te gaan voegen aan het programma van de Computable Awards 2018. ‘Direct hebben wij Hulsman overgehaald om een volledige bodyscan te ondergaan’, vult Van Halteren aan. ‘Hij mocht tijdens een warme zomerdag zijn mooie black tie-kostuum aantrekken en we hebben hem gescand bij Reproshape in Alkmaar.’
Met de scan is CoVince verder gaan brainstormen met de event-organisatie van de Computable Awards en is een aantal story lines bedacht om uit te werken. Eén daarvan was in de stijl van The Matrix, waarin honderd Sanders in actie zouden komen in de rol van Mr. Hulsman (de rol van Mr. Anderson in The Matrix). Verder werd er gekeken naar het creëren van interactie op het grote scherm, tot een mini-Sander die samen met de chef-kok op de dinertafel in augmented reality zou verschijnen en het diner op ludieke wijze met bezoekers zou doornemen.
(Tekst gaat verder na de video.)
Inspirerend effect
‘De tijdslijnen waren echter wat krap, waardoor er werd gekozen om de uitreiking en aankondigingen via het grote scherm te doen met een visual voice’, vertelt Van Tilborg over de realisatie van het digitale hoofd van CoVince. ‘De voice-over kan live achter het podium reageren op gebeurtenissen op het podium door te spreken in de microfoon. The Visual Voice zou op het grote scherm dan realtime, lip sync meebewegen voor een inspirerend effect. Echter later bleek dat de voice-over niet aanwezig zou zijn op de avond zelf en dat zijn aankondigingen opgenomen zouden worden zodat wij dit konden verwerken in voorgedefinieerde video’s.’
Uiteindelijk is er binnen de geselecteerde oplossing gekozen om met verschillende bouwblokken te werken en snel resultaten te boeken. Hierin werd The Visual Voice mede bepaald door de krappe tijdslijnen en het ontbreken van een live voice-over op de dag zelf. ‘CoVince heeft de functionaliteit om met gescande mensen/avatars live te kunnen praten in een virtuele ruimte, om hiermee het op afstand leren leuker en duurzamer te maken’, verduidelijkt Van Halteren. ‘De bouwblokken voor deze functionaliteit waren goed apart te zetten om hiermee live te praten. Hierdoor was de complexiteit voor dit traject al grotendeels gedekt.’
Bouwblokken
Uiteindelijk zijn er meer dan honderd foto’s gemaakt van Hulsman, waarna deze foto’s zijn omgezet naar een 3D-model. Daarna diende de scan voorzien te worden van een rig (geraamte), om de scan te laten bewegen. Daarna zijn op het gezicht uitdrukkingen gemaakt, zodat je met de programmatuur de lippen en mond kunt laten bewegen. Aansluitend zijn er algoritmen toegepast om live audiosignalen om te kunnen zetten naar bewegende lippen. Door teksten in te laden in audioformaat kon de avatar bewegen op basis van de audio. Hiervoor is een script gemaakt dat alle audiobestanden achter elkaar in één keer opnam. Tot slot is achter de avatar een groene achtergrond geplaatst zodat de afwerkende partij de bewegingen op uiteenlopende achtergrondbeelden kon plaatsen en alle effecten er op kon toepassen voor het eindresultaat.
Om binnen alle bouwblokken te kunnen ontwikkelen en om deze op elkaar te laten aansluiten, is er van meerdere technieken en technologieën gebruikgemaakt. Het gaat hierbij om lip sync-alogritmen, Pointcloud-technologie, rigging, Unity, C#, green keying, 3D-modelling en after effects. Uiteindelijk resulteerde The Visual Voice volgens Van Tilborg in een mooie samenwerking waar de kernkwaliteiten van verschillende partijen zijn gesmeed tot één geheel. ‘Als we meer tijd hadden gehad, hadden we veel interactievere en langere storyline willen creëren. Met het Covince-platform hadden we de reis al thuis op de smartphone kunnen laten beginnen met een aankondiging. Of de kok in 360 graden het diner te laten uitleggen en met een persoonlijke boodschap over hoe de avond voor de bezoekers verloopt, van parkeren tot agenda. Ook hadden we een aftermovie in 360 graden kunnen toevoegen, compleet met een sketches.’
Human Centric Hub (tekst gaat verder onder afbeelding)
Omdat de tijd ontbrak, richtten de samenwerkende partijen zich alleen op de realisatie van The Visual Voice. Volgens Van Halteren zijn The Visual Voice-bouwblokken op meer zakelijke toepassingen in te zetten als volledige avatar door middel van een bodyscan. ‘Met name door de combinatie van de type belevingen die Covince biedt, kunnen hele journeys gecreëerd worden, van theorie, oefenen in de gesimuleerde praktijk, meten met inzicht tot persoonlijke leerdoelen die zich op jouw aspecten aanpassen. Hierin is de gescande avatar het centrale punt, Human Centric Hub, en gekoppeld aan alle andere features/bouwblokken.’
Deze avatar, de digitale versie van Computable-hoofdredacteur Hulsman, biedt oneindig veel toepassingsmogelijkheden vanuit de CoVince-leeromgeving. ‘De avatar kan steeds slimmer worden en helpen bij jouw eigen scholing en ontwikkeling’, vervolgt Van Tilborg. ‘Eigenlijk wordt hij dus de betere versie van jezelf. De avatar is gekoppeld aan jouw persoonlijke profiel. Binnen dit profiel worden jouw leerdoelen, metingen, boekingen en sessies bijgehouden. De avatar kan ook functioneren als jouw persoonlijke coach, maar je kunt ook gaan leren en creëren met andere avatars die online zijn. Je kunt zelfs binnen de virtuele wereld in contact komen met andere avatars en teleporteren naar andere omgevingen/werelden.’
Avatar voor iedere situatie
Van Halteren vult aan dat de avatar ook is in te zetten voor specifieke scenes, zoals in 360 graden, virtual reality of augmented reality. ‘Denk aan gesprekken oefenen of presenteren aan de board van jouw organisatie. De avatar is te koppelen aan audio, bewegingen en andere interacties. Je kunt bijvoorbeeld gesprekken voeren met de avatar. De avatar kan zelfs gekoppeld worden aan content, producten, dingen, processen of bijvoorbeeld je agenda. Hij kan bijvoorbeeld tijdens de zomervakantie veranderen van uiterlijk; een mooie gebruinde huid. Je kunt zelfs en miniversie van jezelf als hologram via je smartphone projecteren. Deze kan dan natuurlijk ook met jou praten en kunstjes doen.’
Toch richt CoVince zich volgens Van Tilborg met de ontwikkelde technologieën liever op de educatiemarkt. ‘Je kunt ook je avatar beschikbaar stellen aan de (educatie) wetenschap en voor educatiedoeleinden. Educatiepartijen kunnen dan jou avatar inzetten om mee te leren. Denk bijvoorbeeld aan een training voor winkeliers om klanttevredenheid te verhogen. Jouw avatar speelt bijvoorbeeld de klant of de winkelier. Ook kan je een presentatietraining geven waarin jouw avatar vragen stelt aan de presentator. Er zijn talloze voorbeelden waarbij jouw avatar een bijdrage kan leveren aan het leuker leren. Hier verdien je punten mee welke je weer kunt inzetten voor nieuwe leerbelevingen.’
Zie hieronder ook nog drie animaties die de ontwikkeling van The Visual Voice laten zien.
