Selecteer een pagina

Op de Wikipedia-pagina over de Nederlandse Gamesindustrie staat het volgende:

“A significant part of the Netherlands’ gaming industry is in serious games, in which Dutch companies make a significant part of the worldwide industry.”

Dit is waar. Er is geen land zoals Nederland waar zo veel focus wordt gelegd op serious games. We maken er veel, subsidieren ze hevig. Belangenvereniging de Dutch Game Association propageert serious liever dan entertainment en bevat een bestuur en netwerk dat actief lobbyt bij de overheid ervoor.

Succesvol dus ook. Wanneer je de beschikbare regelingen voor entertainment (Gamefonds) vergelijkt met miljoenentrajecten voor serious (GATE, RAAKGrowing Games), dan is het niet verwonderlijk dat beginnende gamemakers hun jongensdroom maar inwisselen voor een spelletje in de gezondheidszorg. Om de studio maar draaiende te houden.

En hoe doen we het?

Met zo’n sterke positie zou Nederland ook de betere serious games moeten produceren. Kijkend naar een paar high-profile producties van afgelopen jaren valt er alleen iets op.

Juf-in-a-box van Ranj (winnaar Games for Health 2011) baseert zijn spel op eerder gedaan onderzoek, en niet eens de meest effectieve. De game zelf is al helemaal niet aan echte validatie onderworpen. Al claimen ze al jaren met studieresultaten op de proppen te komen hebben ze dat tot dusver niet gedaan.

Active Cues van Monobanda (winnaar New Venture 2014) is een losse interpretatie van een onderzoek naar de effecten van lichaamsbeweging op dementeren. Het spel zelf, dat totaal andere bewegingen stimuleert, is niet door een proces van validatie gegaan.

Underground van Grendel (winnaar Dutch Game Awards 2014) is een trainingsgame voor chirurgen. Het heeft buiten een pilotstudy met een prototype geen gevalideerd eindproduct.

Heel veel heel slecht

Maar deze voorbeelden gaf ik eerder en zouden, ook al zijn dit prijswinnende games van bekende studio’s, een vorm van cherry picking genoemd kunnen worden. Tijd om eens uit te zoomen dus en te kijken naar de totale stand van zaken na ruim een decennium serious games.

Het goede nieuws eerst. Er zijn niet alleen veel serious games gemaakt, er is ook veel onderzoek gedaan binnen uiteenlopende vakgebieden (gedragsverandering, motorische vaardigheden, stoornissen etc.). Hierover is in 2012 zelfs een uitgebreidde systematic review verschenen die meerdere type serious games behandelt.

Het slechte nieuws is dat eruit blijkt dat dé manier om effectiviteit aan te tonen, een randomized controlled trial, niet of nauwelijks gedaan wordt. Dit gebrek wordt beschreven bij een breed scala aan subgenres en het zorgde ervoor dat de schrijvers van de review hun plan voor een meta-analysis (statistische follow-up) zelfs hebben moeten annuleren.

“Initially a meta-analysis of the evidence concerning the impacts and outcomes of playing games was planned. However papers identified in the review were very diverse with respect to the phenomena researched, underlying theoretical models and methodological approaches adopted and, even amongst the higher quality papers, a minority of papers reported RCTs, the design of choice in evaluating impacts and outcomes of games.”

Meer moeilijke titels, nog geen bewijs

Systematic reviews die zich op specifieke genres richten spreken vaak van hetzelfde gebrek aan RCT’s en eindigen met sobere conclusies. In 2012 verscheen een gecombineerde systematic review die serious games als trainingstool op het gebied van educatie alsook trainingsdoeleinden onderzocht, en wel op het gebied van chirurgie. De deprimerende conclusie:

“None of the serious games had completed a full validation process for the purpose of use”

Onlangs is er wederom een systematic review verschenen die zich specifiek richt op het bewijs achter chirurgische traininggames. Beginnend vanuit 57 abstracts werden uiteindelijk maar 5 RCT’s gevonden. Drie daarvan toonden geen enkel bewijs en de resultaten van de overige twee werden in twijfel getrokken. De conclusie is dan ook niet veel beter:

“There is a very limited amount of evidence to support that the use of video games enhances surgical simulation performance.”

En wat doet Nederland?

Wat helemaal teleurstellend is aan dit alles, is dat uit dat hele kleine beetje high quality trials er zelden een door Nederlanders gedaan werd. Het land dat de meeste miljoenen spendeert aan onderzoek, onderzoekt niet of iets wel werkt. Niet alleen geld verkwisten we hiermee, maar ook de jeugd. De gamesindustrie, met al zijn opleidingen en incubators, is namelijk gebouwd op het geloof in serious games.

Heel misschien is serious gaming niet complete onzin. Na vijftien jaar research nog steeds niets weten is niet bemoedigend, maar misschien komen er ooit genoeg goede trials om wel iets aardigs ergens over te concluderen. En afspraken vooral. Afspraken die ervoor zorgen dat serious games eerst bewezen zijn voordat ze de markt op gaan.

Van ons kikkerlandje hoeven we die ambities niet te verwachten. Wij verdampen geld en perspectief liever aan de ambitie om ons het land met het grootste gefaalde en gevaarlijkste ICT-project te maken.