Misverstand op misverstand

Onze omgang met apparaten is soms deerniswekkend. Het logboek vermeldt: “12 minuut 49 – Na ze de ‘3’ heeft ingedrukt, doet ze het nogmaals waardoor ze op kanaal 33 terechtkomt. 12:50 – Ze drukt weer op knop ‘3’ om van kanaal 33 op kanaal 3 te komen. 13:00 – Ze draait de draaiknop rechtsom om van kanaal 3 naar kanaal 2 te komen. Maar ze komt op ‘4’. 13:01 – Ze draait de knop nu linksom om van ‘4’ op ‘2’ te komen.”
Het leed wordt nauwgezet vastgelegd in bruikbaarheidslaboratoria (usability labs) zoals er ook een bij de faculteit Industrieel Ontwerpen (IO) is ingericht. De helft daarvan ziet eruit als een videoregie die door een halfdoorlatende spiegel is gescheiden van de testruimte. Aan de tafel zit een proefpersoon tegenover een prototype van een apparaat, dat geflankeerd wordt door een medewerker. Terwijl de proefpersoon aan een opdracht probeert te voldoen (‘schakel over naar het Journaal op Nederland 2’), simuleert de medewerker de reacties van de machine en registreren drie camera’s en microfoons de acties van de proefpersoon. Het geheel wordt vastgelegd op video voor latere analyse. De procedure daarvoor staat bekend als Devan (detailed video analysis) of SlimDevan voor de minder uitgebreide versie. Afkortingen als INTN (verkeerd bedoelde actie), PUZZ (gebruiker snapt het niet meer) of DSF (twijfel, verrassing, frustratie) geven nuance aan de ergernis.
Twintig jaar geleden stond dr.ir. Arnold Vermeeren aan de wieg van het eerste gebruiksonderzoekslab bij IO. Nu schrijft hij in zijn proefschrift dat de verschillende analyses van eenzelfde onderzoek maar bar weinig gemeen hebben. Dit staat bekend als het beoordelaareffect. Zelfs als je een observator drie maanden later dezelfde band laat beoordelen, krijg je andere uitkomsten. Wat betekent dat voor de betrouwbaarheid van gebruiksonderzoek? Zijn alleen gemeenschappelijke of herhaalde observaties betrouwbaar, en de rest ruis? Of is er meer aan de hand?
Vermeeren deed onderzoek in usability labs in Ankara, Loughborough (VK) en bij IO. Steeds was de vraag: wat schrijven ze op als observatie en hoe doen ze dat? Eenmaal liet hij de onderzoekers dat op hun eigen manier doen, en een tweede keer op de gestandaardiseerde manier van (Slim)Devan. Zo kwam hij erachter dat er twee verschillende soorten inconsistenties zijn. De een is het gevolg van concentratieverlies en vermoeidheid. Daardoor mist een beoordelaar wel eens een opmerking of een actie en beoordeelt dan een vervolgactie verkeerd. “Dat speelt vooral een rol bij verschillende interpretaties door eenzelfde persoon op verschillende tijdstippen”, ligt Vermeeren toe. Misverstanden uit die categorie vormen een ‘ruis’ die onderzoekers het liefst zouden elimineren.
Anders zit het met verschillen die het gevolg zijn van uiteenlopende interpretaties. Stel dat iemand de opdracht krijgt een bepaalde knop in te drukken, maar hij toetst de knop ernaast in. Observator 1 zal denken dat hij de knop niet gezien heeft, zijn collega meent dat de proefpersoon de knop wel heeft gezien, maar het bijschrift niet begreep. Een derde geeft als reden dat het opschrift tussen twee knoppen in zit, zodat niet duidelijk is welke knop ermee bedoeld wordt. “Die verschillen kun je niet wegredeneren”, stelt Vermeeren. “Het verschil tussen de analisten is juist vruchtbaar omdat het de ontwerper meer oplossingsrichtingen kan bieden om zijn ontwerp te verbeteren.”
In tegenstelling hiermee berusten de verschillen uit de eerste categorie (vanwege vermoeidheid en concentratieverlies) wel op echte fouten en moeten dus vermeden of weggewerkt worden. Vermeeren leert zijn studenten daarom dat ze hun analyses moeten structureren en dat ze ervoor moeten zorgen dat de observaties altijd traceerbaar zijn, bijvoorbeeld door overal de tijdcode bij te vermelden. Dat maakt het mogelijk om bij optredende verschillen terug te gaan naar de opname om te zien of iemand soms iets gemist heeft of dat er iets wezenlijker aan de hand is.

De laatste tijd word ik steeds vaker gevraagd voor expertbijeenkomsten. De toekomst van voedselveiligheid, watermanagement, mobiliteit, binnenlandse veiligheid of de identiteit van gemeente Teylingen, al die onderwerpen schijnen niet zonder mijn goed geïnformeerde opvattingen te kunnen. Dat wil zeggen: de organisatoren van deze meetings zeggen dat ze mijn aanwezigheid bijzonder op prijs stellen en danken mij bij voorbaat hartelijk voor ‘het vrijmaken van mijn kostbare tijd om hen te helpen in hun visievormingsproces’. Als ik dan tegensputter dat ik geen verstand heb van hun vakgebied en alleen geïnteresseerd ben in hoe ze naar toekomst kijken, volgt vaak een geruststellende opmerking, die gepaard gaat met een bescheiden glimlach, dat mijn gebrek aan expertise geen probleem is. Sterker nog, zo wordt er dan gezegd, mijn onkunde is juist goed, omdat ik dan fris en onbevangen naar het onderwerp kan kijken. “Wij zijn bedrijfsblind”, zo stelt men, “en u beziet ons en onze problematiek vast vanuit een heel ander perspectief.” Nu moet ik bekennen dat ik het betrekken van nieuwe invloeden van buiten vaak aanbeveel. Vreemde ogen dwingen niet alleen, maar tonen ook andere, zinnige vergezichten. Zo werd ik vorige week nog door de gemeente Teylingen (fusie van Warmond, Sassenheim en Voorhout) rondgereden in een luxe touringcar vol met, zo formuleerde de burgemeester van Teylingen, ‘frisdenkers’.
Het is lastig om een uitnodiging voor een optreden als niet-expert af te slaan. Je wordt met ‘u’ aangesproken, men luistert oprecht geïnteresseerd naar wat je te zeggen hebt, je komt nog eens ergens en, last but not least, de afsluitende diners op fraaie locaties zijn altijd copieus. Dit alles streelt het ego van deze hoogopgeleide domoor.
Maar ik ken mijn grenzen. Zo was ik blij dat ik niet inging op een vraag van Teleac-radio over de toekomst van kernenenergie. Hoogstverbaasd klonk het: “Maar u bent toch futuroloog? Dan weet u toch alles van de toekomst?”
Niet als een expert beschouwd worden heeft ook nadelen. Zo heb ik verscheidene goede opinieartikelen voor de Volkskrant geschreven over maatschappelijke issues maar die werden afgewezen omdat ik geen autoriteit ben op dat gebied. Een dr-titel gekoppeld aan een TU Delft-achtervoegsel legt het dan toch af tegen het voorzitterschap van een of andere schimmige maatschappelijke organisatie. Ook de misplaatste kritiek op mijn boekje ‘Tegen de geschiedenis’ was voornamelijk gestoeld op het feit dat ik geen historicus ben. En mijn gebrek aan specifieke kennis is niet voldoende om het kleren-van-de-keizer-argument te bestrijden waarmee architecten hun afzichtelijke bouwsels verdedigen. Volgens bouwexperts zijn expertise en esthetisch vermogen positief gecorreleerd: als je het niet mooi vindt dan heb je er blijkbaar geen verstand van.
Gerrit Komrij heeft gezegd: ‘Brainstormen is het privilege van mensen die zich niet kunnen veroorloven te denken.’ Ik heb lang nagedacht of ik me deze uitspraak moet aanrekenen. Moet ik me als niet-expert bescheidener opstellen in brainstorm- en andersoortige expertsessies? Of is, paradoxaal genoeg, mijn non-expertise juist een kenmerk van intellectueel vakmanschap? Ik heb besloten voorlopig nog te genieten van mijn goed ontwikkelde non-expertise. Al die uitstapjes en etentjes zijn toch wel leuk én leerzaam. Vind ik.

Patrick van der Duin is toekomstonderzoeker bij de sectie technology, strategy and entrepeneurship van de faculteit Techniek, Bestuur en Management.