Het gebruik van panels en andere valkuilen bij gebruikersonderzoek

UXkids is gespecialiseerd in het opzetten en uitvoeren van gebruikersonderzoek. We houden ons al ruim een decennium bezig met onderzoek met kinderen, jongeren en de volwassenen daaromheen. Daardoor hebben we zelf ervaren, en bij onze klanten gezien, wat er mis kan gaan bij het opzetten en uitvoeren van kwalitatief onderzoek. 

Gebruikersonderzoek geeft inzichten in de wensen, behoeften, verwachtingen en gedragingen van gebruikers, zodat producten en diensten hierop kunnen worden afgestemd. De kwaliteit van het onderzoek bepaalt de kwaliteit van de inzichten en daarom delen we een aantal valkuilen die wij regelmatig tegenkomen bij gebruikersonderzoek. 

1. Panelleden vertegenwoordigen niet de gemiddelde gebruiker 

Bovenaan de lijst staat het gebruik van panels. Bedrijven die waarde hechten aan de mening van hun gebruikers hebben vaak een (vast) panel samengesteld, een groep geselecteerde mensen die (regelmatig) wordt betrokken en wordt gevraagd naar hun mening. Het onderhouden van goed contact met gebruikers is te alle tijd aan te bevelen en een panel kan hier zeker bij helpen. Voor het werven van deelnemers voor gebruikersonderzoek van digitale producten raden wij panels echter af. Hier zijn meerdere redenen voor:

• Panelleden vertegenwoordigen niet de gemiddelde gebruiker, maar juist een (heel) specifieke en/of kleine gebruikersgroep. De personen die in panels zitten zijn vaak de intensieve gebruikers van het product, de voorlopers, de voortrekkers, de fans, de digitaal vaardige gebruikers en/of juist de “oude garde”, of degene die zich het meest storen aan (onderdelen van) het product. Bij gebruikersonderzoek wil je een goede mix van gebruikers en dat zijn ook gebruikers die je product (nog) niet vaak gebruiken, drempels voelen bij het gebruik en/of niet veel ervaring hebben met digitale producten.

• Panelleden ontwikkelen zich snel tot experts in het geven van hun mening. Ze kunnen gaan anticiperen op wat de onderzoekers willen horen, in plaats van hun werkelijke ervaringen te delen. Ze gaan zaken generaliseren of denken voor andere gebruikers, dit zien we zowel bij (jonge) kinderen als volwassenen gebeuren. Dit alles leidt tot minder spontane reacties en minder eerlijke en dus minder bruikbare feedback.

• Panelleden zijn vaak naast gebruiker ook klant en een belangrijke speler binnen hun organisatie. Ze vinden andere zaken belangrijk en hebben andere wensen, behoeften en belangen. Vanwege deze rol zijn deze gebruikers voor de organisatie en de sales- en marketingafdeling zeker belangrijk maar zijn ze minder geschikt voor gebruikersonderzoek.

Het gebruik van panels biedt niet de breedte en diversiteit aan perspectieven en de objectiviteit die nodig zijn om echt inzicht te krijgen in hoe verschillende gebruikers een product ervaren. Hierdoor worden inzichten vertekend en loop je het risico dat je de echte pijnpunten, uitdagingen en kansen misloopt. Daarom gaan we bij UXkids (samen met onze opdrachtgever) op zoek naar mogelijkheden om een gevarieerde groep gebruikers samen te stellen en werken we graag samen met wervingsbureaus voor het werven van specifieke gebruikersgroepen.

2. Het belang van tijd en ervaring worden onderschat

De meeste UX-ers zijn tijdens hun opleiding op de één of andere manier in aanraking gekomen met gebruikersonderzoek. Toch is niet elke UX-er ook een goede onderzoeker. Hetzelfde geldt voor andere teamleden, zoals Marketeers, Project managers of Product managers. Onderzoek wordt vaak als team effort opgepakt of juist door degene in het team die er tijd voor heeft.

Ook bij het plannen en uitvoeren van gebruikersonderzoek geldt: De kwaliteit van het onderzoek bepaalt de kwaliteit van de inzichten.

We zetten een aantal valkuilen op een rijtje:

• Onderzoek wordt ad hoc uitgevoerd en mist de nodige voorbereiding. Hierdoor is er (te) weinig tijd voor de selectie en werving van representatieve gebruikers

• De organisatie/ het team is onvoldoende geïnformeerd over het onderzoek. Hierdoor is er weinig betrokkenheid en staan teamleden mogelijk minder open voor feedback uit het onderzoek. Ook kunnen de verwachtingen uiteen lopen wanneer de uitgangspunten en de scope niet helder zijn gecommuniceerd.

• Onderzoeksvragen zijn niet sluitend of te breed gedefinieerd. Het onderzoek is onvoldoende afgebakend, waardoor het moeilijk is om focus te behouden.

• Er wordt te weinig aandacht geschonken aan de onderzoeksopzet. Het bedenken van een duidelijke flow, met objectieve en passende vragen is belangrijk voorwerk. Wie het spelletje “Geen ja, geen nee” kent weet hoe moeilijk het is om alleen open vragen te stellen. Een uitgewerkt onderzoeksscript helpt bij de voorbereiding en werkt als geheugensteuntje tijdens het gesprek.

• De ontwerper mist afstand en objectiviteit. Wie zien regelmatig dat mensen die hun eigen werk voorleggen tijdens het onderzoek onbewust leiden, meer gesloten vragen stellen, onvoldoende doorvragen, in de verdediging schieten en veel uitleggen tijdens de gesprekken. Dit kan ervoor zorgen dat bevindingen minder valide zijn.

• Er worden te snel conclusies getrokken. Een gebruikersonderzoek bestaat idealiter uit 6 tot 8 deelnemers. Het is belangrijk om alle gesprekken naast elkaar te beoordelen voordat er conclusies worden getrokken of aanpassingen worden gedaan.

Een ervaren onderzoeker weet de juiste vragen te stellen, objectief te blijven, subtiele signalen op te pikken en betekenisvolle inzichten uit de antwoorden van gebruikers te filteren. De reden dat we ons bij UXkids focussen op kinderen en jongeren komt vanuit de realisatie dat elke gebruiker anders is en dat onderzoek doen met kinderen/jongeren een eigen aanpak verdient (Zie ook: De uitdaging van gebruikersonderzoek met kinderen). 

Naast ervaring is tijd belangrijk. Het goed voorbereiden en uitvoeren van onderzoek kost tijd, en tijd is in de meeste (UX/product)teams schaars. Wees realistisch en kritisch wanneer je kijkt naar zowel de aanwezige kennis en ervaring binnen het team, als ook de beschikbare tijd voor gebruikersonderzoek. Mogelijk is het voordelig om samen te werken met een externe onderzoeker of het onderzoek in zijn geheel uit te besteden.

3. Er is teveel focus op user testing, te weinig op inventariserend onderzoek 

Regelmatig zien we dat bedrijven zich concentreren op user testing wanneer het gaat om gebruikersonderzoek. Denk bijvoorbeeld aan het valideren van een prototype, het grafisch ontwerp/visuele interface of een nieuwe feature. Elk gebruikersonderzoek is waardevol, maar wanneer je de gebruiker pas op een laat moment in het ontwerpproces betrekt, kun je cruciale informatie missen. Betrek de gebruiker daarom ook aan het begin door middel van inventariserend onderzoek.

Inventariserend onderzoek, als onderdeel van de UX-strategie, geeft richting en definieert het 'waarom' en 'wat' van een product en het uitgangspunt voor het UX-ontwerp. Dit onderzoek richt zich op het begrijpen van de bredere gebruikersbehoeften, context en markttrends, terwijl user testing (UX-design) zich richt op het 'hoe' door de strategie in praktische oplossingen om te zetten. 

Het gevaar van alleen user testing met gebruikers is dat je vooral feedback krijgt over de gebruiksvriendelijkheid van een bestaande oplossing, terwijl je mogelijk voorbij bent gegaan aan fundamentele vragen over wat gebruikers echt nodig hebben en waarom ze jouw product zouden gaan gebruiken. De twee gaan hand in hand en toch vervullen ze twee compleet verschillende rollen (Lees ook: UX Strategie en UX Design: Twee kanten van dezelfde medaille).

Soms zijn er beperkingen in tijd en budget, waardoor het niet mogelijk is om gebruikers op verschillende momenten te betrekken. Overweeg in dat geval de focus te leggen op het inventariserend onderzoek. Een ervaren UX designer kan vervolgens met zijn/haar kennis en ervaring een (in de basis) gebruiksvriendelijke oplossing ontwerpen die aansluit bij de onderliggende behoeften van de gebruikers.

4. Gebruikersonderzoek stopt na lancering 

Wat vandaag werkt, is morgen misschien minder of niet meer relevant. De belangrijkste feature nu, blijkt in de toekomst misschien overbodig. Gebruikersbehoeften en -verwachtingen veranderen. Daarom is het belangrijk om niet alleen tijdens de ontwikkeling en bij lancering van een product gebruikersonderzoek te doen, maar ook daarna de vinger aan de pols te houden. Dit kan bijvoorbeeld door periodieke interviews, terugkerende korte gebruikerstests of het verzamelen en bijhouden van geautomatiseerde gebruikersfeedback. Ook analytics kunnen, mits goed ingericht, helpen bij het monitoren van het gedrag van gebruikers. Alleen door regelmatig contact met gebruikers, kun je blijven verbeteren en ervoor zorgen dat je product blijft aansluiten bij de doelgroep.

Wees je bewust van de valkuilen

Gebruikersonderzoek is een vak apart, een vak waar vlieguren belangrijk zijn en wat tijd en aandacht kost. Goede inzichten krijg je alleen wanneer het onderzoek zelf ook goed wordt uitgevoerd. Het is daarbij belangrijk om veelvoorkomende valkuilen te vermijden. Stop met het betrekken van (alleen) panelleden bij onderzoek, werk met een ervaren en objectieve onderzoeker, doe eerst inventariserend onderzoek en blijf onderzoek periodiek herhalen.

Heb je hulp nodig bij het verkrijgen van betrouwbare antwoorden op vragen over je concept of product? Laat het ons weten, we denken graag met je mee. Bekijk ook deze case Onderzoek met leerlingen en ouders ter ondersteuning van het UX team.