Service
& Kommunikation Vejledninger
Brugertests 
BrugertestsNår vi laver målrettet formidling, er det altid på målgruppens præmisser; dvs. at alle overvejelser er med udgangspunkt i hvad vi forventer (hypotetisk, argumenteret og/eller dokumenteret) virker, således at målgruppen modtager budskabet, således som det var tiltænkt fra afsenderens side, og formålet med formidlingen således bliver opfyldt. Vi kan altid foretage research og læse dokumentation som argumentation
for at udforme formidlingen bedst muligt, men vi kan aldrig være
helt sikre på forhånd! "Hvorfor diskutere hvor mange tænder en kamel har, når vi blot kan gå ud til en kamel og tælle dem.” [arabisk ordsprog] Det er hvad nærværende skrift vil omhandle, ligesom der vil være referencer til andre online-dokumenter vedr. Netop denne problemstilling. ProduktafprøvningNår vi kommunikerer face-to-face er der ikke store problemer med at tolke hvorvidt budskabet er modtaget og forstået, da vi kan iagttage modtagerens reaktioner og tolke derpå, hvorvidt formidlingen er lykkedes [Chessman & Ting Mortensen, 1998, #1.2]. Når der udføres massekommunikation er situationen noget anderledes; vi ser sjældent modtageren i øjnene, og vores målemetoder til at kontrollere hvorvidt budskabet er modtaget som tiltænkt er stærkt begrænsede, da det i sagens natur ikke er muligt at kontrollere alle modtageres perception. Der er kun en måde at efterprøve om formidlingen har virket: Produktafprøvning på repræsentanter for målgruppen! Der er mange grelle eksempler på formidling til større målgrupper, hvor der ikke er taget særlige hensyn til modtagersegmentets præmisser, men udelukkende hensyn til afsender og/eller producents ønsker og smag & behag. Det er slemt, da der i bedste fald er tale om spild af ressourcer: Målgruppen blev aldrig ramt, forstod ikke budskabet, eller endnu værre opnåede afsender den stik modsatte effekt end oprindeligt tiltænkt (eksempelvis Sundhedsstyrelsens Extacy-kampagne i 1990'erne). Andre gange er der tale om ellers velproportioneret formidling, baseret på målgruppeanalyser, der blot lider af den svaghed, at designeren ikke har været helt guddommelig, og derfor ikke har kunnet forudse alle eventualiteter i målgruppens præferencer og tilbøjeligheder. Dette giver (næsten) samme resultat, som når målgruppen slet ikke har været medtaget i designovervejelserne [Molich et al, 1998-2001]. Hvorfor?Det har længe været ”god latin” inden for kommunikationsteori,
at afprøve det endelige produkt på målgruppen, og mange store virksomheder
som har forstået dette, har spenderet meget store formuer på at
lade konsulentfirmaer (”kommunikationseksperter”) udføre disse undersøgelser
på en så stor del af målgruppen som muligt (læs: Som der var penge
til). Det er aldrig let at lave en helt objektiv kvalitativ analyse, bl.a. grundet rekvirentens (læs: Den der betaler gildet) forventninger, måleobjektets (testpersonen) forudtagenhed og samt interviewerens forventninger til svar fra måleobjektet [Kvale, 1998]. Forholdet mellem interviewer og måleobjektet er dog en større diskussion, som ikke vil have sin plads på disse sider, hvorfor der henvises til litteraturlisten for yderligere uddybning. Uanset hvilken eventuel ”misfarvning” af måleobjektets udsagn der
end kan være tale om i forbindelse med produktafprøvning, kan det
dog ikke være ringere end slet ikke at udføre en afprøvning. Det er direkte dumt at publicere målrette formidling, uden at teste
det på målgruppen først, selvom der er mange – både offentlige,
almennyttige og kommercielle afsendere – der gør det alligevel.
Eksempelvis har visitcopenhagen.dk et årligt budget på ca. 2 mill.
kr. som bruges på at promovere København over Internettet, med henblik
på øget international turisme, uden at der nogensinde er blevet
foretaget en målgruppeanalyse eller afprøvning, om hvorvidt produktet
virker efter hensigten. Hvordan?Det kan umiddelbart virke simpelt nok at spørge målgruppen: ”Hvad synes du om dette kommunikationsprodukt?”. Men for at få et svar som kan bruges til noget, kræver det at flere forhold er til stede:
Disse svar kan hentes hjem på flere måder, afhængigt af ressourcer, målgruppe, medium og så videre, men det er aldrig muligt at få klare entydige svar, som umiddelbart kan fortælle os, hvorvidt vores produkt virker efter hensigten. En kort indførelse i produktafprøvning kan findes i Chessman & Ting Mortensen [1998, #6] Kvalitativ analyseFor at få målgruppens ”ærlige” mening og ”frie” udsagn, kan det
ikke nytte med et prædefineret sæt svarmuligheder, men derimod give
respondenten mulighed for selv at formulere svarene. Hvis der er lavet eksempelvis en folder, som skal have en bestemt
effekt på den valgte målgruppe, kan folderen fremvises til et måleobjekt,
og lade hende give sin uforbeholdne mening og udseendet, og fortælle
om hvilke budskaber hun umiddelbart kan læse/se ud fra førstehåndsindtrykket. Kvalitative inputs er pr. definition valide [Chessman & Ting Mortensen, 1998], da de udtrykker respondentens personlige indstilling til det område analysen omhandler. Herved bliver enkeltstående inputs, som kun bliver formidlet fra en enkelt respondent, ud af en større sammenhæng, lige så valide, som hvis de blev formidlet fra en stor delmængde af respondenter. Det er så analytikerens opgave at vurdere, tolke og prioritere de enkelte inputs så objektivt som muligt i forhold til formålet med evalueringen og analysen. For at udføre valide kvalitative undersøgelsesinterviews, er der tolv aspekter som kan/bør benyttes [Kvale, 1998]:
Det kan diskuteres hvor relevante alle de ovenstående punkter er, og Steiner Kvale tager udgangspunkt i et rent kvalitativt mundtligt forskningsinterview, på lige fod med hvad en psykolog ofte vil gøre overfor en klient. Dette er ikke altid hensigtsmæssigt i forbindelse med produktafprøvning, men alligevel kan ovenstående benyttes som ”tommelfingerregler” til både udformning og afvikling af undersøgelsen samt den efterfølgende analyse af resultaterne. Det er meget vigtigt at intervieweren ikke kommer til at sige noget om hvad der forventes at måleobjektet oplever i produktet! Det er her den kvalitative problematik ofte opstår, da intervieweren sjældent kan lade helt være med at påvirke (bevidst eller ubevidst) testpersonen, hvilket er et udmærket argument for at lade andre end designeren af produktet udføre målingen. Eksempelvis kan nævnes den helt ekstreme situation, ved afprøvning af fremtidens medicinske produkter, hvor der typisk udføres to sideløbende undersøgelser: Ca. halvdelen af testpersonerne får den nye medicin og den anden halvdel får uvirksomme kalktabletter. Her går man endog så vidt, at den person der udlevere medikamenterne heller ikke ved om det er produktet der gives eller det uvirksomme medikament, da denne viden kan være med til at påvirke testpersonen til at tro at der er en virkning, hvorved denne måske kan opstå: Placebo-effekten! Dette siger noget om hvor svært det er, at undgå at påvirke måleobjektet! Det er tilladt at stille forståelsesspørgsmål, blot de ikke går på formen ”betyder det, at du mener at det er....?”, men snarere på formen; ”Vil du prøve at uddybe det?”, ”Jeg er ikke sikker på at jeg forstår (?)” og så videre. Det er en god idé at lade en båndoptager eller video forevige interviewene, for derefter at renskrive (eventuelt med interviewerens kommentarer) og der ud fra foretage en analyse af responsen. Også her skal man være opmærksom på måleobjektets reaktion på den uvante situation, med en båndoptager kørende, hvilket kan have indflydelse på frihedsgraden i de svar der gives. Som regel vil analysen af kvalitative interviews bero på rygmarvsfornemmelser, med mindre der er tale om erfarne psykologiske forskningsundersøgelser. Så længe alle uddragne konklusioner er velargumenterede og spørgsmålene ikke er ledende mod bestemte svar, er rygmarven et udmærket værktøj. Fordelene ved kvalitative undersøgelser er - på trods af den ofte diffuse mængde inputs – at der ofte vil fremkomme nogle nye vinkler på den undersøgte problematik, som intervieweren ikke havde kunne forudse, hvilket jo netop er vigtigt i forhold til at finde ”fejl” ved et velplanlagt kommunikationsprodukt, ud fra målgruppens forventede præmisser. Kvantitativ analyseEn anden metode, som ofte giver lettere databehandling (analyse)
er kvantitative interviews, hvor alle svarmulighederne er givet
på forhånd, med svar der kan rubriceres ved hjælp af tal – især
hvis der er tale om store målgruppeundersøgelser med mange måleobjekter.
Ved at udforme en undersøgelse udfra rent kvantitative parametre,
gives den åbenlyse fordel, at data kan lægges ind i et matematisk
analyseprogram, hvorfra statistikkerne kan uddrages, enten i form
af en avanceret databaseløsning med muligheder for krydsreferencer,
eller i form af et regneark, der generere gennemsnitsværdier og
afvigelser. Paradoksalt nok ønske både politikere og forvaltere nogle tilnærmelsesvis utvetydige analyser, som kan hjælpe dem med den overordnede planlægning, og her er tal taknemmelige. Det er endda muligt at generer grafer, som kan udformes således at de ”underbygger” den politiske ”sandhed”, og derved kan bruges som argument for ønskede ændringer i samfundet, virksomheden eller det enkelte individ. Hvis antallet af unge som gennemfører en gymnasial uddannelse er stigende, kan det (måske) betyde at danskerne får et højere informations- og uddannelsesniveau som helhed. Det siger dog ikke noget om det evt. kan skyldes at der kommer flere unge eller om der samtidig sker et dramatisk fald i eksamenskaraktererne. Derfor skal der flere undersøgelser til, som kan underbygge fortolkningen af de kvantitative data, eksempelvis om den relative størrelse af ungdomsårgangene, andre (nye ) uddannelser for samme målgruppe, ændring af pensakrav fra ministeriel side med videre. Er der et (næsten) komplet sæt data fra en kvantitativ undersøgelse for relevante område og nogle erfarne statistikere, kan der dog foretages målinger på den samlede befolkning, som - forsat er holdningen – er valide. Denne form for undersøgelse ligger til grund for langt de fleste statistiske meldinger i danske medier i dag: Et stort antal borgere får stillet de samme række spørgsmål, giver et svar der kan rubriceres kvantitativt og bruges til at fodre en database. Kombination"Der findes tre slags løgn; løgn, forbandet løgn og statistik” [dansk ordsprog] Dette kan der være noget rigtigt i, da rent talmæssige oplysninger kun udtrykker noget om lige præcis de spørgsmål der er blevet stillet, og ikke nødvendigvis noget om fordelingen af svarene. Det kan selvfølgeligt være interessant at vide, at eksempelvis gennemsnitsalderen for førstegangsfødende kvinder har ligget konstant på 27 år i to dekader, men det kan være mindst lige så interessant at vide at antallet af førstegangsfødende på over 40 år er steget kraftigt de sidste 10 år. Det sidste fortæller måske mere om livsvilkårene i dagens Danmark end oplysningen om gennemsnitsalderen gør. Dette er et eksempel på at en kvalitativ analyse på nogle kvantitative data kan være med til tolkning af datasættet.
Kombineres en kvantitativ undersøgelse, med mulighed for at afgive rent kvalitative udsagn, får analytikeren en mulighed for at få svar på de spørgsmål der ønskes besvaret, og samtidig få udsagn som ikke var forudset. Disse kvalitative udsagn kan måske benyttes som forklaring på de spørgsmål som opstår under analysen af de kvantitative data, da en sådan analyse næsten altid vil medføre en stor mængde nye spørgsmål, hvis man ønsker at få forklaring på hvorfor resultaterne er som de er. Jfr. førnævnte opgørelse over førstegangsfødende kan vi få et talmateriale, som fortæller noget om alderen fra den kvantitative del af undersøgelsen, mens et spørgsmål som ”Hvordan kan det være at du får barn lige nu i dit liv?” kun kan besvares i en kvalitativ undersøgelse men give nogle ideer om hvorfor tallene er fordelt som de er. Er der tale om produktafprøvning, vil vi hermed ikke kun nøjes med udsagn om kommunikationsproduktet virker efter hensigten eller ej, men også hvad der gør det. InterviewsituationenNår en testperson skal udsættes for et interview, er denne en informant, der skal give intervieweren nogle informationer. Det skal overvejes hvilket forhold interviewet foregår under, da en ”unormal” situation kan påvirke testpersonen og denne derved føler sig forpligtet til at besvare spørgsmålene på et andet niveau end hvad personen ellers ville have gjort (jfr. afsnit om kvalitative interviews). Eksempelvis vil et akademisk forskningsinterview som foregår på universitetet kunne medføre en svarform der er forskruet (op mod/til et akademisk niveau), mens samme interview foretaget i testpersonens vante omgivelser (eksempelvis hjemme) vil give nogle mere ”ærlige” svar. Foregår en brugertest af et (quasi-) kommercielt produkt tilsvarende på producentens virksomhed, vil svarene have risiko for at bære præg af afsenders (positive) forventninger til produktet, frem for testpersonens oprigtige holdninger til produktet. Hvornår?Som før nævnt, er det spild af ressourcer at publicere et kommunikationsprodukt, uden at have gennemført en brugertest først. Denne brugertest kan give nogle vigtige informationer om hvordan målgruppen modtager budskabet, men hvad skal vi bruge de oplysninger til? Skal vi publicere alligevel, eller lade helt være? Oftest vil en brugertest give anledning til justeringer eller ændringer
af produktet, for at optimere mod en effektiv formidling til relevante
målgruppe. Efter en sådan ændring eller justering af produktet vil
det være oplagt at foretage en ny brugertest, for at se om det virker
som det nu ser ud, og denne burgertest kan give anledning
til nye justering/ændringer af produktet, og så videre. Det er muligt at foretage en målgruppeanalyse allerede inden produktudviklingen
igangsættes, for derved hav en idé om hvordan udformningen bør være.
Denne kan udføres som kombination af en teoretisk analyse og en
brugertest, som sagtens kan udføres mens produktet kun er på skitseplanet
eller i en beta-version. Især interaktive multimedier (herunder netmedier) kræver særlig lydhørhed over for målgruppen, da disse ellers risikerer ikke at kunne navigere i mediet, hvilket ofte er essentielt for brugen. Det kan eksempelvis være nogle ikoner som designeren synes er meget klare og tydelige, men som testpersonerne ikke forstår, misforstår eller direkte overser som et aktivt element på skærmen. Interaktive multimedierInden for interaktive multimedier, og herunder især netmedier, er der lagt særlig megen energi i forskningen, udfra klassiske teknokratiske metoder, blandt andet Fordi disse medier stiller nogle særlige krav til brugeranvendeligheden, da ”læseren” sættes i stand til at modtage mange forskellige medietyper på en og samme tid (multimedie), samtidig med at denne kan gives frihed til selv at foretage valg i forløbet (interaktivitet). Interaktiv multimedier er ofte meget bekostelige at udvikle, og
samtidigt er Internettet en distributionsform, der giver en særdeles
stor målgruppe adgang til informationer. Typisk vil en brugertest have en større grad af troværdighed, jo flere testpersoner der er indgået i testen, hvilket især gælder for den kvantitative form, hvorfor der udføres store og bekostelige brugertest på mange store kommercielle kommunikationsprodukter. Forskning indenfor brugervenlighed med hensyn til netmedier, har dog vist at det kan nytte med mindre omfangsrige undersøgelser [Nielsen, 1994]: Det er muligt at få overblik over op til 75% af de funktionelle ”fejl” på et større netmedie, ved blot at lade 4-6 personer indgå i brugertesten, hvilket selvfølgeligt er langt billigere end undersøgelser med flere tusinde testepersoner. Tag ikke fejl: Jo flere måleobjekter der indgår i en undersøgelse, jo flere fejl vil der komme op til overfladen (alt andet lige), men det er blot ikke så rentabelt, set ud fra en c/b-ratio (cost/benefit = forholdet mellem udgifter og målbar effekt). Dette er med udgangspunkt i brugervenligt skærmdesign, som har nogle rent praktiske funktionaliteter, som bare skal virke, men det kan godt bruges som argument far at en lille produktafprøvning er bedre end slet ingen – uanset produktets karakter eller medium. Top-Ti ønskede svarHvad der især er interessant at finde svar på ved brugertest af kommunikationsmedier generelt, vil være at sikrer at budskabet opfattes af modtageren (målgrupperepræsentanterne) som det var tiltænkt af afsenderen, med den ønskede effekt til følge. For at undersøge dette vil det være godt med spørgsmål, der svarer på følgende forhold, hvor samme spørgsmål kan gentages, gående fra mere generelle indtryk til enkeltdetaljer:
Disse punkter kan/bør selvfølgeligt være vejledende, og vægtes og bøjes alt efter medium, budskab, målgruppe, interviewsituation med mere. Ved interaktive medier skal der desuden lægges vægt på funktionaliteten, hvor hvert enkelt element bør kunne stå alene, uden yderligere forklaringer, hvorfor punkt 3-8 kan/bør gentages for hvert enkelt aktive element i det interaktive medie. Hvordan selve brugertesten skal udformes – rent praktisk - er afhængigt af produktets beskaffenhed i forhold til budskab, medium, målgruppe og så videre og vil i vid udstrækning blive baseret på undersøgerens viden, erfaringer og rygmarvsfornemmelser. KilderCheesman, Robin & Arne Thing Mortensen; Om målgrupper, Kommunikation,
RUC, 1998 Kvale, Steiner; Om tolkning af de kvalitative forskningsinterviews, Kommunikation Modul 1 E.98, RUC, 1998 Molich, Rolf et al: Webrapport, Instituttet for Informatiosnteknologi.
Danmarks Tekniske Universitet. Lyngby. Januar 1998-2001. Nielsen, Jakob; Alertbox, UseIt, 1993-2002
|
Opdateret:
