Användningstester

Biblioteket.se kommer fram emot årsskiftet att bytas ut mot det som idag är beta.biblioteket.stockholm.se. För att verkligen involvera användarna och  se hur det fungerar i praktiken har vi på virtuella enheten i flera omgångar genomfört användningstester. Först gjorde vår konsultbyrå InUse tester i maj, i samband med att vi internt utbildade oss inom området. Därefter gjordes det tester i samband med beta-lanseringen till personal i juni.  I slutet av oktober har vi själva genomfört tester inför de sista utvecklinggsprintarna.

Att testa användningen av webbplatsen på riktiga användare är nödvändigt för att få reda på hur det fungerar vid normal användning. Målet är att användarna och deras upplevelse ska driva utvecklingen. Det är givetvis inte användarna som testas utan användning av webbplatsen, vilket vi också påpekar för testpersonerna.

Rekrytering av testpersoner, testpiloter som vi kallade dem, skedde i huvudsak via vanliga webbplatsen, biblioteket.se, genom en notis där man ombads anmäla sig om man var intresserad. Tidigare försök att rekrytera via affischer i biblioteken har varit helt resultatlösa, men genom notisen på webben har vi fått fler intresserade än vi behöver och har kunnat välja ut så att våra olika målgrupper har varit representerade. Några specialkompetenser har rekryterats genom handikapporganisationer.

Vi rekryterade totalt 7 personer till detta test. Av dessa hade en person  syn-funktionshinder, en var dyslektiker och övriga kom från våra andra  vanliga användargrupper: yngre, äldre, män, kvinnor, studerande etc.

Vi har genomfört testen i våra egna lokaler dagtid. Ett rum med en vanlig standarddator (PC) och lite plats för deltagarna är det enda som behövs. Har man personer med funktionshinder och de vanligen har något hjälpmedel underlättar det om de får använda sin egen dator med sina program. Våra hade till exempel egna datorer med skärmläsaren Jaws installerad. Eftersom den kostar cirka 1000$ har vi på biblioteket tyvärr inte den.

1 timme har vi beräknat för testerna, utom för de med funktionshinder där deras hjälpmedel har gjort att det tagit längre tid: uppåt två timmar.

Testet inleds lite socialt, med att man hämtar upp testpersonen vid överenskommen plats (man kommer inte in i våra lokaler själv utan problem) och installerar dem framför datorn med en kopp kaffe eller motsvarande. Handledaren är den som förklarar hur allt går till och driver testet framåt, och avbryter också övningar vid behov. Observatör och vittne presenteras, men sitter tysta. Efter testets slut får de möjlighet att kommentera eller ställa frågor.

Ett manus med scenarier och uppgifter har tagits fram i förväg och handledaren lotsar testpersonen vidare i detta. Frågorna kan vara av typen:

  • Du vill läsa en e-bok exempelvis Kinesen med Henning Mankell. Hitta rätt format för datorn
  • Du har hört att barn kan få hjälp med läxorna på biblioteket. Hitta ett bibliotek i närheten (av där du bor) som kan hjälpa till med detta och vilken tid denna service finns

Handledaren leder testet, men hjälper som sagt inte till att lösa frågorna. Om någon skulle köra fast totalt, kan man i vissa fall ställa ledande frågor (speciellt om man vill utforska en speciell funktion). Annars kan man också bryta om testpersonen kört fast och gå vidare till nästa fråga. När tiden är ute, efter en timme, avslutas testet även om alla frågor inte hunnits med. Testpersonen får ställa frågor och kan få en del svar. Vittne och observatör får här möjlighet att också komma med förtydligande frågor.

Direkt efter testet samlas handledare, observatör och vittne och går igenom vad som hände under testet Vilka var huvudpunkterna, var körde de speciellt fast etc. Observatören skriver snarast ut anteckningarna och alla i gruppen ser till att allt kommit med.

Efter alla tester gjorts samlas alla erfarenheter ihop i ett meningsfullt dokument. Vi har gjort helt vanliga google docs-anteckningar kring varje test som delats ut till alla i testgruppen och sedan har en sammanfattning gjorts i textformat. Dessutom har det sammantagna resultatet också presenterats i keynote-presentation (motsvarande powerpoint) bestående av skärmdumpar med pratbubblor, se bild överst på denna sida. Detta gör det enklare för personer som inte alls är insatta i själva testandet att förstå vilka användningsproblemen är.

Tags: ,

8 Responses to “Användningstester”

  1. […] Hemmet | Digitala biblioteket « Användningstester […]

  2. Ewa Andersson skriver:

    Intressant och bra att ni skriver om hur ni jobbar med användartester. Att ni faktiskt tar reda på hur webbplatsen används och utvecklar den i samklang med användarna är det nog inte alla som vet!

    • Elisabet Fornell skriver:

      Roligt att du uppskattar våra blogginlägg! Vi försöker hinna med att både göra saker och berätta om vad vi gör. En öppenhet och genomskinlighet i processen tjänar både vi själva, vår egen personal och andra på tror vi.

  3. Elisabet skriver:

    Jag undrar över den “vanliga användargruppen”. Fanns någon där med där med annat modersmål än svenska och som hade intresse av att hitta litteratur/medier på sitt eget språk? Att inte från början kunna avgränsa språk i betaversionen är något jag vet att många reagerat mot.

    • Elisabet Fornell skriver:

      Ja, det fanns en person med annat modersmål än svenska. Det är viktigt att förstå att beta-versionen är inte den färdiga officiella webbplatsen, utan en metod för att arbeta med användarstyrd utveckling där man visar valda delar för att demonstrera funktioner och för att involvera användarna i utvecklingen. Alla språk finns inte med, alla filter är inte på plats, alla artiklar är inte skrivna, det finns buggar i sökmotorn etc. När vi lanserar på riktigt kommer givetvis alla språk att finnas med och en hel del funktioner kommer att finnas som inte syns idag på beta. Blogginlägg om utvecklingsprocessen, alltså hur vi jobbat med beta och den vidare utvecklingen är på gång och kommer inom kort.

  4. […] kommer en ny sajt för biblioteken i Stockholm. På sin utvecklingsblogg beskriver de hur de jobbat med användningstester under […]

  5. Mikael Sköld skriver:

    Kul att testet gick bra!
    Och kul att se en så konkret beskrivning.

    Lästips:
    Berndtsson och Ottersten: Användbarhet i praktiken, vars wikiupplaga har ett avsnitt om användningstestning: http://anvandbarhet.se/bok:utvardera_anvandbarhet#anvaendbarhetstest

    Praktisk Brukertesting av Eli Toftøy-Andersen & Jon Gunnar Wold, som bloggar här: http://www.brukskvalitet.no/

    • Elisabet Fornell skriver:

      Tack för lästips, vi har dem men har inte riktigt hunnit studera dem…har mest jobbat på. Tänkte att det kunde vara intressant att veta konkret, inte bara teoretiskt. Åtminstone för alla våra likasinnande kollegor som vill men inte riktigt har kommit till skott för att de inte vågar.

Leave a Reply