Eksperimentel metode
John Paulin Hansen
ITC, Usability F2003
Eksperimentel metode
John Paulin Hansen
ITC, Usability F2003
Den eksperimentelle metode
Måler effekten af systematiske ændringer i uafhængige variable på den afhængige variabel - mens alle andre variable holdes konstant
Både i laboratoriet og i den virkelige verden
Psykologien har ofte søgt at studere menneskelig adfærd i ”rene og kontekst-afhængige” situationer. Eksempel: Hukommelse for meningsløse stavelser - samarbejdsprocesser i samling af abstrakte puslespil.
Human factors ser mennesket og maskinen/systemet som en integreret analyseenhed, der ikke kan adskilles. - menneskelig adfærd påvirker design - og designet påvirker den menneskelige adfærd
Basic research: Udviklingen af teorier, principper og fund som kan generaliseres over en række forskellige mennesker, opgaver og situationer (power law of learning)
Applied research: vedrører det, som er specifikt for bestemte mennesker, opgaver eller situationer
Kontinium mellem basic og applied research
Kan være svært at anvende basic research på konkrete problemer og omvendt svært at generalisere fra appliede research undersøgelser - design af remote kontrol - kan det også bruges på et web-baseret kontrolpanel til web-tv?
Eksperimentelle metode: teknisk set den eneste måde der kan etableres en årsags-virkning sammenhæng - og eksperimenter er standarden, hvormed andre metoder vurderes
Analogi: Medicinsk forskning - alternativ medicin
Variable i GazeTalk eksperimentet
Afhængige:
Word per minute
Error rate
Key stroke per Character
Subjektive ratings på spørgeskema
Uafhængige:
Antal ordforslag
Skriveform
5 trin i et eksperiment
1. Definer problem og hypotese
2. Opstil den eksperimentelle procedure
3. Udfør eksperimentet
4. Analyser data
5. Uddrag konklusioner
Kommer til at lave lille øvelser hvor 1 - 2 gennemløbes
Eksempel: Skiftende dag- og nattevagter påvirker fejlrisikoen
Hvad forståes ved skiftende nattevagter - hvordan måles fejlrisikoen
Ofte se videnskabelige artikler som er struktureret som:
Problem
Experimental design
Procedure
Data analysis
conclusions
Eksperimentelle designs
Two-group design: Eksperimentel gruppe og kontrolgruppe
Multiple group designs: Evaluere flere niveauer af den uafhængige variabel
Factorial design: kombinerer flere niveauer af to (eller flere) forskellige uafhængige variable
Between-subjects:to forskellige forsøgsgrupper
Within-subjects: samme person oplever alle niveauer af den uafhængige variable
Mixed design: bruger between-subjects på en uafhængig variabel i et et factorielt design og with-in på en anden uafhængig variabel
Eksempel: taler i mobiltelefon mens man kører vs. Bare kører
Måler afvigelsen af optimal vejbane
Flere nvieauer: eksempelvis håndholdt mobiltelefon eller mobiltelefon med mikrofon og højtaleranlæg i bilen
Faktorielt design: eksempelvis påvirkningen på kørefærdigheder i let og svær trafik af henholdsvis kontrolgruppe, håndholdt mobiltelefon og mobiltelefon monteret i bilen (3x2)
Mere kompliceret:
kommunikationstype (3 niveauer) x trafikcondition (2 niveauer) x belastning v. kommunikation (svar/respons eller spørgsmål/opkald ) 2 niveauer x tidsbinding 2 nviauer (variabel tid - hurtigst muligt)
Between subjects: forskellige forsøgspersoner i alle grupper
Within-subjects: samme personer prøver alle konditioner
Mi
Design 2x2x2
Design af Gazetalk eksperiment
Skriveform
dvæletid Fire
ordforslag
N = 12
N = 10
N = 11
N = 12 Skriveform
museklik Otte ordforslag
Ofte flere i samme forsøg
Typer: Opgavetid, antal rigtige, antal fejl, præcision, antal falske alarmer, subjektive skalavurderinger, hjerterytme, galvanisk hud respons, pupilreaktioner, reaktionstid på secondary task, stresshormoner i blod, ekspertvurderinger af præstationer m.fl.
Eksempelvis både måle afvigelser fra optimal rute og antal opbremsninger og antal fejlsvar i opgave
Eksperimentel planlægning
Udstyr
Deltagere
Kontrol af andre variable - eg. ved tilfældig fordeling af opgaver til subjekter fra en homogen gruppe eller fra en stor gruppe med normal diversitet
Neutraliser rækkefølge-effekten
Ikke have alle ældre i en gruppe og yngre i en anden -
Neutralisering
Counterbalancing (mod-balancering halvdelen først den ene og så den anden)
Eksperimentet udføres
Lav et pilot-forsøg for at sikre, at der ikke sker uventede ting
Gennemfør forsøget med nøjagtig samme betingelser (eller stop det og lav et nyt forsøg)
Sørg for at tjekke kalibrering af måleudstyr undervejs
Overhold alle etiske regler
Data analyse
Deskriptiv statistik: gennemsnit og standardafvigelsen
Statistiske analyser:
T-test for two-group design
Anova hvis der er mere end to grupper
Udregner sandsynlighed for, at den fundne forskelle er tilfældige (p<0.05)
Type I fejl og type II fejl
Type 1 fejl: forekommer hver 20 gang - derfor ofte kræve eksempelvis 0.0005 hvis det er et spørgsmål om liv og død
Kan ikke få artikler antaget til tidsskrifter eller konferencer hvis p er mere end 0.05
Type 2 fejl: man konkluderer at en uafhængig variabel ikke havde effekt, hvor den faktisk havde det! - sker ofte hvis man bruger et lavt antal forsøgspersoner, som svækker statistikkens udsigelseskraft
Eksempel med kræftmedicin der kun viser en o.20 effekt - hvad gør man? Finder ud af om der er behov for flere subjekter - om der er en bagvedliggende faktor, som kan forklare den ringe effekt (eksempelvis at der er rigtig god effekt for nogle kræftformer, men ikke for andre) m.m.
Meta-analyser - sammenligner resultater og udsigelseskraft ved de statistiske metoder der er anvendt - eg COCHRANE-center opkaldt efter opfinderen af metoden.
Statistisk signifikans versus praktisk signifikans - lille, signifikant forskel ved en medicinsk behandling, men for lille og for dyr til, at man vil indføre den på landsplan.
Lindsay and Staffon (1988) nuclear control interface
Increase of temperatures
Time tunnels in an unstable state
4 experimental displays
Analysis
3 factor analysis of variance (ANOVA) with the factors:
Display format (4 levels),
Data type (3 levels “slow”, “medium” an “Noise”)
Information type (2 levels: graphical and graphical plus digital).
Comments