Bak forskningen lurer statistikken


Analyse av data er nøkkelen til å forstå komplekse årsakssammenhenger i samfunnet.

På begynnelsen av 1950-tallet gjorde britiske og amerikanske leger store undersøkelser som klart viste en sammenheng mellom røyking og lungekreft. Selv om mange hadde hatt en mistanke om at røyking kunne være skadelig, hadde ingen tidligere kunnet påvise det, og tobakksindustrien markedsførte til og med sigaretter som helsefremmende. Studiene er av de mest kjente tidlige eksemplene der mulige årsakssammenhenger blir studert ved statistisk analyse av store mengder data. Lignende metoder brukes nå til alle mulige undersøkelser, innen medisin, samfunns- og naturvitenskap og så videre, men det er ikke alltid rett frem å nøste opp i årsak og virkning.

Prosessen rundt dataanalyse, og noen av utfordringene knyttet til dette, lar seg best illustrere ved et tenkt eksempel (for ordens skyld: jeg vet ikke om noen faktisk har gjort denne undersøkelsen, og det kommer ingen svar mot slutten). La oss derfor anta vi mistenker at det er en sammenheng mellom å være en engasjert tilskuer i sport, la oss si fotball, og å få hjerteproblemer i etterkant av kampen som en følge av stress, opphisselse eller fortvilelse. For å undersøke dette i praksis, vil vi sjekke om det blant hjertepasienter er en økt forekomst av personer som har sett fotball det siste døgnet.

Først og fremst må vi skaffe data for å teste hypotesen. Siden det ikke er praktisk gjennomførbart å sjekke alle hjertetilfeller, må vi nøye oss med et utvalg, og prøve å sikre at konklusjonene vi treffer også er gyldige for hele befolkningen. Vi kjenner igjen dette fra politiske valg og meningsmålinger: Sistnevnte har feilmarginer, og utslag under disse regnes enkelt sagn å ha en stor sjanse for å skyldes at kun et utvalg av velgermassen er spurt, heller enn at partienes oppslutning faktisk er endret. Den enkle, men ressurskrevende, måten å redusere usikkerheten er å øke størrelsen på utvalget.

I tillegg til å samle inn data, må vi og bestemme oss for nøyaktig hva vi skal teste for, i vårt tilfelle, hva mener vi med økt forekomst blant fotballtilskuere. Naturlige variasjoner vil gjøre at forholdet mellom tilskuere og andre blant hjertepasienter ikke være identisk med forholdet generelt i befolkningen, uavhengig av om hypotesen vår er riktig. For ikke å identifisere denne naturlige forskjellen som et interessant funn, må vi undersøke om forskjellen er av praktisk betydning. Definisjonen av praktisk betydning kan for eksempel være at sannsynligheten for hjerteproblem er dobbelt så høy blant tilskuere.

Utstyrt med data og spørsmål, kan vi gå i gang med analysen, og her begynner moroen: Vi vet at menn er overrepresentert både blant fotballtilhengere og hjertepasienter, så hvordan kan vi vite at eventuelle funn ikke egentlig er relatert til kjønn? Vi kan prøve å utelukke, kontrollere for, kjønnsforskjeller ved å dele målingene inn i kvinner og menn, og teste uavhengig av dette. Imidlertid vil dette i praksis krympe datasettet vårt, og dermed øke feilmarginene. Om vi i tillegg vil kontrollere for andre faktorer, alder er en opplagt kandidat, ser vi at vi fort vil trenge svært mange målinger. Heldigvis utvikler statistikere bedre metoder for å justere for mulige bakenforliggende faktorer.

Selv om eksempelet ovenfor er forenklet, vi har blant annet ikke sagt noe om de pasientene som ikke overlever, og som vi dermed ikke kan spørre ut, ser vi at det kan være komplisert å påpeke sammenhenger basert på datasett. Når forskere for eksempel ønsker å måle virkningen av en ny undervisningsmetode, må de blant annet kontrollere for ulike sosiale forhold, tetthet og utdanning hos lærere, og så videre. Her forstår vi raskt at analysen er svært vanskelig, og det er ikke alltid entydig hvilke konklusjoner det er riktig å trekke. Til tross for disse åpenbare problemene, er det verdt å tenke over at satt på spissen er alternativet til data-baserte beslutninger en mer eller mindre godt fundert magefølelse, som heller ikke er uproblematisk.

PS: Visste du at det tilsynelatende er en sammenheng mellom konsum av mozzarella og antall avlagte doktorgrader i ingeniørvitenskap? Dette og andre illustrasjoner på falske sammenhenger finner du her.