Viiden Tähden Ruokatiedettä-palstalla tutkija Pekka Mustonen pohdiskelee asioita umpitieteellisestä näkökulmasta. Tällä kertaa käsittelyssä on tiedon rooli päätöksenteossa.
Havaintoja tilastollisen tutkimuksen monimutkaisesta maailmasta. Miksi eri tahot tuottavat samoista asioista erilaisia tuloksia?
Aloittaessani tällä palstalla suunnilleen vuosi sitten, kirjoitin tutkijan roolista ruokakeskusteluissa. Näissä keskusteluissa yleensä miltei kaikilla osapuolilla on selvä intressi.
Kaupalliset toimijat pyrkivät muuttamaan maailmaa sellaiseen suuntaan, jossa omat liiketoimintaan liittyvät tavoitteet voitaisiin paremmin saavuttaa. Aika monissa tapauksissa tällainen maailma olisi vähemmän säännelty.
Sääntelyn puolestapuhujilla on kuitenkin yksi keskeinen etu puolellaan. Tai oikeastaan kaksi etua, jotka molemmat liittyvät toisiinsa.
Otetaan esimerkiksi viime aikoina pinnalla ollut alkoholipolitiikka. Alkoholin kulutuksen tulevaisuutta on helpoin ennustaa historialla. Oikeastaan kaikki ennustaminen pohjautuu historiaan, koska tulevaisuudesta emme tiedä.
Tiedämme, mitä muualla on tapahtunut ja ehkä näemme heikkoja signaaleja, mutta historiasta tiedämme hurjan paljon enemmän.
Jos vaikka verojen laskeminen on aiemmin lisännyt alkoholin kulutusta, kyseessä on aika vahva argumentti status quon puolesta. Kulttuurisiin tai sen muutoksiin liittyvät näkemykset – vaikkakin kuinka perustellut – eivät pärjää hyvin, kun vastassa ovat viralliset tilastot tai viralliset tahot, jotka niitä tuottavat.
Tämä onkin se toinen etu. Tilastokeskuksen tietävät kaikki, mutta harva tietää, että Suomen virallisia tilastoja (SVT) tuottaa moni muukin julkinen organisaatio. Nämä organisaatiot takaavat sen, että tietoja kerätään ja raportoidaan säännöllisin väliajoin ja että tilastot noudattavat yhteisiä eurooppalaisia laatukriteerejä.
Alkoholikeskustelussa keskeinen Terveyden ja hyvinvoinnin laitos THL on yksi virallisen tilaston tuottajista. THL tilastoi muun muassa alkoholijuomien hintakehitystä ja kulutusta. Alkoholijuomien myyntitiedot saadaan alkoholielinkeinorekisteristä, jota ylläpitää Valvira.
Tilastoimattomasta kulutuksesta taas ei ole rekisteritietoa, joten ainut tapa on kysyä asiasta ihmisiltä itseltään.
On siis turvauduttava otospohjaisiin kyselytutkimuksiin, koska kaikilta ei voida asiaa tiedustella. Vastaavalla tavalla kyselytutkimuksilla selvitetään myös matkustajatuontia. Tämä on ihan validi tapa ja monissa tapauksissa ainut mahdollinen.
Myös virallisiinkin tilastoihin liittyviä kyselytutkimuksia ostetaan usein kaupallisilta toimijoilta, joilta vapailla markkinoilla toimiessaan puuttuu virallisten tilastojen tuottajien legitimiteetti. Virallisten tilastojen tuottajapartnereina legitimiteetistä saadaan kuitenkin nauttia kuin varkain.
Tästä näkökulmasta olisi erikoista, mikäli nämä kaupalliset toimijat osallistuessaan virallisten tilastojen tuottamiseen ajaisivat tutkimuksillaan joidenkin tiettyjen tahojen intressejä ja ohjaisivat tuloksia tiettyyn suuntaan.
Vielä erikoisempaa tällainen olisi, mikäli virallisista tilastoista vastaavat tahot, vaikkakin sitten paljon parjattu THL, tekisivät tutkimuksia tai tilastoja, jotka selvästi ajaisivat jonkin intressiryhmän tavoitteita.
Virallisten tilastojen laatukriteerit ovat yksiselitteisiä. Tässä muutama keskustelujen kannalta keskeinen kriteeri:
Puolueettomuus ja läpinäkyvyys. Tilastojen tuotannossa ja raportoinnissa noudatettavat periaatteet perustuvat ulkopuolisista etunäkökohdista riippumattomaan ammattimaiseen harkintaan ja tilastoeettisiin periaatteisiin. Periaatteet ovat julkisia ja havaitut virheet korjataan näkyvästi. Tilastot ovat yhtäläisin ehdoin kaikkien saatavilla.
Tarkkuus ja luotettavuus. SVT-tilastot kuvaavat täsmällisesti ja luotettavasti tilastoitavia ilmiöitä, niiden tilaa ja muutoksia. Tilastointimenetelmistä ja niiden muutoksista esitetään selkeä kuvaus. Niiden vaikutus tuloksiin ja muut mahdolliset tilastojen epävarmuustekijät analysoidaan ja raportoidaan.
Ajantasaisuus ja oikea-aikaisuus. SVT-tilastojen tiedot ovat mahdollisimman ajantasaisia. Niiden julkistamisajankohta on ennakkoon tiedossa.
Saatavuus ja selkeys. SVT-tilastot esitetään selkeässä, läpinäkyvässä ja ymmärrettävässä muodossa sekä levitetään sopivalla ja tarkoituksenmukaisella tavalla. Tilastot ja niitä tukeva metatieto sekä käyttäjille suunnatut ohjeet ovat yleisesti saatavilla. Esitystapa tukee tilastojen oikeata tulkintaa ja vertailuja. Tilastojen perusaineistot ovat käytettävissä tutkimustarkoituksiin tietosuojan vaarantumatta. Tilastosta voidaan tuottaa räätälöityjä analyyseja yksittäisen käyttäjän tai käyttäjäryhmän tarpeisiin.
Palaan otsikossa esitettyyn kysymykseen. Miksi samasta aiheesta saadaan erilaisia tuloksia?
Mikäli oletamme, että tilastoviranomaiset noudattavat näitä kriteerejä, joista siis yllä on esitetty vain muutama, mahdolliset vääriltä tuntuvat tulkinnat palautuvat niihin tahoihin, jotka tietoja tulkitsevat. Toisin sanoen katseen kohdistuvat tutkijoihin ja toimittajiin ja toisaalta eri intressiryhmiin.
Jos virallisen tilaston tuottaja edustaa jotain intressiryhmää, tilanne on tietenkin ikävä. Tällaisestahan esimerkiksi THL:ää on syytetty.
Jos kaksi eri tahoa käyttää samaa aineistonkeruumetodia (vaikkapa kyselyä) ja poimivat otoksen samasta perusjoukosta (vaikkapa suomalainen aikuisväestö) ja käyttävät samaa otantamenetelmää (vaikkapa satunnaisotos väestötiedoista), tilastollisten lakien mukaan tulosten pitäisi olla kutakuinkin yhteneväisiä virhemarginaalien rajoissa.
Jos otos on riittävän suuri, voidaan olettaa, että vastaamisprosessissa tapahtuvat vääristymät kumoavat toisensa. Joku liioittelee ja joku vähättelee, joten lopputulos on suunnilleen todellisuutta kuvaava.
Jos taas prosesseissa on eroja, tulokset voivat poiketa huomattavastikin toisistaan. Usein käytössä olevat pieniä otoksia paikkaavat kausitasoitukset ja muut vastaavat käytännöt monimutkaistavat kokonaisuutta vielä lisää.
Tilastojen kanssa työskennelleet tietävät, että käsittelemättömästä tilastoaineistosta saa kaivettua esiin melkein mitä vain.
Nokkela tilastonikkari pystyy samalla aineistolla ”todistamaan” puolesta ja vastaan. Tulkitsijalle jää siis paljon valtaa, ja tulkitsijoiden joukko on kirjava. Rikkinäisen puhelimen leikki alkaa aineiston kerääjästä ja päättyy monien portaiden kautta kuluttajaan, joka lukee uutisen jostain mediasta.
Kuluttajista ja julkisen vallan edustajista taas löytyy väkeä molempiin ryhmiin ja erityisesti sinne välimaastoon, kuten demokratiaan kuuluukin. Sama koskee tutkijoita, joita löytyy joka lähtöön.
Aineistoa voidaan luokitella ja ryhmitellä lukemattomilla eri tavoilla. Tilastollisia suureita voidaan yhdistellä sopivasti ja niitä voidaan esittää vertailemalla sopivasti valittuun ajankohtaan tai toiseen tutkimukseen. Myös eettiset säännöt ovat tulkinnanvaraisia.
Kaupallisilla toimijoilla on paikkansa myös tutkimusmaailmassa. Vastakkainasettelusta ei siis ole kyse. Kaupallisten toimijoiden etuna on ketteryys ja usein sellainen spesifi osaaminen, joka saattaa julkisilta toimijoilta ja virallisilta tahoilta puuttua. On kuitenkin selvää, että kaupallisten toimijoiden tulee tehdä enemmän töitä uskottavuutensa eteen.
Yleensä lobbareiden tilaamat tutkimukset ovat juuri yksityisten toimijoiden tuottamia.
Tutkimukset saattavat olla ihan valideja – päteviä tutkijoita ja tilastoihmisiä työskentelee myös kaupallisten toimijoiden piirissä – mutta lobbareiden diskurssia ja lähdemateriaaleja leimaa siltikin usein uskottavuuden puute.
Yksi tärkeä syy uskottavuuden puutteelle on se, että tutkimusten agendaa ei edes yritetä peitellä. Tämä on luonnollisesti ymmärrettävää, koska tutkimuksen halutaan jotenkin muuttavan vallitsevia olotiloja, mutta se on siltikin vastaan niitä periaatteita, joita tutkimuksille tieteellisessä mielessä on osoitettu. Kaiken ei tietenkään tarvitse olla tieteellistä, eikä pidäkään, mutta uskottavuudessa tieteellinen metodi on ylivertainen.
Uskottavuusongelmat lähtevät usein siitä, että esimerkiksi kyselytutkimuksissa kysymykset muotoillaan siten, että vastaajaa ohjataan vastaamaan tietyllä tavalla, tai että vastaajia pyydetään arvioimaan, miten heidän käyttäytymisensä muuttuisi, jos jotain muutoksia toimintaympäristössä tapahtuisi. Hyvä esimerkki löytyy taas alkoholitutkimuksista.
Harva vastaaja oikeasti osaa kuvitella, miten heidän matkustamisensa vaikkapa Viroon muuttuisi, jos veroja korotettaisiin jommassakummassa päässä. Kun tällaista kysytään, vastaus riippuu siitä, mitä puolta vastaaja edustaa, ja mitä hän olettaa, että kysymykseen pitäisi vastata. Samanlaisia esimerkkejä löytyy lukemattomia, oli kyse sitten museohankkeista tai lentokentästä.
Tilaajien intressit ovat usein joko mustia tai valkoisia, mutta todellisuus on harmaa.
Siksi monet hyvin tehdyt tutkimukset jäävät kiinnostavuudessa intressiryhmien tilaamien selvitysten jalkoihin. Kaupallisten toimijoiden joskus valitettavan matalla rimalla tehdyt tutkimukset rikkovat uutiskynnyksen helposti.
Rehellisuuden nimissä pitää nimittäin todeta, että moni viime aikoinakin esillä ollut selvitys ei täytä luotettavan tutkimuksen kriteerejä, mistä syystä niitä ei ehkä tutkimuksiksi pitäisi kutsuakaan. Kuitenkin tällaisista ”tutkimuksista” kirjoitetut uutiset leviävät tiedotusvälineisiin ja keskusteluihin tehokkaasti.
Miksi pätevätkin tahot tekevät epäuskottavia selvityksiä? Yksi selitys löytyy tilaajista, joilla ei ole useinkaan kompetenssia arvioida tutkimusmenetelmää ja tulkintojen luotettavuutta.
Tilaaja siis omalla asiantuntemuksellaan pystyy vaikuttamaan riman korkeuteen. Kun kyse on liiketoiminnasta, tutkimuksen toteuttajalla on kiusaus laskea rimaa, mikäli kevyempi tuotos tyydyttää tilaajaa.
Itse kuulun siihen pieneen joukkoon, jolla on osaamista arvioida tutkimuksia. Jos vuosien ja vuosien opiskelujen ja työvuosien jälkeen en tähän kykenisi, jotain olisi mennyt pahasti vikaan.
Autokorjaamolla olen tutkijana luultavasti helpoin mahdollinen huijattava.
Jos mekaanikko kehottaa vaihtamaan jonkin osan, vaikka se ei oikeasti olisi välttämättä tarpeen, onko kyse mekaanikon moraalista vai asiakkaan kyvystä olla ottamatta riskiä? Luultavasti menisin kassan kautta, koska en luottaisi omaan asiantuntemukseeni. Näin toimii myös tutkimusmaailma tieteellisen kentän ulkopuolella.
Mitä sitten pitäisi tehdä? Oman ammattiryhmäni puolesta toki toivoisin, että tutkijoiden asiantuntemusta käytettäisiin enemmän. Osittain uskottavuusongelmista päästäisin eroon, mikäli ainakin julkisin varoin kerätyt aineistot avattaisiin avoimena datana kaikkien käyttöön. Aiemmin esitetyissä kriteereissähän tämä todetaan selvästi.
Jos taustat ovat puhtaat, mitään periaatteellisia esteitä aineistojen avaamiselle ei pitäisi olla.
Jos aineistot ovat avoimesti kaikkien saatavilla, tutkijoiden puolueellisuus voidaan ainakin periaatteessa sulkea pois, koska mikäli menetelmät ovat avoimia (katso kriteerit), tutkimus voidaan ainakin jossain määrin toistaa.
Toki käytännössä tähän liittyy monta muttaa lähtien jo esimerkiksi siitä, että aineistojen käsittely ei onnistu keneltä tahansa, ja kaiken lisäksi tällainen työ on aika kallista.
Tämä olisi kuitenkin suunta, mihin julkisilla varoilla toteutettujen tutkimusten aineistojen osalta pitäisi edetä. Jos havaitaan, että metodeissa tai tulkinnoissa on jotain korjattavaa, asia pitää tuoda julkiseen keskusteluun. Spekulointi saattaa kääntyä itseään vastaan.
Pekka Mustonen
Kirjoittaja on kaupunkilaisiin elämäntapoihin keskittynyt taloussosiologi, joka työskentelee Helsingin kaupungilla erikoistutkijana. Mustosen rakkaimpia harrastuksia ovat päämäärätön haahuilu karuissa kaupunkimaisemissa, viinipullojen valitseminen etikettien perusteella sekä analyyttisten havaintojen tekeminen ympäröivästä kulttuurista.
Artikkelikuva: Brandon Wong
Facebook Comments