Tutkimustiedon laadun arvioiminen

Tiedonhaussa löytyneiden järjestelmällisten katsausten ja alkuperäistutkimusten menetelmällinen laatu arvioidaan ennen niiden hyväksymistä suosituslauseiden aineistoksi. Laadunarvioinnin tavoitteena on valita suosituslauseiden perustaksi menetelmälliseltä laadultaan hyvälaatuisia tutkimuksia ja näin vahvistaa suosituksen luotettavuutta. Tutkimusartikkelien arviointiin osallistuu vähintään kaksi suositustyöryhmän jäsentä, joilla on hyvä tutkimusmetodinen osaaminen. Laadunarvioinnin prosessi on kuvattu kuviossa 3.

Vaihe 1. Kriteeristön valinta

Arvioi aluksi, voidaanko artikkelissa kuvatulla tutkimusasetelmalla vastata tutkimuksessa asetettuun tutkimuskysymykseen. Hyväksyttyäsi tutkimuksen arvioitavaksi, valitse käytetyn tutkimusasetelman mukainen kriteeristö eli kriittisen arvioinnin tarkistuslista (Taulukko 5).

Sovi ennalta yhdessä suositustyöryhmän muiden jäsenten kanssa, kuinka monen laadunarviointikriteerin tulee täyttyä hyväksytysti, jotta artikkeli hyväksytään mukaan hoitosuositukseen. Yleensä tulee täyttyä vähintään 50 prosenttia kunkin arviointikriteeristön kriteereistä. Tarkistuslistoissa kriteerien määrä vaihtelee 8-14 kriteerin välillä. Osa tarkastuslistojen kriteereistä voi olla tärkeämpiä kuin toiset.

Esimerkiksi järjestelmällisessä katsauksessa tulee olla maininta, että mukaan otettujen alkuperäistutkimusten laatu on arvioitu. Varmista myös, että katsaukseen on otettu mukaan vain riittävän hyvälaatuisia tutkimuksia. Jos laadunarviointia ei ole artikkelissa mainittu (eli kriteeri 6 ei täyty) kirjallisuuskatsausta ei voida ottaa mukaan hoitosuositukseen, vaikka muut kriteerit täyttyisivät.

Kuvio 3. Laadunarviointiprosessi

Vaihe 2. Laadunarviointi

Arvioi artikkeli itsenäisesti tutkimuksessa käytettyyn tutkimusmenetelmään sopivalla kriteeristöllä. Verratkaa toisen arvioitsijan kanssa saamianne tuloksia ja keskustelkaa mahdollisista eroavuuksista arvioissanne. Pyytäkää tarvittaessa kolmannen osapuolen näkökulma arviointiin. Laskekaa tarkistuslistan kyllä-merkinnät (K) yhteen.

Esimerkiksi RCT-tarkistuslistan 13 kriteeristä 8 täyttyvät, jolloin artikkeli saa kokonaisarvion 8/13.

Osa tarkistuslistan kriteereistä voi olla sellaisia, että et voi soveltaa niitä arvioitavaan tutkimukseen. Merkitse tällöin näiden kriteereiden kohdalle tarkistuslistaan N/A. Jos et voi soveltaa jotain kriteeriä tutkimuksen laadunarvioinnissa, älä huomioi tätä kriteeriä myöskään kokonaispistemäärässä.

Esimerkiksi RCT-tarkistuslistassa on yhteensä 13 kriteeriä, joista kaksi kriteeriä ei ole sovellettavissa. Kun muut kriteerit täyttyvät, artikkeli saa kokonaisarvioin 11/11.

Joskus artikkelista löytyy vastaus vain osaan kriteereistä. Merkitse tällöin tarkistuslistaan näiden kriteereiden kohdalle ”E ”tai ”?”. Voit halutessasi tiedustella puuttuvia tietoja tutkimusartikkelin kirjoittajalta. Mikäli asia ei ratkea, niin kyseinen kriteeri ei täyty arvioitavana olevassa tutkimusartikkelissa.

Vaihe 3.   Raportointi

Tallenna arviointilomake sähköisessä muodossa työryhmän yhdessä sopimaan paikkaan. Kirjaa laadunarvioinnissa annetut pisteet ja arvioinnissa käytetyn tarkistuslistan nimi näytönastekatsaukseen.

Hyvä muistaa:

  • Laadunarvioinnin tekee aina vähintään kaksi suositustyöryhmän jäsentä itsenäisesti.
  • Järjestelmälliseen katsaukseen mukaan otettujen alkuperäisartikkelien laatu tulee olla kahden katsauksen tekemiseen osallistuneen kirjoittajan arvioima, jotta järjestelmällinen katsaus voidaan ottaa mukaan hoitosuositukseen.
  • Jos järjestelmällisen katsauksen alkuperäisartikkelien laatu on arvioitu heikoksi, ei järjestelmällistä katsausta oteta suositukseen mukaan.

Taulukko 5. Kriittisen arvioinnin tarkistuslistat

Harhan riskin arviointi

Osana suosituksen perustaksi valittavien tutkimusten laadunarviointia tulee ottaa huomioon harhan mahdollisuus ja arvioida sen riskiä kunkin tutkimuksen ja katsauksen kohdalla erikseen. Harhalla tarkoitetaan systemaattista virhettä tai poikkeamaa totuudesta joko tutkimuksen tuloksissa tai niistä johdetuissa päätelmissä. Harha voi johtua esimerkiksi virheestä tutkimusasetelmassa, sen toteutuksessa tai kerätyn aineiston analyysissä. Harhasta voi seurata saatujen tulosten yli- tai aliarviointia, joka voi olla laajuudeltaan pientä tai huomattavaa. Harha voi siten osaltaan selittää samankaltaisten tutkimusten tulosten eroavaisuutta. Harhan taustalla oleva virheen systemaattisuus tarkoittaa, että tutkimuksen toistaminen samankaltaisena aiheuttaisi myös vääristyneitä tuloksia. Harhaa ei pidä siten sekoittaa satunnaiseen epätarkkuuteen tutkimuksen toteutuksen eri vaiheissa. Tällaisen tutkimuksen toistaminen useaan kertaan johtaa keskimäärin oikeaan tulokseen, vaikka yksittäisissä tutkimuksissa on mukana satunnaista epätarkkuutta. (Higgins & Green 2011.)

Harhan aiheuttamaa laajuutta yksittäisessä tutkimuksessa voi olla hankala arvioida ja siksi tutkimusten arvioinnissa on perustellumpaa keskittyä arvioimaan harhan olemassaolon riskiä, jota arvioidaan riippumatta tutkimuksen odotetuista tuloksista tai tutkimusten luotettavuudesta. Jos tutkimuksen harhan riski arvioidaan korkeaksi, ei sen tuloksista tulisi tehdä yhtä vahvoja johtopäätöksiä kuin tutkimusasetelmiltaan korkeatasoisista tutkimuksista, joissa harhan riski arvioidaan pieneksi. (Higgins & Green 2011.) Taulukossa 6 on esitetty eri harhan tyypit, joita tulee arvioida soveltuvin osin tutkimusasetelmasta riippuen. Näitä arvioidaan tutkimusten laadun arviointikriteeristöissä.

Taulukko 6: Harhan riskin yleinen luokittelu (mukaellen Higgins & Green 2011)

Raportointiharha

Tutkimuksen raportointiin liittyvien harhojen riskit liittyvät tulosten luonteeseen tai suuntaan. Raportointiharhan tyypit, jotka tulee huomioida suositusten laadinnassa, ovat:

  • Julkaisuharha (publication bias): tutkimuksen tulokset joko julkaistaan valikoiden tai jätetään julkaisematta.
  • Aikaharha (time leg bias): Tutkimuksen tulokset julkaistaan eri aikoina. Merkittävät positiiviset tulokset saatetaan julkaista useita vuosia aikaisemmin kuin negatiiviset, mutta yhtä merkittävät tulokset. Aikaharha saattaa vääristää useiden vuosien ajan systemaattisten katsausten tuloksia.
  • Tuplajulkaisuharha (duplicate/multiple publication bias): Tutkimustulokset julkaistaan useampaan kertaan, mikä voi johtaa esimerkiksi intervention vaikutuksen yliarviointiin.
  • Sijaintiharha (location bias): Tutkimuksen laadulla on vaikutusta siihen, minkä tasoisessa julkaisussa se julkaistaan. Korkeatasoisissa lehdissä julkaistaan todennäköisemmin suotuisampia tuloksia kuin muissa lehdissä. Englanninkielissä lehdissä julkaistaan todennäköisemmin vahvoja merkittäviä tutkimustuloksia kuin muissa lehdissä. Sijaintiharhaan liittyy myös se, mistä elektronisesta tietokannasta tutkimus löytyy. Muissa tietokannoissa kuin MEDLINE:ssa julkaistaan todennäköisemmin tutkimuksia, jotka ovat saaneet suotuisampia tuloksia kuin MEDLINE:sta löytyvät tutkimukset. Myös sillä on vaikutusta, missä maassa tutkimus on tehty. Tietyissä maissa julkaistut tutkimukset osoittavat todennäköisemmin interventioiden merkittäviä vaikutuksia kuin muissa maissa julkaistut tutkimukset.
  • Lähde/viittausharha (citation bias): Artikkeleiden lähdeluetteloiden käyttö muiden artikkeleiden löytämiseksi on yleisesti käytetty menetelmä. Aiempien tutkimusten käyttö tekstin lähteenä ei kuitenkaan ole kovin objektiivinen menetelmä, joten lähdeluettelon käyttö tutkimusten löytämiseksi voi aiheuttaa vinoutuneen otoksen.
  • Kieliharha (language bias): Suurin osa systemaattisista katsauksista perustuu yksinomaan englanninkielellä julkaistuihin tutkimuksiin. Lisäksi muissa kuin englanninkielisissä maissa asuvat tutkijat, julkaisevat positiiviset tulokset kansainvälisissä englanninkielisissä julkaisuissa ja negatiiviset tulokset todennäköisemmin omalla kielellään kansallisissa julkaisuissa. Näin ne jäävät katsausten ulkopuolelle, mikä vääristää katsausten tuloksia.
  • Tulosten raportointiharha (outcome raporting bias): Vain osa tuloksista julkaistaan. Kun osa tutkimuksen tuloksista jätetään julkaisematta, tulee tuloksista harhaanjohtavia. Esimerkiksi lääketutkimuksissa on julkaistu vain lääkkeen toivotut vaikutukset ja haittavaikutukset on jätetty julkaisematta. (Higgins & Geen 2011.)

Palaa hoitosuositusten laadinnan pääsivulle tästä

JBI:n laatimat tutkimusten arviointikriteeristöt löydät täältä