Arvioi aluksi, voidaanko artikkelissa kuvatulla tutkimusasetelmalla vastata tutkimuksessa asetettuun tutkimuskysymykseen. Hyväksyttyäsi tutkimuksen arvioitavaksi, valitse käytetyn tutkimusasetelman mukainen kriteeristö eli kriittisen arvioinnin tarkistuslista (Taulukko 5). Hotuksen hoitosuosituksissa käytettävät JBI:n laatimat tutkimusten arviointikriteeristöt löydät täältä.

Sovi ennalta yhdessä suositustyöryhmän muiden jäsenten kanssa, kuinka monen laadunarviointikriteerin tulee täyttyä hyväksytysti, jotta artikkeli hyväksytään mukaan hoitosuositukseen. Yleensä tulee täyttyä vähintään 50 prosenttia kunkin arviointikriteeristön kriteereistä. Tarkistuslistoissa kriteerien määrä vaihtelee 8-14 kriteerin välillä. Osa tarkastuslistojen kriteereistä voi olla tärkeämpiä kuin toiset.

Esimerkiksi järjestelmällisessä katsauksessa tulee olla maininta, että mukaan otettujen alkuperäistutkimusten laatu on arvioitu. Jos laadunarviointia ei ole artikkelissa mainittu (eli kriteeri 6 ei täyty) kirjallisuuskatsausta ei voida ottaa mukaan hoitosuositukseen, vaikka muut kriteerit täyttyisivät.

Laadunarvioinnissa tulee eteen toisinaan tilanteita, joihin ei ole yksiselitteistä vastausta. Tällaisia tilanteita voi olla esimerkiksi:

• tutkimusartikkelissa kerrotaan, että alkuperäistutkimusten laatu on arvioitu, mutta ei kerrota, onko laadun arvioinut kaksi tutkijaa
• järjestelmällinen katsaus on laadittu menetelmällisesti hyvin, mutta mukaan valittujen alkuperäistutkimusten laatu on ollut heikko
• alkuperäistutkimus edustaa aihealueen parasta mahdollista näyttöä (muuta tutkimus-näyttöä ei aiheesta ole), mutta työryhmä arvioi tutkimuksen menetelmällisen laadun heikoksi.

Edellä kuvatuissa tilanteissa työryhmän tulee yhdessä arvioida tutkimuksen mukaanotto tai hylkääminen. Päätöksessä tulee huomioida toisaalta kyseisten tutkimusten perusteella tehtävän suosituksen luotettavuus. Toisaalta ei tule hylätä sellaisia tutkimuksia, joiden tulokset olisivat suosituksen kannalta tärkeitä. Tällainen tilanne voi olla, mikäli heikkolaatuiseksi arvioitu tutkimus edustaa tietystä aiheesta parasta mahdollista saatavissa olevaa näyttöä, sillä aiheesta ei ole tehty muita tutkimuksia. Näissä tilanteissa työryhmän voi olla hyvä keskustella myös mentorin kanssa.

Taulukko 5. Kriittisen arvioinnin tarkistuslistat

Kunkin tutkimusartikkelin arviointiin osallistuu aina kaksi henkilöä, jotka molemmat arvioivat artikkelin ensin itsenäisesti tutkimuksessa käytettyyn tutkimusmenetelmään sopivalla kriteeristöllä.

• Vertaa arviointisi jälkeen toisen arvioitsijan kanssa saamianne tuloksia ja keskustelkaa mahdollisista eroavuuksista arvioinneistanne.
• Pyytäkää tarvittaessa kolmannen osapuolen näkökulma arviointiin.
• Laskekaa tarkistuslistan kyllä-merkinnät (K) yhteen ja tallentakaa yhteinen arviointinne (konsensusarvio).

Esimerkiksi RCT-tarkistuslistan 13 kriteeristä 8 täyttyvät, jolloin artikkeli saa kokonaisarvion 8/13.

Osa tarkistuslistan kriteereistä voi olla sellaisia, että et voi soveltaa niitä arvioitavaan tutkimukseen. Merkitse tällöin näiden kriteereiden kohdalle tarkistuslistaan N/A. Jos et voi soveltaa jotain kriteeriä tutkimuksen laadunarvioinnissa, älä huomioi tätä kriteeriä myöskään kokonaispistemäärässä.

Esimerkiksi RCT-tarkistuslistassa on yhteensä 13 kriteeriä, joista kaksi kriteeriä ei ole sovellettavissa. Kun muut kriteerit täyttyvät, artikkeli saa kokonaisarvioin 11/11.

Joskus artikkelista löytyy vastaus vain osaan kriteereistä. Merkitse tällöin tarkistuslistaan näiden kriteereiden kohdalle ”E ”tai ”?”. Voit halutessasi tiedustella puuttuvia tietoja tutkimusartikkelin kirjoittajalta. Mikäli asia ei ratkea, niin kyseinen kriteeri ei täyty arvioitavana olevassa tutkimusartikkelissa.

Esimerkiksi RCT-tutkimusartikkelissa lukee, että osallistujat on satunnaistettu, mutta ei ole kerrottu, mitä menetelmää satunnaistamiseen on käytetty ja miten satunnaistaminen on toteutettu. Kriteeri saa arvion ”?”.

Voit kirjoittaa jokaisen kriteerin kohdalle muistiinpanoja ja kommentteja, jotka auttavat sinua muistamaan myöhemmin arvioinnissa tekemiäsi valintoja. Verratkaa arviointejanne toisen arvioitsijan kanssa ja päättäkää, otatteko artikkelin mukaan hoitosuositukseen.

Tallenna arviointilomake sähköisessä muodossa työryhmän yhdessä sopimaan paikkaan (sekä kunkin itsenäinen arvio että konsensusarvio). Kirjaa laadunarvioinnissa annetut pisteet (= kahden arvioitsijan konsensus) näytönastekatsaukseen.