Siirry pääsisältöön
Turun yliopiston kirjasto

Tieteellisiin julkaisuihin pohjautuva arviointi

Opas on muokattu Tritonian LibGuides-oppaan pohjalta.

Lehtien arvioinnissa tärkeää huomata

Lehtien arviointitapoja

Impact factor (IF) on vanhin ja käytetyin lehtien vaikuttavuutta mittaava indikaattori. Clarivate Analytics omistaa yksinoikeuden impact factoriin ja IF-luvut ovat saatavilla ainoastaan vuosittain päivitettävästä Web of Sciencen Journal Citation Reports (JCR) -tietokannasta. IF-luvut perustuvat viittauksiin ja kertovat, kuinka paljon lehdessä julkaistuihin artikkeleihin keskimäärin viitataan.

IF-luku esimerkiksi vuodelle 2017 saadaan seuraavasti: lasketaan yhteen lehdessä vuonna 2015 ja 2016 julkaistujen artikkeleiden vuonna 2017 keräämät viittaukset. Tämän jälkeen viittausten yhteenlaskettu summa jaetaan lehdessä vuonna 2015 ja 2016 julkaistujen artikkeleiden kokonaismäärällä, jolloin tulokseksi saadaan lehden IF-luku. IF-luku esitetään kolmen desimaalin tarkkuudella.



IF-lukuihin liittyvät rajoitukset

  • Eri alojen lehtien viittauskertoimet eivät ole keskenään vertailukelpoisia!
  • Viittauskerroin suosii sellaisia tieteenaloja, joilla julkaisutahti ja uusiin artikkeleihin reagointi on nopeaa.  IF-luvut sopivat parhaiten luonnontieteisiin ja lääketieteeseen.
  • Paljon ja etenkin runsaasti review-artikkeleita julkaisevien lehtien IF-luku on yleensä korkeampi kuin vähän artikkeleita julkaisevien lehtien.
  • Hyvin erikoistuneita aloja edustavilla lehdillä on yleensä alhaiset IF-luvut
  • IF-luvun laskennassa otetaan huomioon vain Clarivate Analyticsin JCR-tietokantaan kuuluvien lehtien viittaukset.  IF-lukuun ei siis lasketa mukaan muista lehdistä tai monografioista tulevia viittauksia, sen sijaan lehden sisäiset itseviittaukset huomioidaan.

Tee se itse: IF-lukujen haku

Ruutukaappaus JCR-tietokannan hakuruudusta. Havainnollistaa kirjallista ohjetta.

1. Siirry yllä olevasta linkistä Journal Citation Reports (JCR) -tietokantaan.

2. Kirjoita lehden nimi etusivun hakulaatikkoon.

3. Avautuvalta sivulta löydät tietoa lehdestä ja sen IF-luvuista muutamalta viimeiseltä vuodelta.

4. Mikäli haluat tietää lehden sijoituksen omassa kategoriassaan, valitse sivun alareunasta kohta "Click here to view Rank, Cited Journal Data, Citing Journal Data, Box Plot, and Journal Relationships" .Tämän jälkeen valitse avautuvan sivun alareunasta "Rank".

 

 


Tee se itse: tietyn alan lehtien IF-vertailu

1. Siirry yllä olevasta linkistä Journal Citation Reports (JCR) -tietokantaan.

2. Valitse pyöreistä ikoneista keskimmäinen "Browse by Category".

3. Avautuvan sivun vasemmasta reunasta valitse "Select Category" ja valitse haluamasi kategoria. Vain samaan kategoriaan kuuluvien lehtien vertailu on järkevää.

4. Tehtyäsi valinnan klikkaa vielä sivun alalaidasta "Submit".

5. Mikäli näet keskipalstalla vain valitsemasi kategorian nimen, valitse hakutulosten yläpuolella oleva otsikko Journals by RANK aktiiviseksi. Tällöin saat näkyviin kyseiseen kategoriaan kuuluvat lehdet.

 

 

Julkaisufoorumi (JUFO) on suomalaisen tiedeyhteisön toteuttama, tieteellisen julkaisutoiminnan laadunarviointia tukeva julkaisukanavien tasoluokitus. Julkaisukanavien arvioinnin tekevät tieteenalakohtaiset asiantuntijapaneelit. Julkaisufoorumin tasoluokkia käytetään myös yliopistojen rahoitusmallin osana.


Julkaisukanavat jaotellaan kolmeen tasoon:
1 = perustaso
2 = johtava taso
3 = korkein taso


Julkaisufoorumin rajoitukset

  • yksittäisten artikkelien laadunarvioimiseen ei tule käyttää Julkaisufoorumin tasoluokitusta
  • JUFO-luokitus soveltuu ainoastaan suurten julkaisumäärien laadun arvioinnin välineeksi
  • tasoluokilla 2 ja 3 on paneelikohtaiset kiintiöt, joka rajoittaa näihin tasoluokkiin luokiteltavien julkaisukanavien määrää
  • JUFO-luokituksen käyttöohje

Tee se itse: hae yksittäisen lehden JUFO-luokka

1. Siirry Julkaisufoorumin sivulle yllä olevasta linkistä.

2. Kirjoita hakuruutuun haluamasi lehden nimi tai ISSN-numero ja paina sivun alareunasta Hae.

3. Hakutulos näkyy sivun keskellä.

 


Tee se itse: hae tietyn aihepiirin lehtien JUFO-luokat

1. Siirry Julkaisufoorumin sivulle yllä olevasta linkistä.

2. Voit hakea tietyn aihepiirin lehtiä paneeleittain tai käyttämällä sivun alareunassa olevia aihekategorioita (mm. OKM:n, Web of Sciencen,  Scopuksen).

3. Paina lopuksi Hae, hakutulos näkyy sivun keskellä.

4. Halutessasi voit ladata hakutuloksesi myös Excel-tiedostona.

Scopuksella on useita erilaisia lehtiä mittaavia indikaattoreita:

  • CiteScore perustuu viittauksiin. Esimerkiksi CiteScore vuodelle 2019 saadaan seuraavasti: lasketaan yhteen lehdessä vuonna 2016, 2017, 2018 ja 2019 julkaistujen artikkeleiden näinä vuosina keräämät viittaukset. Tämän jälkeen viittausten yhteenlaskettu summa jaetaan lehdessä vuonna 2016, 2017, 2018 ja 2019  julkaistujen artikkeleiden kokonaismäärällä, jolloin tulokseksi saadaan lehden CiteScore.
     
  • SCImago Journal Rank (SJR) mittaa lehden arvovaltaisuutta huomioiden lehden tieteenalan, laadun ja maineen. Se painottaa eri tavalla viittauksia sen mukaan, kuinka arvovaltaisista lehdistä ne ovat peräisin (eli kuinka korkea SJR-arvo lehdellä on). Jos A ja B lehti ovat yhtä suosittuja (esim. molemmilla 100 viittausta, IF sama), saa lehti A korkeamman SJR-arvon, jos sen viittaukset ovat peräisin arvovaltaisemmista lehdistä kuin lehti B:n.
    SJR lasketaan 3 vuoden ajalta Elsevierin Scopus-tietokannan datan perusteella ja lehden sisäiset itseviittaukset vaikuttavat indikaattorin arvoon alentavasti.
    SJR on saatavilla Scopuksesta tai ilmaiseksi verkosta SCImago Journal & Country Rank-palvelusta.
     
  • Source Normalized Impact per Paper (SNIP) mittaa lehden vaikuttavuutta ottaen huomioon eri alojen erityispiirteet ja viittauskäytännöt. SNIP lasketaan 3 vuoden ajalta Elsevierin Scopus-tietokannan datan perusteella. Se on saatavilla Scopuksesta tai ilmaiseksi verkosta CWTS Journal Indicators -sivustolta.

 

SJR ja SNIP vertailussa
  • SJR sopii etenkin aloille, joilla viitataan nopeasti ja joilla on selkeä ydinlehtien joukko. SNIP taas arvioi lehden vaikuttavuutta paremmin heterogeenisillä aloilla, joilla lehdet eivät ole pääjulkaisukanava
  • Korkeimmat SJR arvot ovat biotieteissä ja terveystieteissä (eli tekee erot lehtien välillä suuremmiksi ja korostaa arvovaltaisimpien lehtien asemaa), korkeimmat SNIP arvot taas tekniikassa ja yhteiskuntatieteissä
  • Pienten ja monitieteellisten lehtien SNIP-arvoihin kannattaa suhtautua pienellä varauksella, sillä arvot voivat vaihdella paljonkin eri vuosina

 

Tee se itse: Scopuksen lehti-indeksien haku

1. Siirry Scopus-tietokantaan yllä olevasta linkistä.

2. Valitse yläreunan valikoista Sources.

3. Jos haluat hakea yksittäisen lehden, vaihda Subject Area Titleksi ja kirjoita hakuruutuun lehden nimi.

Ruutukaappaus hausta lehden nimellä. Havainnollistaa kirjallista ohjetta.

4. Hakutulossivulla näet sekä lehden CiteScoren, SJR:n että SNIP- arvot.

 


Tee se itse: aihekategorioiden lehtien vertailu

1. Siirry Scopus-tietokantaan yllä olevasta linkistä.

2. Valitse yläreunan valikoista Sources.

3. Kun haluat vertailla tietyn alan lehtiä, tarkista että hakukohteena on Subject Area ja valitse hakuruutudusta avautuvasta valikosta haluamasi kategoria.

Ruutakaappaus kategorian valinnasta. Havainnollistaa kirjallista ohjetta.

4. Rullaa sivua alaspäin, jotta pääset vahvistamaan valintasi Apply-painikkeella.

5. Avautuvasta lehtilistauksesta voit valita, minkä indikaattorin mukaan kyseisen kategorian lehdet järjestellään.

Avoimen saatavuuden julkaisemisen lisääntymisen myötä ovat lisääntyneet myös huijausyritykset. Puhutaan ns. saalistavista OA-julkaisuista, jotka ylirahastavat tutkijoita tai joiden vertaisarviointi ei täytä sille asetettuja vaatimuksia. Tieto julkaisumaksusta voi myös tulla vasta sitten, kun artikkeli olisi valmis julkaistavaksi.

Kustantajan luotettavuuden arvioimiseksi voit käyttää seuraavaa tarkistuslistaa:

  • onko kustantajalla täydet yhteystiedot, myös osoite?
  • onko saatavilla tietoa kuka kustantajan omistaa ja missä maassa se toimii?
  • ketä lehden toimituskuntaan kuuluu ja onko toimituskunnan jäsenistä tarjolla täydet affiliaatiotiedot?
  • onko tekijämaksuista annettu tietoa?
  • ovatko aiemmat artikkelit tunnettujen tekijöiden ja tunnettujen instituutioiden tekemiä ja ovatko aiemmat artikkelit mielestäsi laadukkaita?
  • millainen on vertaisarviointiprosessi ja onko siitä annettu tietoja?
  • onko julkaisu listattu DOAJ-hakemistoon?
  • onko kustantaja mukana OASPA-hakemistossa?
  • ovatko julkaisusopimuksen ja tekijänoikeuden ehdot kohtuullisia?

Voit kysyä mielipidettä lehdestä sen toimituskunnan jäseniltä ja aiemmin julkaistujen artikkelien kirjoittajilta. Jos julkaisulle on ilmoitettu impact factor –arvo, tarkista onko se oikea.

Avoin julkaiseminen (open access publishing) on houkutellut alalle vilpillisiä ja kyseenalaisia toimijoita. Näitä vilpillisiä lehtiä ja kustantajia kutsutaan saalistajajulkaisuiksi, -lehdiksi ja -kustantajiksi. Ne käyttävät hyväksi mallia, jossa tekijöiltä kerätään julkaisumaksuja (author fees, publishing fees) vastineeksi artikkelin avoimesta julkaisemisesta. Vilpilliset lehdet keräävät julkaisumaksut, mutta eivät tarjoa vastineeksi tieteellistä julkaisuprosessia, esim. asianmukaista vertaisarviointia. Käytännössä saalistajalehdissä voidaan julkaista mitä tahansa ilman laadunarviointia ja lehden ainoa päämäärä on kerätä rahaa. Julkaisumaksujen kerääminen ei kuitenkaan yksin tee lehdestä epäilyttävää, sillä myös täysin luotettavat, laadukkaat julkaisut voivat kerätä julkaisumaksuja.

Saalistajajulkaisuille tyypillisiä piirteitä:

  • lehden nimi imitoi arvostettuja julkaisuja.
  • lehden ala on kohtuuttoman laaja (”International Journal of Science”).
  • lehden toimituskunnan (yhteys)tiedot ovat puutteelliset, keksityt tai niitä ei löydy lainkaan.
  • lehden kustantajalla on suuri määrä lehtiä, mutta artikkeleita on julkaistu vain osassa.
  • lehti väittää, että sen artikkelit on indeksoitu tunnettuun tietokantaan (esim. Scopus, Web of Science), mutta niistä ei löydy artikkeleita.
  • lehdellä on keksitty Impact Factor -luku.
  • lehti pyytää tutkijoilta artikkeleita imartelevilla sähköposteilla.
  • lehti väittää, että vertaisarviointiprosessi on käytössä, mutta sitä ei ole ja/tai sen kesto on epäilyttävän lyhyt.
  • lehden sivuilla ei ole kerrottu lainkaan/selkeästi julkaisumaksun suuruutta.

Lisää aiheesta:

Anna-Sofia Ruth (2018): Kuinka välttää saalistajajulkaisuja?

Simon Linacre (2022): The Predator Effect: Understanding the Past, Present and Future of Deceptive Academic Journals

Think.Check.Submit