Kóczy Á. László: A tudományos folyóiratok értékelése

Az alapkutatással foglalkozó tudományos kutató nehéz helyzetben van, amikor kiváló teljesítményét szeretné igazolni a laikus társadalom felé. Nincs vita, ha eredményei sokakat érintenek, hatása az érintettekre jelentős. Ilyen eredmény azonban kevés van, néha a legjelentősebb, korukat meghaladó eredmények kevesek által olvasott, obskúrus folyóiratokban jelennek meg, egy, a legtöbb ember által érthetetlen nyelven. Az eredményesség bemutatása azonban rendszerint nem puszta kívánság. A kutatók és a befogadó intézmények kemény csatákat vívnak a szűkös forrásokért; állást, ösztöndíjat, előléptetést csak a legjobbak kaphatnak, nem véletlen, hogy a kérdés folyamatosan napirenden van a Magyar Tudomány hasábjain (pl. Csaba, Szentes és Zalai, 2014). Sajnálatos módon ugyanakkor a kutatók munkásságának megítéléséhez évtizedek kellenek, miközben a kutatónak most lenne szüksége értékelésre. Az összeegyeztethetetlen időhorizontok miatt bizonyos kompromisszumokra kényszerülünk: a kutató cikke helyett a befogadó folyóirat átlagos cikkét, azaz tulajdonképpen a befogadó folyóiratot értékeljük. Könyvek értékelésére ez a módszer természetesen alkalmatlan.

1. Bevezetés

A folyóiratok értékelése azonban nem csak a szerzők számára fontos. Segíti a kezdő kutatókat abban, hogy hol kezdjék az irodalom megismerését, mik a megbízható források, illetve, hogy kész cikkeiket hol közöljék. E döntés fontosságát aligha lehet túlbecsülni, hiszen a publikálás helye az elsődleges tényezője annak, hogy a munkánk hány hivatkozást kap a jövőben (Peng, Zhu, 2012). Végül, de nem utolsósorban az értékelés hasznos támpont lehet a könyvtárosok számára, hogy a folyamatosan szűkülő források és az ezzel párhuzamosan emelkedő előfizetési díjak mellett a lehető legjobb ár-érték arányú folyóiratcsomagot fizessék elő.

A két feladat: a cikkek és a folyóirat értékelése nem ugyanaz a feladat, de külön-külön a két problémára is számtalan megoldást találunk. A sok megoldás sajnos azt is jelenti, hogy igazán jó és elfogadott megoldás nincs. A kiterjedt irodalmat elsősorban a széles körben használt hatástényező vagy impakt faktor (IF) kritikái dagasztják, miközben több ígéretes módszer csak az elmúlt pár évben kapta meg az őket megillető figyelmet.

A továbbiakban bemutatjuk a fontosabb értékelő módszereket, rávilágítunk erősségeikre és gyenge pontjaikra. Mindenekelőtt azonban fontos kitérnünk a folyóiratok értékelésének és az értékelésekből levonható következtetéseknek a  korlátaira.

Az eredmények közlésének menete tudományterületenként eltérő, és saját területem, a közgazdaság-tudomány esete valószínűleg nem jellemző általánosan. Itt a kézirat először bírálatlan formában, mint műhelytanulmány érhető el, majd a jobb eredményeket elfogadja közlésre egy folyóirat (Kóczy, 2014). Nem mondhatjuk, hogy a cikket ekkor hozták nyilvánosságra, hiszen az már korábban elérhető volt: a folyóirat ehhez a peer-review-t, a szakértői bírálatot teszi hozzá, mintegy ráütve a pecsétet, hogy „megfelelt”. Természetesen nem mindegy, hogy melyik folyóirat pecsétje kerül rá: a magasabb presztízsű lapokban egész egyszerűen magasabb szintű szerkesztői munka folyik, ami a szerkesztőség szűrőjén átjutott cikkek eredményességén, hatásán mérhető le.

Következik-e ebből, hogy a jobb folyóiratban elfogadott cikk jobb? Természetesen nem. A közölt cikkek egy része semmilyen további hatást – például hivatkozást –  nem tud felmutatni. Ez ritkábban, de a jobb lapokban is előfordul (Laband, 2013). Másrészt egy gyengébb lapban megjelent cikk is kaphat sok hivatkozást. Ez örvendetes a szerző számára, de kár, hogy nem tudta meggyőzni egy magasabb presztízsű folyóirat szerkesztőit, hiszen akkor várhatóan még több hivatkozást kapna. Sajnálatos, ha egy szerző nem tudja helyesen felmérni az eredmény jelentőségét, hiszen ezért az értékeléskor esetleg nagy árat kell fizetnie.

Mi a helyzet a könyvekkel? Hazánkban ma is sokan tekintik a könyvet a tudományos munka koronájának. Egy könyv értéke, presztízse felbecsülhetetlen – a szó szoros értelmében. Mivel a szerző mellé nem teszi oda a nevét két tucat vezető tudós a világ minden tájáról, igazából senki sem tudja, hogy a könyv miféle szakmai megmérettetésen esett át, senki sem vállal garanciát a könyv minőségére. Hiába a kiváló szerző, szakkönyvekben sokkal több elírást, pontatlanságot, sőt hibát találni. A közgazdászok közül az ír könyvet, aki nem tud cikket írni, vagy aki ily módon szeretné a jövedelmét kiegészíteni. Az eredeti kutatási eredményeket tartalmazó könyv nem jellemző, a szerzők a mennyiség helyett a minőségre törekednek.

A kutatóknak a publikációikat befogadó folyóiratokon keresztüli értékelése tökéletlen, de szükséges módszer (Frey, Rost, 2010). Egy közepes európai egyetem álláshirdetésére 100 fölötti pályázat érkezik, és hasonló számokkal dolgozik a Nemzeti Kutatási Fejlesztési és Innovációs Hivatal (NKFIH) a posztdoktori pályázat kapcsán. Üdvös volna minden pályázó anyagát részleteiben megismerni, de erre nincs lehetőség. A folyóiratok értékelése a gyors, bár kissé pontatlan segítség a hatékony értékelésben.

Alapvetően két iskolája van a folyóiratok értékelésének: kérdőíves és hivatkozás-alapú.

3.1. Kérdőíves értékelés

A kérdőíves értékelés (például Malouin, Outreville, 1987) során megkérdeznek egyetemi professzorokat, innovációs szakembereket vagy éppen doktorandusz hallgatókat, hogy szerintük melyek a fontos vagy éppen értékes lapok, mely folyóiratokat olvassák rendszeresen.

A kérdőíves értékelésnél a probléma már a megkérdezettek kiválasztásával kezdődik. Kérdezzünk meg minden kutatót? Szükséges-e valamilyen módon súlyozni a „kis- és nagyfogyasztók”, azaz például doktoranduszok és tudományos kutatók véleményét? Mennyire érzékeny az értékelés a megkérdezettek földrajzi elhelyezkedésére? Hasonlóak vagy nagyon eltérőek az értékelések (Axarloglou, Theoharakis, 2003)? Vajon a válaszadók képesek a tudományos értékeket elkülöníteni egyéb szempontoktól?

Ezekre a kérdésekre nem mindig adhatunk kedvező válaszokat. Bár az American Economic Association tagsága lefedi a közgazdászok színe-javát, ha a vizsgálat (Axarloglou, Theoharakis, 2003 ) csak a kutatók egy szisztematikusan kiválasztott csoportjára vonatkozik, akkor egyes folyóiratok vagy akár teljes tudományterületek mellőzve lesznek. A ma általánosan vezető lapnak tartott Review of Economic Studies és az Econometrica közül az első kifejezetten tiltakozásból jött létre, míg utóbbit a kor vezető lapjainak a matematikai módszerektől való elzárkózása tette erőssé.

A kérdőíves felméréseknek jellemzője, hogy az eredmény különösen kedvező az egyesületi folyóiratok számára – elsősorban a megkérdezett egyesület folyóirataira nézve. Ez aligha meglepő: nyilvánvalóan az ismert lapok között említi a kutató azt a folyóiratot, amit évente többször a kezébe vesz, még ha  bele sem olvas. Ugyanakkor, minőségüktől függetlenül nyilvánvaló hátránnyal indulnak a specialista, szűkebb tudományterülettel foglalkozó folyóiratok.

A különböző intézmények által deklarált folyóiratlisták rendszerint valamilyen hivatkozáson (és egyéb hasonló jegyzékeken) alapuló rangsorok, melyet a készítők szubjektív értékelése módosít kissé. Érdekes Hudson (2013) munkája, aki különböző hivatkozásalapú módszereket és több intézményi rangsort vet össze ökonometriai módszerekkel.

3.2. Hivatkozásanalízis

A hivatkozásanalízis során, ahelyett, hogy megkérdeznénk a kutatókat, meglessük, hogy hogyan használják a folyóiratokat. Az elgondolás lényege, hogy a szerzők a hivatkozásokkal elismerésüket fejezik ki egy korábbi eredmény, illetve szerző felé; a sok hivatkozást kapó cikket tehát sokan elismerik. Elmondhatjuk tehát, hogy a cikk értékes?

A hivatkozásanalízis egyik kritikája, hogy egy hivatkozás nem egyértelműen pozitív, több oka is lehet (Kóczy, 2010):

Konkrét és felhasznált eredményre vagy információra hivatkozunk.

Más által már sikerrel használt módszert alkalmazunk – az ismert írásra való hivatkozás révén könnyebben megértik a saját dolgozatot.

Bemutatjuk az új eredmények fontosabb előzményeit.

Látszólag hasonló kutatásra hivatkozunk, hogy tisztázzuk a hasonlóságokat és különbségeket, vagy elmagyarázzunk, hogy miért nem a korábban javasolt módszert alkalmazzuk.

Taktikus hivatkozás egy remélt bíráló (lazán) kapcsolódó munkáira, hiszen a szerkesztők gyakran a hivatkozási lista alapján kérnek fel bírálókat.

Taktikus hivatkozás, hogy a hivatkozott szerző felfigyeljen az írásra és pozitívan ítélje meg.

Taktikus hivatkozás a bíráló által figyelmünkbe ajánlott művekre.

Önreklám: hivatkozás kevésbé kapcsolódó saját írásokra is, hátha így új olvasókhoz jutnak el (van Raan, 2008).

A felsoroltak közül szűkebb értelemben véve csak a legelső tekinthető hivatkozásnak, de az első négy típus mindegyike a hivatkozott mű, míg a taktikus hivatkozások jellemzően a hivatkozott szerző érdemei miatt születtek. Érdemen nem feltétlenül értünk pozitív hivatkozást. Míg egy szerző munkásságának értékelése szempontjából fontos, hogy a művét pozitív összefüggésben idézzék, egy folyóirat jelentőségét egy negatív idézet is erősíti. A „negatív reklám is reklám”, mondhatnánk, de ennél fontosabb, hogy egy jelentéktelen folyóiratban megjelent hibás vagy hiányos eredményt nem érdem korrigálni, tehát már önmagában az említés mutatja a hivatkozott forrás jelentőségét. Összegezve tehát: a hivatkozás minden esetben az idézett forrás jelentőségére, vagy az idézett cikk értékére, hasznosságára utal.

A hivatkozásanalízis implicit feltételezése, hogy a szerzők minden felhasznált eredmény forrására hivatkoznak, de felesleges, fent „taktikusnak” nevezett hivatkozásokat nem helyeznek el. További feltételezés, hogy amennyiben egy eredmény több forrásból is elérhető, akkor az eredetire, a legjobbra, vagy, ha ilyen nincs, akkor mindegyikre hivatkoznak (Smith, 1981). Gyakran előfordul, hogy az elsődleges eredmény nehezen olvasható, vagy akár nehezen hozzáférhető helyen jelent meg, s kényelmi okokból a hivatkozás egy másodlagos közlésre utal, ráerősítve a folyóiratok értékelésére. Így, bár nem szabad elfeledkezni az értékelés korlátairól, a folyóiratok sorrendjét ez vélhetőleg nem befolyásolja.

Az alábbiakban áttekintjük a folyóiratok értékelésének hivatkozásokon alapuló módszereit.

4.1. A hivatkozások száma

Amennyiben minden hivatkozás értékes, minél több hivatkozást kap egy mű, annál elismertebb.

Az egységnyi idő, jellemzően egy év alatt megjelent hivatkozások száma (citation counts – CC), értelemszerűen a folyóirat által kapott összes hivatkozás száma.

Azt mondjuk, hogy egy értékelő módszer mérettől független, ha egy folyóirat megduplázása nem változtatja meg az értékelését. A hivatkozások száma természetesen nem független a mérettől, hiszen a megduplázott folyóirat kétszer annyi hivatkozást kap. Mondhatjuk, hogy a hivatkozások száma elfogult a nagy folyóiratok javára.

További kritika, hogy míg egy új folyóirat csak néhány évfolyam, míg egy régi lap akár több évtized cikkeire kaphat hivatkozásokat. Például a közgazdaság-tudományban egy-egy cikk akár évtizedek múlva is kaphat hivatkozásokat, anatómiában száz évvel korábbi cikkekre is gyakorta hivatkoznak (Cameron, 2005). Az úgynevezett felezési idő (cited half-life) – ami azt mutatja meg, hogy átlagosan mennyi idő alatt érkezik meg a hivatkozások fele – sok elméleti lapban 10 feletti. Mondhatjuk tehát, hogy a hivatkozások száma elfogult a régi lapok iránt. Ez az elfogultság valamivel könnyebben elfogadható, és sajnos sok értékelési módszer sajátja.

4.2. Hatástényező – impakt faktor

A hatástényező vagy ismertebb nevén az impakt faktor (IF) a Thomson Reuters^[1] által évente megjelentetett mutató, mely megadja, hogy egy, a folyóiratban megjelent cikk az első két évben várhatóan hány hivatkozást kap. A pontos definíció ettől egy kicsit eltérő: a hatástényező az adott évben a folyóirat előző két évben megjelent cikkeire érkezett hivatkozások és az adott évben megjelent cikkek számának hányadosa.

Vegyünk egy példát: a folyóirat 2014-ben 100 hivatkozást kapott. A 100 hivatkozásból 5 a 2014-ben, 32 a 2013-ben, 17 a 2012-ben, a többi a korábbi években megjelent cikkekre hivatkozik. 2013-ban a folyóirat 15, 2012-ben pedig 13 cikket közölt. Ekkor a hatástényező (32+17)/(15+13)=1,75.

Garfield már az 50-es években hivatkozási adatbázist épített, a mai Web of Science elődjét. A rendelkezésre álló adatbázis aztán lehetőséget adott különféle érdekességek kiemelésére. Garfield a gyorsan forgó, aktuális, „forró” témákat és az azoknak otthont adó folyóiratokat kereste, s ennek meghatározására vezette be a hatástényezőt (Garfield, 1955), amelyet ma is elterjedten használnak – részben tévesen – a folyóiratok értékelésére. Mivel gyakorlatilag évtizedek óta elérhető, a folyóiratok értékelésének de facto standardjává vált. Ebből a státuszából az elmúlt két évtized robbanásszerűen fejlődő tudománymetriai irodalma, a megfogalmazott kritikák garmada, alternatív mértékek tucatjai sem tudták elmozdítani.

Mi a probléma az impakt faktorral? Szinte az a kérdés, hogy mi nem probléma! Az impakt faktorral kapcsolatban számtalan kritika fogalmazódott meg az évek alatt (Amin, Mabe, 2000), és ugyan ma már ismert egy axiomatikus leírása is, ez csupán rögzíti az IF tulajdonságait (Bouyssou, Marchant, 2011). Kezdjük azzal, hogy az impakt faktor – a Garfield cégéből kinövő Insititute for Scientific Information, jelenleg a Thomson Reuters publikálta – értékeihez csak az előfizetők férhetnek hozzá. (A nagyobb kiadók folyóiratai feltüntetik aktuális IF-értéküket, néha ranghelyüket is.) Azok a kutatók, illetve kutatóhelyek azonban nem, vagy csak korlátozottan férnek hozzá az IF-értékekhez, ahol elsősorban szükség lenne rá. Az alábbiakban három csoportba foglaljuk az impakt faktor kritikáit (Glänzel, Moed, 2002; Ha, Tan és Soo, 2006).

4.2.1. Technikai problémák

Egy folyóirat nem „kap” automatikusan impakt faktort. Az impakt faktor előfeltétele, hogy a folyóirat tudományos közleményeit indexeljék,^[2] ami  költséggel jár. Miközben a nagyobb kiadók „felnőttkorba” ért lapjai mind bekerültek már a „klubba”, a független kiadású, esetenként igen színvonalas lapoknak jellemzően nincs IF-értéke. A nem angolszász világból származó vagy nem angol nyelvű lapok hiánya és rossz szereplése széles körben dokumentált (Archambault, Vignola-Gagné, Côté, Larivière és Gingrasb, 2006). Természetesen a fenti hányadost bármely, akár a „hiányzó” folyóiratra is ki lehetne számolni. Ez az érték azonban nem hivatalos, tehát olyan, mintha nem is lenne, mert a bibliográfiai adatbázisokban csak a hivatalos értéket tüntetik fel. Ennek egyik oka lehet, hogy a hivatalos impakt faktor számolásakor csak a Thomson Reuters által indexelt folyóiratokból érkező hivatkozások számítanak. Hudson, (2013) a különböző módszerek összehasonlításakor az IF és a SCImago azonos módon, de más adatokból számított „average two year cites” mutatója között mindössze 0,91 korrelációt talált. Ahhoz, hogy egy, ebbe a körbe nem tartozó lap értékét kiszámítsuk, az összehasonlíthatóság végett például figyelmen kívül kell hagyni a lap önmagára való hivatkozásait (Vanclay, 2012). Egy szélesebb körben vizsgált IF értelemszerűen nagyobb lesz.

Míg egyes folyóiratok esetében a hiányuk a probléma, az sem szerencsés, ha lapok mindenféle kritika és korlát nélkül kerülnek be az adatbázisba. Az IF ugyanis nem tesz különbséget, nem súlyoz két kapott hivatkozás között, jelenjenek meg azok egy vezető tudományos folyóiratban vagy éppen a Ludas Matyiban. A kevésbé rangos lapokban ráadásul gyakrabban előfordul a másodlagos, harmadlagos forrásra való hivatkozás, az ilyen lapok túlsúlyba kerülése esetén az IF a tudományos úttörőség helyett a disszemináció mérőszáma lesz.

A hányados nevezője sem mentes az ellentmondásoktól. A megjelent cikkek számába ugyanis csak a tudományos cikkek számítanak bele, a számításból kimaradnak ugyanakkor például az olvasói levelek (Didierjean, 2002). Érdekes módon az olvasói levelekre érkező hivatkozások is beleszámítanak a hányados számlálójába. A hivatalos és az ezektől megtisztított impakt faktor között néha igen nagy, az orvosi folyóiratok 40%-ában 10% feletti, 5%-ában 40% feletti az eltérés (Amin, Mabe, 2000). A furcsa definíció tehát jelentősen torzítja az adatokat, ráadásul folyóiratonként más-más mértékben. Egyes folyóirat-szerkesztők vagy kiadók szeretik kihasználni ezt a kiskaput, és olyan írások, melyeket más lap esetleg kutatási cikként közöl, itt beleférnek az olvasói levél kategóriájába. A Journal to Field Impact Factor (JFIS) (Van Leeuwen, Moed, 2002) bezárja ezt a kiskaput azzal, hogy ugyanazokat az írásokat vizsgálja darabszám és hivatkozások szempontjából, illetve a kapott számot a szakterületi átlaghoz igazítja.

A technikai problémák között említendő, hogy az IF kiszámításához felhasznált adatokban rengeteg a hiba, elírás, különösen a hivatkozó cikkekben, így az IF valójában egy nagyon pontatlan mutató, noha a három tizedes feltüntetése éppen az ellenkező benyomást kelti (Vanclay, 2012).

4.2.2. Tudományterületi hatások

Az impakt faktor teljesen alkalmatlan különböző tudományterületeken született publikációk összehasonlítására. Teljesen figyelmen kívül hagyja az eltérő hivatkozási szokásokat, vagy akár a területek méretét. Egy kisebb területen született meghatározó publikáció, amire szinte minden cikk hivatkozik, kevesebb hivatkozást kaphat, mint egy sokkal nagyobb terület kevésbé kiemelkedő cikke. Az impakt faktor arányos a tudományterület méretével, azaz a nagyobb területen arányosan nagyobbak az impakt faktorok (Jemec, 2001). A terület méretének dinamikája sem elhanyagolható. Egy gyorsan bővülő terület impakt faktora magasabb (Ha et al., 2006).

Tudományterületenként eltérő a hivatkozási intenzitás, azaz az egy cikkben hivatkozott cikkek átlagos száma. Az impakt faktor arányos a hivatkozási intenzitással, azaz két (viszonylag izolált) terület közül a magasabb hivatkozási intenzitásúban, ceteris paribus az IF is magasabb lesz.

A már korábban említett felezési idő tudományterületenként és publikációs típusonként is eltérő. A nagyobb felezési idejű területeken a hivatkozásoknak kisebb része esik a vizsgált kétéves ablakba. A publikációk és hivatkozások vizsgálatához rögzített ablak kétéves hossza egy önkényes paraméter, ma már a Thomson Scientific is közli az ötéves impakt faktort. Ez a változat továbbra sem használható a különböző „sebességű” tudományok folyóiratainak összehasonlítására, viszont a „lassabb” tudományokon belül alkalmasabb egy rangsor felállítására. Hasonló hatás figyelhető meg az áttekintő cikkek, kutatási cikkek és kutatási gyorsjelentések összehasonlításakor, így egy tudományterületen belül is torzulhatnak az értékek az egyes folyóiratok jellemző publikációs formátuma miatt. A hivatkozási felezési idő hatástényező (citation half-life impact factor – CHAL) a folyóiratonként különböző, a hivatkozások felezési idejének megfelelő ablakot vizsgál (Sombatsompop, Markpin és Premkamolnetr, 2004).

Összegezve jelentős torzulás figyelhető meg, például az élettudományokban hatszor akkora IF-értékeket találunk, mint a matematika vagy a társadalomtudományok területén (Amin, Mabe, 2000).

4.2.3. Manipuláció

Az IF eddig felsorolt kritikái furcsa, kedvezőtlen tulajdonságokra világítanak rá, illetve korlátozzák használhatóságát mint objektív, rangsoroló mérési eredmény. Mindezek ellenére az IF komoly karriert futott be, és a folyóiratokat elsődlegesen az IF szerint rangsorolják. Így egy szerkesztő vagy kiadó számára fontos cél, hogy a folyóirat impakt faktora lehetőleg minél magasabb legyen. Manipulációról akkor beszélünk, ha a szerkesztő vagy kiadó tudatosan olyan eszközökhöz nyúl, melyek célzatosan növelik az adott lap hatástényezőjét. A manipuláció lehetősége egy újabb kedvezőtlen tulajdonság.

A megjelenő cikkek tudományos cikként vagy olvasói levélként való kategorizálása részben önkényes, és egyes, főleg orvosi lapokban mindennapos gyakorlattá vált, hogy tudományos eredményeket olvasói levélként hozzanak le, esetenként kifejezetten bátorítják a szerzőket, hogy munkájukat ilyen formában nyújtsák be közlésre (Sevinc, 2003). A szokás kialakulásának eredetéről nincs információnk, azonban a megjelenő anyagok átkategorizálása mint lehetőség, minden szerkesztő számára rendelkezésre áll, és így növelhető az IF. Az ilyen manipuláció könnyen leleplezhető és a kategóriák utólagos helyrerakásával, vagy a nem-cikk publikációkra érkező hivatkozások figyelmen kívül hagyásával egy tisztított impakt faktort kaphatunk (Amin, Mabe, 2000).

A „lassú” tudományok számára vonzó csel a kötetek idő előtti megjelentetése. Egy elméleti közgazdaság-tudományi folyóirat esetében előfordult, hogy a kötetek másfél évvel a rajtuk szereplő dátum előtt jelentek meg! Így a hivatkozások megjelenésére nem 1–2, hanem 2,5–3,5 év marad, várhatóan növelve az impakt faktort.

A manipulációk másik esetében maguk a hivatkozások torzulnak: ez egy igen kedvezőtlen fejlemény a hivatkozásanalízis szempontjából, hiszen így éppen az analízis alapjául szolgáló adatok változnak meg; itt a korrekció csak meglehetősen drasztikus és vitatható módszerekkel lehetséges. Az ilyen manipuláció legkézenfekvőbb formája a folyóirat önhivatkozásának bátorítása, rosszabb esetben megkövetelése (Agrawal, 2005; Gowrishankar, Divakar, 1999; Sevinc, 2003; Sharp, 2004). A hírneves Lancet orvosi folyóirat 1997 óta a cikkekhez mellékelt hozzászólásokban hivatkozik az eredeti cikkre; ezzel a technikai változtatással önmagában mintegy 35%-kal megnövelte impakt faktorát (Cameron, 2005; Van Leeuwen és Moed, 2002).

Az impakt faktor ugyanakkor nem elfogult a nagy folyóiratok irányába, bár érdekes módon a sok cikket publikáló folyóiratok impakt faktora konzisztensen nagyobb (Cameron, 2005). Ennek okára nem találtunk vizsgálatokat, de a jelenséget magyarázhatjuk a cikkek között jelentkező externáliákkal. Amikor ugyanis az olvasó rátalál a folyóiratban megjelenő valamely cikkre, egyúttal rátalál az összesre is, és egy nagy folyóiratban esélyes, hogy talál más kapcsolódó cikket is. A gondolatmenet megállja a helyét a klasszikus papíralapú keresés, de különösen az internetes böngészés esetében is.

4.3. Páros összehasonlításon alapuló módszerek

Az IF számos kritikája közül sok valójában technikai és az IF megfelelő csiszolgatásával feloldható. A kapott mérőszámok mégsem generálnak reprodukálható rangsorokat, elsősorban azért, mert az IF erősen függ a vizsgált folyóiratok körétől; egy szinte lényegtelen változtatás is átrendezheti a vezető lapok sorrendjét. Ennek oka, hogy az IF minden lapot egyformán komolyan vesz. Az értékelést alapjaiban változtatja meg, ha a különböző folyóiratokat súlyozva, azaz a különböző folyóiratokban megjelenő hivatkozásokat különböző mértékben vesszük figyelembe: minél értékesebb egy folyóirat, annál nagyobb, minél kevésbé értékes, annál kisebb súllyal. Így ha az értékesebb lapokban megjelent hivatkozásokat már figyelembe vettük, a további lapoknak egyre kisebb a jelentősége. Így a kapott eredmény alig, vagy egyáltalán nem függ az indexelt folyóiratok pontos halmazától.

A páros összehasonlítás módszere (Bradley, Terry, 1952) egy statisztikai módszer, mely eredetileg azt határozza meg, hogy – a folyóiratok rangsorolásánál – mekkora a valószínűsége, hogy egy folyóirat a vizsgált folyóiratra hivatkozik. Stigler, Stigler és Friedland (1995) egyebek mellett ennek egy változatát is használja a közgazdaság-tudományi folyóiratok rangsorolására. Sajnos a módszer csak egymással szoros hivatkozási kapcsolatban levő folyóiratokra alkalmazható (Liner, Amin, 2006), ami már a közgazdasági lapok egészéről sem mondható el. Az alábbiakban több egyszerű módszert is bemutatunk. A páros összehasonlításon alapuló módszerekről részletes áttekintést Csató (2013) ad.

4.3.1. Az LP-módszer

Hogyan súlyozzuk a folyóiratokban megjelenő hivatkozásokat? Ha az önkényes értékeket – helyesen – elvetjük, adja magát, hogy a súlyok maguk a kapott folyóirat-értékelések legyenek. A laikusnak első hallásra talán lehetetlennek tűnő feladat megoldása kétféleképpen is meghatározható. Egyrészt a folyóiratok értékelése egy megfelelően felírt mátrix sajátérték-vektora, azaz egy olyan vektor, amit a mátrixszal megszorozva önmagát kapjuk. Másrészt, ha kezdetben egyformán súlyozzuk a folyóiratokat, a kapott értékelést súlyként használva, majd ezt a lépést kellően sokszor ismételve, határértékben megkapjuk a kívánt értékeket. A módszer először Liebowitz, Palmer (1984) a közgazdaság-tudományi folyóiratokat értékelő munkájában bukkant fel; ma LP-módszerként ismert, ami utalhat a szerzők nevére (különösen, hogy tíz évvel később Laband, Piette (1994) frissítette a rangsort), vagy a társadalmi döntések elmélete és a matematika határterületén megfogalmazott bajnokságok körében ismert, lényegében azonos long path módszerre (Laslier, 1997). Ugyanezt a módszert használta Kalaitzakis, Mamuneas, Theofanis és Stengos (2003) a közgazdaság-tudományi rangsor eddig legutolsó frissítéséhez.

Az alábbiakban formálisan is definiáljuk az LP-módszert.

Jelölje J = {1, ..., n} a folyóiratok halmazát! Bármely két i és j folyóirat esetében cij a j folyóiratban megadott, i folyóiratra vonatkozó hivatkozások számát jelöli.
A C = (cij)i,j Î J hivatkozási mátrix egy n × n-es egészértékű mátrix. Jelölje DC a diagonális n × n-es egészértékű mátrixot, melynek átlóján a cj = å i Î J cij, értékek helyezkednek el. Itt cj nem más, mint a j folyóirat által adott összes hivatkozás száma. Legyen a egy n dimenziós egészértékű vektor, melynek aj koordinátája éppen a j folyóiratban megjelenő cikkek számát mutatja. Jelölje továbbá A a diagonális n × n-es egészértékű mátrixot, melynek átlóján az aj értékek helyezkednek el. Egy z vektor esetében ||z|| = å ni = 1|zi|.

Az LP módszer egy (J, a, C) értékelési problémának az a v megoldása, melyre teljesül, hogy

azaz v az A–1C mátrix pozitív sajátvektora.

Az LP-módszer sok korábbi kritikát megválaszol, azonban a tudományterületek összehasonlítására továbbra sem alkalmas. Könnyen belátható ugyanis, hogy a magas hivatkozási intenzitású tudományterületeken nagyjából arányosan magasabb értékeket kapunk.

4.3.2. Az invariáns módszer és az Eigenfactor

Az invariáns módszer (Moon, Pullman, 1970; Pinski, Narin, 1976) elsődleges célja olyan értékelést adni, ami független a folyóiratok vagy tudományterületek hivatkozási intenzitásától. Míg az LP-módszerben egy folyóirat értéke a rá hivatkozott folyóiratok értékének a hivatkozások számával súlyozott átlaga, az invariáns módszerben a súlyokat leosztjuk a hivatkozó folyóirat hivatkozási intenzitásával, azaz egy folyóiratnak egységnyi „szavazata” van, és ezt osztja szét a hivatkozott lapok között.

A már ismert jelölést használva az invariáns módszer azt a v értékelést adja, melyre teljesül, hogy

A–1 CDC–1 Av = v,

azaz v az A–1 CDC–1 A mátrix pozitív sajátérték-vektora.

Az invariáns módszer látványosan átrendezi a folyóiratok sorrendjét. Például a közgazdaság-tudományon belül a viszonylag keveset hivatkozó elméleti tartalmú folyóiratok látványos előrelépést mutatnak. Az elméleti kutatók ezt természetesen üdvözlik, de egy értékelő módszert sosem az eredmény, hanem a módszer tulajdonságai szerint kell megítélni. Az invariáns módszer érdekessége, hogy Palacios-Huerta, Volij (2002) axiomatikusan karakterizálta, azaz megadott néhány, jelen esetben három olyan, értékelő módszerekre vonatkozó tulajdonságot, melyet egyszerre csak az invariáns módszer teljesít. Azóta több új axiomatikus karakterizáció is megjelent (Altman, Tannenholz, 2005; Slutzki, Volij, 2006; Volij, Palacios-Huerta, 2014).

Az invariáns módszer a vonzó tulajdonságai mellett a gyakorlatban is bizonyított. A Google keresőmotor eredetileg az invariáns módszer egy véletlen elemmel megbolondított változatán alapszik (Brin, Page, 1998). Hasonló modell áll a Bollen, Rodriquez és Van de Sompel (2006) által bevezetett presztízsmutató (PR), illetve az Eigenfactor (EF – West, Bergstrom és Bergstrom, 2010) mögött is.

A sajátérték-alapú értékek mind az olvasó véletlen vándorlását modellezik a folyóiratok hivatkozási hálójában. Az olvasó véletlenszerűen vesz egy cikket, majd véletlenszerűen követi valamelyik, az itt, a vizsgálati ablakban megjelent hivatkozást. A kapott értékelés tulajdonképpen azt mutatja meg, hogy várhatóan mennyi időt tölt az olvasó a különböző folyóiratokkal. Az LP-, és az invariáns módszer, illetve változataik abban térnek csak el, hogy pontosan hogyan történik a véletlen választás, az Eigenfactor is csak annyiban több, hogy apró trükkökkel megtisztítják az adatokat. Így figyelmen kívül hagyják a folyóiratokon belüli hivatkozásokat, ha pedig egy hivatkozott, de nem hivatkozó folyóirathoz jutunk (ún. „dangling nodes”), véletlenszerűen kiválasztunk egy tetszőleges cikket. Bizonyos valószínűséggel a keresés véget ér és új keresést indítunk, ekkor ismét egy véletlen cikket választunk.

Míg az Eigenfactor a folyóirat méretével nagyjából arányos, így egyszerre mutatja a folyóirat minőségét, az Article Influence Score (AIS) (West et al., 2010) megmutatja, hogy a folyóirat EF-pontszáma hányszorosa annak, amit a cikkek száma alapján arányosan várnánk – azaz az átlagosnál hányszor értékesebbek a folyóiratban megjelenő cikkek.

A Google azóta többször módosította az algoritmust, melynek elsődleges oka, hogy a weboldalak üzemeltetői sikerrel manipulálták a hivatkozási adataikat. A manipuláció egy része szervezett: hivatkozó-körök jöttek létre; a portfóliójukban több száz folyóiratot működtető kiadók korában talán nem képtelenség, hogy több folyóirat együttműködve növelje az értékelését, megdöbbentő módon az invariáns módszer által generált, akár egy folyóirat önmagában is manipulálhatja!

Egy hivatkozás nem más, mint annak elismerése, hogy a folyóiratban közölt tudás korábbi eredményeken alapszik. Több hivatkozás értelemszerűen kevesebb hozzáadott tudást jelent. Azt várnánk tehát, hogy ceteris paribus több adott hivatkozás rosszabb értékelést eredményez. Ugyanakkor az invariáns módszer mellett ez nemcsak, hogy nem mindig igaz, de bizonyos esetekben további hivatkozások elhelyezése javíthatja a folyóirat értékelését, így az invariáns módszer manipulálható (Kóczy, Strobel, 2009).

4.3.3. A módosított invariáns módszer/fair-bets módszer

Az invariáns módszer kiváló eljárás a folyóiratokban megjelenő átlagos cikkek felértékelésére. Egy cikk értéke azonban adódhat minőségéből vagy mennyiségéből: ha ugyanis két cikket összeragasztunk, a kapott cikk az eredeti részek összes hivatkozását megkapja, és így egy folyóirat, mely ilyen összeragasztott cikkekből áll, értelemszerűen jobb értékelést kap. Megfordítva: nem mindegy, hogy egy lap hosszú, áttekintő írásokat, vagy rövid közleményeket publikál, utóbbi esetben nyilvánvaló hátránnyal indul a többi folyóirattal szemben. Ha minket kizárólag a szakmai kiválóság érdekel, az értékelésnél oda kell figyelni a cikkek terjedelmére is; az egyazon folyóiraton belül megjelenő, de eltérő terjedelmű cikkek is különböző értékelést érdemelnek. A módosított invariáns módszer (Kóczy, Nichifor, 2013) esetében a cikkekre kapott értékelést elosztjuk a cikkek átlagos hivatkozási számával, s egy adott cikk értéke a folyóirat módosított invariáns értéke szorozva a cikk hivatkozásokban mért hosszával.

Matematikailag a módosított invariáns módszer nagyon leegyszerűsödik; az a v vektor, ami teljesíti a következő egyenlőséget:

DC–1 Cv = v,

ami egybeesik a hasonló elvek szerint módosított LP-módszerrel, illetve a Daniels (1969) által bevezetett, ma fair-bets módszerrel (González-Díaz, Hendrickx és Lohmann, 2014; Slutzki, Volij, 2006).

4.3.4. Scimago Journal Rank

Módosított invariáns módszernek tekinthető a hivatkozási hálón túl a cikkek számát is figyelembe vevő Scimago Journal Rank is (PSJR – González-Pereira, Guerrero-Bote, Moya-Anegón, 2010).

ahol d és e paraméterek, d = 0,9 és e = 0,0999, DN a hivatkozott,de nem hivatkozó

folyóiratok („dang­ling nodes”) és . Az SJR2 (Guerrero-Bote & Moya-Anegón, 2012) a képletet to­vább finomítja. Bár érdekes ahogy ezek a SCImago kutatócsoport által kidolgozott képletek igyekeznek több szempontot is figyelembe venni a folyóiratok értékelésénél, meglehetősen önkényesnek tűnnek.

4.3.5. A bajnoksági módszer

Visszatérő kritikája a különböző értékelési módszereknek, hogy a területek különböző hivatkozási szokásai miatt a folyóiratok értékelése nem összehasonlítható. Ennek megfelelően a módszerek leggyakoribb alkalmazása az egyes tudományterületekhez tartozó folyóiratok rangsorolása. Az ilyen rangsorok rendkívül hátrányosan kezelik az interdiszciplináris területeket, hiszen hatásuknak csak egy szeletét veszik figyelembe (Bardhan, 2003). A bajnoksági módszernek (Kóczy, Strobel, 2010) éppen az a lényege, hogy minden egyes folyóirat számára létrehozunk egy saját tudományterületet a folyóirattal hivatkozási viszonyban levő lapokból. A hivatkozási viszonyban levő folyóirat-párokat páronként összehasonlítjuk, és egy „mérkőzést” játszanak: az a nyertes, akire a másik fél többet hivatkozik. Egy folyóirat pontszáma a győzelmi aránya, ahol a döntetlenekért fél pont jár.

Az egyszerűségén túl a módszer érdekessége, hogy nem manipulálható, nem érzékeny a folyóiratok méretére, sem a hivatkozási szokásokra. Mivel a vizsgálatban a megjelent cikkek száma nem szerepel, teljesen mindegy, hogy a kapott és adott hivatkozások milyen terjedelmű vagy műfajú írások között oszlanak meg. További előnye, hogy mivel csak lokális adatokat igényel, bármely folyóirat „bajnoksági pontszáma” (pontosabban annak egy alsó becslése) kiszámítható minimális erőfeszítéssel.

A módszer nem súlyozza a mérkőzéseket sem a „gólaránnyal” sem az ellenfél teljesítményével, és ezzel a vizsgált adatbázis is befolyásolja az eredményeket. Kézenfekvő volna a már ismertetett súlyozási módszerek receptjét követve az értékeket mint súlyokat venni, s végeredményben a bajnoksági mátrix sajátérték-vektorát használni. Sajnos ezzel a trükkel az egyszerűség mellett sok kedvező tulajdonság is elvész. Az elméleti motiváció sem teljesen világos, hiszen az érthető, ha egy lapnak nagy siker egy sokkal nívósabb lapot „megverni”, azonban egy nívós folyóirattól elszenvedett vereség érthető, természetes, nincs nagy jelentősége (l. még Csató, 2013, 2014 hasonló érvelését).

4.4. Egyéb módszerek

Végül említést teszünk két további módszerről, melyek a folyóiratok értékelésének lehetséges új irányait adják.

4.4.1. A h-index és társai

Egy kutató h-indexe (Hirsch index) az a legnagyobb egész szám, amire a kutató legalább h darab, egyenként legalább h alkalommal hivatkozott cikket publikált (Bencze, 2006; Hirsch, 2004). A h-index egy számértékbe sűríti a kutató munkájának két aspektusát: a termékenységet és a szerzett cikkek hatását. A hivatkozások száma lehet magas 1-2 sikeres cikk miatt is, amibe a vizsgált szerző esetleg csak „véletlenül” került bele társszerzőként. Más grafomán szerzők hatás nélkül ontják magukból a cikkeket. Egyik említett szerzőnek sem lenne magas a h-indexe, ehhez tartósan magas szintű kutatást kell felmutatni.

A h-indexet hamar axiomatizálták (Woeginger, 2008a, 2008b), általánosították folyóiratokra is (Braun, Glänzel és Schubert, 2005, 2006) és ma már számtalan változata ismert (Alonso, Cabrerizo, Herrera-Viedma és Herrera, 2009; Moussa, Touzani, 2010; van Eck, Waltmann, 2008). Ilyen a ch-index, mely az önhivatkozásokat figyelmen kívül hagyja; a h(2)-index, mely darabonként h(2)2 hivatkozást vár el (Kosmulski, 2006); a g-index, ami a g összesen legalább g2 hivatkozást kapott cikket feltételez (Egghe, 2006); az A-index, mely a legalább h hivatkozást elért h cikk átlagos hivatkozás-száma; az R-index a legalább h hivatkozást elért h cikk hivatkozás-számának négyzetgyöke; míg az AR-index a legalább h hivatkozást elért h cikk megjelenése óta évente átlagosan kapott hivatkozások összegének négyzetgyöke (Jin, Liang, Rousseau és Egghe, 2007); Bornmann, Mutz és Daniel, (2008) összesen kilenc variánst hasonlítanak össze, Chambers és Miller (2014) pedig az ilyen mértékek egész osztályát definiálta és vizsgálta.

A lelkesedés elsősorban az index egyszerűségének és a teljesen új megközelítésnek szól, holott a h-index sem mentes a hibáktól. Az index (legyen szó kutatókról vagy folyóiratokról) függ a vizsgált adatbázistól (Bar-Ilan, 2008) és természetesen a tudományterülettől: annak méretétől, hivatkozási intenzitásától. Egy genetikával és egy játékelmélettel foglalkozó folyóirat h-indexe nagyon különböző lesz, hiába közölnek egyformán sikeres cikkeket. Végül a kutatók esetében a megjelent cikkek száma aligha manipulálható, ezzel szemben egy folyóirat bármikor dönthet több cikk elfogadása mellett, amivel – gyengén – nő a h-indexe. Egy nagyobb terjedelmű folyóiratnak ceteris paribus gyengén nagyobb lesz a h-indexe; ugyanez a szerzői munkásságokra is vonatkozik, de ott aligha kifogásolható. Összességében tehát a h-index és variánsai alig jobbak az impakt faktornál.

4.4.2. Burkolófelület-elemzés (Data Envelopment Analysis, DEA)

A burkolófelület-elemzés egy lineáris programozási eljárás, ahol valamilyen célfüggvényt a bemenetek ismeretében, de a bemenet-kimenet közötti összefüggés ismerete nélkül kívánjuk optimálni. A folyóiratok értékelése esetében a bemenetet a folyóirat bizonyos jellemzői (hivatkozások száma, önhivatkozások száma vagy IF) jelentik (Burton, Phimister, 1995). Valójában tehát ez a módszer meglevő hivatkozásanalitikus módszerek, illetve hivatkozásoktól teljesen független jellemzők segítségével alkot minőségi modellt.

Ez a fajta modellalapú megközelítés érdekes, de emellett számtalan olyan rangsorolási javaslat született, melyek a már ismertetett módszerek közül egyet vagy többet felhasználva, összekombinálva alkot a szerzők szerint elfogadhatóbb rangsort. Hogy stílusosan fogalmazzunk, ezek a módszerek egyelőre különösebb hatás nélkül maradtak, egyiket sem érezzük olyan jelentőségűnek, hogy egy kritikus hivatkozást tegyünk rájuk.

1. táblázat A folyóiratok értékelésének különböző módszerei és tulajdonságaik

Tucatnyi módszert mutattunk be a folyóiratok minőségi értékelésére; az 1. táblázatban áttekintjük a fontosabbak tulajdonságait. A bevezetőben utaltunk rá, hogy a folyóiratok értékelését több okból is elvégezhetjük.

A táblázatban „cikk”, vagy „cikk egység” értéket jelző mutatók alkalmasak a kutatói teljesítmény értékelésére. Az előbbieknél a publikációk értéke a vonatkozó évre kiszámított mutató. Melyik módszer használható, vagy használandó? Egy jó módszer évente szabadon hozzáférhető értékelést ad, és sem a terjedelemre, sem a hivatkozási intenzitásra – sem más, a folyóirat értékétől független jellemzőre sem – érzékeny és nem manipulálható. Sajnos ilyen módszer nincs. A manipulálásnak ugyanakkor vannak fokozatai, és az invariáns módszerek esetében felmerülő lehetőség sokkal bonyolultabb, mint más módszereknél, így aligha valószínű, hogy a szerkesztők vagy kiadók ehhez a módszerhez nyúlnának. Így tehát az eigenfactor.com-on elérhető Article Influence Score mutató a legérdekesebb.

A módosított invariáns módszer ennél árnyaltabb értékelésre is lehetőséget ad, hiszen itt figyelembe vehető a folyóiratban megjelenő cikk terjedelme is; itt a cikk értéke a módosított invariáns érték, szorozva a cikkben szereplő hivatkozások számával. Bár az Article Influence Score és a Thomson Reuters által publikált leíró statisztikák alapján egy ehhez hasonló „módosított Article Influence Score” könnyen kiszámítható; sajnos ez nem áll készen rendelkezésre.

A táblázatban a „folyóirat” értékét mérő jellemzők segítenek a könyvtárosoknak – ezeknél a módszereknél a folyóirat összértékét mérjük, ahol egyszerre nézzük a mennyiség és a minőség hatását. Ezt az értéket kell összevetni az előfizetési díjjal. A Bergstrom és McAffe által fenntartott www.journalprices.com egy adatbázis, ahol (szinte) minden folyóiratra megkereshetjük a folyóirat költséghatékonysági mértékét. A CE (cost effectiveness) mutató a normalizált árak és az (eleve normalizált) Eigenfactor-mértékek hányadosa: az 1-es CE értékkel rendelkező lap átlagos, a nagyobb CE értékű rosszabb, az alacsonyabb CE értékű jobb költséghatékonyságú.

Irodalom:

Agrawal, A. a. (2005) Corruption of journal Impact Factors. Trends in Ecology & Evolution, 20(4), 157. doi:10.1016/j.tree.2005.02.002

Alonso, S., Cabrerizo, F. J., Herrera-Viedma, E. és Herrera, F. (2009) h-Index: A review focused in its variants, computation and standardization for different scientific fields. Journal of Informetrics, 3, 273–289. doi:10.1016/j.joi.2009.04.001

Altman, A. és Tannenholz, M. (2005) Ranking Systems: The PageRank Axioms. In Proceedings of the 6th ACM conference on Electronic commerce (EC-05) (pp. 1–8). New York: ACM Press.

Amin, M. és Mabe, M. (2000) Impact Factors: Use and Abuse. Perspectives in Publishing, 1(1), 1–6. Letöltés: http://www.ntu.edu.sg/home/mwtang/ifuse.pdf

Archambault, É., Vignola-Gagné, É., Côté, G., Larivière, V. és Gingrasb, Y. (2006) Benchmarking scientific output in the social sciences and humanities: The limits of existing databases. Scientometrics, 68(3), 329–342. doi:10.1007/s11192-006-0115-z

Axarloglou, K. & Theoharakis, V. (2003) Diversity in economics: an analysis of journal quality perceptions. Journal of the European Economic Association, 1(6), 1402–1423. doi:10.1162/154247603322752584

Bardhan, P. (2003) Journal publication in economics: a view from the periphery. Economic Journal, 113(488), F332–F337. doi:10.1111/1468-0297.00137

Bar-Ilan, J. (2008) Which h-index? – A comparison of WoS, Scopus and Google Scholar. Scientometrics, 74(2), 257–271. doi:10.1007/s11192-008-0216-y

Bencze, G. (2006) H-index: Egy új javaslat az egyéni tudományos teljesítmény értékelésére. Magyar Tudomány, (1), 12. Letöltés: http://www.matud.iif.hu/06jan/12.html

Bollen, J., Rodriquez, M. A. és Van de Sompel, H. (2006) Journal status. Scientometrics, 69(3), 669–687. doi:10.1007/s11192-006-0176-z

Bornmann, L., Mutz, R. és Daniel, H. D. (2008) Are there better indices for evaluation purposes than the h index? A comparison of nine different variants of the h index using data from biomedicine. Journal of the American Society for Information Science and Technology, 59(5), 830–837. doi:10.1002/asi.20806

Bouyssou, D. és Marchant, T. (2011) Bibliometric rankings of journals based on Impact Factors: An axiomatic approach. Journal of Informetrics, 5(1), 75–86. doi:10.1016/j.joi.2010.09.001

Bradley, R. A. és Terry, M. E. (1952) Rank analysis of incomplete block designs : I . The method of paired comparisons. Biometrika, 39(3-4), 324–345.

Braun, T., Glänzel, W. és Schubert, A. (2005) A Hirsch-type index for journals. The Scientist, 19, 8.

Braun, T., Glänzel, W. és Schubert, A. (2006) A Hirsch-type index for journals. Scientometrics, 69, 169–173. doi:10.1007/s11192-006-0147-4

Brin, S. és Page, L. (1998) The anatomy of a large-scale hypertextual web search engine. Computer Networks and ISDN Systems, 30(1--2), 107–117. Letöltés: http://linkinghub.elsevier.com/retrieve/pii/S016975529800110X

Burton, M. P. és Phimister, E. (1995) Core journals : A reappraisal of the diamond list. Economic Journal, 105(429), 361–373.

Cameron, B. D. (2005) Trends in the usage of ISI bibliometric data: Uses, abuses, and implications. Libraries and the Academy, 5(1), 105–125. doi:10.1353/pla.2005.0003

Chambers, C. P. és Miller, A. D. (2014) Scholarly influence. Journal of Economic Theory, 151, 571–583. doi:10.1016/j.jet.2014.01.001

Csaba, L., Szentes, T. és Zalai, E. (2014) Tudományos-e a tudománymérés? Megjegyzések a tudománymetria, az impakt faktor és az MTMT használatához. Magyar Tudomány, (4), 12. Letöltés: http://www.matud.iif.hu/2014/04/12.htm

Csató, L. (2013) Páros összehasonlításon alapuló rangsorolási módszerek. Szigma, 44(3-4), 155–198. Letöltés: http://www.szigma.ktk.pte.hu/index.php/letoltesek/2013-xliv-evfolyam-3-4-szam/csato-laszlo-fogalmak-modszerek/r%C3%A9szletek

Csató, L. (2014) A graph interpretation of the least squares ranking method. Social Choice and Welfare, 51–69. doi:10.1007/s00355-014-0820-0

Daniels, H. E. (1969) Round-robin tournament scores. Biometrika, 56(2), 295. doi:10.1093/biomet/57.2.467-b

Didierjean, X. (2002) „Editors! check your impact factor data!’' Letters to dermatology count more towards the calculation of the impact factor than in any other dermatology journal. Dermatology, 205(4), 327–328. Letöltés: http://www.ncbi.nlm.nih.gov/pubmed/12444325

Egghe, L. (2006): Theory and practise of the g-index. Scientometrics, 69(1), 131–152. doi:10.1007/s11192-006-0144-7

Frey, B. S. & Rost, K. (2010) Do rankings reflect research quality? Journal of Applied Economics, 13(1), 1–38. doi:10.1016/S1514-0326(10)60002-5

Garfield, E. (1955) Citation Indexes for Science through Association of Ideas. Science, 122(July), 3159.

Glänzel, W. és Moed, H. F. H. F. (2002) Journal impact measures in bibliometric research. Scientometrics, 53(2), 171–193. Letöltés: http://www.akademiai.com/index/0PRNBD5XAXCWF7GT.pdf

González-Díaz, J., Hendrickx, R. és Lohmann, E. (2014) Paired comparisons analysis: an axiomatic approach to ranking methods. Social Choice and Welfare, 42(1), 139–169. doi:10.1007/s00355-013-0726-2

González-Pereira, B., Guerrero-Bote, V. P. és Moya-Anegón, F. (2010) A new approach to the metric of journals scientific prestige: The SJR indicator. Journal of Informetrics, 4, 379–391. doi:10.1016/j.joi.2010.03.002

Gowrishankar, J. és Divakar, P. (1999) Sprucing up one’s impact factor. Nature, 401, 321–322. Letöltés: http://www.nature.com/nature/journal/v401/n6751/full/401321d0.html

Guerrero-Bote, V. P. & Moya-Anegón, F. (2012) A further step forward in measuring journals’ scientific prestige: The SJR2 indicator. Journal of Informetrics, 6, 674–688. doi:10.1016/j.joi.2012.07.001

Ha, T. C., Tan, S. B. & Soo, K. C. (2006) The journal impact factor: too much of an impact? Annals of the Academy of Medicine, Singapore, 35(12), 911–916. Letöltés: http://annals.edu.sg/pdf/35volno12dec2006/v35n12p911.pdf

Hirsch, J. E. (2004) An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences, 102(46), 16569–16572. doi:10.1073/pnas.0507655102

Hudson, J. (2013) Ranking journals. Economic Journal, 123, 202–222. doi:10.1111/ecoj.12064

Jemec, G. B. E. (2001) Impact factor to assess academic output. Lancet, 358(9290), 1373. doi:10.1016/S0140-6736(01)06442-X

Jin, B., Liang, L., Rousseau, R. és Egghe, L. (2007) The R- and AR-indices: Complementing the h-index. Chinese Science Bulletin, 52(2004), 855–863. doi:10.1007/s11434-007-0145-9

Kalaitzidakis, P., Mamuneas, T. P., Theofanis, P. és Stengos, T. (2003) Rankings of academic journals and institutions in economics. Journal of the European Economic Association, 1(6), 1346–1366. doi:10.1162/154247603322752566

Kóczy, L. Á. (2010) Lásd... (hogyan hivatkozzunk?). Kóczy játékelmélet blogja. Letöltés: http://koczy.blog.hu/2010/10/28/lasd_1

Kóczy, L. Á. (2014) A publikálás folyamata és az Open Acces dilemmái a közgazdaság-tudományban. Könyv és Nevelés, 16(1), 8–20. Letöltés: http://olvasas.opkm.hu/portal/felso_menusor/konyv_es_neveles/a_publikalas_folyamata_es_az_open_acces_dilemmai_a_kozgazdasagtudomanyban

Kóczy, L. Á. és Nichifor, A. (2013) The intellectual influence of economic journals: Quality versus quantity. Economic Theory, 52(3), 863–884. doi:10.1007/s00199-012-0708-0

Kóczy, L. Á. és Strobel, M. (2009) The invariant method can be manipulated. Scientometrics, 81(1), 291–293. doi:10.1007/s11192-008-2134-4

Kóczy, L. Á. és Strobel, M. (2010) The world cup of economics journals: A ranking by a tournament method (No. 1011). Budapest. Letöltés: http://ideas.repec.org/p/pkk/wpaper/1011.rdf.html

Kosmulski, M. (2006) A new Hirsch-type index saves time and works equally well as the original h-index. ISSI Newsletter, 2, 4–6. Letöltés: http://sci2s.ugr.es/hindex/pdf/kosmulski2006.pdf

Laband, D. N. (2013) On the use and abuse of economics journal rankings. Economic Journal, 123(2003). doi:10.1111/ecoj.12067

Laband, D. N. és Piette, M. J. (1994) The relative impacts of economics journals: 1970–1990. Journal of Economic Literature, 32(2), 640–666.

Laslier, J.-F. (1997) Tournament Solutions and Majority Voting. Berlin: Springer.

Liebowitz, S. J. és Palmer, J. (1984) Assessing the Relative Impacts of Economics Journals. Journal of Economic Literature, 22(1), 77–88. Letöltés: http://www.jstor.org/stable/2725228

Liner, G. H. és Amin, M. (2006) Methods of ranking economics journals. Atlantic Economics Journal, 32(2), 140–149. doi:10.1007/BF02298831

Malouin, J.-L. és Outreville, J.-F. (1987) The relative impact of economics journals: A cross-country survey and comparison. Journal of Economics and Business, 39(1975), 267–277. doi:10.1016/0148-6195(87)90022-1

Moon, J. W. és Pullman, N. J. (1970) On Generalized Tournament Matrices. SIAM Review, 12(3), 384–399. doi:10.1137/1019132

Moussa, S. és Touzani, M. (2010) Ranking marketing journals using the Google Scholar-based hg-index. Journal of Informetrics, 4(1), 107–117. doi:10.1016/j.joi.2009.10.001

Palacios-Huerta, I. és Volij, O. (2002) The measurement of intellectual influence. Econometrica, 72(3), 1–21. doi:10.1111/j.1468-0262.2004.00519.x

Peng, T.-Q. és Zhu, J. J. H. (2012) Where you publish matters most: A multilevel analysis of factors affecting citations of internet studies. Journal of the American Society for Information Science and Technology, 63, 1789–1803. doi:10.1002/asi.22649

Pinski, G. és Narin, F. (1976) Citation influence for journal aggregates of scientific publications: Theory, with application to the literature of physics. Information Processing & Management, 12(5), 297–312. doi:10.1016/0306-4573(76)90048-0

Sevinc, A. (2003) Manipulating impact factor : an unethical issue or an editor ’ s choice ? Swiss Medical Weekly, 134, 410. Letöltés: http://www.smw.ch/docs/pdf200x/2004/27/smw-10761.PDF

Sharp, D. (2004) As we said … Lancet, 364(9436), 744. doi:10.1016/S0140-6736(04)16955-9

Slutzki, G. és Volij, O. (2006) Scoring of web pages and tournaments—axiomatizations. Social Choice and Welfare, 26(1), 75–92. doi:10.1007/s00355-005-0033-7

Smith, L. C. (1981) Citation analysis. Library Trends, 30(1), 83–106.

Sombatsompop, N., Markpin, T. és Premkamolnetr, N. (2004) A modified method for calculating the Impact Factors of journals in ISI Journal Citation Reports: Polymer Science Category in 1997-2001. Scientometrics, 60(2), 217–235. doi:10.1023/B:SCIE.0000027794.98854.f6

Stigler, G. J., Stigler, S. M. és Friedland, C. (1995) The journals of economics. Journal of Political Economy, 103(2), 331–359. doi:10.1086/261986

Van Eck, N. J. és Waltman, L. (2008) Generalizing the h- and g-indices. Journal of Informetrics, 2, 263–271. doi:10.1016/j.joi.2008.09.004

Van Leeuwen, T. N. és Moed, H. F. (2002) Development and application of journal impact measures in the Dutch science system. Scientometrics, 53(2), 249–266. doi:10.1023/A:1014808709694

Van Raan, A. F. J. (2008) Self-citation as an impact-reinforcing mechanism in the science system. Journal of the American Society for Information Science and Technology, 59(10), 1631–1643. doi:10.1002/asi.20868

Vanclay, J. K. (2012) Impact factor: Outdated artefact or stepping-stone to journal certification? Scientometrics, 92, 211–238. doi:10.1007/s11192-011-0561-0

Volij, O. és Palacios-Huerta, I. (2014) Axiomatic Measures of Intellectual Influence. International Journal of Industrial Organization. doi:10.1016/j.ijindorg.2014.02.011

West, J. D., Bergstrom, T. C. & Bergstrom, C. T. (2010) The Eigenfactor Metrics TM: A network approach to assessing scholarly journals. College & Research Libraries, 71, 236–244. Letöltés: http://crl.acrl.org/content/71/3/236.full.pdf+html

Woeginger, G. J. (2008a) A symmetry axiom for scientific impact indices. Journal of Informetrics, 2, 298–303. doi:10.1016/j.joi.2008.09.001

Woeginger, G. J. (2008b) An axiomatic characterization of the Hirsch-index. Mathematical Social Sciences, 56, 224–232. doi:10.1016/j.mathsocsci.2008.03.001

Evaluating academic journals has two purposes: Firstly journal quality or prestige is used to approximate the quality of published articles and thereby the academic output of researchers or even departments, universities or indeed nations. Secondly librarians face rising journal subscription fees and must make difficult decisions to spend the available budgets efficiently. While acknowledging the limitations of such evaluations this study surveys the key methods used in economics and other sciences to measure journal quality. While the impact factor is by far the most widely used measure it is also the one that is criticised most: both the definition and the limitations are presented. More advanced methods based on paired comparisons, such as the LP, the invariant or the tournament method as well as the recently introduced h-index are also discussed. The paper closes with a comparison of the different methods and their properties and makes recommendations for evaluating journals for the purposes of measuring research output and quality and for measuring the total value of a journal.