Kritik af citationsanalyser Peter Ingwersen IVA Danmark University

Kritik af citationsanalyser Peter Ingwersen IVA – Danmark University College, Oslo, Norway 2010

Citationsmotiver l Normativ opfattelse (jf. Merton): Referencerne dokumenterer ideelt set hvilke kilder bygges videre på l Underbygger argumenter l Henviser til anvendte metoder l Angiver relateret forskning l Er blevet diskuteret talrige gange, se f. eks. Mac. Roberts og Mac. Roberts (1989) Ingwersen 2010 2

Garfield (1965) Ingwersen Thorne (1977) 2010 3

Citationsteorier? [reference? ] l Socialkonstruktivister – B. Latour. Citationer har en retorisk funktion: ”persuasion”. l ”Referencer er soldater eller forbundsfæller, der er med til at armere og forsvare forfatterens fæstning”. l Latours teori: mange referencer er ”perfunctory” – overfladiske – (måske 40% af alle referencer). l Der findes ikke én, overordnet ”theory of citing” – motivationerne bag, selve processen osv. l Ingwersen 2010 4

Kritik af citationsanalyser 1. 2. 3. 4. 5. 6. 7. Formal influences not cited Biased citing Informal influences not cited Self-citing – kan synliggøre … flere eksterne citationer (Aksnes) Different types of citations – der er meget få negative referencer Variations in citation rate related to type of publication, nationality, time period, and size and type of speciality – normalisering på tværs? Technical limitations of citation indexes and bibliographies a. Multiple authorship – fractional counting/artikelniveau Ingwersen 2010 5

Modsvar: van Raan (1998) De forskellige uregelmæssigheder i referencelister udjævner hinanden l Hvis forskere bare refererer en smule ”fornuftigt”, kan pålidelige mønstre påvises, hvis l l tilstrækkeligt mange citationer analyseres Det er meget usandsynligt at alle forskere har de samme biases (f. eks. at alle forskere med vilje citerer forskning, der på ingen måde har bidraget forskningen inden for deres felt) Ingwersen 2010 6

Modsvar: van Raan (1998) ”Indeed, if just … one paper with its peculiar references would be analysed, a seriously mistaken picture of the field concerned will be obtained. But as soon as further papers are added, similar but also other irregularities will be discovered in their reference lists. Does this mean that one would never be able to get any sensible idea of the most important work in that field? This is statistically only the case if all researchers refer to earlier work completely arbitrarily…. As soon as authors refer, already to a small extent ‘reasonably’, i. e. , not based on a 100%-random ‘reference generator’, valid patterns in citations will be detected if a sufficiently large number of papers is used for analysis. Furthermore, it is statistically very improbable that all researchers in a field share the same distinct reference-biases (for instance, all authors cite deliberately earlier papers which did not contributed whatsoever to their field) …. Even if authors would cite all relevant work, this would be statistically unnecessary, as ‘incomplete’ reference lists will already provide…significant patterns. ” (van Raan, 1998, p. 134 -135. Emphasis in original. ) Ingwersen 2010 7

Kritik af kritik af ”citationsanalyser” 1. 2. 3. 4. 5. 6. 7. Ingwersen Formal influences not cited – Udjævnes Biased citing – Udjævnes Informal influences not cited – Udjævnes? Self-citing – af mindre betydning ved korte citationsvinduer Different types of citations – der er meget få negative referencer Variations in citation rate related to type of publication, nationality, time period, and size and type of speciality – normalisering? Technical limitations of citation indexes and bibliographies a. Multiple authorship – fractional counting/artikelniveau b. Synonyms – expand! 1. Homonyms, conceptual drift – co-citation/artikelniveau 2. Clerical errors in indexing – expand! 3. Coverage of literature – analysér dækningsgraden forinden? 2010 8

Etik i FE l Analyserne bør anvendes til at stille kvalificerede spørgsmål l Analyserne bør udføres så der er gennemskuelige for de involverede l Gør evt. grunddata tilgængelig for de evaluerede l Ved offentliggørelse bør kun aggregeringer publiceres til udenforstående Ingwersen 2010 9

Retningslinier for dansk sundhedsvidenskabelig forskning Sundhedsvidenskabeligt Forskningsråd (SSVF) vil gennemføre løbende forskningsevaluering af den sundhedsvidenskabelige forskning i Danmark l Ingwersen og Larsen (2001) er den bibliometriske del af rapporten til SSVF l Den fulde rapport omfatter også anbefalinger vedr. f. eks. site visits og studier af tildelte grader l Er et eksempel på en analyse af mulighederne forskningsevaluering af et enkelt forskningsfelt l Ingwersen 2010 10

Domæne- vs. Citationsdatabaser l Fordele ved Wo. S/NSI: Indeholder den ”centrale” forskning (70% af DK) l Har alle forfattere samt deres CS, inkl. landekoder l (internationalt samarbejde + sammenligninger af lande) l l NSI (afledt af SCI) har andelen af ikke-cit. artikler Ulemper ved Wo. S/NSI: Overlap mellem lande kan ikke isoleres i NSI l Navneformer er generelt set ikke kontrolleret (dog JN) l Nicheforskning samt nationale tss. er ikke med l Emneopdeling på tidsskriftsniveau l Ingen direkte forbindelse mellem hver AU og CS 11 Ingwersen 2010 l

Domæne- vs. Citationsdatabaser l Fordele ved EMBASE/MEDLINE Dækker mere af den danske forskning l God emneopdeling på artikelniveau l l Ulemper ved EMBASE/MEDLINE Kun førsteforfatterens CS er registreret l Land er ikke kontrolleret (= ikke noget GL-felt) l Det er ikke muligt at foretage analyser af internationalt samarbejde l Citationsanalyser kan ikke foretages l Navneformer for AU og CS er ikke kontrollerede l Ingwersen 2010 12