Herramientas bibliogrficas e indicadores bibliomtricos para la evaluacin

Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 16 de mayo de 2011 Manu Ruiz de Luzuriaga Oficina de Referencia Biblioteca Universidad Pública de Navarra manuel. ruiz@unavarra. es 9745

Evaluación de la investigación En las modernas economías de mercado, aparece como un objetivo prioritario el impulso de la investigación y el desarrollo de la ciencia. Para conseguir estos objetivos, se hace imprescindible conocer, medir y evaluar la investigación. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 2

Evaluación de la investigación La evaluación de la investigación hace necesarios unos indicadores para Conocer el valor de la investigación de la unidad de análisis (país, universidad, departamento) y ver su evolución en el tiempo Comparar la investigación en la unidad de análisis con otras unidades y tender a emular las mejores prácticas (benchmarking) Sirve de apoyo para una mejor asignación de los recursos en los sistemas de ciencia y tecnología Sirve de base a decisiones políticas tendentes a mejorar la investigación Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 3

Evaluación de la investigación 1930 1941 -1945. • Se realizan en la Unión Soviética los primeros intentos de medir la investigación • Comienza la recopilación de datos estadísticos sobre la investigación en Estados Unidos • El Proyecto Manhattan que sirvió para desarrollar la bomba atómica sirve para que se tome conciencia de la importancia de la investigación científica. 1942 • Merton publica The Normative Structure of Science. Formula el llamado Efecto Mateo para la ciencia. Define el conocimiento científico comunal, universal, desinteresado y escéptico. 1945 • Vannervar Bush realiza el informe Science, Endless Frontier, donde indica que la investigación es fundalmental para la supervivencia nacional, por razones económicas y militares. Recomienda la creación del futuro NSF. 1947 • John R. Steelman realiza lo que se conoce por Steelman Report, titulado Science and public policy : a report to the President que sienta las bases de la política científica de los Estados Unidos. 1950 • Se crea la National Science Foundation (NSF) de Estados Unidos, que comienza a enviar periódicamente una encuesta a las empresas para recopilar datos de la investigación desarrollada Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 4

Evaluación de la investigación Decada de los 50 • La mayoría de las economías de libre mercado recogen datos sobre la investigación, generalmente por medio de encuestas. La diversidad de estas encuestas hacía difícil la comparación de datos entre los diferentes países. Decada • Guerra Fría y Carrera Espacial. Impulso a la ciencia, consideración de la importancia de la investigación, estudios teóricos e de los 50 - intentos de modelización de la ciencia. 60 1962 • Se funda la OCDE (Organización para la cooperación y el Desarrollo Económico). • Khun publica The Structure of Scientific Revolutions, define el paradigma y otra forma de entender la ciencia. 1963 • La OCDE toma a su cargo la normalización de las estadísticas referidas a I+D. En Frascati se reunen expertos en estadísticas de los países de la OCDE, y de esa reunión surge el documento Metodología normalizada propuesta para las encuestas sobre investigación y desarrollo experimental. Este documento se conoce como Manual de Frascati, cuya sexta edición es de 2002. 1984. • La OCDE comienza a publicar la serie Science and Technology: Indicators Reports, sustituidos en 1988 por los Main Science and Technology Indicators, a los que sigue un amplio número de publicaciones sobre I+D. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 5

Evaluación de la investigación 1989 • Suplemento del Manual de Frascati. Estadísticas de I+D y medida de los resultados en enseñanza superior. Se añadirá al Manual de Frascati en las siguientes ediciones. 1990 • TBP Manual. Proposed Standard Method of Compiling and Interpreting Technology Balance of Payments Data. Manual de Balanza de Pagos Tecnológicos. 1992 • Manual de Oslo publicado por la OCDE. Guía para la recogida e interpretación de datos sobre innovación tecnológica. 1993 • La UNESCO comienza a publicar el World Science Report. Más adelante, en 1999, se completará con el World Social Science Report, que ahora lo hace con el International Social Science Council. 1994 • Manual de estadísticas de patentes publicado por la OCDE. Utilización de los datos de las patentes como indicadores de ciencia y tecnología. 1994 • EUROSTAT presenta el European Report on S&T Indicators. Posteriormente aumentara la cobertura de ciencia y tecnología. Como novedad, en 2008, ha publicado Science, technology and innovation in Europe en formato guía de bolsillo. 1995 • Manual de Canberra publicado por la OCDE. Manual sobre la medida de recursos humanos en ciencia y tecnología. 1996 • La UNESCO comienza a publicar The State of Science and Technology in the World, que se mantiene hasta 2001. Pasa a convertirse en el Informe de la UNESCO sobre la Ciencia, con edición en español. 2000 • Casi todos los países occidentales desarrollan su propio observatorio de Ciencia y Tecnología. En España FECYT en 2001. Publica regularmente Análisis sobre ciencia e innovación en España, y Indicadores bibliométricos de la actividad científica española. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 6

¿Qué se puede medir / evaluar? Entorno Input Recursos humanos Población Output Impacto Patentes Innovación Recursos económicos PIB Presupuesto Unidad de análisis / Sistema de investigación Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 7

¿Qué se puede medir / evaluar? Indicadores de financiación / inversión Indicadores de recursos humanos Porcentaje del presupuesto dedicado a I+D Personal dedicado a I+D Gasto de I+D en la industria Proporción de mujeres sobre el total de investigadores Gasto de I+D en la administración Proporción de investigadores de otros países Gasto de I+D en la enseñanza superior Investigadores jóvenes Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 8

¿Qué se puede medir / evaluar? Características de este modelo Es un análisis fundamentalmente económico y contable. Sólo mide los outputs y el impacto industrial y económico. No aparecen outputs e impacto social y científico. Aplicable a países, grupos de países y regiones. Si se extrapola a universidades es poco relevante. Aplicable a ciertos campos de ciencia y tecnología. No es relevante para ciencias sociales y humasnidades Sigue un modelo lineal, que presupone que la investigación adoptada por el mercado es siempre positiva para la sociedad. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 9

¿Qué se puede medir / evaluar? Entorno Población PIB Presupuesto Input Output Recursos humanos Patentes Recursos económicos Publicaciones científicas Impacto Unidad de análisis / Sistema de investigación Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación Innovación Impacto social Impacto científico 1 0

Se va a llamar ciempiés: bibliometría, cienciometría, infometría… • Trabajo de Campbell, que usa métodos estadísticos para medir la dispersión de las publicaciones 1896 • Trabajo de Cole & Eales, que estudia el crecimiento de la literatura en anatomía comparada. 1917 • Trabajo de Hulme, que usa la cuenta de documentos para explicar la historia de la ciencia y la tecnología. Usa el término ‘Statistical bibliography’ 1923 1926 1934 • Lotka formula la Ley de Lotka. La primera ley bibliométrica. • Bradford formula la Ley de Bradford, segunda ley de la bibliometría. • Paul Otlet propone el término 'bibliometrie' para la "medición de los libros". Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 11

Se va a llamar ciempiés: bibliometría, cienciometría, infometría… • Ranganathan propone el termino 'librametry' como aplicación de técnicas estadísticas y matemáticas a la gestión de los servicios bibliotecarios. (Citado por Sengupta 1992) 1948 1949 • Zipf formula la Ley de Zipf, la tercera ley de la bibliometría. • Eugene Garfield publica su artículo A Citation Index for Science, artículo seminal del ISI, y de los Citation Index. 1955 • Se publica Little Science, Big Science, por Derek J. de Solla Price. Formula la teoría del crecimiento exponencial de la ciencia. Posteriormente describirá los colegios invisibles y 1961 la Ley de Price. Es el padre de la expresión ‘Publish or Perish’ • Dobrov publica Nauka o Nauke. Literalmente ‘Ciencia de la Ciencia’, que propone el estudio científico de la ciencia 1966 • Nalimov y Mulchenko publican su obra Naukometriya, el equivalente ruso a 'scientometrics' 1969 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 12

Se va a llamar ciempiés: bibliometría, cienciometría, infometría… • Pritchard, en su artículo Statistical bibliography or bibliometrics? propone el término 'bibliometrics' para 1969 sustituir a 'statistical bibliography'. • LISA, la principal base de datos (entonces servicio de resúmenes) sobre bibliotecas, información y 1970 documentación, incluye ‘bibliometrics' como encabezamiento. 1972 • Eugene Garfield publica su artículo Citation analysis as a tool in journal evaluation, que será el origen de los Journal Citation Reports, también producidos por el ISI. • Se funda la revista 'Scientometrics‘ por Tibor Braun. Nalimov es el ‘Consulting Editor'. La revista pone en su cabecera que mide 'all quantitative aspects of the science, communication in science, and 1978 science policy'. • Nacke propone el término 'informetrics', que englobaría grandes partes de scientometrics y bibliometrics, y 1979 algunas nuevas como los usos y usuarios de la información, y la recuperación de la información. 1980 • El término 'bibliometrics' aparece en la Library of Congress Subject Heading. • Surge la revista 'Journal of Informetrics'. De su Editorial Board se infiere que pretende abarcar toda la bibliometría (incluida la librametry) y la mayor parte de la cienciometría. Pretende abarcar investigaciones 2007 ‘duras’, de tal modo que en SCIMAGO no se incluye en la Library Science, sino en Mathematics Statistics and Probability. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 13

Se va a llamar ciempiés: bibliometría, cienciometría, infometría… Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 14

Se va a llamar ciempiés: bibliometría, cienciometría, infometría… Bibliometrics Informetrics Scientometrics Librametrics Publicación científica Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 15

Se va a llamar ciempiés: bibliometría, cienciometría, infometría… Bibliometric s Librametrics BIS (Publicació n científica) v v Scientometrics v v Ø Estudios de usuarios Ø Rendimiento de servicios Protocolos OCDE Recursos económicos Recursos humanos Tecnología Sistemas de información Publicación no académica Medios de comunicación Web Informetrics Ø Recuperación de la información Ø Almacenamiento de la información Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 16

Se va a llamar ciempiés: bibliometría, cienciometría, infometría… «Hay que indicar que todos estos conceptos [bibliometría, informetría, cienciometría, bibliotecometría] son suplementarios y complementarios los unos de los otros. Un análisis cuidadoso de los términos revelará que la principal distinción entre ellos radica en lo que acompaña a «-metría» , es decir, a la técnica de medición. Por ejemplo, si aplicamos técnicas estadístico-matemáticas a la organización y servicios bibliográficos, obtenemos bibliometría. Si aplicamos esas ténicas para organizar una biblioteca y sus servicios, generamos bibliotecometría (librametrics). Asimismo, cuando el análisis estadístico-matemático es aplicado a los sistemas de información y sus servicios, obtenemos infometría. Por otra parte, cuando estas técnicas de medida son usadas en la organización de la ciencia, obtenemos cienciometría. » (Sengupta 1992) Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 17

Se va a llamar ciempiés: bibliometría, cienciometría, infometría… • Science of Science • (Historia, filososfía y economía de la ciencia) • Bibliography • (Bibliografía) • Information Science • (Documentación) Scientometrics Informetrics Bibliometrics Librametrics • Library Science • (Biblioteconomía) Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 18

Las leyes bibliométricas Ley de Lotka (1926) • El número de autores, An, que publican n trabajos sobre una materia es inversamente porporcional al cuadrado de n. Ley de Bradford (1934) • Si las revistas científicas se ordenan en secuencia decreciente de productividad de artículos sobre un tema dado, éstas pueden dividirse en un núcleo de revistas dedicadas más en particular al tema y varios grupos o zonas conteniendo el mismo número de artículos que el núcleo, donde el número de revistas en el núcleo y las zonas sucesivas estará en la relación de 1 : n 2: n 3 Ley de Zipf (1949) • En un texto en cualquier lengua, la frecuencia de aparición de las distintas palabras sigue una distribución similar, de tal manera que la segunda palabra más frecuente aparecerá la mitad de veces que la primera, la tercera, 1/3 de veces que la primera y así sucesivamente. Ley de Price (1961) • Crecimiento exponencial de la ciencia. La información científica experimenta un crecimiento exponencial, de tal manera que se duplica en un plazo aproximado de 10 -15 años. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 19

Las leyes bibliométricas Ley de Lotka • El número de autores, An, que publican n trabajos sobre una materia es inversamente proporcional al cuadrado de n. Se formula: • An = A 1/n 2 Explicación • An es el número de autores que corresponden a determinado número de artículos aplicando la Ley de Lotka (autores esperados) • A 1 son el número de autores con un solo trabajo. • n es el número de artículos para el queremos calcular los autores esperados (An). Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 20

Las leyes bibliométricas 180 160 140 120 100 80 Autore reales Autore esperados 60 40 20 0 41 27 25 24 20 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 Artículos 41 27 25 24 20 15 14 13 12 11 10 9 8 7 6 5 4 3 2 1 Autores reales Autores esperados 1 0 1 0 1 0 2 1 1 1 4 1 2 2 6 3 4 3 7 5 11 7 15 10 19 18 32 41 163 Artículos de investigadores de la UPNA en el área de Food Science ISI Web of Science y = 163/x 2 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 21

Las leyes bibliométricas Ley de Bradford • Si un conjunto de revistas se dispone en orden decreciente, de acuerdo con la cantidad de artículos que contengan sobre un tema dado, éstas se pueden dividir en un núcleo de publicaciones más específicamente dedicadas al tema y en varias zonas que agrupan aproximadamente igual número de artículos que el núcleo, mientras que los conjuntos de revistas que es necesario vaciar aumentan en progresión geométrica del tipo 1: n: n 2: n 3. . . Fórmula • No tiene una expresión matemática clara, y varían tanto los tamaños del núcleo como los multiplicadores, aunque la tendencia siempre es la misma Utilidad • Para los bibliotecarios es la ley bibliométrica más útil, pues proporciona un modelo sobre la distribución de la literatura sobre un tema. Otras formulaciones • 80% - 20% • Artículos progresión aritmética; revistas progresión geométrica Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 22

Las leyes bibliométricas Ley de Bradford Datos originales de Bradford sobre revistas de geofísica en 1934 Nº revistas Nº Artículos por revista Revistas acumuladas, r Artículos acumulados, R(r) 1 22 1 18 2 40 1 15 3 55 2 13 5 81 2 10 7 101 1 9 8 110 3 8 11 134 3 7 14 155 1 6 15 161 7 5 22 196 2 4 24 204 13 3 37 243 25 2 62 293 102 1 164 395 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 23

Las leyes bibliométricas Ley de Bradford 1600 R(r), artículos 1400 Inflexión de Groos 1200 1000 Fracción recta 800 600 400 Núcleo 200 0 1 10 100 r, revistas Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 24

Las leyes bibliométricas Ley de Bradford 80000 70000 Revistas 6 16 32 53 82 120 182 287 474 1439 Inflexión de Groos 60000 50000 Fracción 40000 30000 20000 Núcleo r 1 10000 0 1 r 3 r 2 10 100 Artículos 6841 13714 20641 27347 34266 41049 47915 54788 61678 68910 % revistas 0, 42% 1, 11% 2, 22% 3, 68% 5, 70% 8, 34% 12, 65% 19, 94% 32, 94% 100, 00% % Artículos 9, 93% 19, 90% 29, 95% 39, 69% 49, 73% 59, 57% 69, 53% 79, 51% 89, 51% 100, 00% r 4 10000 Revistas Uso de las revistas de Science Direct en la UPNA, en 2010 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 25

Las leyes bibliométricas Ley de Zipf • En un texto en cualquier lengua, la frecuencia de aparición de las distintas palabras sigue una distribución similar, de tal manera que la segunda palabra más frecuente aparecerá la mitad de veces que la primera, la tercera, 1/3 de veces que la primera y así sucesivamente. Fórmula • Fn = C/n Explicación • Fn es la frecuencia de un término situado en el lugar n por orden de frecuencia • C es una constante fijada empíricamente • N es el orden del término Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 26

Las leyes bibliométricas Ley de Zipf 9000 8000 R 2 = 0. 9988 Aparicione 7000 6000 Términos Apariciones 1 601 10 2366 100 4804 5000 1000 7083 4000 1605 7688 3000 2000 1000 0 1 10 10000 Términos Aplicación de la Ley de Zipf al artículo: Puente Lanzarote, L. , del Campo Hilario, C. , & Ruiz de Luzuriaga Peña, M. Indicadores de rendimiento para la evaluación de un servicio de bases de datos en línea, 2001. In Scire: Representación y organización del conocimiento. Universidad de Zaragoza. pp. 89 -114. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 27

Las leyes bibliométricas Ley de Zipf Término Apariciones de 601 al 35 modelo 17 el 324 usuario 35 si 16 la 263 satisfacción 33 total 16 en 222 datos 32 que 213 campo 15 lo 32 los 185 productos 15 valor 31 del 173 usuarios 30 aplicación: 14 y 148 tiempo 28 bases 14 se 136 registros 27 cada 14 servicio 101 este 25 definición: 14 a 100 su 25 interpretación: 14 las 96 directo 24 método: 14 un 93 consulta 23 nos 14 indicador 85 entre 22 objetivo: 14 por 81 resultados 22 otros 14 indicadores 71 sobre 22 referencia 14 eficacia 21 todos 14 son 21 análisis 13 coste 20 calidad 13 e 20 c 12 objetivos 20 estadísticas 12 servicios 20 fuentes 12 20 general 12 19 impacto 12 pertinentes 19 información 12 siendo 19 natural 12 medir 18 nivel 12 recursos 18 principio 12 año 17 pueden 12 para 71 con 65 una 64 sabdl 56 como 53 es 53 no 49 rendimiento 49 gasto 47 evaluación 42 número 42 consultas 39 unos b Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 28

Las leyes bibliométricas Ley de Price La información científica experimenta un crecimiento exponencial, de tal manera que se duplica en un plazo aproximado de 10 -15 años. Propuso varias matizaciones: El tiempo de duplicación depende en gran medida del área de conocimiento de la que se trate. El crecimiento de la ciencia pasa por varias etapas: una fase de crecimiento exponencial propiamente dicha, en la que la tasa de crecimiento es proporcional al tamaño de la muestra, y una fase de crecimiento lineal, en la que la tasa de crecimiento es constante o independiente del tamaño del sistema. No se aplica sólo a publicaciones: lo aplicó al número de autores en una materia, número de revistas, número de elementos químicos conocidos… Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 29

Las leyes bibliométricas Ley de Price Artículos UPNA en ISI W of S 4000 3500 R 2 = 0. 9982 3000 2500 Artículos UPNA 2000 Expon. (Artículos UPNA) 1500 1000 500 0 1992 -2004 2005 2006 2007 2008 2009 2010 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 30

Indicadores bibliométricos Indicadores de actividad Número de publicaciones Indicadores de especialización Temática Indicadores de calidad de las publicaciones Criterios de calidad Indicadores de visibilidad Presencia en bases de datos Indicadores de colaboración Colaboración internacional Indicadores de impacto Citas Indicadores de uso Usage Factor Indicadores basados en web 2. 0 Indicadores de enlaces Indicadores relacionales Primera generación Distribuciones (idioma, tipo de documento) Difusión Open Access Colaboración institucional Coautoría Factor de impacto Sistemas de recomendación Segunda generación Visibilidad web Repositorios Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 31

Indicadores bibliométricos Indicadores de actividad (producción) Número de publicaciones Se puede poner en contexto, según la unidad de análisis, con población total, investigadores, alumnos, PIB, presupuesto… Porcentaje de trabajos indizados en ISI / Scopus También podría ser un indicador de visibilidad, ya que lo que intenta medir es la «producción visible» Distribuciones Por idioma Por tipo documental Nivel básico o aplicado Índice de transitoriedad Número de investigadores con un solo trabajo Propuesto por Derek J. de Solla Price A veces se expresa como porcentaje del total de investigadores Índice de producción Cantidad de autores responsables del 50% de los trabajos Índice de productividad Logaritmo decimal del número de publicaciones. Propuesto por Lotka Permite agrupar a los investigadores en 3 niveles: 0 (1), 1 (de 2 a 9) y >1 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 32

Indicadores bibliométricos De Moya Anegón, Félix et al. Indicadores bibliométricos de la actividad científica española 2008. Madrid: FECYT, 2008 [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 33

Indicadores bibliométricos De Moya Anegón, Félix et al. Indicadores bibliométricos de la actividad científica española 2008. Madrid: FECYT, 2008 [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 34

Indicadores bibliométricos Indicadores de especialización Índice de especialización temática Número de artículos sobre un tema sobre el total de artículos de la unidad de análisis. Iría de 0 a 1. El IBACE construye el índice como variación respecto a la media mundial. Iría de -1 a +1 Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 35

Indicadores bibliométricos De Moya Anegón, Félix et al. Indicadores bibliométricos de la actividad científica española 2008. Madrid: FECYT, 2008 [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 36

Indicadores bibliométricos Indicadores de calidad de las publicaciones LATINDEX Sistema de Información sobre las revistas de investigación científica, técnicoprofesionales y de divulgación científica y cultural que se editan en los países de América Latina, el Caribe, España y Portugal Califica las revistas según el cumplimiento de 33 criterios para revistas impresas y 36 para revistas-e DICE Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas Describe las revistas atendiendo a criterios de calidad y visibilidad ERIH Lists. European Reference Index for the Humanities. C Clasificación de revistas europeas de los ámbitos de las ciencias sociales y las humanidades elaborada por la European Science Foundation. Listados por materias y califica las revistas en las clases A, B y C. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 37

Indicadores bibliométricos Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 38

Indicadores bibliométricos Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 39

Indicadores bibliométricos Indicadores de visibilidad Presencia del artículo o revista en bases de datos. Difusión: se puede mirar la tirada para versiones impresas, indicadores como el Page Rank para versiones electrónicas, presencia en los catálogos de bibliotecas universitarias… Open Access. Es un indicador emergente, que considera las publicaciones libremente accesibles. CARHUS Plus Clasificación de revistas científicas de los ámbitos de las ciencias sociales y humanidades que se publican a nivel local, nacional e internacional Califica las revistas dividiéndolas en grupos: A, B, C y D, según grados de visibilidad. Unas 6000 revistas de ciencias sociales y humanidades Se clasifican las revistas atendiendo a parámetros de alcance y visibilidad MIAR Matriu d’Informació per a l’Avaluació de Revistes Clasificación de revistas según el Índice Compuesto de Difusión Secundaria (ICDS), que mide la visibilidad de las revistas. Unos 28 000 títulos de revistas internacionales en ciencias sociales y humanidades, clasificados por categorías temáticas. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 40

Indicadores bibliométricos Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 41

Indicadores bibliométricos Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 42

Indicadores bibliométricos Indicadores de colaboración Colaboración internacional Tasa de colaboración internacional: % de documentos firmados por investigadores de más de un país. Colaboración institucional Tasa de documentos sin colaboración: % de documentos en los que sólo participa una institución Tasa de colaboración nacional neta: % de documentos firmados por más de una institución del mismo país. Tasa de colaboración: % de documentos firmados por más de una institución. Coautoría Índice de coautoría: Número de autores por documento Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 43

Indicadores bibliométricos De Moya Anegón, Félix et al. Indicadores bibliométricos de la actividad científica española 2008. Madrid: FECYT, 2008 [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 44

Indicadores bibliométricos Citas • Menciones que recibe el trabajo analizado de otros trabajos posteriores Referencias • Menciones que se hacen en el trabajo analizado a otros trabajos anteriores Factor de impacto • Razón entre las citas recibidas en un año por los artículos de la unidad de análisis publicados en los dos años anteriores y el número de artículos publicados en los dos años anteriores Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 45

Indicadores bibliométricos Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 46

Indicadores bibliométricos SJR • SCImago Journal Rank • Es una medida del impacto, influencia o prestigio de una revista. Expresa la razón entre el número ponderado de citas recibidas en el año seleccionado y el número de trabajos publicados en la revista en los tres años anteriores. • SCImago es un grupo de investigación formado por el Consejo Superior de Investigaciones Científicas (CSIC), las universidad de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares, dedicado al estudios del análisis, representación y recuperación de la información. • GONZÁLEZ-PEREIRA, B. , GUERRERO-BOTE, V. P. & MOYAANEGÓN, F. (2009). The SJR indicator: A new indicator of journals' scientific prestige. ar. Xiv: 0912. 4141 v 1. [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 47

Indicadores bibliométricos A favor de citas y factor de impacto • Al día de hoy es la mejor herramienta, sino la única, para trabajar con la dimensión cualitativa de la investigación • Es un indicador númerico, fácilmente comprensible y reproducible • Los sesgos que pueda tener se pueden corregir poniendo en contexto y ponderando Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 48

Indicadores bibliométricos En contra de citas y factor de impacto • En general, se ha transformado un método para medir el impacto de un artículo o una revista en la comunidad científica, en un sistema de validación de la ciencia, con todo lo que ello conlleva, por parte de editores, autores e instituciones • Distintas disciplinas tienen distintos hábitos de citación • Sesgo de cobertura hacia revistas anglosajonas. En 2001: SCI: USA 2200 revistas, UK 1171, FR 148, IT 69, SP 26 • Aunque pueda ser valido para disciplinas de ciencia y tecnología, cuyos estudios tienen vocación universal y la publicación se concentra en un número abarcable de revistas, no lo es tanto para ciencias sociales y humanidades, con una producción mucho más dispersa y abundancia de artículos y revistas de vocación local • Un número relativamente pequeño de artículos altamente citados da un sesgo desproporcionado. 15% de los artículos 50% de las citas. 50% de los artículos 90% de las citas • FI tiene poca capacidad predictiva • Los reviews son muy citados. Las revistas con muchos reviews son muy citadas • El FI favorece a las investigaciones en campos con obsolescencia muy rápida • Citation Cartels. Se cita indiscriminadamente a uno mismo y a los colegas • Su control está en manos de empresas privadas, con fuertes intereses en el sector editorial Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 49

Indicadores bibliométricos Indicadores de impacto Basados en citas Número de citas Promedio de citas por artículo Impacto normalizado. Promedio de citas por artículo de la unidad de análisis dividido por el promedio de citas por artículo mundial. Tasa de documentos citados y no citados Tasa de autocitación Trabajos altamente citados (>50) Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 50

Indicadores bibliométricos Indicadores de impacto Basados en factor de impacto Impacto normalizado. FI esperado Tasa de citación: FI esperado/FI observado Índice de atracción: relaciona el FI en una disciplina cn el FI del resto. FI ponderado. Toma en cuenta el FI de varias disciplinas FI relativo. Compara el FI con una unidad mayor Potencial investigador. FI y producción Distribución por cuartiles o decílica Posición normalizada. Posición que ocupa una revista en relación al total. Entre 0 y 1 Impacto potencial: C 1 -4 = 10%, 20%, 30% y 40% Porcentaje de publicación en revistas TOP 3 Indice H Eigenfactor Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 51

Indicadores bibliométricos SHEPHERD, P. T. (2007). Final Report on the Investigation into the Feasibility of Developing and Implementing Journal Usage Factors. United Kingdom Serials Group [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 52

Indicadores bibliométricos Indicadores de uso Todavía en desarrollo La versión 4 de COUNTER incluirá estadísticas por artículo Usage Factor Usos durante un periodo x de artículos publicados en un periodo Y, partido por artículos publicados en un período y Desarrollado por UKSG Final Report en PDF Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 53

Indicadores bibliométricos SHEPHERD, P. T. (2007). Final Report on the Investigation into the Feasibility of Developing and Implementing Journal Usage Factors. United Kingdom Serials Group [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 54

Indicadores bibliométricos SHEPHERD, P. T. (2007). Final Report on the Investigation into the Feasibility of Developing and Implementing Journal Usage Factors. United Kingdom Serials Group [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 55

Indicadores bibliométricos Indicadores basados en la web 2. 0 • Se ha propuesto sistemas de medida de la investigación haciendo entrar en juego sistemas de la red social. Se trataría tanto de utilizar la web 2. 0 para medir y evaluar las publicaciones tradicionales como del surgimiento de nuevos sistemas de comunicación científica (blogs científicos, redes sociales científicas…) Enlaces • La equivalencia de un enlace con una mención o cita provoca que algunos estudios hablen de confluencia de la web semántica y estructurada y la posibilidades de aplicar el análisis de enlaces al análisis de la producción científica. Sistemas de recomendación • Por un lado se trataría de aprovechar el potencial de las redes sociales científicas, como Cite. Ulike, Connotea o Mendeley. • También se especula con la posibilidad de publicar el contenido de lo peer reviews • Otros abogan por sistemas basados en comentarios de los lectores • También se ha mencionado la posibilidad de crear un “Blogs Citation Index” Bibliografía • BANKS, M. A. ; DELLAVALLE, R. (2008). Emerging alternatives to the impact factor. OCLC Systems & Services Volume: 24 Issue: 3. [PDF] • TARABORELLI, D. (2008). Soft peer review: social software and distributed scientific evaluation. To appear in: Proceedings of the 8 th International conference on the Design of Cooperative Systems (COOP ‘ 08) , Carry-Le Rouet, May 20 -23. [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 56

Indicadores bibliométricos Indicadores relacionados con visibilidad web • Todavía en desarrollo y sin apenas implantación • Es discutible su validez como medida de la investigación, pero exiten estudios que tratan “de conocer la presencia, tamaño, visibilidad e impacto de una universidad a través de su dominio web, como indicadores de lo bien o mal que ésta se comunica”. • ORDUÑA-MALEA, E. ET AL. (2010). Presencia y visibilidad web de las universidades públicas españolas. Revista española de Documentación Científica, 33(2): 246 -278 doi: 10. 3989/redc. 2010. 2. 740 [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 57

Indicadores bibliométricos Indicadores relacionados con repositorios • Todavía sin desarrollar, aunque es de esperar que en el futuro se tome en cuenta • Ranking Web de Repositorios del Mundo • Registry of Open Access Repositories (ROAR) • Directory of Open Access Repositories (Open. DOAR) Ley 10/2011 de 13 de mayo de 2011, de la ciencia, la tecnología y la innovación. • Artículo 37. Difusión en acceso abierto. • 1. Los agentes públicos del Sistema Español de Ciencia, Tecnología e Innovación impulsarán el desarrollo de repositorios, propios o compartidos, de acceso abierto a las publicaciones de su personal de investigación, y establecerán sistemas que permitan conectarlos con iniciativas similares de ámbito nacional e internacional. • 2. El personal de investigación cuya actividad investigadora esté financiada mayoritariamente con fondos de los Presupuestos Generales del Estado hará pública una versión digital de la versión final de los contenidos que le hayan sido aceptados para publicación en publicaciones de investigación seriadas o periódicas, tan pronto como resulte posible, pero no más tarde de doce meses después de la fecha oficial de publicación. • 3. La versión electrónica se hará pública en repositorios de acceso abierto reconocidos en el campo de conocimiento en el que se ha desarrollado la investigación, o en repositorios institucionales de acceso abierto. • 4. La versión electrónica pública podrá ser empleada por las Administraciones Públicas en sus procesos de evaluación. • 5. El Ministerio de Ciencia e Innovación facilitará el acceso centralizado a los repositorios, y su conexión con iniciativas similares nacionales e internacionales. • 6. Lo anterior se entiende sin perjuicio de los acuerdos en virtud de los cuales se hayan podido atribuir o transferir a terceros los derechos sobre las publicaciones, y no será de aplicación cuando los derechos sobre los resultados de la actividad de investigación, desarrollo e innovación sean susceptibles de protección. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 58

Indicadores bibliométricos Indicadores relacionales de primera generación • Redes de coautoría (científicos, universidades, países) • Redes de cocitación (científicos, revistas, categorías) Indicadores relacionales de segunda generación • Palabras asociadas • Mapas cognitivos de temas e impacto • Mapas cognitivos de temas y autores Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 59

Indicadores bibliométricos Redes de cocitación en España 2008 -2009. Construido con SCImago Map Generator Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 60

Rankings de universidades Son clasificaciones de universidades e instituciones de investigación, ordenadas según una serie de criterios Los criterios utilizados son, en su mayor parte, bibliométricos Pueden utilizar una conjunto de criterios que, una vez codificados estructuran la clasificación, o pueden basarse en un solo criterio. No analizamos los rankings que suelen aparecen en la prensa basados en criterios subjetivos como encuestas, sondeos de opinión… Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 61

Rankings de universidades A favor • Permiten una comparación rápida entre instituciones, útil, sobre todo para no especialistas en bibliometría • Permiten detectar puntos débiles de la institución • Permiten detectar las mejores prácticas En contra • Son una abstracción de una realidad bastante compleja • Un profano puede no interpretar de forma correcta los resultados: tendría que conocer los indicadores en los que se basa y las instituciones que se analizan • A veces se extrapola la clasificación a realidades distintas de lo que mide (por ejemplo, si mide la investigación, no será válido para la docencia) • Tienen muchos sesgos: por los indicdores utilizados y por la vocación de las instituciones (educación-investigación; ciencias-humanidades) • Para un conocedor de los indicadores bibliométricos no aportan gran cosa, puesto que se basan en ellos, sólo el presentar resultados de manera conjunta • Hay críticas porque se les está dando demasiada importancia en ámbitos de decisión y financiación • No parece útil para comparar unidades de investigación pequeñas Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 62

Rankings de universidades Nombre • Ranking Web de Universidades del Mundo Productor • Laboratorio de Cibermetría (CSIC) • España Indicadores • Tamaño: Número de páginas recuperadas desde los 4 motores de búsqueda: Google, Yahoo, Live Search y Exalead • Visibilidad: El número total de enlaces externos únicos recibidos (inlinks) por un sitio que se pueden obtener de forma consistente desde Yahoo Search, Live Search y Exalead • Ficheros ricos: . PDF. PS. DOC. PPT • Google Scholar: Los resultados obtenidos de la base de datos del Google Académico comprenden artículos, informes y otro tipo de documentos académicos Ambito • Internacional Número de instituciones • 12 000 UPNA • Sí Desagregación • No Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 63

Rankings de universidades Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 64

Rankings de universidades Nombre • Academic Ranking of World Universities (ARWU) • Shangai Jiao Tong University Ranking • Ranking de Shangai Productor • Universidad Jiao Tong de Shanghái • China Indicadores • Premios Nobel o Medallas Fields que ha tenido la universidad (10%) • Premios Nobel o Medallas Fields activos (20%) • Número de investigadores altamente citados (20%) • Número de artículos publicados en Science y Nature (20%) • Número de trabajos en SCI y SSCI (20%) • Puntuación de todos los indicadores anteriores dividida entre el número de académicos de tiempo completo (10%). Ambito • Internacional Número de instituciones • 500 UPNA • No Desagregación • Por áreas y materias Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 65

Rankings de universidades Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 66

Rankings de universidades Nombre • Leiden Ranking Productor • Centre for Science and Technology Studies (CWTS), Leiden University • Holanda Indicadores • Número de publicaciones • Impacto normalizado (crown indicator y alternative) • Potencial investigador • Promedio de citas por artículo Ambito • Internacional Número de instituciones • 500 UPNA • No Desagregación • Por indicador Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 67

Rankings de universidades Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 68

Rankings de universidades Nombre • Scimago Institutions Rankings Productor • Grupo SCImago (Consejo Superior de Investigaciones Científicas (CSIC), las universidad de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares) • España Indicadores • Número de publicaciones • Ratio de colaboración internacional • Impacto normalizado • Tasa de publicaciones en Q 1 de SJR Ambito • Internacional e Iberoamérica Número de instituciones • 3500 UPNA • Sí Desagregación • No Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 69

Rankings de universidades Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 70

Rankings de universidades Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 71

Rankings de universidades Nombre • Indicadores bibliométricos de la actividad científica española Productor • FECYT y Grupo SCImago (Consejo Superior de Investigaciones Científicas (CSIC), las universidad de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares) • España Indicadores • Indicadores de producción • Indicadores de especialización • Indicadores de impacto Ambito • España Número de instituciones • 50 UPNA • Sí Desagregación • Por área científica, comunidades autónomas, universidades Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 72

Rankings de universidades Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 73

Rankings de universidades Nombre • Ranking ISI de las universidades españolas según campos científicos Productor • Grupo EC 3: Evaluación de la Ciencia y de la Comunicación Científica ( Universidad de Granada – Universidad de Navarra) • España Indicadores • Número de documentos • Número de citas • Índice H • Tasa de documentos en Q 1 • Promedio de citas por documento • Tasa de documentos altamente citados (primer decil en su materia entre todas las universidades) Ambito • España Número de instituciones • 52 UPNA • Sí Desagregación • Por campo científico Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 74

Rankings de universidades Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 75

Rankings de universidades Nombre • QS World University Ranking • Times Ranking Productor • The Times & QS Quacquarelli Symonds Limited • United Kingdom Indicadores • 60% a la "calidad de la investigación“ • 10% a la capacidad de que un graduado obtenga empleo • 10% a la "presencia internacional" • 20% al cociente estudiantes/académicos Ambito • Internacional Número de instituciones • 650 UPNA • No Desagregación • Por materias Tipología • Ranking Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 76

Rankings de universidades Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 77

Rankings de universidades Nombre • CHE University Ranking Productor • Semanario Die Zeit • Alemania Indicadores • Oferta académica • Profesorado • Equipamiento • Orientación internacional • Orientación al mercado de trabajo • Opinión • Investigación: Patentes, publicaciones, citas, Tesis, subvenciones de terceros • Ambiente universitario de la ciudad Ambito • Alemania, Austria y Suiza Número de instituciones • 250 UPNA • No Desagregación • Por materias Tipología • Ranking Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 78

Rankings de universidades Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 79

Bibliografía BANKS, M. A. ; DELLAVALLE, R. (2008). Emerging alternatives to the impact factor. OCLC Systems & Services Volume: 24 Issue: 3. [PDF] BRADFORD, S. C. (1934). Sources of information on specific subjects. Engineering, 137 : 85– 86. BUSH, V. (1945). Science, The Endless Frontier: A Report to the President on a Program for Postwar Scientific Research. Reprinted by the National Science Foundation, Washington, DC, 1990. [ PDF] CALLON, M; COURTIAL, J. P. ; Penan, H. (1995). Cienciometría: el estudio cuantitativo de la actividad científica: de la bibliometría a la vigilancia tecnológica. Gijón: TREA. [Ver en catálogo BUPNA] CAMPBELL, F. B. F. (1896). Theory of the National and International Bibliography: with Special Reference to the Introduction of System in the Record of Modern Literature. Library Bureau, London, England. COLE, F. J. ; EALES N. B. (1917). The history of comparative anatomy. Part I: A statistical analysis of the literature. Science Progress (London), 11 : 578– 596. DE MOYA ANEGÓN, F. et al. Indicadores bibliométricos de la actividad científica española 2008. Madrid: FECYT, 2008 [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 80

Bibliografía DOBROV, G. M. (1966). Nauka o Nauke. Kiev, Naukova. GARFIELD, E. (1955). A citation Index for Science: A New Dimension in Documentation through Association of Ideas. Science, 122 (3159) : 108 -11 [ PDF] GARFIELD, E. (1972). Citation analysis as a tool in journal evaluation. Science, 178 (60) : 471 -479 [PDF] GONZÁLEZ-PEREIRA, B. , GUERRERO-BOTE, V. P. & MOYA-ANEGÓN, F. (2009). The SJR indicator: A new indicator of journals' scientific prestige. ar. Xiv: 0912. 4141 v 1. [ PDF] HULME, E. W. (1923). Statistical bibliography in relation to the growth of modern civilization. Grafton & Co. , London, pp. 29– 44. [PDF] KAROLINSKA INSTITUTET BIBLIOMETRICS PROJECT GROUP (2008). Bibliometrics: Publication Analysis as aa tool for science mapping and research assessement. Stockholm: Karolinska Institutet. [PDF] KUHN, T. S. (1962). The Structure of Scientific Revolutions. Chicago: University of Chicago Press. [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 81

Bibliografía LOTKA, A. J. (1926). The frequency distribution of scientific productivity. Journal of the Washington Academy of Science, 16 (12) : 317– 323. MALTRÁS BARBA, B. (2003). Los indicadores bibliométricos: fundamentos y aplicación al análisis de la ciencia. Gijón: TREA. [Ver en catálogo BUPNA] MERTON, R. K. (1942). The Normative Structure of Science. In: Merton, Robert K. (1979 -09 -15). The Sociology of Science: Theoretical and Empirical Investigations. Chicago, IL: University of Chicago Press [PDF] MERTON, R: K. (1968). The Matthew Effect in Science, 159 (3810) : 56 -63. [ PDF] NACKE, O. (1979). Informetrie: eine neuer Name für eine neue Disziplin. Nachrichten für Documentation, 30 (6) : 219 -226 OTLET, P. (1934). Traitée de Documentation. Le Livre sur le Livre. Theorie et Pratique. Van Keerberghen, Brussels. (BUPNA PISO 1º A 300 -9 -1) [ Ver en catálogo BUPNA] PRICE, D. J. de S. (1963). Little Science, Big Science. New York: Columbia University Press Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 82

Bibliografía PRICE, D. J. de S. (1965). Networks of Scientific Papers. Science 149 (3683) : 510 -515 PRICE, D. J. de S. (1967). Nations can Publish or Perish. International Science and Technology 70 : 84 -90 NALIMOV, V. V. ; MULCHENKO Z. M. (1969). Measurement of Science. Study of the Development of Science as an Information Process [PDF] ORDUÑA-MALEA, E. ET AL. (2010). Presencia y visibilidad web de las universidades públicas españolas. Revista española de Documentación Científica, 33(2): 246 -278 doi: 10. 3989/redc. 2010. 2. 740 [ PDF] PRITCHARD, A. (1969). Statistical bibliography or bibliometrics? . Journal of Documentation, 25 : 348– 349. [PDF] REHN, C; KRONMAN, U. ; WADSKOG, D. (2007). Bibliometric indicators: definition and usage at Karolinska Institutet. Stockholm: Karolinska Institutet. [PDF] REHN, C; KRONMAN, U. (2008). Bibliometric habdbook for Karolinska Institutet. Stockholm: Karolinska Institutet [PDF] Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 83

Bibliografía SCHOLZE, F. (2007). Measuring research impact in an open access environment. LIBER 36 th Annual Conference, Warsaw, 3 -7 July 2007. [PDF] SENGUPTA, I. N. (1992). Bibliometrics, informetrics, scientometrics and librametrics: an overview. Libri, 42 : 75– 98. [PDF] SHEPHERD, P. T. (2007). Final Report on the Investigation into the Feasibility of Developing and Implementing Journal Usage Factors. United Kingdom Serials Group [PDF] STEELMAN J. R. (1947). Science and Public Policy. Washington, DC: Government Printing Office. [PDF] TARABORELLI, D. (2008). Soft peer review: social software and distributed scientific evaluation. To appear in: Proceedings of the 8 th International conference on the Design of Cooperative Systems (COOP ‘ 08) , Carry-Le Rouet, May 20 -23. [PDF] ZIPF, G. K. (1949). Human behavior and the principle of least effort, Addison-Wesley, Reading, MA. Herramientas bibliográficas e indicadores bibliométricos para la evaluación de la investigación 84