# data[].attributes.headline
Declaración De San Francisco Sobre La Evaluación De LaInvestigación 

# data[].attributes.subject
Declaración De San Francisco Sobre La Evaluación De LaInvestigación 

# data[].attributes.body
Marta Citán: Existe una necesidad de mejorar la forma en que las agencias de financiación, las instituciones académicas y otros grupos evalúan la investigación científica. Para abordar este tema, un grupo de editores de revistas académicas se reunió durante la Reunión anual de la American Society for Cell Biology (ASCB) en San Francisco, California, el 16 de diciembre de 2012. Este grupo desarrolló una serie de recomendaciones, conocidas como la Declaración de San Francisco sobre la Evaluación de la Investigación. Invitamos a los grupos interesados ​​de todas las disciplinas científicas a mostrar su apoyo agregando sus nombres a esta declaración. Los productos de la investigación científica son muchos y variados, e incluyen: artículos de investigación que informan sobre nuevos conocimientos, datos, reactivos y software; propiedad intelectual y jóvenes científicos capacitados. Las agencias financieras, las instituciones que emplean científicos y los propios científicos, tienen el deseo y la necesidad de evaluar la calidad y el impacto de los resultados científicos. Por lo tanto, es imperativo que la producción científica se mida con precisión y se evalúe con prudencia. El factor de impacto se utiliza con frecuencia como parámetro principal con el que compara la producción científica de individuos e instituciones. El factor de impacto, calculado por Thomson Reuters*, se creó originalmente como una herramienta para ayudar a los bibliotecarios a identificar revistas para comprar, no como una medida de la calidad científica de la investigación en un artículo. Teniendo esto en cuenta, es fundamental comprender que el factor de impacto tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación. Estas limitaciones incluyen: A. las distribuciones de citas dentro de las revistas son muy sesgadas [1-3], B. las propiedades del factor de impacto son específicas de cada campo: es un compuesto de múltiples tipos de artículos altamente diversos, incluyendo trabajos de investigación primaria y revisión [1, 4], C. los factores de impacto pueden ser manipulados (o evaluados) por la política editorial [5], y D. los datos utilizados para calcular el factor de impacto no son transparentes ni están abiertamente disponibles para el público [4, 6, 7]. A continuación, hacemos una serie de recomendaciones para mejorar la forma en que se evalúa la calidad de la producción científica.

# data[].attributes.attachment_caption
Indicar el Ranking de revistas científicas en Latinoamérica mediante el índice h : estudio de caso Colombia | Revista Española de Documentación Científica

# data[].attributes.attachment_link.title
Vista de Ranking de revistas científicas en Latinoamérica mediante el índice h : estudio de caso Colombia | Revista Española de Documentación Científica

# data[].attributes.attachment_link.description
Volver a los detalles del artículo Ranking de revistas científicas en Latinoamérica mediante el índice h : estudio de caso Colombia

# data[].attributes.headline
Ranking de revistas científicas en Latinoamérica mediante el índice h: estudio de caso Colombia

# data[].attributes.subject
Ranking de revistas científicas en Latinoamérica mediante el índice h: estudio de caso Colombia

# data[].attributes.body
A. Rodríguez
El objetivo del artículo es analizar el impacto y la visibilidad de las revistas científicas de Latinoamérica en diferentes bases de datos bibliográficas, como Scopus, Web of Science, SciELO y Redalyc.

Estos utilizan una metodología basada en el análisis bibliométrico de indicadores como el factor de impacto, el índice h, el índice g y el índice Q.

Los resultados del ranking de las 100 revistas más citadas de Latinoamérica según cada base de datos, así como el ranking combinado de las 50 revistas más citadas según los cuatro sistemas. Estos concluyen que hay una gran diversidad y heterogeneidad en el panorama editorial de Latinoamérica, y que es necesario mejorar la calidad y la visibilidad de las revistas científicas de la región, también propone algunas recomendaciones para los editores, los autores y los evaluadores de las revistas científicas de Latinoamérica.

# data[].attributes.headline
Anibal Santiago , Resultados  . Cuantificación, relación y selección de indicadores de citación

# data[].attributes.subject
Anibal Santiago , Resultados  . Cuantificación, relación y selección de indicadores de citación

# data[].attributes.body
En la revista CSIC que son especificas en las  ciencias sociales indican que existió una correlación negativa de la con algunas variables indicadoras, como también asociaciones positivas entre otros indicadores.
Y es por ello que cuando mencionan  a los indicadores de Scopus, se entiende que no existieron correlaciones significativas con ninguna variable.

Y es por ello que para seleccionar el mejor indicador, el análisis de factores  les indicó que en el área general de ciencias las variables indicadoras no fueron paralelamente  independientes y se encuentran en el mismo espacio vectorial.
Tambíen se pudo obtener mas información en cual cuál el  análisis mostró que en la combinación lineal de las variables, un solo factor explicó el 66.58% de la varianza .

Así mismo, al tomar los valores de h como una sola muestra, existió una correlación intermedia entre los índices h de Google Académico y Scopus

# data[].attributes.headline
Ranking de revistas científicas en Latinoamérica

# data[].attributes.subject
Ranking de revistas científicas en Latinoamérica

# data[].attributes.body
A. Rodríguez
Hacen una comparación entre países en desarrollo y países desarrollados tomando en cuenta esto:
Ranking de revistas científicas en Latinoamérica
Bajo reconocimiento internacional de sus avances de investigación
Barrera lingüística de los autores
Baja disponibilidad de acceso en línea
Los estándares de calidad editorial son altamente variables
Existen relaciones endogámicas entre países y revista
La mayor proporción de la producción nacional se publica en revistas domésticas, por lo cual, una considerable cantidad de publicaciones no están incluidas en índices de citación
Las revistas no son una industria, no son subsidiadas apropiadamente
La visibilidad internacional depende de la colaboración con pares extranjeros

# data[].attributes.headline
Ranking de revistas científicas en Latinoamérica

# data[].attributes.subject
Ranking de revistas científicas en Latinoamérica

# data[].attributes.body
Para concluir nos dicen que: Con la metodología empleada es posible realizar un ranking y homologación de revistas latinas no incluidas en el Web of Science o Scopus. Esto se validó en el caso de Colombia para las revistas de las áreas generales de ciencias y ciencias sociales, donde la clasificación inicial de la Base Bibliográfica Nacional Publindex cambió, al aplicar el índice h. La indexación en Google Académico es una estrategia adecuada para mejorar la visibilidad de las revistas de investigación, ya que permite su monitoreo a través de indicadores bibliométricos. Se espera realizar una nueva medición para determinar el cambio en los indicadores y ranking de las revistas.

# data[].attributes.body
Comentar acerca de los Indicadores bibliométricos y herramientas para su localización en Ciencias de la Salud.

Los indicadores bibliométricos son el factor de impacto que se utiliza para comparar la importancia de una revista con relación a otras del mismo campo científico según las citas recibidas por los articulos que publica, Los indicadores reflejan el número promedio anual de citas de articulos recientes publicados en una revista, son los principales herramientas internacionales para localizar el factor de impacto.

# data[].attributes.attachment_link.title
Indicadores bibliométricos y herramientas  para su localización en Ciencias de la Salud:(...)

# data[].attributes.headline
Nancy. Manifiesto de Leiden y DORA: situemos las métricas en su lugar 

# data[].attributes.subject
Nancy. Manifiesto de Leiden y DORA: situemos las métricas en su lugar 

# data[].attributes.body
El Manifiesto de Leiden sobre indicadores de investigación

Valora y reconoce los resultados de la investigación, publicaciones, conjuntos de datos y software, también otros tipos de participaciones, como la capacitación de investigadores de carrera temprana y la influencia en políticas y prácticas.

Más allá de la cantidad, recomienda basarse en la calidad de las investigaciones y se resume en:
1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos
2. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador
3. La excelencia en investigación de relevancia local debe ser protegida
4. Los procesos de recopilación y análisis de datos deben ser abiertos y simples
5. Los datos y análisis deben estar abiertos a verificación por los evaluados
6. Debe evitarse el esmero falso
7. Deben reconocerse la evaluación y los indicadores
8. Los indicadores deben ser examinados y actualizados periódicamente

En conlusión, cuando se aplica cada uno de estas recomendaciones se realizan buernas prácticas y con mucha responsabilidad en la investigación y todo lo que tiene relación con la misma, de lo contrario, se obtendrían riesgos en el sistema.

# data[].attributes.headline
Ranking de revistas científicas en Latinoamérica

# data[].attributes.subject
Ranking de revistas científicas en Latinoamérica

# data[].attributes.body
El artículo hace énfasis en "Baja disponibilidad de acceso en línea"; con el ánimo de medir la visibilidad de revistas Latinoamericanas no indexadas, ello mediante el empleo de un estudio de caso.
Actualmente Colombia cuenta con la Base Bibliográfica Nacional Publindex (BBNP), sistema orientado a la indexación de revistas según criterios de calidad científica y editorial. Así mismo, este sistema de clasificación tiene dos importantes consecuencias en el Sistema Nacional de Ciencia y Tecnología e Innovación y en el Ministerio de Educación. Sobre el escalafón docente de instituciones de educación superior, media y básica al determinar ascensos laborales y bonificaciones salariales; y sobre la clasificación de los grupos de investigación colombianos.

Entre los principales criterios a tener en cuenta para la indexación internacional, la selección de destinos de publicación por parte de los autores, o inclusive la permanencia o cierre de una revista, son sus indicadores de citación

# data[].attributes.body
Comentar de que trata la Declaración de San Francisco sobre la evaluación de la investigación

Declaración De San Francisco Sobre La Evaluación De La Investigación

La declaración reconoce que el factor de impacto y otras métricas basadas en revistas no son medidas precisas de la calidad de la investigación individual. Factores como la disciplina, el idioma y el prestigio de la revista pueden sesgar estas métricas. Además, pueden promover la publicación de artículos de investigación, que son más fáciles de escribir y publicar, en lugar de artículos más significativos e innovadores.

La declaración DORA insta a las agencias de financiamiento, instituciones académicas y otras partes a utilizar una variedad más amplia de métricas para evaluar la investigación. Estas métricas pueden incluir la calidad de la investigación, la relevancia de los hallazgos y el impacto de la investigación en la sociedad.

La Declaración de San Francisco tiene múltiples ventajas para la bibliotecología y la ciencia de la información documental. Para empezar, puede mejorar la calidad de la investigación científica. Se puede obtener una imagen más completa de la calidad de la investigación al utilizar una gama más amplia de métricas. También se garantiza que los investigadores sean recompensados por sus contribuciones a la ciencia.

En segundo lugar, con la Declaración de San Francisco se puede reducir el proceso en el que el investigador influye en la investigación sistemática para llegar a determinados resultados. Con esta herramienta se busca crear credibilidad en la evaluación de la investigación y garantizar que todos los investigadores tengan la oportunidad de ser reconocidos por sus contribuciones al utilizar una gama más amplia de métricas.

En tercer lugar, es posible que la Declaración de San Francisco ayude a fomentar la innovación en la investigación científica. Se puede promover que la investigación sea significativa e innovadora al centrarse en la calidad de los métodos de investigación, la relevancia de los hallazgos y el impacto de la investigación en la sociedad.

La Declaración de San Francisco es un paso significativo hacia una evaluación de la investigación más justa y precisa. Como bibliotecólogos y científicos de la información, podemos apoyar la declaración y promover una investigación científica más sólida.

Se busca reconocer el valor  de la investigación científica, enfocándose en aspectos como calidad y la contribución real de los investigadores e impacto que tienen al conocimiento científico, la declaración tiene apoyo de científicos de la información y bibliotecólogos.

Algunas de las recomendaciones generales de DORA:

Mejorar la calidad de la investigación científica.

Reducir el sesgo en su evaluación y fomenta la innovación.

Fomentar la transparencia y el comienzo.

Fomentar la variedad de métricas.

Evaluar a los investigadores de manera plena.

Evitar la evaluación basada en el lugar de publicación.

Promover la investigación científica.

Educar a la comunidad científica.

# data[].attributes.attachment_link.readable_text
Existe una necesidad apremiante de mejorar la forma en que las agencias de financiación, las instituciones académicas y otros grupos evalúan la investigación científica. Para abordar este tema, un grupo de editores de revistas académicas se reunió durante la Reunión anual de la American Society for Cell Biology (ASCB) en San Francisco, California, el 16 de diciembre de 2012. Este grupo desarrolló una serie de recomendaciones, conocidas como la Declaración de San Francisco sobre la Evaluación de la Investigación. Invitamos a los grupos interesados de todas las disciplinas científicas a mostrar su apoyo añadiendo sus nombres a esta declaración.

Los productos de la investigación científica son muchos y variados, e incluyen: artículos de investigación que informan sobre nuevos conocimientos, datos, reactivos y software; propiedad intelectual y jóvenes científicos capacitados. Las agencias financiadoras, las instituciones que emplean científicos y los propios científicos, tienen el deseo y la necesidad de evaluar la calidad y el impacto de los resultados científicos. Por lo tanto, es imperativo que la producción científica se mida con precisión y se evalúe con prudencia.

El factor de impacto se utiliza con frecuencia como parámetro principal con el que comparar la producción científica de individuos e instituciones. El factor de impacto, calculado por Thomson Reuters*, se creó originalmente como una herramienta para ayudar a los bibliotecarios a identificar revistas para comprar, no como una medida de la calidad científica de la investigación en un artículo. Teniendo esto en cuenta, es fundamental comprender que el factor de impacto tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación.

Estas limitaciones incluyen:

1. las distribuciones de citas dentro de las revistas son muy sesgadas [1-3],

2. las propiedades del factor de impacto son específicas de cada campo: es un compuesto de múltiples tipos de artículos altamente diversos, incluyendo trabajos de investigación primaria y revisiones [1, 4],

3. los factores de impacto pueden ser manipulados (o evaluados) por la política editorial [5], y

4. los datos utilizados para calcular el factor de impacto no son transparentes ni están abiertamente disponibles para el público [4, 6, 7].

A continuación, hacemos una serie de recomendaciones para mejorar la forma en que se evalúa la calidad de la producción científica. Los productos que no sean artículos de investigación crecerán en importancia a la hora de evaluar la eficacia de la investigación en el futuro, pero el documento de investigación revisado por pares seguirá siendo primordial para la evaluación de la investigación. Por lo tanto, nuestras recomendaciones se centran en las prácticas relacionadas con los artículos de investigación publicados en revistas revisadas por pares, pero pueden y deben ampliarse reconociendo productos adicionales, como los conjuntos de datos, ya que son productos de investigación importantes. Estas recomendaciones están dirigidas a agencias financiadoras, instituciones académicas, revistas, organizaciones que proporcionan métricas e investigadores individuales.

Estas recomendaciones cubren una serie de temas:

La necesidad de eliminar el uso de métricas basadas en revistas, tales como el factor de impacto, en consideraciones de financiamiento, nombramiento y promoción,

la necesidad de evaluar la investigación por sus propios méritos en lugar de basarse en la revista en la que se publica la investigación, y

la necesidad de capitalizar las oportunidades que ofrece la publicación en línea (como flexibilizar los límites innecesarios en el número de palabras, figuras y referencias en los artículos, y explorar nuevos indicadores de importancia e impacto).

Reconocemos que múltiples agencias financiadoras, instituciones, editores e investigadores ya están fomentando mejores prácticas en la evaluación de la investigación. Dichos pasos están comenzando a aumentar el impulso hacia enfoques más sofisticados y significativos para la evaluación de la investigación que ahora pueden ser desarrollados y adoptados por todas las partes clave involucradas.

Los signatarios de la Declaración de San Francisco sobre la Evaluación de la Investigación apoyan la adopción de las siguientes prácticas en la evaluación de la investigación.
Recomendación general

No utilice métricas basadas en revistas, como el factor de impacto, como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en las decisiones de contratación, promoción o financiación.
Para las agencias de financiación

1. Sea explícito sobre los criterios utilizados para evaluar la productividad científica de los solicitantes de fondos de investigación, especialmente para los investigadores que están iniciando su carrera investigadora, que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.

2. Con el fin de evaluar la investigación, considere el valor y el impacto de todos los resultados de la investigación (incluidos los conjuntos de datos y el software) además de las publicaciones de investigación, y considere una amplia gama de medidas de impacto que incluyan indicadores cualitativos, como la influencia sobre la política y prácticas científicas.

Para las instituciones

1. Sea explícito sobre los criterios utilizados para realizar decisiones de contratación, permanencia y promoción, destacando, especialmente para los investigadores que están iniciando su carrera investigadora, que el contenido científico de un trabajo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.

2. Con el fin de evaluar la investigación, considere el valor y el impacto de todos resultados de la investigación (incluidos los conjuntos de datos y el software) además de las publicaciones de investigación, y considere una amplia gama de medidas de impacto, incluidos los indicadores cualitativos del impacto de la investigación, como la influencia sobre la política y prácticas científicas.

Para las editoriales

1. Reduzca profundamente el énfasis en el factor de impacto como herramienta promocional, idealmente dejando de promover su uso o presentando la métrica en el contexto de una variedad de métricas basadas en revistas (por ejemplo, factor de impacto de 5 años, EigenFactor [8], SCImago [9], h-index, tiempo editorial y de publicación, etc.) que proporcionan una visión más amplia del rendimiento de la revista.

2. Ponga a disposición una variedad de métricas a nivel de artículo para alentar un cambio hacia la evaluación basada en el contenido científico de un artículo en lugar de las métricas de publicación de la revista en la que se publicó.

3. Fomente las prácticas de la autoría responsable y la provisión de información sobre las contribuciones específicas de cada autor.

4. Independientemente de que una revista sea de acceso abierto o basada en suscripciones, elimine todas las limitaciones de reutilización de las listas de referencias en los artículos de investigación y haga que estén disponibles bajo la dedicación de dominio público de Creative Commons [10].

5. Elimine o reduzca las restricciones sobre el número de referencias en los artículos de investigación y, cuando corresponda, ordene la citación de la literatura primaria a favor de las revisiones para dar crédito al grupo o los grupos que primero informaron de un hallazgo.

Para las organizaciones que proporcionan métricas

1. Sea abierto y transparente al proporcionar datos y métodos utilizados para calcular las métricas.

2. Proporcione los datos bajo una licencia que permita la reutilización sin restricciones y proporcione acceso computacional a los datos, cuando sea posible.

3. Especifique que no se tolerará la manipulación inapropiada de las métricas; sea explícito sobre lo que constituye una manipulación inapropiada y qué medidas se tomarán para combatirla.

4. Tenga en cuenta la variación en los tipos de artículos (por ejemplo, revisiones frente a artículos de investigación) y en las diferentes áreas temáticas al utilizar, agregar o comparar métricas.

Para los investigadores

1. Cuando participe en comités que toman decisiones sobre financiación, contratación, permanencia o promoción, realice evaluaciones basadas en el contenido científico en lugar de en métricas de publicación.

2. Cuando sea apropiado, cite literatura primaria en que las observaciones son referidas primero, en lugar de revisiones para dar crédito donde debe darse.

3. Utilice una gama de métricas e indicadores basadas en declaraciones personales y de apoyo, como evidencia del impacto de artículos individuales publicados y otros resultados de investigación [11].

4. Impugne las prácticas de evaluación que dependen indebidamente del factor de impacto y promueva y enseñe prácticas que se centren en el valor y la influencia de los resultados de investigación específicos.

Referencias

1. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. J. Cell Biol. 180, 254-255.

2. http://www.eigenfactor.org/

3. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers

4. http://altmetrics.org/tools/

* El Journal Impact Factor actualmente es publicado por Clarivate Analytics

PDF: DORA_Spanish.pdf

This is a translation of the DORA text at https://sfdora.org/read, contributed by Beatriz Pardal-Peláez. It is also published in Revista ORL ( http://dx.doi.org/10.14201/orl.17845) and is made available under the terms of the Creative Commons Attribution International License. We are very grateful to the volunteers who have produced and checked the translations of the declaration. Errors might occasionally occur and if you do spot one, please contact info@sfdora.org.

# data[].attributes.attachment_link.description
The Declaration on Research Assessment (DORA) recognizes the need to improve the ways in which the outputs of scholarly research are evaluated.

# data[].attributes.body
Comentar de que trata el Manifiesto de Leiden y DORA: situemos las métricas en su lugar

# data[].attributes.attachment_link.readable_text
La proliferación de métricas para medir la actividad científico-académica, y el aumento en paralelo de instrumentos para la obtención de las mismas, lleva al siguiente y necesario paso: reflexionar sobre las condiciones adecuadas de su utilización, sobre todo para la evaluación de carreras académicas, puesto que hablamos de vidas humanas.

Por fortuna, nos pueden ayudar dos declaraciones sumamente importantes (de 2014 y 2012, respectivamente), apoyadas por miles de investigadores de primera linea de todo el mundo, y que trataremos en lo que sigue. Se trata de las siguientes:

En los dos casos, lo que haré será reproducir los puntos esenciales de cada uno, como parte de una modesta contribución a su difusión, y después presentaré alguna síntesis. Creo que, como motivación para considerar ambas declaraciones, pueden servir dos párrafos seleccionados y procedentes de cada una de las declaraciones.

El que sigue, es del Leiden Manifesto (el destacado es mío):

Los indicadores han proliferado: normalmente bien intencionados, no siempre bien informados, y a menudo mal aplicados. Cuando organizaciones sin conocimiento sobre buenas prácticas e interpretación apropiada de indicadores llevan a cabo las evaluaciones, corremos el riesgo de dañar el sistema científico con los mismos instrumentos diseñados para mejorarlas.

Fuente: Leiden Manifesto

Este párrafo, por su parte, procede de DORA:

The Journal Impact Factor, as calculated by Thomson Reuters, was originally created as a tool to help librarians identify journals to purchase, not as a measure of the scientific quality of research in an article. With that in mind, it is critical to understand that the Journal Impact Factor has a number of well-documented deficiencies as a tool for research assessment.

Fuente DORA

A continuación, primero presentaré una síntesis de ambas declaraciones, para pasar después a tratarlas por separado de una forma detallada.

Además, al final de esta entrada he añadido varios enlaces de publicaciones de la máxima solvencia sobre el uso inadecuado del factor de impacto. Uno de ellos, nada menos que de la revista número uno ¡por factor de impacto!

Así es, incluso estas revistas que se benefician de un factor de impacto estratosférico denuncian sus graves problemas intrínsecos. Algo, al menos, muy significativo.

SÍNTESIS LEIDEN/DORA

Recomendación general

Los indicadores cuantitativos ofrecen un buen apoyo para la evaluación, pero las métricas no pueden sustituir las decisiones informadas. La valoración de la calidad de una investigación o de un artículo debe basarse en la investigación misma y por métricas a su nivel y no solamente, por ejemplo, por el factor de impacto de la revista donde se haya publicado. No hacerlo así significa que los evaluadores abandonan su responsabilidad.
Recomendaciones específicas
En la evaluación de carreras académicas, deben tenerse en cuenta las diferencias entre: (1) áreas de conocimiento (p.e. Ciencias vs Ciencias Sociales), (2) perfiles personales (p.e. investigador novel vs investigador sénior) y (3) las prácticas de publicación de cada área (libros en humanidades, comunicaciones en informática, artículos en economía, etc.).

La ciencia relevante publicada en lenguas diferentes del inglés debe ser reconocida y preservada.

El factor de impacto de las revistas es un indicador orientativo, pero no puede utilizarse para valorar la calidad de los artículos que se someten a evaluación, tampoco como elemento decisivo para evaluar carreras académicas en las cuales deben combinarse, además criterios cualitativos y cuantitativos

Fuente: Síntesis de Manifiesto de Leiden y DORA

A continuación, procedemos a presentar con más detalle ambas declaraciones, comenzando por el Manifiesto de Leiden.

El Manifiesto de Leiden sobre indicadores de investigación

El Manifiesto de Leiden debe su nombre a la ciudad y la Universidad del mismo nombre. Fue elaborado con motivo de una conferencia celebrada en el año 2014 en el Centre for Science and Technology Studies de la Leiden Universiteit (Holanda). Fue publicado seguidamente en Nature, una de la revistas científicas más importantes del mundo.

Referencia: Hicks, D.; Wouters, P.; Waltman, L.; de Rijcke, S.; Rafols, I. " Bibliometrics: The Leiden Manifesto for research metrics". Nature, 22 April 2015, n. 520, p. 429-431. PDF en ingles | PDF en castellano

Los diez puntos en los que se concreta el Manifiesto de Leiden son los siguientes:

01. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos
02. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador
03. La excelencia en investigación de relevancia local debe ser protegida
04. Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples
05. Los datos y análisis deben estar abiertos a verificación por los evaluados
06. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta
07. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación
08. Debe evitarse la concreción improcedente y la falsa precisión
09. Deben reconocerse los efectos sistémicos de la evaluación y los indicadores
10. Los indicadores deben ser examinados y actualizados periódicamente

Quiero destacar que cada uno de los 10 puntos anteriores está desarrollado en el Manifiesto original, al que remito a todos los interesados.

Por su especial interés, voy a reproducir el contenido de los puntos 1, 3, 6 y 7 (como en los casos anteriores, los destacados son míos):
1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos

Los indicadores pueden corregir la tendencia a perspectivas sesgadas que se dan en revisión por pares y facilitar la deliberación. En este sentido, los indicadores pueden fortalecer la evaluación por pares puesto que tomar decisiones sobre colegas es difícil sin varias fuentes de información. Sin embargo, los evaluadores no deben ceder a la tentación de supeditar las decisiones a los números. Los indicadores no pueden sustituir a los razonamientos informados. Los decisores tienen plena responsabilidad sobre sus evaluaciones

3. La excelencia en investigación de relevancia local debe ser protegida

En muchas partes del mundo, excelencia en investigación se asocia únicamente con publicaciones en inglés. La ley española, por ejemplo, explicita el deseo y la conveniencia que los académicos españoles publiquen en revistas de alto impacto. El factor de impacto se calcula para revistas indexadas por Web of Science, que es una base de datos basada en los Estados Unidos y que contiene una gran mayoría de revistas en inglés. Estos sesgos son especialmente problemáticos en las ciencias sociales y las humanidades, áreas en las que la investigación está más orientada a temas regionales y nacionales. Muchos otros campos científicos tienen una dimensión nacional o regional -por ejemplo, epidemiología del VIH en el África subshariana.

Este pluralismo y la relevancia social tienden a ser suprimidos cuando se crean artículos de interés a los guardianes del alto impacto: las revistas en inglés. Los sociólogos españoles muy citados en Web of Science han trabajado en modelos abstractos o estudiado datos de los Estados Unidos. En ese proceso se pierde la especificidad de los sociólogos con alto impacto en las revistas en castellano: temas como la ley laboral local, atención médica para ancianos o empleo de inmigrantes. Indicadores basados en literatura de alta calidad no inglesa servirían para identificar y recompensar la excelencia en investigación localmente relevante.

6. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta

La mejor práctica en evaluación es proponer una batería de indicadores y dejar que los distintos campos científicos escojan los indicadores que mejor les representan. Hace unos años, un grupo de historiadores recibió una puntuación relativamente baja en una evaluación nacional de pares porque escribían libros en vez de artículos en revistas indexadas por Web of Science. Estos historiadores tuvieron la mala suerte de formar parte del departamento de psicología. La evaluación de historiadores y científicos sociales requiere la inclusión de libros y literatura en la lengua local; la evaluación de investigadores en informática necesita considerar las contribuciones a conferencias.

La frecuencia de citación varía según los campos: las revistas más citadas en ránkings de matemáticas tienen un factor de impacto alrededor de 3; las revistas más citadas en ránkings de biología celular tienen factores de impacto alrededor de 30.

Por lo tanto, se necesitan indicadores normalizados por campo, y el método más robusto de normalización esta basado en percentiles: cada publicación es ponderada según el percentil al que pertenece en la distribución de citaciones de su campo (por ejemplo, el percentil 1%, 10%, 20% más alto). Una única publicación altamente citada mejora un poco la posición de una universidad en un ranking basado en percentiles, pero puede propulsar la universidad de un lugar medio a la primeras posiciones en un ranking basado en promedios de citas.

7. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación

El índice- h aumenta con la edad del investigador, aunque éste ya no publique. El índice- h varía por campos: los científicos en las ciencias de la vida pueden llegar a 200; los físicos a 100 y los científicos sociales a 20 o 30. Es un índice que depende de la base de datos: hay informáticos que tienen un índice- h de 10 en Web of Science, pero de 20 o 30 en Google Scholar. Leer y valorar el trabajo de un investigador es mucho más apropiado que confiar en un único número. Incluso cuando se comparan un gran número de científicos, es mejor adoptar un enfoque que considere información diversa sobre cada individuo, incluyendo sus conocimientos, experiencia, actividades e influencia.

Declaración sobre Evaluación de la Investigación (DORA) de San Francisco

La Declaration on Research Assessment (DORA), tuvo lugar durante la Reunión Anual de la American Society for Cell Biology en San Francisco, en diciembre de 2012.

Sus recomendaciones tienen un total de 18 puntos. Nosotros recogeremos aquí los que me parecen más significativos, sin dejar de recomendar a los interesados la lectura de la declaración completa.

En concreto, me centraré en el primer punto, la recomendación general (1) los que se dirigen a los organismos de financiación (2, 3), los orientados a las instituciones (4, 5) y los que se dirigen a los propios investigadores (15-18). Los que van del 6-14, que obviamos, se dirigen a los editores y a los productores de métricas. Los que he seleccionado son los siguientes:
Recomendación general

1. No utilice métricas basadas en revistas, tales como índices de impacto de revistas, como una medida sustitutiva de la calidad de los artículos de investigación individuales, con el fin de evaluar las contribuciones de un científico, o en la contratación, promoción, o en las decisiones de financiación.

Para los organismos de financiación

2. Sea explícito acerca de los criterios utilizados en la evaluación de la productividad científica de los solicitantes de subvenciones y resalte claramente, sobre todo para los investigadores en fase inicial, que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.

3. A efectos de la evaluación de la investigación, considerare el valor y el impacto de los resultados de la investigación (incluidos los conjuntos de datos y software), además de las publicaciones de investigación, y considerare una amplia gama de medidas de impacto que incluya indicadores cualitativos del impacto de la investigación, como la influencia sobre la política y la práctica.

Para las instituciones

4. Sea explícito acerca de los criterios utilizados para llegar a la contratación, la tenencia y las decisiones de promoción, destacando con claridad, sobre todo para los investigadores en fase inicial, que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.

5. A efectos de la evaluación de la investigación, considerare el valor y el impacto de los resultados de la investigación (incluidos los conjuntos de datos y software), además de las publicaciones de investigación, y considerare una amplia gama de medidas de impacto que incluya indicadores cualitativos del impacto de la investigación, tales como la influencia sobre la política y la práctica .

Para los investigadores

15. Cuando participe en los comités de toma de decisiones sobre la financiación, la contratación, la tenencia, o la promoción, realice evaluaciones basadas en el contenido científico en lugar de en las métricas de publicación.

16. Siempre que sea necesario, cite la literatura primaria en que las observaciones fueron por primera vez publicadas con el fin de dar el crédito a quien merece ese crédito.

17. Use una variedad de métricas de artículos e indicadores sobre las declaraciones personales o de apoyo, como evidencia del impacto de los artículos publicados individuales y otros productos de la investigación.

18. Cambie las prácticas de evaluación de la investigación que se basan inadecuadamente en los índices de impacto y promueva y enseñe las mejores prácticas que se centran en el valor y la influencia de los resultados específicos de la investigación.

Conclusiones

Una consideración previa, muy importante, antes de proponer algunas conclusiones concretas:

Ni Leiden ni DORA rechazan las evaluaciones, ni ponen en duda la necesidad de disponer de indicadores y métricas, cosa que les haría perder toda credibilidad. Aunque una evaluación conviene que tenga un componente de autoevaluación, la evaluación externa e independiente es imprescindible, más aún en el caso de investigaciones y carreras financiadas en parte o totalmente con fondos públicos.
Por tanto, los organismos y los profesionales que producen bases de datos y otros sistemas de registro y análisis de la actividad científica prestan un servicio imprescindible a investigadores y gestores de la ciencia: lo que no se mide no se puede mejorar. Además, son instrumentos de transparencia que ayudan a reconocer los esfuerzos de académicos e investigadores.

A partir de lo anterior, algunas conclusiones muy concretas que entiendo que se pueden obtener a partir de DORA y Leiden:

Las métricas, mal entendidas, pueden acabar utilizándose de forma amenazante para los verdaderos objetivos de la ciencia. En lugar de apoyar su progreso, pueden ser un verdadero obstáculo.

Las dos declaraciones examinadas resultan necesarias y valiosas y hay que promover su conocimiento. Ambas tienen el respaldo de colectivos científicos que han demostrado de forma sobrada su excelencia en la ciencia, y están apoyados por sociedades científicas de proyección internacional.

Ambas descartan formas taxativas de evaluación basadas en indicadores aislados que sustituyan decisiones informadas, entre otras cosas, porque supone que los evaluadores hacen dejación de sus responsabilidades.

En su lugar, recomiendan aproximaciones basadas en el portafolio completo del investigador. Si este portafolio está acompañado, además de buenas métricas, mucho mejor. Pero nunca en sustitución de una decisión informada e integral.

Las declaraciones son especialmente beligerantes con el uso del factor de impacto, que es una medida de la revista, no del artículo, cuando se utiliza como sustituto de la evaluación de la calidad de artículos e investigaciones individuales.

Por último, pero no menos importante, muchos expertos, además de desaconsejar su uso en evaluaciones de carreras académicas y de la calidad de aportaciones científicas, alertan sobre los importantes problemas intrínsecos que presenta el Journal Impact Factor, en sí mismo, como estadístico, independientemente de su aplicación.

Ahora, algunas aportaciones propias sobre la aplicabilidad de estos principios que se defienden en el Leiden y el DORA:

Una característica de las evaluaciones que afectan carreras científicas es que tienen lugar en forma de resoluciones y decretos transparentes que pueden ser examinados, valorados y, en su caso, debatidos públicamente. Es en esta clase de resoluciones donde, poco a poco, parecer irse recogiendo la filosofía de las dos declaraciones anteriores. En especial, se ha podido ver su impacto en algunas agencias y procesos de evaluación.

Sin embargo, muchas evaluaciones se producen en el seno de comités o en equipos de dirección donde los participantes manejan criterios personales que ignoran lastimosamente las últimas tendencias solventes en estas áreas (véase la bibliografía que citan ambas declaraciones).

Debido a la anterior, en algunas comisiones y ámbitos de decisión, incluso aún, de forma incomprensible, en algunas agencias de evaluación, que deciden sobre las carreras de los académicos (promociones, aprobación de proyectos, valoración de investigaciones, etc.), se están tomando decisiones basadas en puntos que las dos declaraciones revisadas dejan totalmente fuera de lugar.

Por desgracia, uno de los motivos de que esto ocurra no es tanto una decisión basada en el conocimiento y la reflexión racional, sino en creencias de los miembros de estas comisiones que, en lugar de basar sus criterios en la evidencia, como debería ser propio de la academia, lo hacen basándose en viejos prejuicios.

Solo me queda volver a insistir en que los interesados lean las dos declaraciones originales completas. Se trata de documentos breves en los dos casos. Seguro que mi visión tiene algún sesgo, así que les animo a que se hagan su propia idea sobre la cuestión. De nuevo, los enlaces a las fuentes:

Para saber más

# data[].attributes.attachment_link.title
Manifiesto de Leiden y DORA: situemos las métricas en su lugar

# data[].attributes.attachment_link.description
El Manifiesto de Leiden y la Declaración de San Francisco, ambos sobre métricas de investigación y su adecuada utilización como herramientas de evaluación.