# data[].attributes.body
Los 10 Manifiestos de Leiden

1. La evaluación cuantitativa tiene que apoyar la valoración cualitativa por expertos.
Los indicadores pueden corregir la tendencia a perspectivas sesgadas que se dan en revisión por pares y facilitar la deliberación

2. El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigado
Los objetivos de un programa de investigación tiene que ser especificados al principio, y los indicadores usados para medir el desempeño tienen que estar claramente relacionados con estos objetivos

3. La excelencia en investigación de relevancia local debe ser protegida
El factor de impacto se calcula para revistas indexadas por Web of Science, que es una base de datos basada en los Estados Unidos y que contiene una gran mayoría de revistas en inglés.

4. Los procesos de recopilación y análisis de datos deben ser abiertos, transparentes y simples.
La construcción de las bases de datos necesarias para evaluar debe seguir procesos establecidos antes de que la investigación sea completada.

5. Los datos y análisis deben estar abiertos a verificación por los evaluados
La mejor práctica en evaluación es proponer una batería de indicadores y dejar que los distintos campos científicos escojan los indicadores que mejor les representan.

# data[].attributes.body
ANA CAP
6. Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta.
La mejor práctica en evaluación es proponer una batería de indicadores y dejar que los distintos campos científicos escojan los indicadores que mejor les representan. Hace unos años, un grupo de historiadores recibió una puntuación relativamente baja en una evaluación nacional de pares porque escribían libros en vez de artículos en revistas indexadas por Web of Science. Estos historiadores tuvieron la mala suerte de formar parte del departamento de psicología. La evaluación de historiadoes y científicos sociales requiere la inclusión de libros y literatura en la lengua local; la evaluación de investigadores en informática necesita considerar las contribuciones a conferencias. La frecuencia de citación varía según los campos: las revistas más citadas en ránkings de matemáticas tienen un factor de impacto alrededor de 3; las revistas más citadas en ránkings de biología celular tienen factors de impactor alrededor de 30.

7. La evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación.
El índice-h aumenta con la edad del investigador, aunque éste ya no publique. El índice-h varía por campos: los científicos en las ciencias de la vida pueden llegar a 200; los físicos a 100 y los científicos sociales a 20 o 30.7 Es un índice que depende de la base de datos: hay informáticos que tienen un índice-h de 10 en Web of Science, pero de 20 o 30 en Google Scholar.8 Leer y valorar el trabajo de un investigador es mucho más apropiado que confiar en un único número. Incluso cuando se comparan un gran número de científicos, es mejor adoptar un enfoque que considere información diversa sobre cada individuo, incluyendo sus conocimiento, experiencia, actividades e influencia.
8. Debe evitarse la concreción improcedente y la falsa precisión.
Los indicadores de ciencia y tecnología tienden a la ambigüedad conceptual y a la incertidumbre, y se fundamentan en hipótesis que no están universalmente aceptadas. Por esta razón, las buenas prácticas usan múltiple indicadores con el fin de construir un retrato robusto y plural. En la medida que sea posible cuantificarla, información sobre incertidumbre y error debería acompañar la valores de los indicadores publicados, por ejemplo usando barras de error. Si esto no fuera posible, los productores de indicadores deberían al menos evitar ofrecer un falso nivel de precisión. Por ejemplo, el factor de impacto de revistas se publica con tres decimales para evitar empates. Sin embargo, dada la ambigüedad conceptual y la variabilidad aleatoria de las citas, no tiene sentido distinguir entre revistas por pequeñas diferencias en el factor de impacto. Se debe evitar la falsa precisión: sólo un decimal está justicaficado.
9. Deben reconocerse los efectos sistémicos de la evaluación y los indicadores.
Los indicadores cambian el sistema científico a través de los incentivos que establecen. Estos efectos deberían ser anticipados. Esto significa que una batería de indicadores es siempre preferible puesto que un solo indicador es susceptible de generar comportamientos estratégicos y substitución de objetivos (según la cual la medida se convierte en un fin en sí misma). Por ejemplo, en los 1990s, Australia financió investigación en universidades de acuerdo con una fórmula basada sobretodo en el número de publicaciones de un instituto. Las universidades podían calcular el "valor" de una publicación en una revista arbitrada; en el año 2000, el valor se estimó en Aus$800 (US$480) destinados a recursos de investigación. Como era de esperar, el número de artículos publicados por autores australianos subió, pero en revistas menos citadas, lo que sugiere que la calidad de los artículos disminuyó.
10. Los indicadores deben ser examinados y actualizados periódicamente.
Las funciones de la investigación y los objetivos de la evaluación cambian o se desplazan, y el sistema de investigación co-evoluciona con ellos. Medidas que fueron útiles en su día pasan a ser inadecuadas y nuevos indicadores aparecen. Por lo tanto, los sistemas de indicadores tienen que ser revisados y tal vez modificados. Al darse cuenta de los efectos de su fórmula simplista de evaluación, en 2010 Australia adoptó la iniciativa Excellence in Research for Australia, que es más compleja y pone énfasis en la calidad.

# data[].attributes.body
Ana Rojas
Tipo de recurso

Recursos de promoción (9)

Estudios de caso (14)

Buenas prácticas (35)

Iniciativas (9)

Artículos de revistas (14)

Políticas y orientación (12)

Documentos de posición (18)

Herramientas (14)

Producido por DORA (22)

Público objetivo

Donantes (35)

Revistas y editoriales (4)

Sociedades profesionales (12)

Institutos de investigación (47)

# data[].attributes.body
Sara Solares
Qué contiene?
* Llamadas a la comunidad
* Publicaciones de invitados.
* Diverso.
* Noticias y anuncios.
* Comentarios de los participantes: impulsar el cambio institucional para la reformación de la evaluación de la investigación.
* La hoja de ruta de Dora.

# data[].attributes.headline
Estudios de casos en Argentina: Foro Latinoamericano de Evaluación de la Investigación

# data[].attributes.subject
Estudios de casos en Argentina: Foro Latinoamericano de Evaluación de la Investigación

# data[].attributes.body
Wendy Pacheco

Fue creado para apoyar el intercambio de conocimientos sobre la reforma de la evaluación de la investigación. Su objetivo principal es facilitar la creación de un estándar de práctica colectivo y mejorado en América Latina y el Caribe, a través de conferencias, talleres y grupos de trabajo.

Un obstáculo es la amplitud de prácticas entre naciones e instituciones, que reveló la necesidad de una infraestructura específica para facilitar la comunicación sobre la reforma de políticas. Por eso, FOLEC está trabajando para efectuar los siguientes elementos de cambio:

Facilitar la transparencia entre las instituciones sobre las prácticas actuales de evaluación de la investigación.

Facilitar espacios de discusión entre países e instituciones de la región sobre cómo abordar la reforma de la evaluación de la investigación mediante la realización de foros y talleres.

Crear documentación colectiva para las instituciones utilizando la retroalimentación iterativa obtenida durante la discusión facilitada por FOLEC.

El primer Foro Latinoamericano de Evaluación de la Investigación realizado por CLACSO y CONACYT en noviembre de 2019 en la Ciudad de México catalizó el cambio en el continente. Esta reunión resultó en varios acuerdos clave entre las partes interesadas:

La importancia de transformar las prácticas de evaluación del trabajo científico.

La necesidad de establecer vínculos con representantes gubernamentales de varios gobiernos de la región para influir en el desarrollo de políticas.

Reconocimiento de la tensión entre el circuito de publicaciones internacionales de propiedad privada y el circuito de publicaciones regionales más autónomo de América Latina y el Caribe.

La necesidad de abordar elementos de la producción de conocimiento que sean cualitativos y, por tanto, más difíciles de medir.

Un diálogo entre repositorios de publicaciones regionales, como Redalyc, SciELO, LATINDEX, entre otros.

Hasta el momento, FOLEC ha publicado tres documentos en español e inglés como parte de una serie, titulada “Por una transformación de la evaluación de la ciencia en América Latina y el Caribe”

# data[].attributes.body
Mirna Isabel Hernández Velásquez
Existe una necesidad apremiante de mejorar la forma en que las agencias de financiación, las instituciones académicas y otros grupos evalúan la investigación científica. para esto un grupo de editores de revistas académicas se reunió en San Francisco California el 16 de diciembre del año 2012, este grupo desarrollo una serie de recomendaciones conocidas como la Declaración de San Francisco sobre la Evaluación de la Investigación.

Los productos de la investigación son muchos y variados y tanto las empresas que financian la investigación científica como los propios científicos tienen la necesidad de evaluar la calidad y el impacto de los resultados de su investigación, por lo tanto, es muy importante que la producción científica se mida con precisión y se evalué con prudencia.

Con frecuencia se utiliza el factor de impacto como el parámetro principal con que comparar la producción científica de individuos e instituciones.

Es fundamental comprender que el factor de impacto tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación.

Estas limitaciones incluyen:

1.    las distribuciones de citas dentro de las revistas son muy sesgadas.

2.    las propiedades del factor de impacto son específicas de cada campo: es un compuesto de múltiples tipos de artículos altamente diversos, incluyendo trabajos de investigación primaria y revisiones.

3.    los factores de impacto pueden ser manipulados (o evaluados) por la política editorial.

4.    los datos utilizados para calcular el factor de impacto no son transparentes ni están abiertamente disponibles para el público.

En la declaración se exponen una serie de recomendaciones que cubren varios temas, esas son:

La necesidad de eliminar el uso de métricas basadas en revistas, tales como el factor de impacto, en consideraciones de financiamiento, nombramiento y promoción,

la necesidad de evaluar la investigación por sus propios méritos en lugar de basarse en la revista en la que se publica la investigación, y

la necesidad de capitalizar las oportunidades que ofrece la publicación en línea (como flexibilizar los límites innecesarios en el número de palabras, figuras y referencias en los artículos, y explorar nuevos indicadores de importancia e impacto).

Recomendación general

No utilice métricas basadas en revistas, como el factor de impacto, como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en las decisiones de contratación, promoción o financiación.

Para las instituciones

1. Sea explícito sobre los criterios utilizados para realizar decisiones de contratación, permanencia y promoción, destacando, especialmente para los investigadores que están iniciando su carrera investigadora, que el contenido científico de un trabajo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.

2. Con el fin de evaluar la investigación, considere el valor y el impacto de todos resultados de la investigación (incluidos los conjuntos de datos y el software) además de las publicaciones de investigación, y considere una amplia gama de medidas de impacto, incluidos los indicadores cualitativos del impacto de la investigación, como la influencia sobre la política y prácticas científicas.

Para las editoriales

1. Reduzca profundamente el énfasis en el factor de impacto como herramienta promocional, idealmente dejando de promover su uso o presentando la métrica en el contexto de una variedad de métricas basadas en revistas (por ejemplo, factor de impacto de 5 años, EigenFactor, SCImago , h-index, tiempo editorial y de publicación, etc.) que proporcionan una visión más amplia del rendimiento de la revista.

2. Ponga a disposición una variedad de métricas a nivel de artículo para alentar un cambio hacia la evaluación basada en el contenido científico de un artículo en lugar de las métricas de publicación de la revista en la que se publicó.

3. Fomente las prácticas de la autoría responsable y la provisión de información sobre las contribuciones específicas de cada autor.

4. Independientemente de que una revista sea de acceso abierto o basada en suscripciones, elimine todas las limitaciones de reutilización de las listas de referencias en los artículos de investigación y haga que estén disponibles bajo la dedicación de dominio público de Creative Commons.

5. Elimine o reduzca las restricciones sobre el número de referencias en los artículos de investigación y, cuando corresponda, ordene la citación de la literatura primaria a favor de las revisiones para dar crédito al grupo o los grupos que primero informaron de un hallazgo.

Para las organizaciones que proporcionan métricas

1. Sea abierto y transparente al proporcionar datos y métodos utilizados para calcular las métricas.

2. Proporcione los datos bajo una licencia que permita la reutilización sin restricciones y proporcione acceso computacional a los datos, cuando sea posible.

3. Especifique que no se tolerará la manipulación inapropiada de las métricas; sea explícito sobre lo que constituye una manipulación inapropiada y qué medidas se tomarán para combatirla.

4. Tenga en cuenta la variación en los tipos de artículos (por ejemplo, revisiones frente a artículos de investigación) y en las diferentes áreas temáticas al utilizar, agregar o comparar métricas.

Para los investigadores

1. Cuando participe en comités que toman decisiones sobre financiación, contratación, permanencia o promoción, realice evaluaciones basadas en el contenido científico en lugar de en métricas de publicación.

2. Cuando sea apropiado, cite literatura primaria en que las observaciones son referidas primero, en lugar de revisiones para dar crédito donde debe darse.

3. Utilice una gama de métricas e indicadores basadas en declaraciones personales y de apoyo, como evidencia del impacto de artículos individuales publicados y otros resultados de investigación.

4. Impugne las prácticas de evaluación que dependen indebidamente del factor de impacto y promueva y enseñe prácticas que se centren en el valor y la influencia de los resultados de investigación específicos

# data[].attributes.body
Sofia Ramazzini
Sofia Ramazzini
El cambio de métricas basadas en revistas a una discusión narrativa de "logros" está actualmente en vigor para el reclutamiento postdoctoral.
El cambio de métricas basadas en revistas a una discusión narrativa de "logros" está actualmente en vigor para el reclutamiento postdoctoral.

Motivación para el cambio: La historia y la cultura académica de la UOC tiene sus raíces en la Ciencia Abierta. Como tal, hubo varios impulsores internos para impulsar la progresión profesional y las evaluaciones de reclutamiento para que fueran más abiertas. Identificar formas de reconocer y recompensar el impacto social de la investigación también fue una motivación importante para el cambio. "Gran parte del impacto de la investigación no se puede explicar o evaluar con indicadores cuantitativos, sino que requiere un informe".

El Plan de Acción DORA creado por el grupo de trabajo forma parte del Plan de Acceso al Conocimiento Abierto de la UOC.²El grupo de trabajo fue fundamental para el fomento de la capacidad, tanto en términos de definición de logros como de diseño de rúbricas para guiar a los evaluadores. También es fundamental para la promoción y la participación de la comunidad ayudar a explicar el nuevo proceso y garantizar que la evaluación sea coherente en ausencia de métricas basadas en revistas. Es importante destacar que el grupo de trabajo no llegó a dar ejemplos de logros. En el plan de acción, el grupo de trabajo establece:Es vital proporcionar espacios de debate para reflexionar sobre las prácticas de evaluación y las prácticas que ayudan a crear conocimiento y conciencia entre los investigadores de la UOC sobre los nuevos modelos de evaluación de la investigación y la Declaración DORA. Además, se deben ofrecer sesiones de capacitación sobre cómo demostrar los impactos de la investigación más allá de las métricas.

# data[].attributes.body
TANIA MARTINEZ
Según cuenta con 20, 366 personas y 148 organizaciones que han firmado DORA.
En el momento donde decidimos publicar una revista, estamos firmando con DORA.
Guatemala cuenta con 4 firmantes los cuales son 3 de una organización y una individual.

# data[].attributes.body
Dyan Urías

Los estudios de caso de universidades y consorcios nacionales destacan elementos clave del cambio institucional para mejorar la evaluación de la carrera académica.

Buscar estudios de caso

País

Argentina (1)
Bélgica (1)
Cataluña (España) (1)
China (1)
Finlandia (2)
Francia (1)
Alemania (1)
Italia (1)
Holanda (2)
Noruega (1)
España (1)
Reino Unido (4)

15 de abril de 2021Universidad Abierta REINO UNIDO

Comparación de estudios de caso

¿Cómo le gustaría comparar los estudios de caso?

Compare todos los estudios de caso en una sola dimensión
(quién, qué, por qué, cómo o cuándo)

¿Qué dimensión? * (perfil de organización)

Quién: perfil de la organización | 15 de abril de 2021
Universidad Abierta REINO UNIDO

Perfil de la institución | universidad integral o equivalente

Número de investigadores FTE | > 1000

Organización de la evaluación de la investigación | niveles de facultad / departamento Nivel institucional / universitario

¿Quién esta implicado? | liderazgo académico investigadores académicos personal de la biblioteca servicios de personas personal del departamento de investigación

Compare dos estudios de caso en todas las dimensiones

Elija el primer estudio de caso para comparar *

Seleccione un estudio de caso
Universidad de Gante
Universidad Abierta
Universidad Abierta de Cataluña
Red de investigación responsable, Finlandia
Universidad de Tampere
El programa holandés de reconocimiento y recompensas
El Laboratorio Europeo de Biología Molecular
El Foro Latinoamericano de Evaluación de la Investigación
Universidades Noruega
University College de Londres
Centro Médico Universitario de Utrecht
Universidad de Bath
Universidad de Nottingham Ningbo China

Elija el segundo estudio de caso para comparar *

# data[].attributes.body
Beatriz Caraballo

# data[].attributes.body
Ana Cap