• Evaluación de la producción científica

Los índices de impacto o factor de impacto, son indicadores de calidad en la evaluación de las revistas científicas. Permiten comparar revistas y evaluar la importancia relativa de una revista dentro de un campo científico determinado, en función de una media de citas recibidas por los artículos de las revistas durante un promedio de años determinado. Las fuentes de evaluación de revistas más importantes son las plataformas Web of Science y Scopus, que producen los indicadores más habituales. Existen, además, otras herramientas para encontrar los indicadores de calidad de la información científica de diferentes áreas.

 

- PRINCIPALES INDICADORES DE CALIDAD EXIGIDOS EN LA CONVOCATORIA

 

 

 WOS              

Journal Citation Reports (JCR)

Principal herramienta utilizada para la evaluación de las revistas científicas. Existe una edición para las revistas de ciencias, JCR Science Edition, y otra para las de ciencias sociales, JCR Social Sciences Edition. Permite conocer indicadores como: factor de impacto, índice de inmediatez o cuartil.

 

SCOPUS

SCImago Journal Rank (SJR)

Está basado en un conjunto de indicadores que analizan la información contenida en Scopus (a partir de 1996). Proporciona rankings por áreas de conocimiento, por materias específicas o por países, ordenadas según distintos criterios relacionados con el número de citas recibidas por cada revista.

 

SCOPUS

CiteScore

Factor de impacto proporcionado por Elsevier basado en citas que se hacen en un año dado a los documentos publicados en los tres últimos años.

- OTROS INDICADORES DE CALIDAD

Ranking de visibilidad de impacto de revistas científicas españolas de Humanidades y Ciencias Sociales con Sello de Calidad Fecyt
CARHUS Plus+

Sistema de clasificación de revistas científicas de los ámbitos de Ciencias Sociales y Humanidades que se publican a nivel local, nacional e internacional. Incluye más de 7.000 revistas.

CIRC

Clasificación de revistas científicas de Ciencias Sociales y Humanidades realizada en función de la valoración recibida en los productos de evaluación existentes.

         DIALNET MÉTRICAS

        Ofrece el indicador IDR : Índice de impacto científico de revistas en Dialnet. Indicador que se basa en el      análisis del número de citas que han recibido los artículos publicados en los cinco años               anteriores relativo al número de publicaciones.

        Biblioguía de Dialnet Métricas de la UCM

DICE

Sistema ideado para proporcionar información sobre indicadores de calidad de las revistas españolas de Humanidades y Ciencias Sociales españolas obtenidos directamente de las publicaciones que recibe el Grupo de Investigación de Evaluación de Publicaciones Científicas (EPUC).

ERIH PLUS (European Reference Index for the Humanities and Social Sciences)

Índice de referencia para las revistas científicas europeas que cumplen determinados criterios de calidad

MIAR 2022 Live (Matriz de Información para el Análisis de Revistas)

Herramienta para el análisis de visibilidad de las publicaciones científicas nacionales e internacionales de Humanidades y Ciencias Sociales. Posibilita comparar las publicaciones españolas de un determinado ámbito académico, proporcionando información sobre la identidad bibliográfica, las características y la calidad de una revista

RESH

Proporciona indicadores de calidad para las revistas científicas españolas de Ciencias Sociales y Humanidades, ofreciendo un perfil lo más completo posible de las revistas científicas españolas de Ciencias Sociales y Humanidades que se editan en España a través de indicadores cualitativos y cuantitativos.

LATINDEX

Directorio de revistas iberoamericas que proporciona indicios de calidad en revistas impresas y electrónicas.

GOOGLE SCHOLAR METRICS

Índice de impacto de las revistas científicas, que tiene en cuenta  el número de citas de los artículos publicados en los últimos cinco años.  Se basa en el índice h de la revista.  Es decir, una revista con un índice h de 12 significa que ha publicado 12 trabajos con al menos 12 citas cada uno de ellos. Además Google Scholar Metrics nos da la mediana del número de citas obtenida por los artículos que contribuyen al índice h., usando este indicador (h5-median).  

JOURNAL SCHOLAR METRICS

Portal bibliométrico desarrollado por el Grupo de Investigación EC3 de la Universidad de Granada en el que podemos encontrar el impacto científico de las revistas de Arte, Humanidades y Ciencias Sociales a partir del recuento de citas que ofrece Google Scholar Metrics. Se han identificado un total de 9196 revistas editadas en 82 países.

- LIBROS Y EDITORIALES CIENTÍFICAS

SPI (Scholarly Publishers Indicators)

Ofrece indicadores y herramientas relacionados con las editoriales científicas o de interés para la investigación en el ámbito de las Humanidades y las Ciencias Sociales.

Book Publishers Library Metrics

Índice bibliométrico que pretende medir la difusión y visibilidad de las editoriales de libros científicos en el ámbito de las Humanidades y Ciencias Sociales a partir del recuento de los libros incluidos en los catálogos de bibliotecas universitarias y académicas españolas que integran el catálogo colectivo REBIUN.

Ie-CSIC

Ie-CSIC (Índice de Editoriales y Editores CSIC) Listado de editoriales evaluadas por el CSIC, clasificadas en tres valores: Alto, Medio y Bajo surgió ante la necesidad del CSIC de disponer de una lista de editoriales categorizadas conforme a su calidad para evaluar la producción científica de sus investigadores. 

        Bibliometric Indicators for Publishers

Elaborado por el grupo EC3 de Granada, se basa en el Book Citation Index de Thomson para ofrecer seis indicadores bibliométricos de las principales editoriales relacionados con 4 grandes áreas y 38 disciplinas.

  - INDICADORES DE CALIDAD DE AUTOR

CITAS RECIBIDAS

* Citas recibidas por un trabajo:

Además de la calidad formal del medio en que se publica una investigación, la evaluación de la producción científica también se basa en la repercusión o impacto de cada aportación individual. Para ello se utilizan los índices de citas, recursos que recopilan información sobre las citas bibliográficas recibidas por un trabajo a partir de su publicación. A diferencia de los índices de impacto, únicos para cada revista y año de publicación, las citas recibidas por un trabajo son acumulativas, por lo que son un valor variable que puede crecer con el tiempo.

A la hora de aportar las citas recibidas por un trabajo, existe una jerarquía que comienza con los índices de citas contenidos en Web of Science (WoS): Science Citation Index (SCIE), Social Sciences Citation Index (SSCI) y Arts & Humanities Citation Index (AHCI), seguidos por los obtenidos en Scopus y finalmente, si no tuviéramos citas en ninguno de los recursos anteriores, Google Scholar. A nivel nacional existen índices como Dialnet Métricas para áreas de Ciencias Sociales y Humanidades (de momento, sólo cubre los ámbitos temáticos de Educación, Deporte, Documentación y Comunicación) . Además, algunas bases de datos internacionales especializadas ofrecen también información sobre las citas recibidas por un trabajo.

* Citas recibidas por un investigador:

El conjunto de citas acumuladas por los distintos trabajos firmados por un autor, durante toda su carrera investigadora o durante un período de tiempo determinado, por ejemplo los últimos cinco años, se localiza también en los índices de citas de la Web of Science: Science Citation Index (SCIE)Social Sciences Citation Index (SSCI) y Arts & Humanities Citation Index (AHCI), en Scopus, o de manera secundaria, en Google Scholar o Microsoft Academic. También en los índices nacionales de Ciencias Sociales y Humanidades incluidos en Dialnet Métricas (ámbitos temáticos de Educación, Deporte, Documentación y Comunicación). Por último, es posible encontrarlos en algunas bases de datos internacionales especializadas.

En Web of Science o Scopus es posible obtener además informes de citas detallados de un autor en los que se pueden excluir las autocitas, ver los resultados en forma de mapa de citas o establecer alertas para estar al día de cuando se reciben nuevas citaciones de nuestros trabajos (o de toda nuestra producción científica). También permiten vía formulario subsanar posibles errores en la atribución de autoría de los documentos en ellas incluidos. A través de Google Scholar Citations podemos crear un perfil personal en el que añadiremos nuestra producción científica incluida en Google Scholar para poder obtener indicadores como el total de citas o las citas de los últimos cinco años.

ÍNDICE H

* Índice h:

El índice h es un sistema de medición de la calidad profesional de los científicos basado en la relevancia de su producción científica, al tener en cuenta el conjunto de los trabajos más citados de un investigador y el número de citas de cada uno de estos trabajos. Según el mismo, un investigador tiene un índice h de X cuando X de sus artículos han recibido al menos X citas cada uno. Por ejemplo un índice h=6 significa que un autor tiene 6 artículos que al menos han recibido 6 citas cada uno.

El índice h de un investigador depende de la fuente consultada: Web of Science (WoS), Scopus o Google Scholar Citations. Deben tenerse en cuenta sólo artículos y reseñas publicadas en revistas ya que en estos recursos, el índice se calcula para todo tipo de documentos.

* Índice g:

Este índice cuantifica la productividad bibliométrica basada en el historial de publicaciones de los autores. Como el índice h, se mide a partir de la distribución de las citas recibidas por el total de publicaciones de un investigador, aunque su cálculo es más complejo. Se recomienda su uso para diferenciar a dos investigadores con un mismo índice h.

Cualquier investigador puede identificar su índice g, ordenando sus publicaciones por el número de citas recibidas en orden descendente, numerando la posición, y generando dos nuevas columnas: número de citas acumulado y número de posición al cuadrado. A continuación se identifica el número de orden de la posición en la que el número de citas acumuladas es igual o mayor que el número de posición al cuadrado.

BEAMPLOTS:

Indicador que se visualiza desde un Registro de Autor. (ISI) ha promovido los beamplots como alternativa al índice h.

Los beamplots proporcionan los siguientes beneficios:
- Contextualiza los artículos de un investigador para que puedan ser comparados

- Se puede ver el cambio de rendimiento a lo largo de la carrera de un investigador

- Los evaluadores pueden ver el cambio de rendimiento a lo largo de la carrera

- Desalienta la confianza en una métrica de un solo punto que carece de contexto y matices

- GLOSARIO DE INDICADORES

Índice h Indicador que combina en uno solo una medida de cantidad y otra del impacto de la producción. El balance entre el número de publicaciones y las citas a estas.

   


 WOS


  • Beamplots: Indicador que se visualiza desde un Registro de Autor. (ISI) ha promovido
    los beamplots como alternativa al índice h. Los siguientes son los beneficios de los
    beamplots:

    - Contextualiza los artículos de un investigador para que puedan ser
    comparados

    - Se puede ver el cambio de rendimiento a lo largo de la carrera de un
    investigador

    - Los evaluadores pueden ver el cambio de rendimiento a lo largo de la
    carrera

    - Desalienta la confianza en una métrica de un solo punto que carece de
    contexto y matices
  • (Cited Half-Life): Vida media de las citas recibidas: media de la antigüedad de las citas recibidas por una revista.
  • (Citing Half-Life): Vida media de las citas realizadas: media de la antigüedad de las citas realizadas por una revista.
  • Conteo de uso: no mide el impacto, mide el interés. Se calcula cada día. Medir el "uso" de un artículo en la plataforma puede demostrar el interés de la comunidad investigadora sobre una publicación o sobre un tema. En el "conteo de uso" se consideran las acciones del usuario por las que se indica el interés, intencionado y razonable, en la publicación dentro de la plataforma WOS (hacer clic sobre el texto completo o bien exportarlo a Gestores de Referencias, desde el registro completo, página de resultados o lista marcada). El conteo de uso indica el interés, NO CONFUNDIR CON IMPACTO.
  • Cuartil: si una lista de revistas ordenadas de mayor a menor factor de impacto se divide en cuatro partes iguales, cada uno de estas partes es un cuartil. Las revistas con el factor de impacto más elevado están en el primer cuartil, los cuartiles medios son el segundo y el tercero, y el cuartil más bajo es el cuarto. Por ejemplo, en una lista de 100 títulos, el primer cuartil son los 25 primeros títulos, que son los más valorados por los investigadores. En JCR se debe mirar el número de títulos de la lista que nos interesa, dividirlo por 4 y buscar en cuál de las particiones está la revista que buscamos.
  • Factor de impacto (Impact factor): media del número de veces que en un año determinado han sido citados los artículos publicados por esta revista en los dos años anteriores. Se calcula dividiendo el número de citas en el año corriente de artículos publicados en los dos años anteriores, por el número total de artículos publicados en estos dos años.
  • Factor de impacto agregado: media del valor del factor de impacto de todas las revistas de una categoría de JCR.
  • Highly cited papers: Artículos muy citados: son documentos que han recibiddo suficientes citas para colocarlos en el Top 1% en comparación con todos los demás artículos publicados en el mismo año y en la misma disciplina.
  • Hot papers: Artículos populares: sólo se consideran los artículos publicados en los últimos 2 años. Los Hot papers están recibiendo citas rápidamente después de su publicación. Estos documentos han sido citados suficientes veces en el período bimensual más reciente para colocarlos en el Top 0,1% superior en comparación con documentos equivalentes.
  • (Immediacy Index): Índice de inmediatez: número medio de citas que reciben los artículos del año en curso (Articles) de una revista durante el mismo año en que se publica.
  • Índice de inmediatez agregado: media del valor del índice de inmediatez de todas las revistas de una categoría de JCR.
  • JCI: El Journal Citation Indicator (JCI) es la media del Impacto de Citas Normalizado por Categoría (CNCI) de los artículos citables (artículos y revisiones) publicados por una revista en un periodo reciente de tres años. Puede utilizarse junto con otras métricaspara ayudar a evaluar las revistas.
  • Tercil: si una lista de revistas ordenadas de mayor a menor factor de impacto se divide en tres partes iguales, cada una de estas partes es un tercil. Las revistas con el factor de impacto más elevado están en el primer tercil, con un impacto medio en el segundo tercil y con un impacto bajo en el tercer tercil. Por ejemplo, en una lista de 90 títulos, el primer tercil son los 30 primeros títulos, que son los más valorados por los investigadores.
  • Total de citas: número total de citas recibidas por una revista en un año.

SCOPUS

  • CiteScore: calcula el número promedio de citas recibidas en un año por todos los artículos publicados en esa revista en los tres años anteriores. Es un indicador de revistas.
  • CiteScore Percentile: Indica la posición relativa de una revista en su campo temático. Un percentil CiteScore de 98% significa que la revista está en el 2% superior de su campo de materia. Puede usar este indicador para comparar revistas en Campos de materias diferentes.
  • CiteScore Rank: muestra la posición de una revista dentro de su propio campo.
  • CiteScore Tracker. Se calcula en la misma manera que CiteScore, pero para el año actual en lugar de años anteriores, completos. El cálculo de CiteScore Tracker se actualiza cada mes, como una indicación actual del rendimiento de un título. El numerador (cuenta de citas) de la métrica del año actual se acumula cada mes a medida que se reciben citas adicionales, de modo que la construcción sea consistente con la construcción del año completo CiteScore. CiteScore Tracker no se basa en una secuencia de 12 meses. Los valores de la métrica se fijarán en el resorte y, a continuación, se calculará el Tracker para el año siguiente. Por ejemplo, Cite Score 2020 estará completo y fijo en la primavera, cuando CiteScore Tracker 2021 empiece a aparecer en Scopus.com.
  • SNIP (Source Normalized Impact per Paper). Indicador de calidad basado en los datos de Scopus. N.º de citas recibido por los artículos de una revista durante 3 años. Mide el impacto de una cita teniendo en cuenta las características de cada disciplina, de tal manera que, si un área tiene una frecuencia menor de citas, ésa tendrá un valor mayor que otra cita de un área con mayor frecuencia de citas.
  • Snowball Metrics: métricas basadas en cuatro categorías de métricas alternativas:
  1. Actividad Académica: descargas y mensajes en herramientas de investigación comunes como Mendeley y CiteUlike
  2. Actividad Social: menciones que son breves intervenciones en las plataformas utilizadas por el público, como Twitter, Facebook y Google+
  3. Comentarios en blogs, artículos, Wikipedia
  4. Medios de comunicación

        Al  combinar la cita y las métrica, proporcionará una visión global de la repercusión y el compromiso de la comunidad con un artículo (M. Habib).

Indicadores de Impacto Alternativos

  • Almétricas: "es un término amplio que incluye la recogida, creación y uso demúltiples formas de evaluación obtenidas a partir de la actividad y la relación entre diversos actores y la producción científica en el ecosistema de invetigación". NISO (2016b)
  • SJR: SCImago Journal Rank: índice alternativo al factor de impacto, cuyo nombre es adoptado de la plataforma Scimago Journal & Country Rank. Incluye información contenida en la base de datos Scopus (de elsevir BV). Desde hace unos años su valoración por la CNEAI ha ido progresando, considerándose equiparable a JCR.
  • Google Scholar Metrics: índice de impacto de las revistas científicas, teniendo en cuenta el número de citas de los artículos publicados en los últimos 5 años. Se basa en el índice h de la revista. Es decir, una revista con un índice h de 12 significa que ha publicado 12 trabajos con al menos 12 citas cada uno de ellos. Además Google Scholar Metrics nos da la medianaa del número de citas obtenida por los artículos que cintribuyen al índice h, usando este indicador (h5-median).
  • PlumX: proporciona información sobre cómo la investigación está siendo utilizada. Recolección de métricas de una amplia gama de fuentes en línea, PlumX ofrece una emocionante forma de ver la influencia de los investigadores. Proporciona datos de:
  1. Uso: Visualización de Abstracs, de html, PDF, links, grabaciones, holdings que los tienen
  2. Capturas: Exportaciones, grabaciones, resders
  3. Mediciones: ¿Quién lo enlaza?

FECYT

  • Impacto Normalizado de Citas: Indicador bibliométrico más utilizado: la cantidad de artículos académicos publicados. Se normaliza el nº actual de citas o descargas que recibe un documento con el nº de citas o descargas previsto en las publicaciones de la misma área temática, el mismo tipo de documento (artículo, revisiones o actas de conferencias) y el mismo año de publicación.
  • Tasa de descarga
  • Tasa de colaboración internacionalTasa de producción importante o en revista Q1
  • Tasa de producción excelente:

a) el nº de citas o descargas no se suele poder comparar entre lasdiferentes áreas temáticas, porque éstas tienen diferentes prácticas de citas y descargas.

b) en segundo lugar, los distintos tipos de documentos se suelen citar o descargar en distinto grado

c) las publicaciones más recientes no han tenido la misma oportunidad de acumular citas o descargas, en comparación con las publicaciones de fechas anteriores.

 

DIALNET
  •  IDR: índice de impacto científico de revistas en Dialnet. Indicador que se basa en el análisis del número de citas que han recibido los artículos publicados en los cinco años anteriores relativo al número de publicaciones.
MIAR
  • ICDS (Índice Compuesto de Difusión Secundaria) es un indicador que puestra la visibilidad de la revista en diferentes bases de datos científicas de alcance internacional, o en su defecto, en repertorios de evaluación de publicaciones periódicas. Un IDCS elevado significa que la revista está presente en diferentes fuentes de información de relevancia internacional.
CAHRUS+
  • Sistema de clasificación de revistas científicas de los ámbitos de las Ciencias Sociales y Humanidades que se publican a nivel local, nacional e internacional. En este sistemaa las revistas se clasifican en cuatro categorías, A, B, C, D, según la combinación de varios criterios: índices de citas, indicadores de visibilidad o criterios de calidad editorial.
 CIRC
  • Clasificación de revistas científicas de ciencias Sociales y Humanas en función de su calidad, integrando los productos de evaluación existentes considerados positivamente por las diferentes agencias de evaluación nacionales como CNEAI y ANECA. Clasifica las revistas en 5 grupos: A+, A, B, C y D.