Sobre los sexenios de investigación… ¡A publicar (pero bien)!

Acabo de participar en una jornada sobre la preparación, solicitud y evaluación de los sexenios de investigación organizada por la Universidad de Valladolid (con acierto y de manera muy oportuna). Éstas son algunas de las ideas que he sacado en claro de la exposición de los profesores Emilio Delgado y Rafael Ruiz (las comparto por si sirven a alguien y/o para mi propio «desahogo»):

1. Aspectos previos o de carácter inicial:

• Al adoptar el sistema de evaluación vigente, se han trasladado los criterios e indicadores de evaluación investigadora de las ciencias básicas al resto de disciplinas, sin apenas adaptación y, en consecuencia, con las consiguientes dificultades e insatisfacciones.
• Según los datos de la CNEAI (Comisión Nacional de Evaluación de la Actividad Investigadora), las tasas de éxito en la evaluación de la actividad investigadora son más bajas en ciencias sociales y humanidades (y bajísimas en bellas artes, por ejemplo) que en otras áreas del conocimiento… ¿es porque no investigan, no publican, son malos/as investigadores/as, van más a congresos –que tienen menos valoración-, ni siquiera se presentan para ser evaluados/as…?  o… ¿es que los criterios de evaluación no correlacionan con los comportamientos o manifestaciones de la investigación?
• Las reacciones entre los/las investigadores/as de las áreas con tasas de éxito más bajas han pasado por intentar publicar en revistas internacionales de impacto, reivindicar el cambio en los criterios de evaluación, reivindicar la valoración de las revistas nacionales, reclamar el reconocimiento de las particularidades de sus actividades… o abandonar el sistema y renunciar a la promoción.
• En 2005 la CNEAI palía o rebaja el WOS-JCR-centrismo, pone en valor las revistas nacionales, reconoce los libros e introduce algunas peculiaridades en determinadas áreas para reconocer las aportaciones extraordinarias.

2. Filosofía de la evaluación de la CNEAI:

• Evaluación selectiva del CV.
• Evaluación incentivadora de la calidad de la investigación: original, relevante, liderazgo investigador,…
• Fundamentos de las evaluaciones: internacionalización, evaluaciones sobre resultados (fundamentalmente publicaciones), evaluaciones formales (indicadores objetivados), inspirado en la tradición académica de la evaluación por pares… (¿es ésta una evaluación mecánica o rigurosa?).
• El argumento fundamental deben ser los indicios de calidad, no la reflexión personal.

3. Dentro de los criterios de evaluación hay algunos generales (aplicables a todas las áreas de conocimiento) importantes:

• CONTENIDO del PRODUCTO/CONTRIBUCIÓN:
  1. Aportaciones ordinarias (artículos, libros, capítulos, prólogos, patentes…), contribuciones convencionales.
  2. Excepcionalmente aportaciones extraordinarias (informes, estudios, dictámenes, dirección de tesis de mérito, comunicaciones a congresos…).
  3. Quedan excluidos manuales, trabajos descriptivos y resultados de investigación para servicios de consultoría.
• RELEVANCIA DEL MEDIO DE DIFUSIÓN:
  1. Revistas y editoriales: estar en índices internacionales y la posición que ocupan en los mismos (factor de impacto).
• CRITERIO ISI WOS-JCR:
  1. Para todas las áreas, se entienden revistas de prestigio las que ocupan posiciones relevantes en JCR del Science Citation Index, del Social Sciences Citation Index y del Arts and Humanities Citation Index. Éste es el criterio único, prioritario o preferente; pero siempre es el criterio básico de evaluación.

4. En ciencias sociales se considera especialmente las publicaciones JCR, también las recogidas en Latindex, INRECS, SCOPUS, ERIH… y, además, los libros o capítulos de libros (en este orden). La presentación de la solicitud debe visibilizar:

• Medio de Difusión: índices de impacto internacionales, índices de impacto nacionales, valoración de la revista en plataformas o sistemas de evaluación de revistas, recogida en bases de datos y prestigio de la editorial (para los libros).
• En el caso de artículos de revista hay que justificar el factor de impacto de la revista y su posición en su categoría, la valoración positiva de la revista en plataformas y sistemas y/o en base de datos (en la disciplina a nivel internacional y nacional).
• En el caso de trabajos (artículos y libros): citas, reseñas y, por último, las apreciaciones del propio interesado respecto al interés y valor de la publicación, coherencia con las líneas de investigación, derivaciones de cada aportación a esa línea,… no se trata de hablar bien del trabajo; es una exposición «persuasiva» de nuestras aportaciones.
• Ejemplo: el artículo X está en JCR, con índice de impacto X, en la categoría X, con criterios de calidad claros (en DICE, Latindex…), la revista cuenta con evaluadores externos, se encuentra en la base de datos X, acredita X citas (por ejemplo en Google Scholar, sin citar esta fuente), el solicitante es el primer firmante, y el trabajo es una aportación novedosa, singular, relevante, coherente con la línea de investigación, permite abrir nuevas líneas…

5. Criterios específicos de evaluación según campos de conocimiento: campo 7, ciencias sociales y ciencias de la educación.

• Un elevado número de autores/as reduce la calificación; a partir de 3 autores/as se empieza a penalizar; preferentemente primeras posiciones (pero con matices: mejor segundas o terceras posiciones en altos índices de impacto en JCR que no primera posición en DICE).
• Artículos en revistas de reconocida valía: se valoran positivamente  y de manera preferente las indexadas en JCR, SSCI, SCI; las que acreditan posiciones relevantes en ERIH (ojo!… no establece posiciones, sino categorías: A, Plus,…), INRECS?, SCOPUS, DICE-CINDOC, FECYT… que acrediten calidad y ajustadas a lo establecido en el Apéndice 1 -revista peer review (recomendación: incluir la posición -si la hubiera- en índices internacionales de referencia en la especialidad). Los valores fundamentales de la evaluación vienen aportados por los índices de impacto (del año de publicación del artículo) y los ranking de revistas en bases de datos, plataformas, etc. No se consideran los artículos en prensa (sólo los publicados).
• Libros y capítulos: se tiene en cuenta el número de citas, el prestigio internacional de la editorial, los editores, la colección, las reseñas en revistas científicas especializadas y las traducciones a otros idiomas.
• Se valora desfavorablemente la reiterada publicación en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza su investigación.

6. Sistemas y herramientas de evaluación / valoración de revistas científicas.

• Vía preferente: ISI Web of Knowledge; JCR.
• Entrar en Master Journal List y buscar la revista que se desea consultar para comprobar si está en JCR.
• Entrar en WOS y buscar el índice de impacto de la revista en JCR.
• Buscar en Essential Science Indicators del JCR las citaciones del artículo. Comprobar en el campo de ciencias sociales el percentil en el que se encuentra el artículo de acuerdo a las citaciones que han recibido los artículos de la revista en ese año.
• Otros factores de impacto internacionales: Scimago Journal & Country Rank y buscar en el apartado de Journal Rankings la posición de la revista y el índice de impacto de la misma; DICE y buscar si la revista cumple criterios de calidad (copiar y pegar en la solicitud lo que aparezca en las bases de datos que la incluyen, los criterios Latindex cumplidos y todos los aspectos hasta la fecha de actualización); ERIH, que incluye algunas revistas que no son de humanidades, buscar la revista que interese; FECYT, y comprobar si la revista ha sido evaluada por esta organización y cuenta con sello de calidad y de qué fecha es; INRECS para anotar el índice de impacto de la revista y las citaciones.
• Buscar las citaciones en Google Scholar. Se puede habilitar una cuenta/perfil personal de investigador/a en GS. En búsqueda avanzada, entre comillas se ponen los apellidos del autor y aparecen todos los trabajos en los que se cita ese autor.
• Para libros buscar en SPI en el ranking de editoriales.

El ponente cierra su exposición recomendando publicar «de acuerdo a estas indicaciones» que se convierten en «instrucciones». ¡Espero que os sirvan estas anotaciones improvisadas al hilo del discurso de los ponentes! ¡Ánimo!