CIRUGÍA PLÁSTICA Y ESTÉTICA Y UNIVERSIDAD

Prof. Dr. José Mª Serra i Renom Catedrático de Cirugía Plástica y Estética Universitat Internacional de Catalunya


VII - Evaluación de la actividad investigador

En Cirugía Plástica, como ocurre en el ámbito médico en general, uno de los aspectos fundamentales del curriculum vitae es la actividad investigadora y la transferencia de resultados.

La evaluación de estas actividades no sólo es un criterio necesario en el campo docente o universitario, sino que se ha convertido en un método de selección objetivo con gran valor en los procesos de admisión para la participación en fellowships, becas o subvenciones, premios, complementos salariales o incluso en concursos y oposiciones para optar a plazas hospitalarias.

La actividad investigadora incluye estancias de formación, la realización de proyectos de financiación competitiva, el desarrollo y registro de patentes… sin embargo son las publicaciones en revistas especializadas las que tienen un mayor peso en el proceso de evaluación.

Pero, ¿tienen todas las publicaciones o las revistas el mismo valor y la misma repercusión? ¿cómo comparar dos científicos con el mismo número de publicaciones? Para poder solucionar estas dudas, se han creado distintos índices e indicadores bibliométricos basados tanto en aspectos cuantitativos o de productividad, como cualitativos o de impacto. Es importante destacar que  los indicadores cualitativos no son siempre sinónimo de calidad, ya que trabajos que traten temas de gran actualidad e interés, lo que se conoce como “hot-topics”, tenderán a tener un mayor impacto. Un ejemplo reciente en nuestra especialidad, es la inyección de grasa o lipofilling y sus distintas aplicaciones.

Intentaremos en este artículo identificar y describir de forma sintética, aquellos parámetros que se usan con mayor frecuencia en los procesos de evaluación de la actividad investigadora, relacionados tanto con las revistas como con las publicaciones.

a) La Revista
Factor de Impacto
Se publica anualmente en un informe elaborado por el Institute for Scientific Information(ISI), llamado Journal Citation Report (JCR).

El FI pretende valorar el número de citas que recibe una revista, teniendo en cuenta el número de artículos publicados en la misma en los dos años anteriores (1). De este modo el FI de nuestra revista en 2013 se calcularía:

FI (2013)=  Citas recibidas en el año 2013 de los articulos publicados en 2011 y 2012 / Total de artículos publicados en 2011 y 2012.

Es uno de los índices más utilizados en la actualidad para comparar y categorizar la mayoría de revistas científicas. Sin embargo el JCR incluye sólo las revistas seleccionadas por Thomson ISI, por lo que se han creado distintas adaptaciones para permitir calcular índices de impacto de las revistas no incluidas, como por ejemplo el Scimago Journal and Country Rank (en colaboración con Scopus) o el Latindex y Scielo, para revistas hispanoamericanas.

Cuartil
Permite dividir el ranking de revistas ordenadas de mayor a menor FI en cuatro partes iguales. Una revista perteneciente al primer cuartil, implica que se encuentra posicionada en el 25% de las revistas de su categoria con mayor FI.

Hay que tener en cuenta que la Cirugía Plástica está incluida en la categoría de “Surgery”, hecho que ocasiona que tan sólo una revista de nuestra especialidad pertenezca al primer cuartil, ya que las revistas de cirugia general tienen mayores factores de impacto.

Indice de inmediatez
Indica la frecuencia con la que se cita un artículo de una revista en el mismo año de la publicación.

b) Las publicaciones
El principal indicador de actividad se basa en el numero de documentos publicados, siendo también importante la posición que se ocupa entre los coautores. Este parámetro es exclusivamente cuantitativo y no mide la importancia o relevancia de las distintas aportaciones, por lo que si se analiza aisladamente no permite realizar comparaciones equitativas entre investigadores.

Por este motivo, se han desarrollado algunos indicadores bibliométricos que permiten una aproximación más precisa a la calidad o impacto de las distintas publicaciones de un autor, como por ejemplo:

  • Número de citas por documento. Las citas recibidas es un claro reflejo de las relaciones  entre los nuevos resultados aportados por un autor respecto a otros y, cómo se ubica la nueva aportación dentro del conocimiento existente. En definitiva es un índice de repercusión.
  • Porcentaje de publicaciones altamente citadas (en las cuales el valor mínimo suele ser de 15 citas).
  • Mediana del Factor de impacto: método más robusto que la media aritmética de los factores de impacto, corresponde a la mediana (percentil 50) de todos los factores de impacto de las revistas donde un determinado autor ha publicado.
  • RCR o Relative Citation Rate, que compara el número de citas que recibe un determinado documento, con las citas que recibe un articulo promedio de una determinada revista.

Sin embargo, hay que considerar, que a pesar de que aportan información útil, analizados por sí sólos son claramente incompletos y no permiten una aproximación justa y equitativa en la evaluación de la actividad investigadora.

En el año 2005, Hirsch, profesor de la universidad de UCLA-San Diego desarrolló el INDICE H (2). Este índice presenta la gran ventaja que permite combinar el impacto (citas recibidas) y el número de publicaciones (medición cuantitativa) en un único valor.

El índice h se define como el número de artículos “x” realizados por un autor, que han recibido “x” o más citas. Por ejemplo: si un determinado científico tiene un índice h=12, significa que tiene 12 publicaciones que han recibido 12 o más citas.

Debido a que es un concepto sencillo y más completo que los anteriores ha tenido una gran difusión a nivel internacional, siendo incluido entre las herramientas de Google Scholar o Thomson ISI Web of Science.

Sin embargo, presenta limitaciones importantes. Por un lado no pondera el valor de las publicaciones altamente citadas. Un autor con indice h=2 puede tener dos trabajos que  tengan 2 citas cada uno, frente a otro investigador con el mismo “h” pero que sus trabajos hayan sido citados más de 500 veces cada uno. Por este motivo se creó el índice g (3), que a pesar de no tener tanta repercusión debido a la dificultad para calcularlo, aplica un factor corrector para tener en cuenta los trabajos altamente citados.

Otro problema, es que el indice h no permite realizar comparaciones objetivas entre investigadores con trayectorias de distinta duración, ya que el número de citas y artículos de un autor aumenta con el paso del tiempo, por lo que investigadores jóvenes van a tener valores “h” inferiores a autores con una larga trayectoria. Para poder interpretar “h” correctamente se considera que debe haber transcurrido al menos 10 años desde el inicio de la actividad investigadora. Otra posible solución cuando se evalúa investigadores jóvenes es la aplicación de un factor corrector, conocido como cociente m. Este consiste en dividir “h” entre el número de años en activo, entendido como el número de años desde la primera publicación (4)

Por otro lado, el índice h tampoco permite realizar comparaciones equitativas entre investigadores de campos o categorías distintas, debido a que los artículos pertenecientes a aspectos básicos o epidemiológicos siempre van a ser más citados que artículos de temática especializada.

A pesar de estas limitaciones, se considera un método sencillo de calcular y válido para analizar la trayectoria de un investigador, como demuestran estudios como el de Bornmann (5), en el que se encontró una correlación significativa entre el índice h y la aceptación o rechazo de más de 400 aspirantes a fellowships de investigación postdoctoral.

En conclusión, a pesar de que todos los indicadores bibliométricos y parámetros utilizados tienen algunas limitaciones, sí permiten realizar una aproximación válida en la valoración de la actividad investigadora, y la comparación equitativa entre distintos investigadores.


Bibliografía
1. Bordons M, Fernández MT, Gómez I (2002) Advantages and limitations in the use of impact factor measures for the assessment of research performance. Scientometrics, 53:195-206.
2. Hirsch, JE (2005). An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences USA, 102:16569-16572.
3. Egghe L, Rousseau R (2006). An informetric model for the Hirsch-index. Scientometrics, 69(1):121-129.
4. Ball, P (2005) Index aims for fair ranking of scientists. Nature, 436:900.
5. Bornmann L,  Daniel HD (2005). Does the h-index for ranking of scientists really work? Scientometrics, 65(3): 391-392.