Del PRONII al SISNI: repensar la evaluación científica desde Paraguay para el mundo

En Paraguay, la evaluación de la labor científica se estructura, desde hace más de una década, principalmente a través del Programa Nacional de Incentivo a los Investigadores (PRONII), actualmente en proceso de transformación hacia el Sistema Nacional de Investigadores (SISNI). 

Este modelo, implementado por el Consejo Nacional de Ciencia y Tecnología (CONACYT), ha sido clave para visibilizar a la comunidad científica y consolidar un ecosistema nacional de ciencia, tecnología e innovación. Sin embargo, también ha generado tensiones y críticas sobre sus criterios, metodologías y efectos, especialmente al tratarse de un país en desarrollo que tiene trayectorias científicas muy diversas y un sistema institucional aún en consolidación.

En mi tesis doctoral, desarrollada en la Universidad de Barcelona, con apoyo de una beca de BECAL, me propuse realizar un análisis crítico y propositivo sobre este sistema de evaluación. 

PRONII, un sistema poco adaptado a la realidad local

El trabajo titulado “Perspectivas de la evaluación de investigadores PRONII del Paraguay: referentes internacionales, contextos y exploración de escenarios”, combinó diversos enfoques metodológicos: revisión de modelos internacionales, el análisis de políticas científicas, encuestas, entrevistas a actores clave y un estudio bibliométrico. 

La investigación culminó con un diagnóstico FODA del sistema y el diseño de cuatro escenarios posibles para su reforma. ¿Qué encontramos? Los resultados confirman que el PRONII contribuyó al aumento de la producción científica y al reconocimiento institucional de la investigación. No obstante, también muestran que el sistema todavía se basa en indicadores cuantitativos con una escasa adaptación a las particularidades locales.

Uno de los hallazgos más llamativos es que muchos investigadores no cuestionan ciertas prácticas problemáticas en la producción científica, que van desde estrategias poco éticas hasta mecanismos que distorsionan la evaluación. Entre ellas se mencionan el salami slicing (fragmentar en múltiples artículos lo que podría publicarse de manera más sólida en uno o dos trabajos), la firma como primer autor o autor de correspondencia sin una contribución sustantiva, o la búsqueda de engrosar artificialmente los currículums con publicaciones de bajo aporte real. 

Estas prácticas, que se observan también en otros países, podrían ser toleradas en parte porque el sistema actual premia la cantidad por sobre la calidad o la pertinencia social de la investigación. En consecuencia, las principales preocupaciones de los investigadores no apuntan tanto a estas dinámicas sino a cuestiones logísticas y procedimentales. Por ejemplo, en cuanto a los plazos, varios investigadores señalaron que los periodos de “ventanilla abierta” para la postulación resultaban demasiado cortos, lo que dificulta preparar y cargar la documentación con el cuidado necesario. 

Por su parte, los evaluadores entrevistados mencionaron que también disponían de tiempos muy reducidos para revisar un volumen considerable de expedientes, lo que afectaba la calidad y la profundidad de las evaluaciones. A ello se suma la opacidad de los criterios de postulación, evaluación y permanencia, la escasa o inexistente retroalimentación a los postulantes y la falta de coherencia en algunos dictámenes, lo que genera desconfianza y malestar en la comunidad científica.

Al hilo de esto, cabe resaltar que casi la totalidad de investigadores participantes manifestaron desconocimiento sobre principios internacionales de evaluación como Declaration On Research Assessment (DORA), que aboga por reducir el peso de los indicadores bibliométricos tradicionales —como el factor de impacto o el índice h— y valorar la calidad e impacto de la investigación en un sentido mucho más amplio.

Esto es lo que propone el Leiden Manifesto, con principios básicos para un uso responsable y contextualizado de las métricas, y la más reciente Coalition for Advancing Research Assessment (CoARA), que promueve una transición hacia modelos de evaluación más cualitativos, inclusivos y alineados con la ciencia abierta.

Hacia un modelo para nuestra realidad

A pesar de esto, observamos que entre algunos investigadores sí hay una demanda creciente por una evaluación que no se base únicamente en indicadores cuantitativos, sino que también valore el trabajo de formación y de mentorías (más allá de tutorías), que no demerite publicaciones en castellano, la divulgación efectiva, la transferencia de conocimientos y los aportes al entorno social y productivo. 

Esto nos deja entrever la necesidad de un despertar en la comunidad científica paraguaya, ya que muchos investigadores en Paraguay terminaron aceptando sin cuestionar un sistema de evaluación superado en otros países. Mientras en el mundo se han impulsado cambios importantes en la última década, aquí seguimos con reglas poco eficaces que generan más obstáculos que mejoras. 

Lo que se necesita no es solo adaptarse pasivamente para “sobrevivir” en este sistema sino involucrarse activamente en su transformación, con un modelo pensado para nuestra realidad: nuestras capacidades, nuestras desigualdades y nuestras prioridades como país.

Es fundamental avanzar hacia un modelo con una mirada profundamente contextual, es decir, una evaluación que no copie esquemas externos de manera acrítica sino que se base en un análisis que tome en cuenta nuestra historia y nivel de desarrollo, pero también nuestras posibilidades, capacidades y necesidades reales. Esto implica reconocer las condiciones específicas del ecosistema científico paraguayo, así como las desigualdades estructurales que lo atraviesan, tanto a nivel institucional como territorial.

Pero, ¿qué proponemos para mejorar el sistema de evaluación de investigadores? Desde esta perspectiva, el trabajo no se limita a señalar problemas. A partir de experiencias internacionales y de un análisis de la situación local, se plantean escenarios graduales y complementarios que ofrecen un camino viable para mejorar el sistema de evaluación de investigadores en Paraguay. 

Algunas de las recomendaciones incluyen:

• Incorporar criterios cualitativos complementarios a los indicadores tradicionales que permitan valorar trayectorias diversas, tal como el curriculum narrativo elaborado por el propio investigador;
• Establecer mecanismos de retroalimentación clara, que aporten recomendaciones útiles para el desarrollo de carrera, no solo como una suma de méritos;
• Reconocer la diversidad en ritmos, formatos y objetivos de producción científica según cada área;
• Fomentar de forma activa la ciencia abierta y la rendición de cuentas, sin que esto se convierta en una nueva barrera burocrática;
• Reconocer el valor del trabajo interdisciplinario, colaborativo y orientado a problemas del país, aunque no siempre tenga alta visibilidad internacional.

Las experiencias internacionales nos demuestran que no hay un único modelo ideal pero sí principios comunes como la transparencia, el impulso de la carrera científica desde los niveles más bajos, la participación de la comunidad y el enfoque en la mejora continua, no solo en la competitividad.

En la investigación doctoral se proponen cuatro escenarios complementarios de aplicación gradual, de forma que el sistema actual no se vea desestabilizado ni implique grandes costos económicos.

Su carácter transformador radica en que, pese a introducir cambios progresivos y relativamente sencillos, pueden tener un impacto notable en la calidad de la evaluación, en la producción científica de los investigadores y en su bienestar profesional, con efectos que incluso podrían observarse en el corto y mediano plazo.

Estos escenarios, al ser complementarios, se refuerzan unos a otros y ofrecen un camino realista de mejora para el SISNI. En este sentido, no se trata de copiar modelos externos sino de construir una evaluación más coherente con nuestras capacidades institucionales y nuestras prioridades nacionales. El trabajo completo puede consultarse en este link.

Conversar con la sociedad

Evaluar la ciencia no es solo contar papers, mirar cuartiles de revistas o sumar métricas. Es una forma de decir qué ciencia valoramos, qué apoyamos y hacia dónde queremos ir como país. Por eso, es crucial que el sistema evaluativo esté en diálogo con otras políticas públicas de forma más coordinada.

Paraguay, como otros países pequeños, puede liderar con propuestas innovadoras que promuevan una cultura evaluativa más justa, responsable y alineada con los principios de la ciencia abierta, al mismo tiempo que se inserta de manera más activa en programas regionales de cooperación científica, como la Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT), para intercambiar experiencias, fortalecer capacidades y contribuir a la mejora de los sistemas de evaluación en América Latina y el Caribe.

Instalar este debate en Paraguay no es un lujo —es una urgencia. Construir un sistema de evaluación más justo y coherente no es solo un desafío técnico: es también una decisión política, ética y social.

Evaluar la ciencia implica decidir cómo medimos y reconocemos la labor de quienes investigan, y con qué fines lo hacemos como país. No basta con producir más artículos o mejorar métricas; necesitamos una ciencia que sea excelente, sí, pero también pertinente, crítica y comprometida con las realidades del país que la sostiene. 

Evaluar mejor es, en definitiva, preguntarnos qué ciencia queremos —y para quién.

Bibliografía recomendada

• Ciencia del Sur. (10 de septiembre de 2017). Medición de la productividad de la ciencia paraguaya en debate. Ciencia del Sur. https://cienciasdelsur.com/2017/09/10/debate-medicion-productividad-ciencia-paraguaya/
• Ciencia del Sur. (8 de septiembre de 2017). Diez claves para entender a la ciencia paraguaya más productiva. Ciencia del Sur. Recuperado de https://cienciasdelsur.com/2017/09/08/diez-claves-ciencia-paraguaya-mas-productiva/
• CoARA. (2022, July 20). Agreement on reforming research assessment. The Agreement. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf
• DORA. (2018). Declaración de San Francisco sobre la evaluación de la investigación. Revista ORL, 9(4), 295. https://doi.org/10.14201/orl.17845
• Garfield, E. (1995). Quantitative analysis of the scientific literature and its implications for science policymaking in Latin America and the Caribbean. Bulletin of the Pan American HeaIth Organization, 29(1), 87–95. https://iris.paho.org/bitstream/handle/10665.2/15589/v118n5p448.pdf?sequence=1
• Gingras, Y. (2016). Bibliometrics and Research Evaluation. Uses and abuses. The MIT Press.https://doi.org/10.7551/mitpress/10719.001.0001
• Hicks, D., Wouters, P., Waltman, L., De Rijcke, S., & Ràfols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429–431. https://doi.org/10.1038/520429a
• Kulczycki, E. (2023). The Evaluation Game : how publication metrics shape scholarly communication. Cambridge University Press.
• PRONII: entre el estancamiento y la renovación https://cienciasdelsur.com/2022/04/26/pronii-estancamiento-y-renovacion/
• Quintana, E. (2016). Caracterización de la ciencia en el Paraguay de la democracia (1989-2015): Aproximación a la construcción de la historia de la ciencia paraguaya. Revista científica Estudios E Investigaciones, 5(1), 18–31. https://revista.unibe.edu.py/index.php/rcei/article/view/129
• Ràfols, I., Leydesdorff, L., O’Hare, A., Nightingale, P., & Stirling, A. (2012). How journal rankings can suppress interdisciplinary research: A comparison between Innovation Studies and Business & Management. Research Policy, 41, 1262–1282. http://dx.doi.org/10.1016/j.respol.2012.03.015
• Vasen, F., Sarthou, N., Romano, S., Gutiérrez, B., Ortiz, M. E., & Pintos, M. (2021). “Sistemas Nacionales de Categorización de Investigadores en Iberoamérica: la configuración de un modelo regional”. Documento de trabajo 1, Proyecto PICT2018-2794. SSRN, 1–35. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3891052

¿Qué te pareció este artículo?

(3 votos, promedio: 5,00 de 5)

Olga Elizabeth Moreno Fleitas

Web

Investigadora paraguaya, doctora en Información y Comunicación por la Universidad de Barcelona, España. Se especializa en sistemas de evaluación de investigadores y políticas científicas.

No hay otro contenido del autor