revisión de los estudios citados y diversas opiniones recogidas en distintos foros y en la prensa, y que dieron lugar a la construcción de nuestro cuestionario, pone de manifiesto dos tensiones presentes a lo largo de la historia del SNI, en las que ha coincidido la gran mayoría de quienes se han preocupado por mejorar su desempeño. A saber,
1 Número de dictaminadores y de solicitudes. Son pocos los dictaminadores y creciente la demanda de solicitudes, lo que genera una presión que termina afectando la evaluación y la calidad del dictamen que recibe el solicitante. Esto se observa en las valoraciones apresuradas y parciales que se elaboran acerca de las aportaciones de los investigadores y que se traducen en dictámenes poco detallados que no representan una instancia de aprendizaje para el evaluado (Esteinou, 2013a).[19]
2 Criterios cuantitativos y cualitativos. Esto se refiere al conocimiento necesario para evaluar, comparar y seleccionar (Bianco et al., 2014), lo cual se expresa como falta de acuerdos respecto de los criterios de evaluación. Ello se vincula al debate sobre el predominio de indicadores bibliométricos como medidas aproximadas de calidad, relativamente económicos en términos de tiempo y energía, pero que descuidan un análisis más cualitativo de las solicitudes (Bianco et al., 2014; Valenti, 2013; Jaso, 2007)[20] y ajustado al contexto en el que el investigador desempeña sus actividades.[21]
Estas dos tensiones representan señales que, sin negar las aportaciones del SNI, llaman a problematizar el mecanismo de evaluación por pares y sus criterios para evaluar, comparar y seleccionar.
Por un lado, conduce a la pregunta sobre qué es un par. En el contexto del SNI y sus comisiones dictaminadoras, el par se define como un investigador que ha alcanzado el máximo rango en el sistema (nivel III o Emérito) (Reglamento SNI, 2013), lo que no significa que sea un experto o especialista en la disciplina o tema en que se produce el conocimiento objeto de evaluación (Roy, 1984). Por otro, lleva al cuestionamiento de si en el SNI se evalúa efectivamente por pares, o más bien se contabilizan (algunos) productos de investigación, bajo el supuesto de que, como cumplen ciertas características, son entonces producción de calidad y excelencia. Sin embargo, este último procedimiento no ha estado exento de críticas ni en el ámbito nacional ni en la bibliografía internacional basada en la evidencia empírica de los diversos países que aplican o han aplicado el mismo criterio.
Butler (2003) y Kostoff (1997, 1998), entre otros, señalan que el número de citas de las publicaciones no es un indicador de calidad. En México, las posiciones al respecto señalan lo mismo y añaden que basarse en el factor de impacto del órgano de publicación no permite evaluar adecuadamente el valor de la contribución intelectual de la producción de conocimiento nacional.[22] Sobre esto es ilustrativa la declaración de los biólogos de San Francisco que, a través de la Declaration on Research Assessment (DORA) de 2012, recomiendan eliminar el uso de criterios de evaluación basados en el factor de impacto de las revistas y apreciar la investigación a partir de sus propios méritos.[23]
Como una consecuencia de lo anterior, en la bibliografía especializada internacional se documenta que la producción de conocimiento publicable en revistas indexadas, internacionales y de alto impacto muchas veces niega temas de investigación asociados a problemas de política pública o relevancia local (Van Dalen y Henkes, 2012; Katz, 1999). Además, puede castigar la producción de conocimiento orientada a la resolución de problemas complejos, transdisciplinaria y que involucre a diversos actores (Rafols et al., 2012; Nowotny et al., 2003), básicamente porque las medidas de calidad basadas en el factor de impacto generan sesgos hacia la investigación disciplinar (Rafols et al., 2012).
En el ámbito nacional, la crítica sostiene que los actuales criterios de evaluación imponen una barrera para que los investigadores transformen el conocimiento básico en aplicado u orientado a la resolución de problemas.[24] Dicho de otro modo, tales criterios dificultan que el conocimiento científico y tecnológico y la innovación se pongan al servicio del desarrollo económico y social de México (Esteinou, 2013a),[25] no equilibran el vínculo entre ciencia básica y aplicada y no reconocen la complejidad del fenómeno ni la necesidad de la inter, trans y multidisciplina para enfrentar los desafíos del conocimiento y el estudio y exploración de soluciones para los problemas nacionales.[26]
En cuanto al factor de impacto de las revistas, se ha objetado que este puede ser bajo por la alta especialización de la revista, lo que deriva en una masa crítica pequeña de investigadores en el área. Por su parte, la bibliografía especializada internacional documenta que los factores de impacto no están normalizados y de ese modo distorsionan la importancia y relevancia de una contribución científica (Gläser y Laudel, 2007). Paralelamente, los indicadores construidos a partir del Social Science Citation Index subrepresentan la producción de conocimiento en ciencias sociales y humanidades y están sesgados hacia publicaciones en inglés (Kostoff, 1997; Katz, 1999; Hicks, 2004, 2006). Una crítica recurrente en el ámbito nacional se refiere a que los indicadores bibliométricos no reflejan adecuadamente la producción en ciencias sociales y humanidades y que hay una preferencia por la publicación extranjera y en inglés frente a la nacional (Esteinou, 2013b).
Relacionado con ello, pero desde una perspectiva más general, los criterios de evaluación basados en indicadores bibliométricos desconocen las diversas formas en que se difunden los resultados de investigación y sus audiencias objetivo (De Jong et al., 2011; Hicks, 2004, 2006, 2013). En el ámbito nacional, se destaca que es necesario acercar el conocimiento y sus instituciones a la sociedad ya que, para explotar estratégicamente la riqueza cognitiva acumulada por México, es indispensable difundir el conocimiento a públicos más amplios y externos a la academia.[27]
Van Dalen y Henkens (2012) sugieren que la presión por publicar ha obligado a los científicos a producir resultados publicables a cualquier costo. La presión en este rubro ha llevado a que a los investigadores les importe más cuan seguido se escribe y con quién, que lo que se escribe y para quién (audiencias), y ha provocado que los científicos se alejen de proyectos de alto riego y en su lugar apliquen el salami tactics (dividir una contribución intelectual en varios artículos y publicarlos en diferentes revistas). Asimismo, a través de la metáfora “carrot-and-stick logic behind the publish-or-perish culture”, señalan que la confianza en las citas y en las publicaciones ha estimulado la productividad individual por lo que la producción de artículos ha aumentado. Sin embargo, se observan consecuencias no deseadas cuando los académicos se enfrentan a otras múltiples tareas, que son desplazadas y que tradicionalmente se atribuyen a las instituciones académicas.
Puesto que el SNI presenta problemas que en interacción podrían estar llevando a consecuencias no deseadas para el desempeño de la CTI y para su contribución y articulación con el desarrollo económico y social de México, académicos, autoridades y formadores de opinión han coincidido en que el sistema debería reformarse. En general, el énfasis está puesto, por un lado, en el reequilibrio entre la producción de conocimiento fundamental y aplicado y su orientación hacia la atención de los problemas estratégicos nacionales; y, por otro, en una evaluación más cualitativa que valore la trayectoria académica en su contexto disciplinar e institucional y que contemple las diversas actividades que desarrollan los investigadores-académicos en México.
Hay que decir, sin embargo, que algunas de estas propuestas —como el predominio de la calidad sobre la cantidad, la consideración del contexto o el equilibrio entre la investigación y el resto de las actividades del investigador— ya están contempladas en los criterios internos de evaluación de algunas áreas del SNI. Pero si se consideran los estudios referidos, las declaraciones en prensa y las de diversos foros, parecería que la comunidad no ha percibido todavía su sistemática utilización al momento de ser evaluados, como se manifiesta reiteradamente en los grupos de discusión que se celebraron en el marco de esta investigación.
La bibliografía especializada internacional apunta ese problema y señala que, dependiendo del tipo de producción de conocimiento (fundamental/aplicado), los requerimientos de evaluación y sus formas variarán considerablemente si el
