de recurrir a construcciones preexistentes relacionadas con el evaluado, incluso de fuentes externas como las de la literatura profesional, pero advierten que, si estas construcciones tienen bases paradigmáticas disímiles frente a la constructivista, deben revisarse las disyunciones que pueden socavar la esencia de la evaluación. Una manera para resolver este problema consiste en que el evaluador deje clara su posición frente a las construcciones preexistentes, a la luz de su intención evaluativa constructivista.
El segundo momento es el de la asimilación (hermenéutica). En este, el evaluador incorpora nuevos descubrimientos en las construcciones existentes, las pone en conflicto o las reemplaza. Así, el evaluador propone una construcción nueva, más informada y sofisticada, que se ajusta a los significados y permite la explicación de lo que sucede, de manera que se posibilite la resolución de problemas o, por lo menos, mejorar una situación problemática. Cabe aclarar que estos dos momentos de la evaluación constructivista no son necesariamente secuenciales, sino que pueden suceder de manera paralela e incluso superponerse.
Esta cuarta generación identifica los mismos roles de las dos primeras (evaluador, objeto de estudio). Sin embargo, los roles se encuentran en una relación de interacción en la que se reconoce la influencia del uno sobre el otro. A estos roles clásicos, se agrega un tercer rol, denominado “población impactada” por Scriven (2011a). Dentro de este nuevo rol, se cuentan otros expertos, poblaciones beneficiarias y los ejecutores de la política, los cuales se encuentran inmersos en la política de distintas maneras. Reconocer estos actores implica llevar a cabo una evaluación de carácter respondente (Muñoz, 2007), donde el criterio primordial de la evaluación es la participación y la deliberación pública de diferentes audiencias e intereses. Con este nuevo elemento, ya no solo se maneja información cuantitativa, sino también cualitativa, lo que permite evaluar la política a partir de criterios como gobernanza, calidad, relevancia y significación.
Teniendo en cuenta lo anterior, el evaluador pasa a ser un mediador en el proceso de negociación entre las diferentes versiones o visiones de la realidad y, a partir de esta negociación, construir un consenso entre visiones. Así, la evaluación de la cuarta generación no se enfoca en describir la política y su funcionamiento interno, sino que pretende medir y valorar la política como un metadiscurso (consenso sobre la realidad), producto tanto de la interacción y negociación de diferentes visiones de la realidad, como de diferentes intereses puestos en juego.
A partir de este enfoque, la evaluación está orientada a definir el curso de la acción pública, por lo que los resultados no son conclusiones, recomendaciones ni juicios de valor, sino una agenda para la negociación de demandas o temas no resueltos en la política. Cabe agregar que la lógica de la causalidad en este tipo de evaluación es circular, es decir, rompe con la causalidad lineal, donde cada causa tiene un efecto. En otras palabras, en la cuarta generación, prima una lógica circular, donde el efecto de una causa puede explicar el origen de otra causa.
A pesar de reconocer la existencia de las cuatro primeras generaciones de la evaluación de las políticas, existe otra propuesta, explorada por Muñoz (2007) y Lund (2011), basada en un cambio de paradigma. Tanto Muñoz como Lund proponen una quinta generación, esta vez, fundamentada en una epistemología construccionista social, que se acerca a los planteamientos de la teoría de sistemas y la complejidad. En esta nueva generación de la evaluación, la realidad es considerada una totalidad orgánica que trabaja bajo causalidades en forma espiral. Esto equivale a decir, por un lado, que el evaluador no es totalmente ajeno al objeto de estudio, ni al contexto de la evaluación; por otro, que tampoco el objeto de estudio queda intacto después de la aplicación de los instrumentos de medición. En otras palabras, todos los elementos influyen sobre los demás y son influidos con respecto a estos, en ciclos históricos que pueden y tienden a repetirse.
Por otro lado, Scriven (2011a) sugiere que, desde una perspectiva que admita la diversidad, es posible reconocer una gran diversidad de actores o roles durante la evaluación. No solo está el evaluador, el cliente (gobierno), el personal de la política y la población objeto, sino que también se reconocen roles adicionales como 1) la población impactada de manera recurrente, futura y potencial; 2) otros actores interesados (donantes, familiares y amigos de la población impactada, simpatizantes, enemigos, reporteros, políticos e historiadores, entre otros); 3) audiencias reales, futuras y potenciales (como agencias de supervisión); y 4) asesores de evaluación (apoyo para la evaluación).
En este escenario, la evaluación de quinta generación requiere reconocer que el conocimiento puede provenir de diferentes escenarios y esferas. Ello equivale a afirmar que todo conocimiento es válido. En ese sentido, el objetivo del conocimiento (construido) es comprender los comportamientos sistémicos y complejos de la totalidad orgánica del mundo vivo. Para ello, este tipo de evaluación pretende rescatar e integrar algunos elementos del enfoque empíricoanalítico (tercera generación) y del enfoque comprensivo (cuarta generación). Lo anterior, a partir de lo que Muñoz (2007, pp. 163-164) considera “las tres etapas del proceder metódico”:
→ Brindar al ejercicio evaluativo de un piso teórico, por ejemplo, a partir de un análisis documental juicioso y sistemático.
→ Contrastar el piso teórico con las subjetividades de las realidades que van a ser evaluadas, por ejemplo, a través del instrumento de la etnografía.
→ Analizar integralmente la información recopilada a través de la triangulación, con base en saberes de expertos de uso, expertos usuarios y el investigador. Esto con el propósito de resolver acercamientos y diferencias entre paradigmas, posiciones y opiniones.
Así pues, en la quinta generación de la evaluación, lo importante no es la acumulación de saberes segmentados, sino las relaciones y conjuntos que emergen de ellas, lo que permite la interrelación y comunicación entre especialistas y especialidades. Como puede observarse, la interrelación y la intercomunicación de los diversos actores es fundamental para obtener la mayor diversidad posible de información, tanto cualitativa como cuantitativa. Esta información debe servir para ayudar a mejorar las condiciones de vida, puesto que está orientada a mostrar las cualidades y calidades de la política, en función de la satisfacción de las necesidades. En todo caso, la evaluación debe considerarse una investigación social, formulada de manera que permita plantear alternativas sistémicas a problemas sistémicos.
Criterios para evaluar los efectos de la política pública
Una política pública tiene el objetivo de resolver un problema social que, después de un debate público pasa a la agenda pública, para convertirse prácticamente en un tema que es competencia de la esfera pública. Una vez programada e implementada, la política debe ser objeto de una evaluación sistemática. Al analizar esta última parte de la política como proceso cíclico, es necesario evidenciar si los grupos objetivo identificados como causantes del problema público, en efecto, modifican su conducta (¿qué impactos?) y si, gracias a ello, la situación de los beneficiarios finales o quienes sufren el problema público mejoró realmente (¿cuáles fueron los efectos reales?, ¿outcomes?). En suma, la evaluación de las políticas públicas busca encontrar evidencia empírica para validar el modelo causal en que se fundamentó.
Subirats y sus colaboradores (2008) definen de manera operacional los “impactos” producidos como aquellos que evidencian los cambios de conducta en los grupos-objetivo y, por otro lado, describen los efectos reales, inducidos sobre los beneficiarios finales (outcomes). En función de estas dos variables, los autores proponen cinco criterios aplicados, generalmente, para evaluar los efectos de una política pública: 1) efectividad, 2) eficacia, 3) eficiencia en la asignación de recursos, 4) pertinencia y 5) eficiencia productiva, como se describe más adelante.
Los actos formales de la implementación de una política pública (outputs) se refieren a los productos finales de los procesos práctico-administrativos, es decir, los resultados tangibles
