presente volumen contiene capítulos en los que se realizan pruebas de coherencia entre opiniones de expertos y hechos (conductas) observados. Es el caso de Álvaro López que contrasta los juicios de los expertos en torno a la cooperación entre el legislativo y el ejecutivo. Por su parte, Nicolás Loza respalda con las tasas de homicidios la opinión de los expertos en torno a la presencia del crimen organizado. Estos ejercicios, no obstante, solo son factibles para los pocos aspectos de los regímenes políticos para los que existen tanto la medición vía expertos como indicadores objetivos razonablemente válidos y confiables para todos los estados.
Un potencial problema de medición adicional cuando se usan indicadores subjetivos es el de la memoria de los expertos. Es razonable asumir que estos recordarán con más precisión los hechos recientes que los ocurridos en un pasado lejano. Desde este punto de vista, la medición subjetiva debería funcionar mejor cuando se consulta a los expertos sobre eventos del presente o del pasado inmediato. En el caso argentino, en el que (con alguna excepción) las elecciones provinciales se realizan en el mismo año para todas las provincias, la opción fue consultar a los expertos sobre el periodo gubernamental concluido el año anterior al de la encuesta. La naturaleza escalonada de las elecciones subnacionales mexicanas implicó que variara el tiempo entre la fecha de la encuesta y el fin del periodo gubernamental evaluado. En la mayoría de los casos fue razonablemente corta: en siete estados el mandato concluyó en 2012 (a menos de un año antes de la realización de las entrevistas), en diez en 2011, y en ocho en 2010. Solo en siete estados el tiempo transcurrido fue superior a tres años (el caso más extremo es el de Baja California, estado para el cual se evaluó un gobierno concluido en 2007, unos cinco años antes de la encuesta). Estamos convencidos de que para expertos como los consultados no resulta difícil recuperar de su memoria información sobre lo ocurrido en el periodo gubernamental anterior al actual, aun si el mismo concluyó hace algunos años. De todas formas, el diseño metodológico de la Eepemex permite la verificación de esta hipótesis: puede compararse el grado de acuerdo inter-expertos para estados cuyos periodos de gobierno evaluados concluyeron más o menos recientemente. Si los problemas de memoria existieran y fueran signficativos, debería observarse un menor nivel de acuerdo entre los expertos para los estados más alejados temporalmente. En ese caso, las inferencias descriptivas acerca de esas unidades subnacionales serían de menor confiabilidad que aquellas sobre estados cuyos gobiernos evaluados concluyeron más recientemente.
Diseño metodológico de la encuesta de expertos de Argentina y México
Conviene dar los detalles del diseño metodológico de la Eeppa y la Eepemex.
a. Diseño y administración del cuestionario. Se diseñó un cuestionario estructurado con preguntas cerradas, con las cuales los expertos codifican un aspecto de la democracia en su provincia/estado, y preguntas abiertas, en donde los entrevistados pueden explicar las razones de su respuesta cerrada, calificarla, o dar una respuesta no prevista en las opciones cerradas. Dada la bien documentada tendencia de los públicos intelectualmente sofisticados a resistir el “encorsetamiento” de la realidad que supone un cuestionario estructurado (Putnam, 1973; Aberbach et al., 1975), las preguntas abiertas contribuyen tanto a los objetivos sustantivos del proyecto de investigación como al mejor flujo de las entrevistas. Las preguntas fueron diseñadas y testeadas para que fueran claras, concretas e imparciales, siguiendo las recomendaciones de la literatura sobre diseño de cuestionarios (Converse y Presser, 1986; Oppenheim, 1992; Foddy, 1993) y sobre entrevistas a élites (Dexter, 1970). Debido a la longitud y complejidad del cuestionario, la encuesta fue administrada personalmente por politólogos con antecedentes en política subnacional en Argentina, y por politólogos u otros profesionales de las ciencias sociales, muchos de ellos estudiantes de doctorado o maestría en sus respectivos campos de especialización, y también con interés y/o antecedentes en el estudio de la política subnacional en México.
b. Pretest del cuestionario. El cuestionario fue pretesteado en varias etapas. En primer lugar, el autor de la encuesta argentina lo distribuyó a varios colegas para obtener sus recomendaciones.[7] En segundo, la versión resultante fue leída y comentada por los miembros del equipo de trabajo de campo,[8] quienes sugirieron mejoras adicionales. Luego, los entrevistadores y el autor administraron catorce cuestionarios a expertos de once provincias. Estas entrevistas permitieron identificar y resolver problemas como sesgos de redacción, palabras ambiguas y preguntas particularmente dificultosas. En el caso del cuestionario mexicano los dos primeros pasos fueron idénticos,[9] pero el cuestionario que se probó era una versión que replicaba, en su mayor parte, la utilizada en Argentina con contenidos de relevancia local, algunos a petición de estudiantes doctorales o de investigadores que siguieron el proyecto y que ahora son autores en este volumen. En el caso mexicano, el fraseo de las preguntas se adaptó a los usos del país, y estudiantes del seminario de tesis “Poderes y democracias sub nacionales” de la Flacso México realizaron aplicaciones de prueba en cinco estados mexicanos. Fue después que se redactó la versión final del cuestionario.
c. Muestra. Los entrevistados para la Eeppa fueron seleccionados con dos criterios: 1) la amplitud y profundidad de su conocimiento sobre la política local, y 2) su capacidad para opinar con razonable independencia política. El entrevistado ideal fue un académico de las ciencias sociales, aunque el trabajo de campo exploratorio realizado en cuatro provincias argentinas durante 2006 mostró que los periodistas políticos y abogados del ámbito del derecho constitucional están a menudo tan bien informados sobre el régimen provincial como los cientistas sociales. La búsqueda de los expertos fue prolongada y difícil, sobre todo en las provincias pequeñas, menos desarrolladas y/o que no tienen departamentos de ciencias políticas, tales como Chaco, Formosa y La Pampa. El marco muestral de expertos para la Argentina fue desarrollado a partir de: 1) contactos académicos personales, 2) contactos generados durante la etapa exploratoria del proyecto en las provincias de Catamarca, Córdoba, Mendoza y San Luis, 3) politólogos del interior que participaron en el Congreso de la Sociedad Argentina de Análisis Político (saap) en noviembre de 2007, 4) expertos citados o entrevistados por los diarios nacionales para cubrir sucesos relativos a la política provincial, y 5) referencias brindadas por instituciones universitarias en varias provincias. Complementariamente se recurrió a la técnica de “bola de nieve”, lo cual permitió ampliar considerablemente el listado de expertos original. Se dio prioridad a los expertos con credenciales académicas, profesionales o periodísticas más distinguidas y a aquellos que fueron mencionados por más fuentes. En el caso de las provincias más “difíciles”, fue necesario relajar los criterios, a veces entrevistando a prestigiosos politólogos que desempeñan algún cargo político, y a veces entrevistando a personas que no eran estrictamente académicos, profesionales o periodistas.[10] El objetivo era lograr un mínimo de tres expertos por provincia a fin de poder calcular medidas de acuerdo (inter-rater agreement) sobre una base relativamente sólida. La muestra efectiva incluyó un mínimo de cuatro y un máximo de doce entrevistados por provincia (N total = 155, o un promedio de 6.46 expertos por provincia).[11] En la medición que aquí se propone los expertos funcionan como codificadores y, superando el estándar del Polity iv (que para la mayoría de los países utiliza un solo codificador), cada provincia es codificada por al menos cuatro expertos. En las provincias donde el nivel de acuerdo entre los expertos no fue satisfactorio, se llevaron a cabo entrevistas adicionales (Catamarca, Chaco, Formosa, Jujuy, La Rioja, Salta, Santa Cruz, Santiago del Estero y Tierra del Fuego).
La selección de la Eepemex siguió una estrategia similar: en primer lugar se buscaron expertos en política estatal que de preferencia contaran con doctorado o maestría, estuvieran adscritos a una institución de investigación y/o educación superior y tuvieran publicaciones en la materia. Este perfil se buscó, primero, a través de contactos personales, listas de membresía en el Sistema Nacional de Investigadores (sni) y/o en la Sociedad Mexicana de Estudios Electorales (smee), así como en centros de investigación y/o fichas curriculares disponibles en Internet; cuando no logramos reunir siete expertos con este perfil, se acudió al procedimiento de “bola de nieve”, pidiendo a los expertos locales identificados
