You are currently browsing the monthly archive for Octubre 2007.
Esta es una entrada con sabor a crónica. No acostumbramos a ello, pero me parece que vale la pena poner una nota de normalidad. Los y las buenas amigas me dicen que EVALUATECA peca de tecnicismo.
Estos días andamos en El Salvador. Hoy hemos tenido una mañana fructífera, sin duda. Primero con Carmen Valle, de la Red Salvadoreña de Evaluación, y después con Natalia Colomé, de la Universidad (Nacional) de El Salvador, Facultad de Medicina.
No quiero aburrir con la crónica narrada en términos de secuencia, de contenidos. Valdría más la pena unas fotos para ello, pero los que me conocen saben que no ando con cámara digital, aunque tarde o temprano claudicaré (como pasó con el móvil). Así que voy a los aprendizajes.
Con Carmen descubrimos, o mejor redescubrimos, que la manera más enriquecedora y, curiosamente, más eficiente para hacer evaluaciones en proyectos internacionales es contar con redes de evaluadores. Perogrullada, pensarán algunos, pero ¿quieren que hagamos una cuenta de cuántas evaluaciones de proyectos de AOD las realizan expertos nacionales del país receptor? Seguro que todos sabemos, más o menos, el resultado. Por otro lado, la importancia, una vez más, de las redes/sociedades de evaluación como referencia para la práxis profesional. Imprescindible fortalecer la referencia a los profesionales de evaluación de cada país. Y como colofón: la importancia de la ética de la evaluación. Demasiadas evaluaciones por cumplimiento de expediente.
Con Natalia redescubrimos que Universidad pública y eficiencia son palabras más que compatibles. Reconocemos que Universidad pública y compromiso con su entorno socioeconómico, político, cultural, etc. es un hecho intrínseco, ineludible. Y constatamos una práxis de gestión de calidad en proyectos poco esperable en nuestras Universidades de origen. Me gustaría saber cuántos proyectos de nuestras Universidades españolas realizan un proceso de autoevaluación con los actores implicados motu propio. A Natalia y su grupo nadie se lo pide (bueno, yo esta mañana, pero llegué tarde). Natalia y su grupo lo hacen porque saben que aprenden en el proceso.
Viajar ilustra, que bien dice mi querido padre.
En algunas entradas hemos hablado del método “Cambios más significativos” (MSC por sus siglas en inglés), desarrollado por Rick Davies, una propuesta práctica para manejar estudios de caso en evaluación que está teniendo una importante difusión y, aparentemente, buena acogida.
Ya está disponible una versión en español, aquí. Me parecía importante hacer una reseña no solo por lo interesante de contar con el manual básico traducido a nuestra lengua, sino por la iniciativa de crear un espacio colaborativo para facilitar la traducción del material a lenguas en las que no es habitual encontrarse estas cosas. Así, podemos encontrar el MSC en Urdu, Hindi, Malayo…
A mi modo de ver, una acertadísima propuesta en el marco de las redes colaborativas, las TIC, etc. Sin duda, Rick Davies es un evaluador que comprende el tiempo en el que vive.
Hace unos días me dio por mirar las estadísticas de EVALUATECA, y contra todo pronóstico ya hemos superado las 2.000 visitas.
Gracias a todas y a todos. Seguimos en la brecha.
No se si alguna vez les ha llegado la cantinela, pero a mi me empieza a sonar demasiado. Parece que se extiende en España algo cercano a una “leyenda urbana” que vendría a justificarnos que los fondos de Ayuda al Desarrollo generados desde las administraciones locales (Comunidades Autónomas, Diputaciones, Ayuntamientos) son “más” en todo: más eficientes, más orientados a necesidades de los más desfavorecidos, más consensuadas con las ONGD…
Creo que hace mucha falta, YA, entrar en serio en una dinámica de fomento de la cultura de evaluación en estos espacios. Algunas pistas que apuntaban esta necesidad ya nos las ponía, negro sobre blanco, Carlos Gómez Gil, en su publicación “La cooperación descentralizada en España: ¿motor de cambio o espacio de incertidumbre?“, editada por Bakeaz en 2001.
Ya comentamos en una entrada anterior el caso de la Cooperación de la Generalitat Valenciana. Para su deleite, y para que mantengamos en alto un espíritu crítico en todo momento, aquí dejo un par de “perlas” (gracias, Iván). Les aseguro que no tienen precio: una intervención de la alcaldesa de Lasarte, sra. Uchueguía, vice-presidenta del Euskal Fondoa y Presidenta de la Comisión de Cooperacion al Desarrollo de la Federación Española de Municipios y Provincias. Juzguen ustedes mismos.
Soy un convencido de las redes sociales y del potencial de las TIC para promover procesos de cambio, de todo tipo. Ejemplo de ello es esta entrada: el mes pasado se producia un interesante debate electrónico en un foro al que estoy suscrito (y que como es habitual en estos casos, soy incapaz de seguir al día y mucho menos de aportar nada relevante). Se trata del foro del Mapeo de Alcances, una propuesta del IDRC que ya hemos mencionado en anteriores entradas.
En él, unos compañeros suizos del AGRIDEA – Developing Agriculture and Rural Areas, planteaban la eterna discusión sobre las limitaciones del enfoque de Marco Lógico como herramienta de planificación y/o de evaluación. Lo que me pareció interesante, y comparto con vosotros/as, fue que además de la crítica a la ortodoxia inherente al método, se hacía una propuesta para incorporar nuevas capacidades y reducir la rigidez a través de la incorporación de estrategias propias del Mapeo de Alcances (que a aprtir de ahora citaremos como OM en sus siglas en inglés).
Sin entrar en el meollo del debate, que llevaría mucho tiempo y espacio, me gustaría resaltar algunas ideas. Por un lado, contrariamente a la creeencia habitual, el EML tiene carencias en lo OPERATIVO. Se ha convertido en una herramienta-modelo en las relaciones entre instituciones de la Cooperación Internacional, lo que supuestamente ha mejorado su capacidad “operativa” de acción. Pero si pensamos en el objeto del EML, que es la intervención en sí, cualquiera que haya hecho una Matriz de ML se habrá topado con la dificultad de describir mecanismos “en la práctica”, cambios de conducta, organización del proyecto para su ejecución.
Una segunda cuestión es la incapacidad del EML de mostrar el trazado del proyecto. El propio IRDC presentó en 2001 una ponencia en la Conferencia Anual de la AEA sobre la posibilidad de dotar al EML de perspectiva temporal, tanto en su fase de diseño como en posteriores monitoreos y evaluación (presentando una interesante “mutación” del EML llamada ‘Temporal Logic Model’, del que curiosamente, no he sabido más). El EML no nos permite apenas dotar al diseño de una perspectiva de evalución, ya que la variable temporal sólo actúa en la definición de hitos, por ejemplo en metas o en umbrales de los indicadores objetivamente verificables.
Ambas cuestiones son CLAVE para la evaluación con EML. En el primer caso, sin capacidad de describir cambios operativos no podemos reconstruir Teoría de Programa, no podemos establecer cadenas causales de resultados, en definitiva no podemos justificar el alcance de determinadas metas a partir de lo ocurrido en el proyecto. Y lo que es peor, no podemos aprender del propio proyecto en cuanto a las estrategias de cambio más exitosas. En el segundo caso, la falta de perspectiva temporal nos dificulta el establecimiento de ciertos modelos de evaluación, que tienen en cuenta la perspectiva temporal, como podrían ser los modelos cuasi-experimentales y no experimentales destinados a la medición del impacto.
En la discusión, los amigos suizos, encabezados por Daniel Roduner, nos ilustraron algunas de sus ideas de “fusión” con esta animación en PowerPoint (Marco Lógico y Mapeo de Alcances). Prometo traducirla al castellano en cuanto me sea posible.
Hablábamos en mensajes previos sobre el proceso de elaboración del nuevo Manual de Evaluación de Cooperación Española. Como recordarán, hasta la fecha se dispone de uno, que data de 1998, el cual no ha sido precisamente un elemento dinamizador de la cultura de evaluación en este sector en nuestro país.
Esta vez, Cooperación Española, desde su nuevo “think tank” llamado Dirección General de Planificación y Evaluación de Políticas para el Desarrollo (y conocido en el sector por sus siglas DGPOLDE), apuesta por un enfoque renovador y más atrevido. Es la tónica general de sus propuestas: un ala ministerial con una filosofía de trabajo casi totalmente opuesta al habitual procedimentalismo funcionarial de AECI que no hace sino poner arena a los engranajes.
Todavía no lo he trabajado en profundidad, pero en líneas generales, vale la pena comentar un par de cuestiones como primera aproximación (en posteriores mensajes ampliaremos, paciencia). Por un lado, se apuesta por un enfoque de “gestión del proceso evaluativo“, es decir, el énfasis está puesto en aquellos que van a encargar evaluaciones y no tanto en quienes finalmente realicen las tareas programadas a tal fin (digamos por ejemplo, evaluadores externos). Esto creo que es más realista con las necesidades evaluativas de las ONGD que un manual genérico de evaluación. Esta apuesta tiene más potencial de contribución a la madurez de ese proceso que venimos llamando “cultura de evaluación“.
Por otro lado, el manual tiene un énfasis importante en el uso (un aire muy “Patton”) y en el aprendizaje. No se si los mecanismos previstos a tales efectos serán a su vez útiles, realistas, viables, etc. Pero por de pronto, la apuesta es de lo más acertada.
Dejo el Manual aquí para quien le interese, que me consta será mucha gente. De hecho, una crítica al final de este proceso vendría en la línea de la “socialización”. Se viene prometiendo en petit comité y demás pasilleos, desde los diferentes actores implicados en su elaboración, que se va a hacer un enorme esfuerzo por difundirlo y ayudar a que se implemente. El Manual lleva finiquitado y listo para ser usado desde hace ya meses (casi desde que publicamos el mensaje al respecto de su publicación, en junio pasado). En algunas partes del mundo hay gente que tiene un ejemplar en formato ‘hard’ (en papel bonito, vamos). He visto una referencia a él en algún documento de alguna ONGD. Y entonces, ¿dónde está el dichoso Best-Seller? No lo busques en la web de la DGPOLDE, no está. Y no les llames, porque “no está publicado”.
Misterios de la gestión pública. Apostaba con un buen amigo que esto podría ser incluso una estrategia pensada, al más puro estilo del llamado marketing viral (recordemos que los responsables políticos de este departamento saben mucho de todo esto, no en vano inventaron el “pásalo“). O quizá es que, al final, no es tan fácil librarse de los calendarios electorales y los grandes eventos mediáticos cuando se trata de logros alcanzados en una legislatura.
Descargar: Manual de Gestión de Evaluaciones de Cooperación Española
(Nota legal: puede parecer un poco transgresor y antisistema esto de que cuelgue el PDF antes de que lo haga la entidad correspondiente, pero como dice el propio texto “se AUTORIZA la reproducción parcial o total de esta obra por cualquier medio o procedimiento, conocido o por conocer, comprendidas la reprografía y el TRATAMIENTO INFORMATICO, siempre que se cite adecuadamente la fuente y a los titulares del Copyright”)
ACTUALIZACIÓN 21/10/07
Al César lo que es del César: El Manual ya está disponible también en su sitio oficial. No me acaba de quedar claro si para DGPOLDE y en general AECI, este manual es complementario con los anteriores…
