You are currently browsing the category archive for the 'Enfoques de Evaluación' category.
Hace aproximadamente un año, la gente del Área de Cooperación Internacional de la Escuela Andaluza de Salud Pública tuvo el detalle de invitarme a participar en un estudio sobre el impacto de sus intervenciones en este sector en las diferentes acciones que había venido trabajando. Lamentablemente no pude participar porque la cosa requería presencialidad y yo estaba huído en el GIOS en Arizona (como seguramente algún amigo recordará). Una vez acabado el trabajo, llega el momento de socializar. Y ahora que estoy por Valencia de nuevo (más o menos), tienen de nuevo la amabilidad de invitarme a participar en una jornada para discutir sobre el tema, junto a otros ponentes y un reducido grupo de gente vinculada a la cooperación internacional desde las instituciones públicas.
Ni que decir tiene que me parece una iniciativa genial, de las que lamentablemente hay pocas en España. Pero además creo que han dado en el clavo promoviendo la asistencia y el diálogo con la cooperación descentralizada de otras comunidades autónomas, entre ellas la que resido habitualmente. El papel de la descentralizada es clave en una nueva manera de entender la articulación de actores a nivel internacional, y la evaluación debe formar parte de este nuevo discurso. Pero de este tema, evaluación y actores locales, hablaremos en otra entrada
A continuación comparto el programa. Como veréis se trata de un plantel bien interesante. De hecho, vamos a ver si soy capaz de contar algo interesante ;-( Paradójicamente, como podrán ver en el guión, me han pedido que haga un resumen del polémico informe del CDG ‘When we ever learn?‘ y de lo que ha venido pasando al rededor del tema desde 2006. Anda que con lo que servidor ha rajado de este tema…
Programa
Estos días andamos por el Ecuador con varias actividades de Evaluación en marcha. Una de ellas, una colaboración con los amigos y amigas del PNUD, en un interesante programa que quizá conozcan, pero que si no es el caso, les animo a echar un ojo: se trata del programa ART (Articulación de Redes Territoriales). Pueden consultar el modelo general aquí, y el caso particular de Ecuador aquí.
Andamos escasos de poesía, de innovaciones, de riesgo, en esto de la Evaluación, así que cruzarse con locos que se echan al ruedo e intentan ver esto del trabajo en desarrollo desde otra óptica, sinceramente se agradece. Hemos estado hablando mucho sobre el seguimiento y la evaluación. En particular lo primero, pero dado que en el programa hay un importante componente de apoyo a procesos, el seguimiento vira (o debería) hacia el intento de capturar los logros que las pequeñas intervenciones consensuadas entre actores locales van alcanzando.
Hemos discutido muchas cosas estos días con compañeros y compañeras que trabajan el día a día de la política pública local en lo más terrenal, y fruto de ello me surgen interrogantes/reflexiones que comparto:
a) Abro los ojos ante la articulación/coordinación/concertación. Sin duda la mejor de las estrategias para resolver viejos problemas. Lanzo un mensaje, en especial para los más heterodoxos/progres/antimétodo: el hábito no hace al monje y esta es una buena muestra. LA articulación de actores en el territorio creo que resuelve en buena parte las simplificaciones que cometemos constantemente al diseñar programas con herramientas orientadas por objetivos, orientadas a resultados, modelos lógicos o como buenamente le quieran ustedes llamar. No es tanto problema de la herramienta (que obviamente, en tanto que herramienta, tiene sus limitaciones y en este caso probablemente el límite elástico -por aquello de la flexibilidad que claman sus detractores- sea sin duda más corto). Es problema de usar ésta (o cualquier herramienta) y pensar en solucionar un problema complejo SIN TENER EN CUENTA AL RESTO DE ACTORES, que en una aproximación más sistémica, son entidades con alto grado de autonomía e intereses y mandatos no necesariamente alineados.
b) Siguiendo con el argumento, ¿qué utilidad tendría un enfoque articulado de Evaluación? Pienso en una doble vía: que hay de bueno en la articulación para alimentar la evaluación, y viceversa. En el primer caso, un enfoque coordinado implicaría directamente réditos tan apetecibles como: menores costes y tiempos, mayor riqueza de información, aproximación más certera a la complejidad del hecho evaluado, y la guinda del pastel, una mayor probabilidad de incorporación de aprendizajes en el centro de la gestión de cada actor. En la vista opuesta: en un enfoque articulado de trabajo, la evaluación necesariamente debe decantarse hacia un enfoque formativo, una marcada orientación al aprendizaje social.
c) Todo suena a música celestial. Bajemos un poco al mundo real. ¿Qué nos hace falta para orientarnos de este modo? Si bien es cierto que hay técnicas y herramientas de evaluación disponibles para dar y vender, necesitamos una primera barrida para buscar las más apropiadas. Esto es un trabajo pendiente, y que sin poder prometer ahora que lo abordaremos, es sin duda una tentación. Apunto claves casi, casi, hablando en voz alta:
- Necesitamos enfoques/herramientas que capturen complejidad: así que chao, chao diseños experimentales, fue bonito mientras duró
Vámonos por aproximaciones en red (ARS) o herramientas cualitativas ad hoc para este tipo de intervenciones complejas (Cambio Más Significativo, MSC) - Necesitamos herramientas fuertemente apoyadas en la “iniciativa evaluativa” de los participantes: término casi imporvisado con el que quiero evitar decir “participativas”. Pienso incluso en enfoques en los que sin el trabajo activo de los actores la herramienta simplemente no funciona, ni trucándola. Estoy pensando en Mapeo de Alcances, más su filosofía que su praxis.
- Necesitamos definir qué es “exitoso” en términos de articulación y como darle valor. Quisiera no caer en la simplificación de anhelar “indicadores de articulación”, aunque puede ser un paso para inocular este nuevo virus a sistemas enquistados (supongo que sería más fácil esto que decirle al PNUD que se deje de Gestión Basada en Resultados).
Veo mimbres, pero no sin cierto escepticismo. Así como creo que una iniciativa como la que he podido conocer más en detalle y compartir durante esto días es una buena muestra de que todavía hay esperanza, también me preocupa la atadura a las viejas prácticas que necesariamente mantiene (por su propia supervivencia, básicamente). Me refiero a los vicios de la cadena de la ayuda, los intereses de los donantes, la maquinaria burocrática del sistema, etc.
Hoy he tenido la oportunidad (un lujo, diría) de dedicar un tiempo a dejarme interpelar por viejas y nuevas ideas. Esta mañana hemos asistido a la conferencia “Diálogos sobre Planificación del Desarrollo“, que en realidad ha sido un agradable e innovador formato entre mesa redonda /debate /videoconferencia (uno de los ponentes estaba en Londres). Los ponentes: Gabriel Ferrero, amigo, compañero de la UPV y actualmente Subdirector de la Dirección General de Planificación y Evaluación de Políticas de Desarrollo (DGPOLDE), y Alex Frediani, consultor y profesor de Development Planning Unit en el University College of London. Una iniciativa de Master en Políticas y Procesos de Desarrollo, programa impulsado por mi Departamento y en el que tengo el privilegio de participar como docente en su curso de Evaluación de Programas.
Ha sido un bombardeo termendo de ideas, y en especial de ideas “contemporáneas” (palabra que ha usado Alex un par de veces y que me parece muy apropiada), conectando paradigmas de desarrollo con enfoques de planificación, para al final aterrizar en la Ayuda al Desarrollo como parte importante en el entramado. Algunos de los enfoques nombrados: Modos de Vida Sostenibles (Sustainable Livelihoods Approach), Empoderamiento (algún día encontraremos en español una buena traducción para Empowerment), Ciudadanía (Citizenship), Enfoque basado en Derechos (Rights Based Approach) y, cómo no, Enfoque de Capacidades (Capability Approach).
Durante estos meses he estado envuelto en un trabajo con gente del GIOS en Arizona que precisamente trabajaba con Modos de Vida Sostenibles, y en él hemos intentado operativizar ciertas valoraciones mediante modelos en red. Ya de vuelta en Valencia (de la que les regalo una instantánea del lago de la Albufera), reengancho con algunos proyectos rondando las remesas, la vivienda social, el desarrollo local, y en ellos nos ronda la idea de atrevernos con el Enfoque de Capacidades en un aterrizaje, esperemos que no demasiado forzoso, como posible marco de Evaluación.
Así que los aires frescos de esta mañana me han vuelto a recordar algunas locas ideas. ¿Qué tal un repaso a estos “contemporáneos” marcos teóricos para desarrollar nuevos enfoques de evaluación? Me consta que hay algunos en los que ya se ha andado, en especial Empowerment Evaluation (con san David Fetterman), y aunque no se ha hablado esta mañana mucho, encontraríamos un paralelismo en Collaborative Evaluation de Rita O’Sullivan con Collaborative Planning.
Se admiten tanto sugerencias como apuestas
Mucho discurso, poca praxis. Como dirían algunos del lado occidental del charco (atlántico) “mucho lilili, poco lalala”. Como cualquiera que esté mínimamente involucrado en la práctica de la evaluación, tanto los condicionantes operativos como en ocasiones los intereses estructurales, impiden la inclusión de formas más flexibles y más democratizadoras en los procesos evaluativos. Resulta complejo y pretendidamente caro poner en práctica mecanismos de participación activa en evaluaciones de programas. Complejo por la enorme carga de gestión de un proceso en el que tomen parte activa un buen número de actores involucrados, no necesariamente en armonía entre ellos. Por otro lado, pretendidamente caro, pues el mismo “requisito”, si así se quiere entender la evaluación en el contexto del ciclo de proyectos, se puede salvar con un paracaidista de una semana en terreno y otra en escritorio.
En este contexto, propuestas prácticas para incorporar procesos colaborativos son sin duda un soplo de aire fresco más que necesario. Evaluaciones Colaborativas es un texto de Liliana Rodríguez, profesora del Departamento de Investigación y Medición Educativa de la Universidad de Florida del Sur. Traducción de una primera versión en inglés, el texto presenta una propuesta práctica articulada sobre un modelo en seis pasos, a partir de los cuales se ofrecen consejos prácticos extraídos de casos reales de evaluación. Tuve la suerte de conocer a Lili y a Rigo (Rigoberto Rincones, su pareja), en una conferencia de la American Evaluation Association. Ambos excelentes profesionales de la evaluación, es un gusto saber que a pesar de residir y desarrollar su carrera profesional en Estados Unidos, su compromiso con el desarrollo de una cultura evaluativa de calidad en habla hispana sigue más vigente que nunca.
[Vía ReLAC]
En un mundo transdisciplinar, en el que carece de sentido entender la ciencia como un conjunto de cajones estancos, tiene todo el sentido del mundo la búsqueda de conexiones neuronales entre conceptos, enfoques, mecanismos, etc.
Una combinación interesante, de la que se está hablando mucho en muchos ámbitos de Evaluación (inclusive el sector privado, del que por cierto proviene esta filosofía), es la que vincula nuestra área con Gestión del Conocimiento (o como se conoce en la jerga anglosajón, KM o Knowledge Management). En una definición muy burda, vendría a ser el conjunto de procedimientos y recursos establecidos por una organización para facilitar a la misma tanto el acceso a información relevante para la toma de decisiones como la absorción y posterior uso de lecciones aprendidas a partir de la práctica en actividades previas.
En la vida real, la Gestión del Conocimiento se está quedando en muchos casos en la instalación de sistemas (basados en software) que almacenan datos y más datos sobre “cosas” que acontecen en la institución: actividades, recursos, proyectos, etc. Sin embargo, así como hay una transformación para llevar un “dato” a ser “información”, también hay otro salto entre “información” y “conocimiento”. Y esto último tiene mucho que ver con Evaluación.
Cada vez tenemos más acceso a datos, y también a información en políticas públicas. Pero, ¿sabemos más de los procesos que se están generando dentro y fuera de la institución? Y si la respuesta es afirmativa, ¿quién sabe más? ¿Se puede hablar de la organización que aprende?
Toda esta intro para dejar una pregunta en el aire y empezar a hablar. Y también para introducir alguna propuesta interesante. La Iniciativa Pelícano (no confundir con la conspiradora película de Julia Roberts) es una actividad impulsada por un grupo de instituciones con el IDRC de Canadá a la cabeza (los creadores del Mapeo de Alcances). El resto son: European Centre for Development policy Management (ECDPM), Exchange, Bellanet and Unicef East Africa Regional Office. Se trata de un sitio web para discutir sobre Aprendizaje Organizacional basado en la evidencia. ¿De dónde pueden surgir evidencias de las que aprender? Pues de los procesos de evaluación, por supuesto
. Para más información sobre el proceso de esta iniciativa y los alcances que se van dando, puede consultar aquí.
El foro están en inglés (en fin…). Hay temas muy interesantes, como por ejemplo “¿Cómo evaluar pertenariados?” o “Aprendizaje en la nueva arquitectura de la AOD”.
¡Ánimo y al toro! (ups, esta última expresión puede herir sensibilidades)
De nuevo, tras otro paréntesis con viajes y trabajos tan encantadores como entorpecedores, escribo en EVALUATECA porque esta semana lo merece. Esta semana terminamos con la fase presencial de nuestra asignatura de Evaluación de Programas, en el marco del Master en Políticas y Procesos de Desarrollo (especialidad en Gestión de Proyectos y Procesos) de la Universidad Politécnica de Valencia. Y para ello, tengo el inmenso placer de contar con dos invitados de excepción: Mr. Craig Russon, actualmente Senior Evaluation Officer de la Organización Internacional del Trabajo, y D. Rogério Silva, actualmente Director del Instituto FONTE de Brasil, especializado en apoyo a procesos participativos. Ambos son, sin duda, líderes internacionales en el campo de evaluación, como ya hemos comentado en alguna otra entrada.
Y empezamos las actividades presenciales con una mezcla de conferencia, mesa redonda, panel…uno nunca sabe ya cómo llamar a esto. En el fondo es un intento de réplica de las conversaciones de café que hemos tenido en alguna ocasión. Por eso la hemos titulado “Evaluación a dos voces”. Hablaremos de los temas que nos interesan en evaluación, lo que se está discutiendo por ahí, algunas pistas sobre hacia dónde caminar, etc. Será el jueves 17 a las 12. Aquí podéis ver el cartel anunciador. Es una actividad abierta, patrocinada por la Asociación Valenciana de Ingeniería sin Fronteras. Estáis todos y todas cordialmente invitados. Para los que no podáis venir, intentaremos al menos conseguir unas fotografías (ojala un video que pudiéramos colgar).
Un breve comentario, “por el camino”. Hace unos días ha vuelto el debate que tiene como sustrato la cuestión sobre si un tipo de enfoques de evaluación son más científicos que otros, y por tanto ofrecen más valor añadido. Todo arranca con un post de Craig Russon, líder internacional de evaluación, muy conocido y querido por muchos de nosotros por su espíritu internacionalista e integrador, uno de los principales impulsores de la tan atacada Organización Internacional para la Cooperación en Evaluación. El Dr. Russon comenta el tema a raíz de una actividad de investigación de una compañera, que actualmente se doctora en la archiconocida meca de la Evaluación, The Evaluation Center de la Universidad West Michigan. Daniela Schroeter lanzó hace poco una encuesta a evaluadores de la lista XCeval sobre “Evaluación de la Sostenibildad“.
Prometo hacer un resumen de las discusiones que están teniendo lugar en estos días (en español, ¡ya sabéis de nuestra lucha!). Mientras tanto, si algun/a aevaluador/a o simpatizante se anima a apoyar a Daniela en su investigación, aquí os adjunto parte del mensaje que nos enviaba, con su contacto. Seguro que la realimentación que nos dé tras su trabajo será de gran utilidad para nuestra práctica diaria.
<<If you are interested in participating in the study and willing to volunteer some of your valuable time for providing critical feedback on the checklist, please reply favorably to my personal e-mail address: Daniela.Schroeter@gmail.com . I will respond to you with a copy of the checklist and the survey. Please indicate if you prefer taking the survey via a web-based link or a word document in which you can save your answers>>
En estos días se ha “liberado” un interesante documento, que lleva casi una década siendo un referente a la hora de justificar el uso de uno u otro enfoque cuando diseñamos un proceso evaluativo. Me refiero al compendio de 22 enfoques elaborado por Daniel L. Stufflebeam, un grande de la evaluación de aquellos que se concentraron en Kalamazoo, Michigan (EEUU), en esa versión evaluativa del Pentágono (dicho esto con todo el cariño) llamada Evaluation Center, en la Universidad de Michigan Oeste.
Este artículo nació previamente como un Documento Ocasional (Ocassional Papers Series) del EC y posteriormente fue objeto de un monográfico de la revista de evaluación New Directions in Evaluation. Lamentablemente, esta revista, aunque tiene fácil acceso electrónico, está restringida a la suscripción (es decir, al pago).
A pesar de ser un documento teórico, vale la pena leerlo y tenerlo como referencia. Por supuesto, en cursos y capacitaciones para profesionales que vayan a dedicarse a hacer evaluación, diría que es de obligada lectura. En la web del EC puede bajarse la copia en PDF. Dejo también una copia aquí para mayor facilidad. Lamentablemente sólo está en inglés. Si alguien se anima a traducir, que me avise y lo hacemos a dúo (trío, cuarteto…cuantos más seamos, mejor).
Foundational Models for 21st Century – Program Evaluation
Además de esta aportación, Stufflebeam es, como decía, un grande de la evaluación. No diré que soy un gran fan, pero hay que reconocer su aportación al mundo de la evaluación. En el campo de la evaluación educativa, tenemos su archiconocido modelo CIPP (siglas en inglés de Contexto, Entrada, Proceso, Producto). Para los más prácticos, recomiendo también sus aportes con los enfoques de Listas de Comprombación (Checklist). El EC desarrolló un proyecto hace unos años para el desarrollo de estas listas en difrentes aplicaciones: varios tipos de proyecto/producto, diferentes enfoques, etc. Estas listas son accesibles vía web, aquí.
Una anécdota: la primera vez que me presentaron a Mr. Stufflebeam en una de esas simpáticas recepciones de las tarde-noches de las Conferencias de la AEA (algo muy típico eso del networking), al decirle que era español me contó que la primera vez (y creo que única) que visitó España fue víctima, por error, de un secuestro a manos de supuestos miembros del grupo terrorista ETA. Pensé que era una vacile, ¡pero no!, se ve que esta historia la cuenta con cierta frecuencia.
[Vía XCeval]
Soy un convencido de las redes sociales y del potencial de las TIC para promover procesos de cambio, de todo tipo. Ejemplo de ello es esta entrada: el mes pasado se producia un interesante debate electrónico en un foro al que estoy suscrito (y que como es habitual en estos casos, soy incapaz de seguir al día y mucho menos de aportar nada relevante). Se trata del foro del Mapeo de Alcances, una propuesta del IDRC que ya hemos mencionado en anteriores entradas.
En él, unos compañeros suizos del AGRIDEA – Developing Agriculture and Rural Areas, planteaban la eterna discusión sobre las limitaciones del enfoque de Marco Lógico como herramienta de planificación y/o de evaluación. Lo que me pareció interesante, y comparto con vosotros/as, fue que además de la crítica a la ortodoxia inherente al método, se hacía una propuesta para incorporar nuevas capacidades y reducir la rigidez a través de la incorporación de estrategias propias del Mapeo de Alcances (que a aprtir de ahora citaremos como OM en sus siglas en inglés).
Sin entrar en el meollo del debate, que llevaría mucho tiempo y espacio, me gustaría resaltar algunas ideas. Por un lado, contrariamente a la creeencia habitual, el EML tiene carencias en lo OPERATIVO. Se ha convertido en una herramienta-modelo en las relaciones entre instituciones de la Cooperación Internacional, lo que supuestamente ha mejorado su capacidad “operativa” de acción. Pero si pensamos en el objeto del EML, que es la intervención en sí, cualquiera que haya hecho una Matriz de ML se habrá topado con la dificultad de describir mecanismos “en la práctica”, cambios de conducta, organización del proyecto para su ejecución.
Una segunda cuestión es la incapacidad del EML de mostrar el trazado del proyecto. El propio IRDC presentó en 2001 una ponencia en la Conferencia Anual de la AEA sobre la posibilidad de dotar al EML de perspectiva temporal, tanto en su fase de diseño como en posteriores monitoreos y evaluación (presentando una interesante “mutación” del EML llamada ‘Temporal Logic Model’, del que curiosamente, no he sabido más). El EML no nos permite apenas dotar al diseño de una perspectiva de evalución, ya que la variable temporal sólo actúa en la definición de hitos, por ejemplo en metas o en umbrales de los indicadores objetivamente verificables.
Ambas cuestiones son CLAVE para la evaluación con EML. En el primer caso, sin capacidad de describir cambios operativos no podemos reconstruir Teoría de Programa, no podemos establecer cadenas causales de resultados, en definitiva no podemos justificar el alcance de determinadas metas a partir de lo ocurrido en el proyecto. Y lo que es peor, no podemos aprender del propio proyecto en cuanto a las estrategias de cambio más exitosas. En el segundo caso, la falta de perspectiva temporal nos dificulta el establecimiento de ciertos modelos de evaluación, que tienen en cuenta la perspectiva temporal, como podrían ser los modelos cuasi-experimentales y no experimentales destinados a la medición del impacto.
En la discusión, los amigos suizos, encabezados por Daniel Roduner, nos ilustraron algunas de sus ideas de “fusión” con esta animación en PowerPoint (Marco Lógico y Mapeo de Alcances). Prometo traducirla al castellano en cuanto me sea posible.
Estos días estoy fuera, en Quito. Tenemos un curso de Evaluación de Programas en el marco de una colaboración entre la Universidad Politécnica Salesiana y la mía. Revisando el material que he pasado como lecturas previas, pensaba sobre la ideas de uso de evaluación del gran Michael Patton. Hay un artículo muy breve (dos páginas apenas) pero que da en el clavo. Lo podéis encontrar en el Vol. IX nº4 de The Evaluation Exchange (se puede bajar el número entero en PDF aquí).
La propuesta de evaluación enfocada al uso de Patton tiene una fuerte conexión con la idea de incorporar cultura de evaluación en las organizaciones (lo que hace unos años se puso de moda con el manido término “mainstreaming”, cuya traducción al español no me atrevo a dar). Y creo que esa es una de sus mayores fortalezas. En el breve artículo que recomiendo, afirma algo así como que “apoyar a los profesionales a reflexionar desde un punto de vista de evaluación, puede tener mayor y mejor efecto en la organización que hallazgos específicos”. Ello implica, desde mi punto de vista, un necesario paso de las organizaciones por un proceso de fortalecimiento de sus propias capacidades de evaluación.
Me preocupa el giro que se está dando en España sobre el uso de evaluaciones. De pronto, la solución a todos los males pasa por una Agencia Nacional de Evaluación. Específicamente, hablando del campo de la Cooperación al Desarrollo, parece que podríamos dar una acelerón como en otras cuestiones del área se han dado en el pasado. Se abre un espacio de posibilidades, lo cual es, de entrada, positivo. No obstante, tengo mis dudas sobre si todo esto podría convertirse en un arma de doble filo. Creo que el sector requiere de más fortaleza en sus capacidades, para poder incorporar un buen uso, y no un abuso, de las actividades de evaluación.
En este campo quizá deberíamos mirar más a Latinoamérica. Esa es mi percepción por ahora. En estos días haremos un experimento en el curso. A ver qué tal estamos de usos y abusos en este lado del charco.






