Red Brasileira de Evaluación: un buen ejemplo

En estos instantes en los que escribo estas líneas tiene lugar en Rio de Janeiro el IV Seminario de la Red Brasileira de Evaluación. Siempre es bueno felicitar y felicitarse por este tipo de acciones, especialmente cuando dan continuidad a ediciones anteriores, como es el caso. Pero sobre todo, me viene bien como excusa para hablar de un buen ejemplo de asociación de evaluadoras y evaluadores (o lo que los/as amigos/as angloparlantes están dando en llamar las VOPE – Voluntary Organizations of Professional Evaluators). Pero para que no se me olvide el leiv motiv, antes un breve comentario sobre el contenido del Seminario.

Como la mayoría de los/as mortales no tendremos la suerte de poder asistir, sí espero que los/as compañeros/as de la Red puedan socializarnos productos y reflexiones surgidas estos días en su encuentro. Estoy seguro de que lo harán, es parte de su tónica habitual, de su «buean práctica», uno de los puntos que pretendía mencionar y que luego retomamos. Por de pronto podemos ver el contenido programado aquí. Creo muy acertada la elección de temas, porque va muy al grano de algunas de las cosas que se están hablando en las redes.

Quizá haya gente a la que le parezca repetitivo, por ejemplo, volver a hablar de Modelos Lógicos, pero cuanto más leo o participo en discusiones (presenciales o virtuales), más me doy cuenta que mucho del disenso se basa en el desconocimiento de los elementos básicos. Y es por esto que las discusiones resultan a veces tan cansinas.

Hablar de Métodos Mixtos (cuanti/cuali) es otro viejo-nuevo tema, que en estos últimos tiempos emerge como respuesta al creciente interés en la Evaluación de Impacto. Un lujazo tener al viejo maestro Michael Bamberger junto Thomaz Chianca para esta discusión (por cierto, aunque me cueste ser objetivo ya que Thomaz es además un buen amigo, me hace gracia que en el programa esté catalogado como «experto nacional» cuando en estos momentos es sin duda uno de los jóvenes líderes internacionales de pensamiento en Evaluación).

Y si lo uno es importante, no menos lo es lo otro: hablar de Cultura de Evaluación, y en particular en el sector de las organizaciones de la sociedad civil. Y aquí creo que los/as compañeros/as brasileiros/as tienen mucho que aportarnos al resto sobre su larga experiencia. Ahora hablando en particular por la parte española, creo que un buen baño de aprendizajes y buenas prácticas en esta línea no nos haría nada mal. Con los ponentes vuelvo a no poder ser nada objetivo, la hemos pasado demasiado bien por esos mundos con Rogério Silva y Daniel Brandão 😉 Hablando en serio, creo que su larga trayectoria de acompañamiento al desarrollo de capacidades de evaluación, entre otros en su etapa del Instituto Fonte, les otorgan una buena dosis de autoridad en el tema.

Yendo al tema de la Red Brasileira como buena práctica, destacaría algunas claves que a mi juicio la han hecho una de las VOPE de referencia mundial:

• Una condición de partida: el caldo de cultivo brasileiro era y es perfecto para todo lo que tiene que ver con la cultura organizativa, especialmente lo relacionado con la participación social (casi se podría decir que la inventaron ellas/0s) 😉
• Una estructura en red descentralizada: probablemente obligada por las características propias de la geografía brasileira (es un ejemplo que he visto en otros programas y organizaciones y parece coincidir), la participación de los/as interesados/as en evaluación requiere evitar el excesivo peso local de una sede central o de un grupo de impulsores que «casualmente» están en la misma ciudad (que «caualmente» suele ser la capital administrativa y/o económica del país).
• Un soporte TIC consolidado: ligado fuertemente con lo anterior, la Red Brasileira se ha caracterizado desde sus inicios por estar muy presente en la red y por emplearla a fondo.
• Un agente dinamizador: la experiencia parece estar demostrando en las organizaciones de evaluación que si alguien o «alguienes» no desempeñan tal función, la red por si misma resulta lenta de movimientos. No quiero decir con esto que la solución pasa siempre por personal remunerado para funciones de este tipo, pero ejemplos como el de Marcia Paterno o como Emma Rotondo en PREVAL (Perú) son a todas luces exitosos.

Lanzado el guante, quedamos a la espera de alimento evaluativo para el intelecto y el debate.

Project Management y Desarrollo: ¿gestión responsable?

Mi labor docente en la Universidad Politécnica de Valencia está ligada desde hace más de una década al Project Management (PM). Siempre ha sido una continua dialéctica la confrontación entre las técnicas, instrumentos e incluso la filosofía del PM, y todo lo bebido del la gestión en el mundo del Desarrollo. Y frente a lo que pudiera parecer, no está todo resuelto. ¿Son necesarias las técnicas de PM en los proyectos de Ayuda al Desarrollo? ¿Son compatibles la participación, la trasnformación social, el empoderamiento de los más desfavorecidos, con la gestión técnica profesional? ¿Ayuda el PM a una evaluación últil en términos de mejora y aprendizaje de las organizaciones?

Para seguir pensando y reflexionando en estas y otras cuestiones, hemos organizado un WEBINAR, es decir, una Conferencia On Line, con el sugerente título de «Estrategias del Project Management en la Ayuda al Desarrollo: potencialidades y limitaciones para una gestión responsable de las intervenciones«. Nos facilitará la reflexión José Antonio Monje, coordinador regional de Monitoreo y Evaluación para América Latina y Caribe de Save the Children. La cita: el próximo viernes 30 de marzo, a las 17 horas (GMT +1, Valencia, España) (si quiere conocer la hora de inicio en su localidad, puedo hacerlo aquí). La conferencia forma parte del programa Ágora Global del Máster Universitario en Cooperación al Desarrollo, que en su especialización de Gestión de Proyectos y Procesos de Desarrollo se imparte en la UPV.

Para los que no lo conozcan, José Antonio es un activo miembro de la comunidad evaluadora en español, especialmente en el mundo de las redes sociales. Como en estas cosas es obligado y recomendable hablar de la trayectoria de los/as ponentes, les cuento que José Antonio es especialista en gestión, diseño, seguimiento y evaluación de proyectos de cooperación al desarrollo e inversión social pública, con amplia experiencia en gestión de proyectos en diversos países de América Latina (Ecuador, Perú, Bolivia, Cuba, Guatemala, Nicaragua, El Salvador, Brasil) y Norte de África (Argelia, Sahara Occidental, Mauritania), habiendo trabajado para organizaciones como CARE, ITDG, SOS Kinderdorf International, Caritas Española y Fundación Mundubat. Ha sido asesor de alta dirección en el Despacho Ministerial de Salud Pública en la República del Perú. José Antonio es Antropólogo Social. Cuenta con el Diploma de Estudios Avanzados (DEA) y es candidato a Doctor en Dirección de Proyectos (Universidad de Zaragoza, España). Ha cursado asimismo el Máster in Project Management de la Universitat Ramon Llull.

El Webinar lo implementamos en la plataforma Policonecta de la UPV. Se trata de una sencilla plataforma para formación online síncrona y para trabajo colaborativo. La participación es gratuita y abierta a cualquier profesional que quiera participar. Si les gusta la idea, les dejo las instrucciones para acceder al sistema:

• Durante una hora antes del inicio de la actividad, conéctese al sistema en la dirección http://policonecta.adobeconnect.com/cfp1
• Acceda como invitado. Se le solicitará que indique un nombre para ser identificado en la sesión. Durante la sesión podrá participar durante la ronda de preguntas al ponente, bien por medio de la herramienta chat, bien realizando su pregunta mediante su micrónofo. Para reducir la posibilidad de que tenga problemas en el momento de la conexión, le sugerimos que pruebe si su sistema está correctamente configurado para usar este servicio. Puede hacerlo cómodamente accediendo a la siguiente dirección: https://policonecta.adobeconnect.com/common/help/es/support/meeting_test.htm
• Si nunca ha empleado un sistema de Web-conferencing de este tipo, le sugerimos que consulte este tutorial en video: http://www.adobe.com/es/products/acrobatconnectpro/demo/

Les espero en línea el viernes.

ACTUALIZACIÓN 31/03/2012: Gracias a todas/os las/os participantes. Al final fuimos unos 50 entre las/os presenciales y las/os virtuales. A las/os que se conectaron remotamente, mis más sinceras disculpas por las dificultades técnicas. Estamos afinando la herramienta…y nos estamos afinando nosotros también, que falta nos hace. Esperemos seguir próximamente con más seminarios, más temas, más debate.

Hagamos la excepción de romper las reglas

Hoy era el inicio del trabajo de campo de una evaluación de proyecto que me han encargado, acá en Quito. Se trata de un programa cuyo componente central arrancó allá por el 2001, con un servicio de microcredito a la vivienda de interés social. Y un original modelo de colaboración de entidades: administración pública (mediante un bono a la vivienda), empresa privada (mediante la construcción de las viviendas con unos costes ajustados y precios sin competencia), sector financiero (apoyando en el crédito hipotecario) y el tercer sector, tanto en Ecuador como en España, apoyando donde el sistema no llega.

Las señoras que ven en la foto son «beneficiadas» del proyecto. Doña Orfi, que la ven a la derecha toda disciplinada, es una mujer de 71 años con una lucidez que ya la quisiera yo ahora. Según lo previsto, tendrá su casa dentro de poco, que no llevará apenas acabados, pero de la que dice con orgullo que será «el lugar donde ha de morir tranquila». En realidad la casa es la de Orvis, la tremenda negrota a la izquierda, una mujer del Valle del Chota que jamás hizo un trabajo remunerado y que siempre se quedó en la casa al cuidado de su familia hasta que la oportunidad de tener la seguridad de un techo digno y propio le movió el piso para buscarse la vida de empleada doméstica (no sin la reticencia de su marido, al que se refiere susurrando para que no le oiga desde la habitación del fondo). Un trabajo al que ni ella ni el resto de compañeras que se embarcaron en la aventura de una vida algo más digna van a renunciar, porque ahora dicen con orgullo que son más independientes…y que todas forman una gran familia.

Y mientras escucho las historias de cada una de las compañeras, me pregunto cómo voy a reflejar todo esto en mi marco de evaluación. Me pregunto cómo describir la lucha de doña Orfi como madre soltera, las dificultades de Orvis y sus hermanas para no dejar de pagar ni un solo mes, si ni si quiera estaban en el plan previsto. No, ellas no estaban en el Marco de Resultados. El Equinoccio Azul, como así se llama su condominio, no era un resultado esperado. No había ni autoestima ni sonrisas previstas, tan solo número de créditos otorgados y talleres impartidos.

¿Saben qué? Me importa un pimiento. Creo que es hora de hacer la excepción. Sus vidas cambiaron, y no lo digo yo, lo dicen ellas, y eso es lo realmente importante. Yo no lo puedo medir, tan solo les puedo contar.

Articulando

Estos días andamos por el Ecuador con varias actividades de Evaluación en marcha. Una de ellas, una colaboración con los amigos y amigas del PNUD, en un interesante programa que quizá conozcan, pero que si no es el caso, les animo a echar un ojo: se trata del programa ART (Articulación de Redes Territoriales). Pueden consultar el modelo general aquí, y el caso particular de Ecuador aquí.

Andamos escasos de poesía, de innovaciones, de riesgo, en esto de la Evaluación, así que cruzarse con locos que se echan al ruedo e intentan ver esto del trabajo en desarrollo desde otra óptica, sinceramente se agradece. Hemos estado hablando mucho sobre el seguimiento y la evaluación. En particular lo primero, pero dado que en el programa hay un importante componente de apoyo a procesos, el seguimiento vira (o debería) hacia el intento de capturar los logros que las pequeñas intervenciones consensuadas entre actores locales van alcanzando.

Hemos discutido muchas cosas estos días con compañeros y compañeras que trabajan el día a día de la política pública local en lo más terrenal, y fruto de ello me surgen interrogantes/reflexiones que comparto:

a) Abro los ojos ante la articulación/coordinación/concertación. Sin duda la mejor de las estrategias para resolver viejos problemas. Lanzo un mensaje, en especial para los más heterodoxos/progres/antimétodo: el hábito no hace al monje y esta es una buena muestra. LA articulación de actores en el territorio creo que resuelve en buena parte las simplificaciones que cometemos constantemente al diseñar programas con herramientas orientadas por objetivos, orientadas a resultados, modelos lógicos o como buenamente le quieran ustedes llamar. No es tanto problema de la herramienta (que obviamente, en tanto que herramienta, tiene sus limitaciones y en este caso probablemente el límite elástico -por aquello de la flexibilidad que claman sus detractores- sea sin duda más corto). Es problema de usar ésta (o cualquier herramienta) y pensar en solucionar un problema complejo SIN TENER EN CUENTA AL RESTO DE ACTORES, que en una aproximación más sistémica, son entidades con alto grado de autonomía e intereses y mandatos no necesariamente alineados.

b) Siguiendo con el argumento, ¿qué utilidad tendría un enfoque articulado de Evaluación? Pienso en una doble vía: que hay de bueno en la articulación para alimentar la evaluación, y viceversa. En el primer caso, un enfoque coordinado implicaría directamente réditos tan apetecibles como: menores costes y tiempos, mayor riqueza de información, aproximación más certera a la complejidad del hecho evaluado, y la guinda del pastel, una mayor probabilidad de incorporación de aprendizajes en el centro de la gestión de cada actor. En la vista opuesta: en un enfoque articulado de trabajo, la evaluación necesariamente debe decantarse hacia un enfoque formativo, una marcada orientación al aprendizaje social.

c) Todo suena a música celestial. Bajemos un poco al mundo real. ¿Qué nos hace falta para orientarnos de este modo? Si bien es cierto que hay técnicas y herramientas de evaluación disponibles para dar y vender, necesitamos una primera barrida para buscar las más apropiadas. Esto es un trabajo pendiente, y que sin poder prometer ahora que lo abordaremos, es sin duda una tentación. Apunto claves casi, casi, hablando en voz alta:

• Necesitamos enfoques/herramientas que capturen complejidad: así que chao, chao diseños experimentales, fue bonito mientras duró 😉 Vámonos por aproximaciones en red (ARS) o herramientas cualitativas ad hoc para este tipo de intervenciones complejas (Cambio Más Significativo, MSC)
• Necesitamos herramientas fuertemente apoyadas en la «iniciativa evaluativa» de los participantes: término casi imporvisado con el que quiero evitar decir «participativas». Pienso incluso en enfoques en los que sin el trabajo activo de los actores la herramienta simplemente no funciona, ni trucándola. Estoy pensando en Mapeo de Alcances, más su filosofía que su praxis.
• Necesitamos definir qué es «exitoso» en términos de articulación y como darle valor. Quisiera no caer en la simplificación de anhelar «indicadores de articulación», aunque puede ser un paso para inocular este nuevo virus a sistemas enquistados (supongo que sería más fácil esto que decirle al PNUD que se deje de Gestión Basada en Resultados).

Veo mimbres, pero no sin cierto escepticismo. Así como creo que una iniciativa como la que he podido conocer más en detalle y compartir durante esto días es una buena muestra de que todavía hay esperanza, también me preocupa la atadura a las viejas prácticas que necesariamente mantiene (por su propia supervivencia, básicamente). Me refiero a los vicios de la cadena de la ayuda, los intereses de los donantes, la maquinaria burocrática del sistema, etc.

Indignante

Debe ser porque en verano (en España), todos se van de vacaciones…hasta las noticias. O quizá no es sólo cuestión de este periodo estival. Hoy leo en El País (el supuesto medio de prensa escrita más prestigioso por su profesionalidad, y además con la etiqueta de «progresista») un reportaje titulado «Retrato solidario a cuatro voces«.

Uno podría pensar eso, que sí, que estamos en verano y no hay mucho que contar; que las redacciones están llenas de becarios que escriben cosas que nadie supervisa; que los temas sociales, y más lo de los países en desarrollo, lo importante es «sensibilizar», que «la gente sepa lo que ocurre».

Pues no, nada de eso. Ni El País es progresista ni trata muchas de sus noticias con objetividad, ni el reportaje lo escribe un becario (si el «googleo» no se me ha ido de madre, la firmante es una señora periodista con 20 años de experiencia en dicho medio y profesora del Master de Periodismo El País – Universidad Autónoma de Madrid…nada menos). Y no lo digo yo, sobre todo lo primero (lo segundo basta con ir al web del Master). Lo dice cada vez más gente. Un buen ejemplo es este blog, «Cositas de la vida«, de mi querido amigo Javier Ibañez. Otro, Pascual Serrano y sus «perlas informativas».

Ideas fuerza : el gobierno español está que se sale en Ayuda al Desarrollo; Latinoamérica es ese «país» desartalado y violento, lleno de pobres que además de ser ignorantes no pueden salir de su miseria sin nuestra ayuda (la española, especialmente);la labor de la Iglesia católica es la única (junto a Cooperación Española, claro) que está con los más pobres, con los que no quiere nadie. Y podría seguir, pero mejor les dejo para que saquen sus conclusiones…no hay más que leer las lindezas del texto. Perlas como esta:

«Oader y Oudur chillan cuando los flashes acosan al sentarse junto su madre una mujer blanca, la vicepresidenta del Gobierno de España. La joven ni siquiera los mira. Probablemente, los dos bebés gemelos sean fruto de una violación múltiple. Pero al menos comen, aunque vivan en el suburbio más mísero de Haití, el país más pobre de América».

Y ahí vamos con la evaluación. Por de pronto, reconozco que es una manía persecutoria, pero no hay cosa que más me saque de quicio que escuchar a un político (o a alguien que lo cita, como en este caso) decir barbaridades como que en un viaje de protocolo/placer va «a evaluar proyectos», «a monitorear» (como se die en ete caso), incluso a supervisar. ¿Supervisar qué? ¿Canapés? No será ni por el exhaustivo control que ejercen sobre los resultados de los proyectos que visitan (a razón de 3 o 4 por día) ni por el aprendizaje que les y nos genera a los contribuyentes. ¡No hay problema!, si los contribuyentes lo entendemos, pero llámenlo por su nombre: protocolo, diplomacia, etc.

Pero más allá de todo eso, me pregunto si con un poco de evaluación no podríamos hacer que algo cambiara. Quizá si, para empezar, se tuviera información pública, transparente y adecuadamente accesible, sobre las políticas públicas (en este caso, sobre la AOD, que parece algo más sensible, si cabe), a lo mejor podríamos tener algo más de criterio. Si además hubiera más trabajo de evaluación de estas políticas, podríamos extraer lecciones y mejorar, y de paso, estaríamos en el camino de conseguir una ciudadanía más crítica, que no se comiera con patatas el relato leprosero tipo «Anesvad» que nos regala hoy «el periódico global».

Claro, es un poco difícil cuando a la Cooperación Española le sale un ratio de 2 evaluaciones por año, o cuando se licitan evaluaciones con un coste/hora que ni cuando yo daba clases particulares allá por los ’90.

Claro, da un poco igual, probablemente casi nadie lo haya leído, hoy que tenemos un español número uno del tenis mundial.