Retomando: ERP y evaluación

Vuelvo a las andadas, que ya tocaba.  No hay excusas que valgan, en realidad estos meses han sido una suerte de “procastrinamiento”, que dirían los microsiervos.

Retomo con un tema que llevo años rondando, y como en casi todos (los que me rondan) no he hecho nada. Bueno, sí.  Hablo y hablo, comento en pasillos y café, cotilleo en Internet, pero…nada demasiado propositivo, al menos por ahora.  Se trata de los sitemas de gestión de información y su relación con evaluación.

Mucho que cortar en este tema.  Por puro sentido común convendrán conmigo que son cuestiones altamente correlacionadas en cualquier institución.  Sin embargo, todavía me está costando encontrar ejemplos válidos de uso de los ERP (comerciales, a medida, propietario, código abierto…) en evaluación, más allá de la dimensión/función evaluativa del control de recursos.  Obvio que para eso son la panacea. Pero cuando queremos dar el salto a Resultados (en lenguaje “Modelos lógicos” o Teoría de Programa”), ¿qué hacemos? En algunos casos, malabarismos para relacionar datos de “proceso” (proceso de gestión, claro, no procesos socales) con “resultados” (variables dependientes, señales de calidad/progreso). Pero poco más.

Siento no dar mucho vínculo en este post. Dejo la respuesta a un tema similar que he dado en el foro SolucionesONG, en el que de tanto en tanto también escribo. Espero comentarios/críticas, pero sobre todo propuestas concretas, ejemplos y casos (de éxito, a ser posible). En esta época con el knowledge management tan de moda en la política pública, habrá que alguna cosa negro sobre blanco…digo yo.

Articulando

Estos días andamos por el Ecuador con varias actividades de Evaluación en marcha. Una de ellas, una colaboración con los amigos y amigas del PNUD, en un interesante programa que quizá conozcan, pero que si no es el caso, les animo a echar un ojo: se trata del programa ART (Articulación de Redes Territoriales). Pueden consultar el modelo general aquí, y el caso particular de Ecuador aquí.

Andamos escasos de poesía, de innovaciones, de riesgo, en esto de la Evaluación, así que cruzarse con locos que se echan al ruedo e intentan ver esto del trabajo en desarrollo desde otra óptica, sinceramente se agradece. Hemos estado hablando mucho sobre el seguimiento y la evaluación. En particular lo primero, pero dado que en el programa hay un importante componente de apoyo a procesos, el seguimiento vira (o debería) hacia el intento de capturar los logros que las pequeñas intervenciones consensuadas entre actores locales van alcanzando.

Hemos discutido muchas cosas estos días con compañeros y compañeras que trabajan el día a día de la política pública local en lo más terrenal, y fruto de ello me surgen interrogantes/reflexiones que comparto:

a) Abro los ojos ante la articulación/coordinación/concertación. Sin duda la mejor de las estrategias para resolver viejos problemas. Lanzo un mensaje, en especial para los más heterodoxos/progres/antimétodo: el hábito no hace al monje y esta es una buena muestra. LA articulación de actores en el territorio creo que resuelve en buena parte las simplificaciones que cometemos constantemente al diseñar programas con herramientas orientadas por objetivos, orientadas a resultados, modelos lógicos o como buenamente le quieran ustedes llamar. No es tanto problema de la herramienta (que obviamente, en tanto que herramienta, tiene sus limitaciones y en este caso probablemente el límite elástico -por aquello de la flexibilidad que claman sus detractores- sea sin duda más corto). Es problema de usar ésta (o cualquier herramienta) y pensar en solucionar un problema complejo SIN TENER EN CUENTA AL RESTO DE ACTORES, que en una aproximación más sistémica, son entidades con alto grado de autonomía e intereses y mandatos no necesariamente alineados.

b) Siguiendo con el argumento, ¿qué utilidad tendría un enfoque articulado de Evaluación? Pienso en una doble vía: que hay de bueno en la articulación para alimentar la evaluación, y viceversa. En el primer caso, un enfoque coordinado implicaría directamente réditos tan apetecibles como: menores costes y tiempos, mayor riqueza de información, aproximación más certera a la complejidad del hecho evaluado, y la guinda del pastel, una mayor probabilidad de incorporación de aprendizajes en el centro de la gestión de cada actor. En la vista opuesta: en un enfoque articulado de trabajo, la evaluación necesariamente debe decantarse hacia un enfoque formativo, una marcada orientación al aprendizaje social.

c) Todo suena a música celestial. Bajemos un poco al mundo real. ¿Qué nos hace falta para orientarnos de este modo? Si bien es cierto que hay técnicas y herramientas de evaluación disponibles para dar y vender, necesitamos una primera barrida para buscar las más apropiadas. Esto es un trabajo pendiente, y que sin poder prometer ahora que lo abordaremos, es sin duda una tentación. Apunto claves casi, casi, hablando en voz alta:

• Necesitamos enfoques/herramientas que capturen complejidad: así que chao, chao diseños experimentales, fue bonito mientras duró Vámonos por aproximaciones en red (ARS) o herramientas cualitativas ad hoc para este tipo de intervenciones complejas (Cambio Más Significativo, MSC)
• Necesitamos herramientas fuertemente apoyadas en la “iniciativa evaluativa” de los participantes: término casi imporvisado con el que quiero evitar decir “participativas”. Pienso incluso en enfoques en los que sin el trabajo activo de los actores la herramienta simplemente no funciona, ni trucándola. Estoy pensando en Mapeo de Alcances, más su filosofía que su praxis.
• Necesitamos definir qué es “exitoso” en términos de articulación y como darle valor. Quisiera no caer en la simplificación de anhelar “indicadores de articulación”, aunque puede ser un paso para inocular este nuevo virus a sistemas enquistados (supongo que sería más fácil esto que decirle al PNUD que se deje de Gestión Basada en Resultados).

Veo mimbres, pero no sin cierto escepticismo. Así como creo que una iniciativa como la que he podido conocer más en detalle y compartir durante esto días es una buena muestra de que todavía hay esperanza, también me preocupa la atadura a las viejas prácticas que necesariamente mantiene (por su propia supervivencia, básicamente). Me refiero a los vicios de la cadena de la ayuda, los intereses de los donantes, la maquinaria burocrática del sistema, etc.

Gestión del conocimiento y Evaluación

En un mundo transdisciplinar, en el que carece de sentido entender la ciencia como un conjunto de cajones estancos, tiene todo el sentido del mundo la búsqueda de conexiones neuronales entre conceptos, enfoques, mecanismos, etc.

Una combinación interesante, de la que se está hablando mucho en muchos ámbitos de Evaluación (inclusive el sector privado, del que por cierto proviene esta filosofía), es la que vincula nuestra área con Gestión del Conocimiento (o como se conoce en la jerga anglosajón, KM o Knowledge Management). En una definición muy burda, vendría a ser el conjunto de procedimientos y recursos establecidos por una organización para facilitar a la misma tanto el acceso a información relevante para la toma de decisiones como la absorción y posterior uso de lecciones aprendidas a partir de la práctica en actividades previas.

En la vida real, la Gestión del Conocimiento se está quedando en muchos casos en la instalación de sistemas (basados en software) que almacenan datos y más datos sobre “cosas” que acontecen en la institución: actividades, recursos, proyectos, etc. Sin embargo, así como hay una transformación para llevar un “dato” a ser “información”, también hay otro salto entre “información” y “conocimiento”. Y esto último tiene mucho que ver con Evaluación.

Cada vez tenemos más acceso a datos, y también a información en políticas públicas. Pero, ¿sabemos más de los procesos que se están generando dentro y fuera de la institución? Y si la respuesta es afirmativa, ¿quién sabe más? ¿Se puede hablar de la organización que aprende?

Toda esta intro para dejar una pregunta en el aire y empezar a hablar. Y también para introducir alguna propuesta interesante. La Iniciativa Pelícano (no confundir con la conspiradora película de Julia Roberts) es una actividad impulsada por un grupo de instituciones con el IDRC de Canadá a la cabeza (los creadores del Mapeo de Alcances). El resto son: European Centre for Development policy Management (ECDPM), Exchange, Bellanet and Unicef East Africa Regional Office. Se trata de un sitio web para discutir sobre Aprendizaje Organizacional basado en la evidencia. ¿De dónde pueden surgir evidencias de las que aprender? Pues de los procesos de evaluación, por supuesto . Para más información sobre el proceso de esta iniciativa y los alcances que se van dando, puede consultar aquí.

El foro están en inglés (en fin…). Hay temas muy interesantes, como por ejemplo “¿Cómo evaluar pertenariados?” o “Aprendizaje en la nueva arquitectura de la AOD”.

¡Ánimo y al toro! (ups, esta última expresión puede herir sensibilidades)