You are currently browsing the tag archive for the ‘Cultura de Evaluación’ tag.

El próximo día 6 de julio de 2011, tendrá lugar la “Cesta de Aprendizajes (CdA): Sistematización de Experiencias en Cooperación al Desarrollo” en la Universidad Politécnica de Valencia. La dinamización de la sesión de trabajo presencial correrá a cargo de Óscar Jara, y se contará además con la presencia y dinamización on-line de Pablo Rodríguez Bilella.

La sesión de trabajo de la tarde, que tendrá lugar a las 4 p.m. hora española, podrá ser seguida en directo a través de este enlace. Una vez en el entorno virtual, se podrá acceder a la sesión sin necesidad de alta previa al introducir un nombre de usuario en la opción “invitado”. Para dinamización on-line en twitter durante toda la CdA se usará el hastag #sistv.

El término Cesta de Aprendizajes (CdA) se ha acuñado para definir un formato de grupo de trabajo donde cada una de las personas participantes comparte con el resto de asistentes su experiencia en relación a la temática, con una dinámica y un orden de las cosas que se construye en el propio proceso a partir de una creación colectiva.

Bajo este formato, se trabajará con un reducido grupo de asistentes -miembros de ONGD- para poner en común los mecanismos con los que cuentan a nivel institucional para aprender de los procesos que acompañan y profundizar sobre las posibilidades que ofrece la Sistematización de Experiencias en este contexto.

Óscar Jara es educador popular. En la actualidad ejerce como Director del Centro de Estudios y Publicaciones ALFORJA. Oscar es, sin lugar a dudas, la principal referencia en la metodología y la praxis del enfoque de Sistematización de Experiencias en Latinoamérica. Ha participado como educador y facilitador en procesos sociales durante más de 30 años, experiencia que refleja en la abundante bibliografía que ha venido publicando, en la que revisa tanto aspectos teóricos y metodológicos como, sobre todo, reflexiones desde la experiencia.

Pablo Rodríguez Bilella es Profesor de la cátedra “Antropología Social y Cultural”, en la carrera de Trabajo Social, FACSO, Universidad Nacional de San Juan y miembro del Comité Ejecutivo de la Red de Seguimiento, Evaluación y Sistematización de América Latina y el Caribe (ReLAC), así como del Board de la International Organization for Cooperation in Evaluation (IOCE).

Me gustaría que éste fuera la primera de muchas entradas sobre el tema.  La cosa empieza por uno mismo, a ver si soy capaz de mantener el hilo, pero también  requiere de poder discutir sobre ello con otras y otros colegas. En caso contrario, uno acaba circulando en la misma vía, con riesgos de paranoia.

Creo que nadie se le escapa la importancia, como mínimo en el discurso, que la Declaración de París tiene para la configuración de la Ayuda al Desarrollo en el mundo de hoy. Y dado el nuevo gran marco, obvia pues la implicación para todo proceso de Evaluación ligado directa o indirectamente a este sector. ¿Obvia? Ese es mi primer cuestionamiento.

Ya hemos entrado en 2009, así que la Declaración anda por su cuarto año de existencia formal (sin contar preparativos y marcos previos, como Monterrey 2003). ¿Ha permeado realmente en la práctica de la evaluación? ¿Hasta dónde? Si pensamos en capas, ¿hasta cuál de ellas ha llegado? Como diría uno de mis más queridos y admirados profesores en mi época de estudiante de Ingeniería, “me apuesto con ustedes mil millones de cañas” a que, por ejemplo, si encuesto a 10 de mis amigos evaluadores sobre qué ha cambiado en su práctica tras la declaración, la respuesta seguramente sea “nada” en 9 de cada 10, como en el comercial de los dentistas  (nota cultural: “caña” en España es la denominación común de esa pequeña pero refrescante copita de cerveza que debe acompañar toda buena tapa/boquita/pasapalo)

Sin embargo, la resistencia es la peor de las respuestas. Los y las interesadas en Evaluación deberíamos hacer un esfuezo digamos “de interfaz”, de traductores, de “aterrizadores” de conceptos tan interesantes como la manida “accountability” o la correspondabilidad, y llevarla a los espacios de frontera. Porque en verdad son ideas intersantes, que además se quedarán en poca cosa si no permean, si sólo se pasean por las mesas de alto nivel y por los renovados manuales de las agencias.

Así pues, primer paso. Aprovecho unos correos cruzados en la lista de ReLAC para circular información interesante sobre acerca de todo esto que nos facilita Ada Ocampo, de UNICEF (¡gracias Ada!). La primera de ellas, una Nota Informativa sobre la II Fase de la Evaluacion de la Declaracion de Paris (en español). La segunda, para las que tengan más tiempo y ganas, el sitio oficial del Comité de Ayuda al Desarrollo (CAD), en particular la Red de Evaluación del CAD, que contiene todos los documentos que se van generando al respecto (oficiales, claro). En particular, aquí les dejo la versión en español del Informe de Evaluación – Fase I.

(Vía ReLAC)

[Nota quisquillosa: A pesar de que parece estar admitido por la Real Academia Española de la Lengua, no sé a quién se le ocurriría usar HARMONIZACIÓN con H, en lugar de ARMONIZACIÓN que es sin duda más natural en nuestra lengua…¿será una suerte de énfasis o pura y simple influencia del ingés -una vez más-?]

evaluacionescolaborativas2

Mucho discurso, poca praxis. Como dirían algunos del lado occidental del charco (atlántico) “mucho lilili, poco lalala”. Como cualquiera que esté mínimamente involucrado en la práctica de la evaluación, tanto los condicionantes operativos como en ocasiones los intereses estructurales, impiden la inclusión de formas más flexibles y más democratizadoras en los procesos evaluativos. Resulta complejo y pretendidamente caro poner en práctica mecanismos de participación activa en evaluaciones de programas. Complejo por la enorme carga de gestión de un proceso en el que tomen parte activa un buen número de actores involucrados, no necesariamente en armonía entre ellos. Por otro lado, pretendidamente caro, pues el mismo “requisito”, si así se quiere entender la evaluación en el contexto del ciclo de proyectos, se puede salvar con un paracaidista de una semana en terreno y otra en escritorio. 

En este contexto, propuestas prácticas para incorporar procesos colaborativos son sin duda un soplo de aire fresco más que necesario. Evaluaciones Colaborativas es un texto de Liliana Rodríguez, profesora del Departamento de Investigación y Medición Educativa de la Universidad de Florida del Sur. Traducción de una primera versión en inglés, el texto presenta una propuesta práctica articulada sobre un modelo en seis pasos, a partir de los cuales se ofrecen consejos prácticos extraídos de casos reales de evaluación. Tuve la suerte de conocer a Lili y a Rigo (Rigoberto Rincones, su pareja), en una conferencia de la American Evaluation Association. Ambos excelentes profesionales de la evaluación, es un gusto saber que a pesar de residir y desarrollar su carrera profesional en Estados Unidos, su compromiso con el desarrollo de una cultura evaluativa de calidad en habla hispana sigue más vigente que nunca.  

[Vía ReLAC]

El proceso de revisión del Plan Director de la Cooperación Española por parte de los actores sociales sigue en marcha con una segunda vuelta. En este caso habrá algo más de tiempo para trabajarla y enviar las propuestas que se considere oportuno mediante un sistema similar al que comentamos en EVALUATECA en una entrada anterior.

A continuación trasncribo la información remitida desde la Dirección General de Planificación y Evaluación de Políticas para el Desarrollo en relación a los cambios introducidos de la versión inicial a ésta segunda que se circula:- Se incorporan en este Borrador 2 los capítulos de prioridades geográficas e instrumentos, que no figuraban en el Borrador 1

  • Los capítulos doctrinales han sido resumidos sensiblemente. Asimismo, el contenido operativo se ha desarrollado más en este Borrador 2.
  • Se ha procedido a una revisión del lenguaje desde el punto de vista de género.
  • Se ha revisado el texto para garantizar la correspondencia entre las distintas líneas estratégicas propuestas en las prioridades sectoriales y los sectores CRS del CAD.
  • Se ha avanzado en la integración del enfoque de derechos en todo el contenido de la propuesta de política.
  • Se dedica un epígrafe específico, dentro del capítulo 8, a las prioridades horizontales. Además, en el mismo se ha cambiado la denominación de la prioridad “diversidad cultural” por ” consideración de la dimensión cultural”
  • El epígrafe del borrador 1 dedicado a las prioridades de la Cooperación Española respecto a grupos poblacionales pasa a denominarse en el borrador 2 “las prioridades multisectoriales de la Cooperación Española”, incluyéndose en el mismo, además de las ya recogidas en el anterior borrador, a la población afrodescendiente.
  • Se incorpora un nuevo sector: Ciencia, tecnología e innovación.
  • La anterior prioridad sectorial “Gobernabilidad democrática, prevención de conflictos y construcción de la paz” se desdobla en el borrador 2 en “Gobernanza democrática”, recogida como prioridad sectorial, y la “Construcción de la paz”, que cuenta con un capítulo específico.
  • El ámbito estratégico “Investigación para el desarrollo y capital humano” se desdobla en el borrador 2 en dos ámbitos. Por un lado, “Investigación e innovación para el desarrollo y estudios para el desarrollo” y, por otro “Fortalecimiento de capacidades institucionales y humanas”, en el que además se incorpora lo relativo al Contrato de Gestión de la AECID.
  • El apartado dedicado a la Agenda Internacional de Desarrollo menciona ya las principales conclusiones de la reciente Conferencia sobre Financiación al Desarrollo celebrada en Doha.
  • La definición de actores de la Cooperación Española pasa a ser un anexo.

El nuevo borrador puede descargarse aquí. Aparece además un documento denominado “líneas maestras“, puede descargarlo aquí.  Como en el caso anterior, debe emplearse un formato determinado para realizar aportaciones. Puede descargar aquí el formulario y remitirlo a la dirección electrónica: plan.director@maec.es

Animo a todas y a todos los ustedes que me hacen el honor de pasear por EVALUATECA y dejar sus opiniones a que, en la medida de sus posibilidades, aporten lo que crean conveneinte al tema. En especial, no puedo pasar por alto una motivación extra en el caso de los temas de evaluación, que como ya comenté anteriormente me parece que están dando importantes pasos en positivo, pero sin duda hay mucho que decir desde los profesionales del sector, tanto en la academia, como sobre todo desde la práctica.

1212508090_asterix2-fullVía la lista de discusión de Mapeo de Alcances en inglés (¡gracias Simon!), me llega una noticia realmente interesante y poco habitual. El año pasado, la cooperación británica (DFID) creó un espacio centrado en la Evaluación del Impacto en Desarrollo de su política de cooperación (véase IACDI). La iniciativa convoca a interesados e interesadas a responder una serie de cuestiones sobre su política de evaluación para definir una “evaluación independiente de la ayuda al desarrollo” de su país.

Para ello ha abierto un proceso en el que recogerá las opiniones y sugerencias de cuantos y cuantas quieran ofrecer su visión y sus sugerencias. Creo que este es el camino, sin duda, para el desarrollo de políticas públicas inclusivas en las que la ciudadanía crea, y en particular éstas referidas a cooperación al desarrollo. Y desde el punto de vista de evaluación, es un mecanismo privilegiado para hacer de los procesos evaluativos en el futuro una herramienta de aprendizaje y de control social a un tiempo.

¿Podríamos imaginar algo así en nuestros países de habla hispana? Por lo que respecta a España, en calidad de donante…pues sin restar los esfuerzos que se han hecho y los que en particular se están dando en los últimos tiempos, creo que dista un ápice. Alguien me podría argumentar que, por ejemplo, el últimoborrador del Plan Director de Cooperación Española, se ha circulado entre diferentes agentes y se han establecido mecanismos para la recogida de opiniones, sugerencias, etc. Me consta que mucha gente ha hecho el esfuerzo de trabajarse el documento (que como ya comentamos en una entrada anterior, tenía mucha más enjundia que los anteriores, en positivo, y por tanto requería de mayor esfuerzo para su análisis), pero de nuevo los tiempos y los modos de nuestro sistema de administración pública nos ahogan. No, unas reuniones sectoriales en Madrid quince días después de circular el borrador dan para lo que dan. Es un paso, pero estamos lejos.

Mismo caso aplica para la Descentralizada, que por su porpia naturaleza debiera ser si cabe mucho más participada por la ciudadanía y en particular por los agentes más directamente implicados. Claro, eso si la Descentralizada fuera reflejo de la política basada en lo local. Pero mientras, al menos en Cooperación, siga siendo en muchas Comunidades ese ejemplo paradigmático de no-definición de políticas (es decir, el “todo cabe”) y, sobre todo, un conjunto de saquitos (algunos ya no tan pequeños) de dinerito público sin ningún rédito educativo, social o cultural a la ciudadanía que lo paga, pues claro…hacer estos malabarismos participativos será como aquella de Astérix: “están locos estos hijos de la Gran Bretaña

 

ACTUALIZACIÓN 17/12/08: Justo después de escribir esta entrada me llegó desde mi Universidad un correo sobre el proceso de revisión del futuro Plan Director de Cooperación Española al que hacía referencia. Error de cálculo por mi parte, el proceso sigue con una segunda ronda. Creo que el tema merece una entrada específica, en el que al igual que la primera que hice, facilitaré la información que he recibido de forma que puedan estar al tanto del proceso y colaborar en la medida que consideren oportuno.

La Cooperación Española está realizando su nuevo Plan Director para la sgunda etapa de gobierno socialista. El plan en preparación abarcará el periodo 2009-2012, y en estos días se encuentra en proceso de consulta a los diferentes actores sociales implicados en el entramado de la cooperación.

Apenas he tenido tiempo de leerlo en detalle, tan sólo unas pinceladas. En general, me atrevería a decir ya que es una apuesta más atrevida que las anteriores y que apunta direcciones interesantes, además de estar muy al día con lo que mundialmente acontece en el contexto del desarrollo. También tiene interesantes apuntes sobre evaluación, y de ahí este comentario.

Curiosamente, en el nuevo Plan se hace una interesante propuesta orientada a algo que comentamos hace poco en EVALUATECA, la “gestión del conocimiento” ligada a los procesos de seguimiento y evaluación. En el texto se propone orientar las actividades evaluativas hacia la generación de conocimiento para el desarrollo: ayuda a la toma de decisiones y aprendizaje. Claves realmente interesantes.

Sin embargo, me preocupa algo que ya hemos comentado anteriormente también, y es el proceso en sí mismo de todo un sector (el de la cooperación al desarrollo) a la hora de adquirir las capacidades necesarias para asumir ciertos cambios. Me resulta atractiva la propuesa, no lo puedo negar, pero al bajar la vista a la realidad de los actores de cooperación, en el contexto español, sigo viendo un alto grado de inexperiencia en cuanto a procesos evaluativos y cultura evaluativa en general. No sé si realmente sea un salto “mortal”, en toda su extensión: mortal por lo grandioso y espectacular…o mortal por el riesgo de caer en el abismo.

Una apuesta al optimismo y un reto: apostemos a que podemos, perfecto. Pero pongamos los medios. Muchos medios. Y por ahora, eso sí me preocupa más: no creo en las promesas de los recursos. En eso sí tenemos práctica, y para evaluación siempre nos ha quedado la calderilla, el “sencillo”, las migajas.

Seguimos dándole vueltas. Por de pronto, se pueden descargar el BORRADOR DEL PLAN DIRECTOR 2009-2012. Para las aportaciones, la DGPOLDE ha diseñado un sencillo formulario que pueden descargar aquí. Desconozco si cualquiera puede hacer aportaciones directas al borrador, pero en cualquier caso si alguno de ustedes está interesado en hacer propuestas y no tiene cómo, me ofrezco a canalizarlas.

De nuevo, tras otro paréntesis con viajes y trabajos tan encantadores como entorpecedores, escribo en EVALUATECA porque esta semana lo merece. Esta semana terminamos con la fase presencial de nuestra asignatura de Evaluación de Programas, en el marco del Master en Políticas y Procesos de Desarrollo (especialidad en Gestión de Proyectos y Procesos) de la Universidad Politécnica de Valencia. Y para ello, tengo el inmenso placer de contar con dos invitados de excepción: Mr. Craig Russon, actualmente Senior Evaluation Officer de la Organización Internacional del Trabajo, y D. Rogério Silva, actualmente Director del Instituto FONTE de Brasil, especializado en apoyo a procesos participativos. Ambos son, sin duda, líderes internacionales en el campo de evaluación, como ya hemos comentado en alguna otra entrada.

Y empezamos las actividades presenciales con una mezcla de conferencia, mesa redonda, panel…uno nunca sabe ya cómo llamar a esto. En el fondo es un intento de réplica de las conversaciones de café que hemos tenido en alguna ocasión. Por eso la hemos titulado “Evaluación a dos voces”. Hablaremos de los temas que nos interesan en evaluación, lo que se está discutiendo por ahí, algunas pistas sobre hacia dónde caminar, etc. Será el jueves 17 a las 12. Aquí podéis ver el cartel anunciador. Es una actividad abierta, patrocinada por la Asociación Valenciana de Ingeniería sin Fronteras. Estáis todos y todas cordialmente invitados. Para los que no podáis venir, intentaremos al menos conseguir unas fotografías (ojala un video que pudiéramos colgar).

La semana pasada tuve la suerte de poder compartir unos días con algunos de los profesionales más relevantes en Evaluación en nuestro país: Carmen Vélez, Marian Díaz, Juan Murciano… La cita: un seminario sobre Evaluación de Políticas Públicas del Instituto Andaluz (de Administración Pública, claro).

Sevilla es una ciudad fantástica, y tanto el seminario como las tapas y las cervezas dan para intercambiar ideas. Coincidencia total entre el alumnado (gentes de diferentes administraciones andaluzas, diferentes sectores de intervención) en que la base de todos nuestros limitantes es cultural. Y no con aquella acepción de cultural como estereotipo, sino más bien de carencias en las buenas costumbres que supondrían incorporar la evaluación como un quehacer (qué bonita palabra en español) de nuestra práctica profesional. Lamentablemente, surgieron demasiados ejemplos, anécdotas, chistes, que ilustran lo mucho que nos queda en España por caminar.

¿Más temas? Pues algunas cosas que ya hemos venido comentando en EVALUATECA y que están en “la picota”: los estándares, calidad en evaluación, profesionalización. Muy interesante la idea que los compañeros andaluces están predicando: creación de unidades de evaluación. Simple, ¿verdad? pues me pregunto por qué tan simple pero tan ausente de nuestras instituciones públicas (de otras instituciones, ya, para qué hablar…).

Yo no me pude resistir y hablamos de Evaluación de Impacto, la regla de oro, etc. Se que alguno/alguna pensará que es patológico, pero, ¡caramba! qué oportuno. Descubro días antes que la Cooperación Española, en su apuesta por el multilateralismo y por la calidad de la ayuda se inclina por la Evaluación de Impacto y crea un fondo con el Banco Mundial: Fondo Español para las Evaluaciones de Impacto. En la misma línea, organiza un interesante curso la próxima semana en Madrid (claro, ¿dónde iba a ser si no?) sobre el tema y trae a expertos internacionales. Podéis ver más información en este archivo: TALLER SOBRE EL FONDO ESPANOL DE EVALUACION DE IMPACTO (SIEF). Hay que reconocer que el programa es bueno pero…hay algo que me asusta. Cito textualmente parte de la carta de motivación que se envía a posibles interesados, firmada por una responsable de Cooperación Española:

“La evaluación de impacto es uno de los instrumentos que permite obtener con un rigor científico información sobre los efectos positivos y negativos que tienen las intervenciones de desarrollo en los beneficiarios, consigue establecer una atribución causal entre la intervención llevada a cabo y los efectos generados por la misma, aumentando la certidumbre en la toma de decisiones públicas, a la hora de seleccionar entre diferentes alternativas de intervención”

En fin, que no hemos empezado más que a gatear en Evaluación (y más si cabe en Evaluación en el campo de la Ayuda al Desarrollo) y ya tenemos clarísimo que son los diseños experimentales los que nos van a sacar de las tinieblas y nos van a ayudar a formular las políticas públicas más adecuadas. La misma Cooperación Española tiene un Manual de Gestión de EValuaciones excelente, primer paso para el fortalecimientyo de capacidades de evaluación en los actores involucrados. Nos acompañó en Sevilla Cecilia Rocha, responsable de Evaluación de DGPOLDE, y comentamos esta necesidad de seguir avanzando. Sinceramente, creo que hubiera sido más inteligente por parte de los responsables políticos financiar este proceso de fortalecimiento y no un fondo de Evaluaciones para proyectos del Banco Mundial. Aunque claro, acompañar procesos cuesta mucho tiempo, algo de dinero y no se fotografía tan fácilmente.

Thomaz Chianca, conocido evluador brasileño, ha presentado los resultados de más de cuatro años de investigación sobre el estado de la Evaluación de la Ayuda Internacional (traducido literal del inglés, aunque algunos estamos más acostumbrados a hablar de Ayuda al Desarrollo o Cooperación al Desarrollo). Este trabajo le ha valido el reconocimiento como Doctor en Filosofía (PhD) por la Universidad West Michigan. ¿Adivinan en qué Centro?

Bajo el título, “INTERNATIONAL AID EVALUATION: AN ANALYSIS AND POLICY PROPOSALS“, el Dr. Chianca nos hace un repaso de los actuales debates, las diferentes posturas y las iniciativas/grupos/instituciones que han surgido para defenderlas. Consorcios como el 3IE, NONIE o ALNAP, iniciativas de agencias como el ECG o UNEG, son algunas de las nuevas estructuras analizadas por el autor.

Estoy seguro de que este trabajo va a ser un gran aporte al conocimiento en evaluación, en especial para poder clarificar toda esta amalgama de iniciativas internacionales que van surgiendo en estos años alrededor de la Evaluación en el contexto de la AOD. Espero que Thomaz nos regale próximamente con publicaciones al respecto. Y que siga, como hasta ahora, aportando sus buenas ideas y, sobre todo, su encantador carácter a nuestra profesión. Porque además de ser uno de los próximos líderes de evaluación de la próxima década (esa es mi apuesta al menos), es un fantástico guitarrista que domina la Música Popular Brasileña casi tanto como el lenguaje evaluativo.

Voy a intentar hincarle el diente a las 228 páginas de su interesante tesis doctoral. Mientras esperamos las publicaciones oficiales, dejo la presentación en video (siempre más amena) de la defensa de esta disertación.

Hace tiempo que sigo (sin participar, mea culpa) una lista de discusión por correo alrededor del Mapeo de Alcances. La verdad es que es muy activa y confieso que apenas puedo seguir al detalle muchas de los debates que se generan. Estos días me dio por seguir uno alrededor de cuestiones un tanto profundas, un tanto elevadas, más si se tiene en cuenta que el que suscribe es un infeliz cuya (de)formación es tecnológica: distinciones entre “conducta” o “actitud” a la hora de evaluar, los mecanismos para analizar la sostenibilidad de los cambios producidos en esta línea, las relaciones de poder intrínsecas al término “influencia“…uf, reconozco que la cosa me quedaba más que grande.

Eso me ha recordado una discusión que tuve hace un par de semanas con m compañera de equipo de evaluación, en una estancia en San Salvador, alrededor de un componente de proyecto que estábamos estudiando. Salió la cosa de si el Ministerio X se había “apropiado“, “empoderado“, o simplemente tal política se había “institucionalizado“. En fin, visto con perspectiva, de mucha risa.

Yo soy de los que creo en el uso preciso de los términos. El problema se genera cuando los términos no están unívocamente definidos. ¿Qué implica “institucionalización“? ¿Qué lo diferencia de “apropiación“? Y ya que esta gente de los Mapeos de Alcances discutía del tema, ¿cómo valorar la sostenibilidad de dicha institucionalización/apropiación?

Esta disquisición puede parecer tan estéril como lo parece la que he citado para ejempificar. Pero hay algo no tan baladí: ¿y si somos capaces de justificar cualquier cosa con tan solo emplear uno u otro término? Entonces ya estamos cambiando la dimensión del problema. Estamos ante una cuestión ética. Y eso son, como dicen los nicas, “otros cien pesos”.

Los visitantes de EVALUATECA

Síguenos en Twitter

Creative Commons License
Esta obra está bajo una licencia de Creative Commons.
A %d blogueros les gusta esto: