You are currently browsing the tag archive for the ‘Participación’ tag.
Mucho discurso, poca praxis. Como dirían algunos del lado occidental del charco (atlántico) «mucho lilili, poco lalala». Como cualquiera que esté mínimamente involucrado en la práctica de la evaluación, tanto los condicionantes operativos como en ocasiones los intereses estructurales, impiden la inclusión de formas más flexibles y más democratizadoras en los procesos evaluativos. Resulta complejo y pretendidamente caro poner en práctica mecanismos de participación activa en evaluaciones de programas. Complejo por la enorme carga de gestión de un proceso en el que tomen parte activa un buen número de actores involucrados, no necesariamente en armonía entre ellos. Por otro lado, pretendidamente caro, pues el mismo «requisito», si así se quiere entender la evaluación en el contexto del ciclo de proyectos, se puede salvar con un paracaidista de una semana en terreno y otra en escritorio.
En este contexto, propuestas prácticas para incorporar procesos colaborativos son sin duda un soplo de aire fresco más que necesario. Evaluaciones Colaborativas es un texto de Liliana Rodríguez, profesora del Departamento de Investigación y Medición Educativa de la Universidad de Florida del Sur. Traducción de una primera versión en inglés, el texto presenta una propuesta práctica articulada sobre un modelo en seis pasos, a partir de los cuales se ofrecen consejos prácticos extraídos de casos reales de evaluación. Tuve la suerte de conocer a Lili y a Rigo (Rigoberto Rincones, su pareja), en una conferencia de la American Evaluation Association. Ambos excelentes profesionales de la evaluación, es un gusto saber que a pesar de residir y desarrollar su carrera profesional en Estados Unidos, su compromiso con el desarrollo de una cultura evaluativa de calidad en habla hispana sigue más vigente que nunca.
[Vía ReLAC]
Vía la lista de discusión de Mapeo de Alcances en inglés (¡gracias Simon!), me llega una noticia realmente interesante y poco habitual. El año pasado, la cooperación británica (DFID) creó un espacio centrado en la Evaluación del Impacto en Desarrollo de su política de cooperación (véase IACDI). La iniciativa convoca a interesados e interesadas a responder una serie de cuestiones sobre su política de evaluación para definir una «evaluación independiente de la ayuda al desarrollo» de su país.
Para ello ha abierto un proceso en el que recogerá las opiniones y sugerencias de cuantos y cuantas quieran ofrecer su visión y sus sugerencias. Creo que este es el camino, sin duda, para el desarrollo de políticas públicas inclusivas en las que la ciudadanía crea, y en particular éstas referidas a cooperación al desarrollo. Y desde el punto de vista de evaluación, es un mecanismo privilegiado para hacer de los procesos evaluativos en el futuro una herramienta de aprendizaje y de control social a un tiempo.
¿Podríamos imaginar algo así en nuestros países de habla hispana? Por lo que respecta a España, en calidad de donante…pues sin restar los esfuerzos que se han hecho y los que en particular se están dando en los últimos tiempos, creo que dista un ápice. Alguien me podría argumentar que, por ejemplo, el últimoborrador del Plan Director de Cooperación Española, se ha circulado entre diferentes agentes y se han establecido mecanismos para la recogida de opiniones, sugerencias, etc. Me consta que mucha gente ha hecho el esfuerzo de trabajarse el documento (que como ya comentamos en una entrada anterior, tenía mucha más enjundia que los anteriores, en positivo, y por tanto requería de mayor esfuerzo para su análisis), pero de nuevo los tiempos y los modos de nuestro sistema de administración pública nos ahogan. No, unas reuniones sectoriales en Madrid quince días después de circular el borrador dan para lo que dan. Es un paso, pero estamos lejos.
Mismo caso aplica para la Descentralizada, que por su porpia naturaleza debiera ser si cabe mucho más participada por la ciudadanía y en particular por los agentes más directamente implicados. Claro, eso si la Descentralizada fuera reflejo de la política basada en lo local. Pero mientras, al menos en Cooperación, siga siendo en muchas Comunidades ese ejemplo paradigmático de no-definición de políticas (es decir, el «todo cabe») y, sobre todo, un conjunto de saquitos (algunos ya no tan pequeños) de dinerito público sin ningún rédito educativo, social o cultural a la ciudadanía que lo paga, pues claro…hacer estos malabarismos participativos será como aquella de Astérix: «están locos estos hijos de la Gran Bretaña»
ACTUALIZACIÓN 17/12/08: Justo después de escribir esta entrada me llegó desde mi Universidad un correo sobre el proceso de revisión del futuro Plan Director de Cooperación Española al que hacía referencia. Error de cálculo por mi parte, el proceso sigue con una segunda ronda. Creo que el tema merece una entrada específica, en el que al igual que la primera que hice, facilitaré la información que he recibido de forma que puedan estar al tanto del proceso y colaborar en la medida que consideren oportuno.
La Cooperación Española está realizando su nuevo Plan Director para la sgunda etapa de gobierno socialista. El plan en preparación abarcará el periodo 2009-2012, y en estos días se encuentra en proceso de consulta a los diferentes actores sociales implicados en el entramado de la cooperación.
Apenas he tenido tiempo de leerlo en detalle, tan sólo unas pinceladas. En general, me atrevería a decir ya que es una apuesta más atrevida que las anteriores y que apunta direcciones interesantes, además de estar muy al día con lo que mundialmente acontece en el contexto del desarrollo. También tiene interesantes apuntes sobre evaluación, y de ahí este comentario.
Curiosamente, en el nuevo Plan se hace una interesante propuesta orientada a algo que comentamos hace poco en EVALUATECA, la «gestión del conocimiento» ligada a los procesos de seguimiento y evaluación. En el texto se propone orientar las actividades evaluativas hacia la generación de conocimiento para el desarrollo: ayuda a la toma de decisiones y aprendizaje. Claves realmente interesantes.
Sin embargo, me preocupa algo que ya hemos comentado anteriormente también, y es el proceso en sí mismo de todo un sector (el de la cooperación al desarrollo) a la hora de adquirir las capacidades necesarias para asumir ciertos cambios. Me resulta atractiva la propuesa, no lo puedo negar, pero al bajar la vista a la realidad de los actores de cooperación, en el contexto español, sigo viendo un alto grado de inexperiencia en cuanto a procesos evaluativos y cultura evaluativa en general. No sé si realmente sea un salto «mortal», en toda su extensión: mortal por lo grandioso y espectacular…o mortal por el riesgo de caer en el abismo.
Una apuesta al optimismo y un reto: apostemos a que podemos, perfecto. Pero pongamos los medios. Muchos medios. Y por ahora, eso sí me preocupa más: no creo en las promesas de los recursos. En eso sí tenemos práctica, y para evaluación siempre nos ha quedado la calderilla, el «sencillo», las migajas.
Seguimos dándole vueltas. Por de pronto, se pueden descargar el BORRADOR DEL PLAN DIRECTOR 2009-2012. Para las aportaciones, la DGPOLDE ha diseñado un sencillo formulario que pueden descargar aquí. Desconozco si cualquiera puede hacer aportaciones directas al borrador, pero en cualquier caso si alguno de ustedes está interesado en hacer propuestas y no tiene cómo, me ofrezco a canalizarlas.
De nuevo, tras otro paréntesis con viajes y trabajos tan encantadores como entorpecedores, escribo en EVALUATECA porque esta semana lo merece. Esta semana terminamos con la fase presencial de nuestra asignatura de Evaluación de Programas, en el marco del Master en Políticas y Procesos de Desarrollo (especialidad en Gestión de Proyectos y Procesos) de la Universidad Politécnica de Valencia. Y para ello, tengo el inmenso placer de contar con dos invitados de excepción: Mr. Craig Russon, actualmente Senior Evaluation Officer de la Organización Internacional del Trabajo, y D. Rogério Silva, actualmente Director del Instituto FONTE de Brasil, especializado en apoyo a procesos participativos. Ambos son, sin duda, líderes internacionales en el campo de evaluación, como ya hemos comentado en alguna otra entrada.
Y empezamos las actividades presenciales con una mezcla de conferencia, mesa redonda, panel…uno nunca sabe ya cómo llamar a esto. En el fondo es un intento de réplica de las conversaciones de café que hemos tenido en alguna ocasión. Por eso la hemos titulado «Evaluación a dos voces». Hablaremos de los temas que nos interesan en evaluación, lo que se está discutiendo por ahí, algunas pistas sobre hacia dónde caminar, etc. Será el jueves 17 a las 12. Aquí podéis ver el cartel anunciador. Es una actividad abierta, patrocinada por la Asociación Valenciana de Ingeniería sin Fronteras. Estáis todos y todas cordialmente invitados. Para los que no podáis venir, intentaremos al menos conseguir unas fotografías (ojala un video que pudiéramos colgar).
El uso de la técnica de Análisis de Fortalezas, Debilidades, Oportunidades y Amenazas (DAFO para la versión ibérica, FODA para la latinoamericana, SWOT en la literatura anglosajona) se ha generalizado extraordinariamente para diferentes objetivos y en diferentes fases del ciclo del proyecto. Como toda técnica «aparentemente fácil» de entender y de aplicar, este empleo generalizado también lleva asociado en ocasiones una puesta en práctica no demasiado ortodoxa de la cuestión, si vamos a lo estricto de la definición. De todos modos, como bien sabemos en Evaluación, la ortodoxia extrema nos puede llevar a la inutilidad más absoluta, así que, en definitiva, tener el DAFO en la caja de herramientas como evaluador/a nunca está de más.
Quizá lo que sí me he topado algunas veces, y me consta que no soy el único, es con cierta «vaguedad» en el uso posterior de una matriz DAFO. Quiero decir con esto: seguro que mas de una y más de uno se ha encontrado con esa «arrancada de macho, parada de burro» en el proceso. Una tremenda euforia colectiva en el sesudo descubrimiento de todos, absolutamente todos los factores que influyen en el proceso, sus dobles y triples lecturas («es que según lo mires, es una oportunidad pero también es una amenaza«), y un largo etcétera de variantes. Y tras pintar la matriz ¿qué hacemos con ella?
He usado el DAFO para el análisis de factores de viabilidad en proyectos. Tras una matriz completa (y en la que hemos podido conseguir una amplia participación de grupos y actores involucrados en el proceso), resulta muy útil tener la información algo más masticada. Esto puede significar desde armar una jerarquía de factores, para facilitar su uso posterior a la hora de seleccionar estrategias de intervención, hasta valorar de un modo más preciso la importancia de dichos factores, así como su interrelación, para depurar el análisis y simplificar los procesos de decisión posteriores.
Toda esta larga introducción para recomendar una llamada de atención a la combinación de técnicas (especialmente el binomio cuantitativo-cualitativo). Hay que huir de las recetas o de los métodos que garantizan resultados definitivos. Es mucho más rico (genera mayor aprendizaje) y es más efectiva la combinación de aquellas técnicas que en el contexto determinado que nos encontremos puedan facilitar la obtención de productos o resultados que esperamos. ¿Cómo elegirlas? Eso forma parte de la vertiene artísitica de todo/a evaluador/a.
Es curioso que mientras pensaba en estas cosas me he topado con un artículo al respecto. Para los/as atrevidos/as, aquí os dejo la referencia: Ihsan Yüksel y Metin Dagdeviren (2007) Using the analytic network process (ANP) in a SWOT nalysis – A case study for a textile firm, Information Sciences 177 (2007) 3364–3382. En él, se propone el uso de una técnica Multicriterio Discreta (ANP) que permite valorar cuantitativamente la importancia de cada factor en el contexto, teniendo en cuenta la influencia que ejerce cada uno sobre el resto y viceversa.
Personalmente, creo que ésta en particular es una estimulante idea e intentaré probarla próximamente (que tiemblen los/as próximos/as compañeros/as que me sufran en una evaluación 😉 ). Se admiten y agradecen enormemente informaciones sobre ideas semejantes y su puesta en práctica. Por mi parte, si alguien tiene la curiosidad de ojear el artículo citado y no lo puede conseguir con facilidad, me ofrezco a enviarlo por correo. Como se trata de una publicación con Copyright, me abstengo de colgarlo, a ver si va a ser peor. Pero como yo lo he obtenido de forma LEGAL, puedo enviar una COPIA PRIVADA por correo-e a quien lo requiera (<rmonterd@gmail.com>), ya que acá en España esta modalidad NO ESTÁ PENADA POR LA LEY DE PROPIEDAD INTELECUAL. Además, estoy seguro de que los autores intelectuales del artículo estarán encantados. Por si a alguien (amigo/a o enemigo/a) no le ha quedado claro el concepto legal, le invito a ver este divertido y a la par pedagógico video de David Bravo, experto en legislación y famoso (por lo menos en España) activista contra la protección muchas veces irracional del conocimiento y la cultura.
Ya comentamos en una entrada del pasado junio la presentación de una iniciativa de difusión de una evaluación participativa promovida por Ingeniería Sin Fronteras. Aprovechando este ejemplo, creo que puede ser interesante hacer un comentario en relación al uso de los medios audiovisuales en procesos de evaluación. En este caso, ISF presenta como «producto» de su evaluación, un DVD en el que presentan material sobre el proceso participativo de evaluación. Sin entrar en un análisis cinematográfico (cosa que me sería imposible, ya que no tengo ni la más remota idea), desde un punto de vista evaluativo el material genera varios interesantes aportes.
Por un lado, y según me comentan los responsables del diseño de este proceso (la consultora especializada TRELLAT), la documentación gráfica es en sí misma uno de los métodos de recolección de datos que refuerzan las diferentes técnicas participativas empleadas. Por otro lado, este medio pretende facilitar la comprensión de las valoraciones de los destinatarios de los proyectos evaluados por parte de las diferentes instituciones implicadas (incluídos los donantes, aunque en este caso siendo la financiera de los proyectos la que es, dudo mucho ni si quiera se tomen en interés de ver el material, ni por curiosidad).
Yo le añadiría uno más: fortalecimiento de capacidades de evaluación. Un material como este es perfecto para trabajar en formación de especialistas. Es un medio más rico de abordar, por ejemplo, esta evaluación como caso de estudio y reforzar conocimientos en un aula, tanto aspectos de metodología como de praxis real de las evaluaciones en campo. Sería bueno facilitar este tipo de materiales por medio de la red: licencia CC o colgar secuencias en Youtube podrían puntos muy a favor.
El uso de audiovisuales como herramienta participativa, por supuesto no es nuevo. Existe ya incluso estudios en profundidad sobre, por ejemplo, los aspectos cognitivos en el uso de herramientas de video (es decir, como al «grabar» intencionalmente una secuencia estamos dando una interpretación de lo que sucede en el contexto que se registra). Esto es especialmente importante en aplicaciones en las que son los propios destinatarios de los proyectos a evaluar los que «graban» cuestiones del proceso. Michael Patton en su libro «Creative Evaluation« ya mencionaba estas cuestiones, citando principalmente los trabajos en profundidad de Michael Scaife e Yvonne Rogers (un exhaustivo listado de sus publicaciones puede encontrarse aquí).
Este aspecto de «dar voz» es el que más me atrae de estos usos audiovisuales en procesos participativos. Esto, unido al hecho de que precisamente ahora los medios al alcance para socializar experiencias por medio de audio y video (la red, básicamente, con sus múltiples aplicaciones) son realmente potentes en cuanto a alcance se refiere, son razón suficiente para invertir más en ser creativos en nuestros procesos de evaluación. Como muestra, en esta página podéis ver ejemplos muy buenos de una ONG anglo-francesa (o franco-inglesa, como se prefiera) llamada Insight, dedicada a lo que ellos llaman el «Video Participativo». Recomiendo para quien quiera profundizar un poco más.
Y luego vendrá algún listillo con la cantinela de que estas cosas «no sirven para evaluar los criterios del CAD», que es lo que realmente importa…
Como se nota que los compañeros y las compañeras de Latinoamérica tienen solera en esto. Leo en la web de ASOCAM- Plataforma Lationoamericana de Gestión del Conocimiento (vía PREVAL), novedades de publicación de herramientas, cajas de herramientas, documentos conceptuales y demás material de guerra, en Evaluación Participativa.
No he tenido la oportunidad de hincarle el diente en detalle (estos días ando con agenda liada en Mérida-Venezuela…y dificultades de conexión a Internet), pero los primeros vistazos prometen bastante. Son documentos sencillos, y entiendo que con vocación de divulgación más que de rigor científico (aunque sin perder la compostura, ¡por supuesto!). En particular me parece interesante que las menciones al «impacto» de los proyectos en el vocabulario de estas propustas tienen más que ver con los cambios «significativos» para la población, dichos por los protagonistas, que aquello de la manida «atribución» de los cambios al proyecto (ya sabéis, RCT y demás torturas 😉 ).
¡Qué bueno contar con material fresco …y gratuito!
La semana pasada, un buen amigo y director de una organización me enseño la invitación que habían recibido para el acto de presentación de los resultados de las ayudas a cooperación de la Generalitat Valenciana, en la campaña 2007. Ya entonces reaccioné con estupor y, por supuesto, decidí conscientemente no acudir. No he podido resistir la lectura de la nota de prensa que cuelga de la web de la DG de Cooperación al Desarrollo y Relaciones Externas, como resumen del acto y de lo que los responsables públicos allí mostraron.
El Plan Director que actualmente se supone que constituye el elemento guía de la política valenciana de Cooperación al Desarrollo (Plan 2004-2007) proponía un impulso importante a la cultura de evaluación en nuestro territorio. Por supuesto, no se ha hecho prácticamente nada. Me consta, pero por fuentes informales, que se han encargado (sin concurso) algunas evaluaciones de algunos proyectos de ONGD, así como de algún PEI, pero ¿alguien sabe dónde están los informes? ¿puede cualquier ciudadano disponer de ellos? ¿qué aprendizaje ha generado ese trabajo?
No le niego el derecho al político a mostrar sus logros en el periodo que corresponde a su gestión (aunque me parece de muy poca altura política, soy de los que piensan que «por sus actos los conoceréis«), pero un balance en el que únicamente se lanzan números de los que no se tiene orden de magnitud (incrementos porcentuales de ayuda, número de personas atendidas en un programa, número de proyectos ejecutados en 10 años) no nos ayuda a caminar.
No aspiro a que sean didácticos, pues al fin y al cabo, esto es una habilidad que hay que desarrollar con el tiempo, y no es inherente a su cargo. Pero la sinceridad, la honestidad, la transparencia, son valores, y estos sí lo son a cualquier ser humano en una sociedad civilizada, como se supone que es la nuestra.
Me llega la invitación a la jornada que proponen los compañeros y las compañeras de Ingeniería Sin Fronteras (ISF) en Valencia, para presentar los resultados de evaluación de su trabajo en Ticuantepe (Nicaragua). En el programa, algunas cuestiones extra se nos ofrecen para complementar la ya de por si interesante iniciativa: por un lado Carmen Vélez del IDR-Universidad de Sevilla, presentando las líneas generales de la nueva Metodología de Evaluación de Cooperación Española (ya mencionábamos el tema en otro post, así que entiendo que esto va a ser casi casi una primicia digna de portada del ¡Hola!); y por otro, Lara González, de KALIDA-DE-A, (también mencionábamos en un post anterior una publicación suya) cerrando con una visión más pragmática sobre el enfoque participativo y su utilidad en el aprendizaje, que es al fin y al cabo sobre lo que gira la jornada.
Acostumbrados que nos tiene el sector a convocatorias con poco o nulo valor añadido (si alguien tiene dudas, tómese el programa de festejos de cualquier Solidar¡a, o revise el programa de los Congresos de Cooperación al Desarrollo de la CV, o mejor aún, apúntese a un Master ultrasubvencionado, de esos de a precio de mercadillo), cosas como la iniciativa de ISF suenan bien, respiran aire fresco. Dándoles el beneficio de la duda, y conociendo a los evaluadores/facilitadores que les han acompañado en el proceso, casi pondría la mano en el fuego que saldrá lo que tenga que salir, los aciertos y los errores del trabajo en Ticuantepe de los últimos años, que de ambas cosas se aprende. ¿Quién se atreve en estos días a ponerse así en la palestra pública?
Más cuestiones de valor añadido: evaluación de VARIOS proyectos en la misma zona, con la misma contraparte, en el mismo sector, con la misma gente…¿nos va sonando a acompañar procesos?. Y un toque de atención a la promoción de la actividad: ha tenido que ser el Instituto de Crédito Oficial (ICO) con su Fundación la que financie en una CONVOCATORIA COMPETITIVA (en estos días inciertos de tanto convenio nominativo, tan transparente) una EVALUACION orientada al APRENDIZAJE ORGANIZATIVO. Anda que no llevamos tiempo diciéndolo: si se quiere, se puede.
El acto tendrá lugar en la Escuela Técnica Superior de Ingenieros Industriales, en la Politécnica, el próximo viernes 29 de junio. Mira si es mala suerte que yo me lo pierdo, con lo que me van estas cosas (estaremos en Ecuador impartiendo un curso de postgrado, de evaluación de programas, por cierto 😉 ). Os animo encarecidamente a ir. Y que contéis luego qué tal la cosa.
Evaluateca 