You are currently browsing the tag archive for the ‘Técnicas’ tag.
Estos días andamos por el Ecuador con varias actividades de Evaluación en marcha. Una de ellas, una colaboración con los amigos y amigas del PNUD, en un interesante programa que quizá conozcan, pero que si no es el caso, les animo a echar un ojo: se trata del programa ART (Articulación de Redes Territoriales). Pueden consultar el modelo general aquí, y el caso particular de Ecuador aquí.
Andamos escasos de poesía, de innovaciones, de riesgo, en esto de la Evaluación, así que cruzarse con locos que se echan al ruedo e intentan ver esto del trabajo en desarrollo desde otra óptica, sinceramente se agradece. Hemos estado hablando mucho sobre el seguimiento y la evaluación. En particular lo primero, pero dado que en el programa hay un importante componente de apoyo a procesos, el seguimiento vira (o debería) hacia el intento de capturar los logros que las pequeñas intervenciones consensuadas entre actores locales van alcanzando.
Hemos discutido muchas cosas estos días con compañeros y compañeras que trabajan el día a día de la política pública local en lo más terrenal, y fruto de ello me surgen interrogantes/reflexiones que comparto:
a) Abro los ojos ante la articulación/coordinación/concertación. Sin duda la mejor de las estrategias para resolver viejos problemas. Lanzo un mensaje, en especial para los más heterodoxos/progres/antimétodo: el hábito no hace al monje y esta es una buena muestra. LA articulación de actores en el territorio creo que resuelve en buena parte las simplificaciones que cometemos constantemente al diseñar programas con herramientas orientadas por objetivos, orientadas a resultados, modelos lógicos o como buenamente le quieran ustedes llamar. No es tanto problema de la herramienta (que obviamente, en tanto que herramienta, tiene sus limitaciones y en este caso probablemente el límite elástico -por aquello de la flexibilidad que claman sus detractores- sea sin duda más corto). Es problema de usar ésta (o cualquier herramienta) y pensar en solucionar un problema complejo SIN TENER EN CUENTA AL RESTO DE ACTORES, que en una aproximación más sistémica, son entidades con alto grado de autonomía e intereses y mandatos no necesariamente alineados.
b) Siguiendo con el argumento, ¿qué utilidad tendría un enfoque articulado de Evaluación? Pienso en una doble vía: que hay de bueno en la articulación para alimentar la evaluación, y viceversa. En el primer caso, un enfoque coordinado implicaría directamente réditos tan apetecibles como: menores costes y tiempos, mayor riqueza de información, aproximación más certera a la complejidad del hecho evaluado, y la guinda del pastel, una mayor probabilidad de incorporación de aprendizajes en el centro de la gestión de cada actor. En la vista opuesta: en un enfoque articulado de trabajo, la evaluación necesariamente debe decantarse hacia un enfoque formativo, una marcada orientación al aprendizaje social.
c) Todo suena a música celestial. Bajemos un poco al mundo real. ¿Qué nos hace falta para orientarnos de este modo? Si bien es cierto que hay técnicas y herramientas de evaluación disponibles para dar y vender, necesitamos una primera barrida para buscar las más apropiadas. Esto es un trabajo pendiente, y que sin poder prometer ahora que lo abordaremos, es sin duda una tentación. Apunto claves casi, casi, hablando en voz alta:
- Necesitamos enfoques/herramientas que capturen complejidad: así que chao, chao diseños experimentales, fue bonito mientras duró 😉 Vámonos por aproximaciones en red (ARS) o herramientas cualitativas ad hoc para este tipo de intervenciones complejas (Cambio Más Significativo, MSC)
- Necesitamos herramientas fuertemente apoyadas en la «iniciativa evaluativa» de los participantes: término casi imporvisado con el que quiero evitar decir «participativas». Pienso incluso en enfoques en los que sin el trabajo activo de los actores la herramienta simplemente no funciona, ni trucándola. Estoy pensando en Mapeo de Alcances, más su filosofía que su praxis.
- Necesitamos definir qué es «exitoso» en términos de articulación y como darle valor. Quisiera no caer en la simplificación de anhelar «indicadores de articulación», aunque puede ser un paso para inocular este nuevo virus a sistemas enquistados (supongo que sería más fácil esto que decirle al PNUD que se deje de Gestión Basada en Resultados).
Veo mimbres, pero no sin cierto escepticismo. Así como creo que una iniciativa como la que he podido conocer más en detalle y compartir durante esto días es una buena muestra de que todavía hay esperanza, también me preocupa la atadura a las viejas prácticas que necesariamente mantiene (por su propia supervivencia, básicamente). Me refiero a los vicios de la cadena de la ayuda, los intereses de los donantes, la maquinaria burocrática del sistema, etc.
La semana pasada tuve la suerte de poder compartir unos días con algunos de los profesionales más relevantes en Evaluación en nuestro país: Carmen Vélez, Marian Díaz, Juan Murciano… La cita: un seminario sobre Evaluación de Políticas Públicas del Instituto Andaluz (de Administración Pública, claro).
Sevilla es una ciudad fantástica, y tanto el seminario como las tapas y las cervezas dan para intercambiar ideas. Coincidencia total entre el alumnado (gentes de diferentes administraciones andaluzas, diferentes sectores de intervención) en que la base de todos nuestros limitantes es cultural. Y no con aquella acepción de cultural como estereotipo, sino más bien de carencias en las buenas costumbres que supondrían incorporar la evaluación como un quehacer (qué bonita palabra en español) de nuestra práctica profesional. Lamentablemente, surgieron demasiados ejemplos, anécdotas, chistes, que ilustran lo mucho que nos queda en España por caminar.
¿Más temas? Pues algunas cosas que ya hemos venido comentando en EVALUATECA y que están en «la picota»: los estándares, calidad en evaluación, profesionalización. Muy interesante la idea que los compañeros andaluces están predicando: creación de unidades de evaluación. Simple, ¿verdad? pues me pregunto por qué tan simple pero tan ausente de nuestras instituciones públicas (de otras instituciones, ya, para qué hablar…).
Yo no me pude resistir y hablamos de Evaluación de Impacto, la regla de oro, etc. Se que alguno/alguna pensará que es patológico, pero, ¡caramba! qué oportuno. Descubro días antes que la Cooperación Española, en su apuesta por el multilateralismo y por la calidad de la ayuda se inclina por la Evaluación de Impacto y crea un fondo con el Banco Mundial: Fondo Español para las Evaluaciones de Impacto. En la misma línea, organiza un interesante curso la próxima semana en Madrid (claro, ¿dónde iba a ser si no?) sobre el tema y trae a expertos internacionales. Podéis ver más información en este archivo: TALLER SOBRE EL FONDO ESPANOL DE EVALUACION DE IMPACTO (SIEF). Hay que reconocer que el programa es bueno pero…hay algo que me asusta. Cito textualmente parte de la carta de motivación que se envía a posibles interesados, firmada por una responsable de Cooperación Española:
«La evaluación de impacto es uno de los instrumentos que permite obtener con un rigor científico información sobre los efectos positivos y negativos que tienen las intervenciones de desarrollo en los beneficiarios, consigue establecer una atribución causal entre la intervención llevada a cabo y los efectos generados por la misma, aumentando la certidumbre en la toma de decisiones públicas, a la hora de seleccionar entre diferentes alternativas de intervención»
En fin, que no hemos empezado más que a gatear en Evaluación (y más si cabe en Evaluación en el campo de la Ayuda al Desarrollo) y ya tenemos clarísimo que son los diseños experimentales los que nos van a sacar de las tinieblas y nos van a ayudar a formular las políticas públicas más adecuadas. La misma Cooperación Española tiene un Manual de Gestión de EValuaciones excelente, primer paso para el fortalecimientyo de capacidades de evaluación en los actores involucrados. Nos acompañó en Sevilla Cecilia Rocha, responsable de Evaluación de DGPOLDE, y comentamos esta necesidad de seguir avanzando. Sinceramente, creo que hubiera sido más inteligente por parte de los responsables políticos financiar este proceso de fortalecimiento y no un fondo de Evaluaciones para proyectos del Banco Mundial. Aunque claro, acompañar procesos cuesta mucho tiempo, algo de dinero y no se fotografía tan fácilmente.
El uso de la técnica de Análisis de Fortalezas, Debilidades, Oportunidades y Amenazas (DAFO para la versión ibérica, FODA para la latinoamericana, SWOT en la literatura anglosajona) se ha generalizado extraordinariamente para diferentes objetivos y en diferentes fases del ciclo del proyecto. Como toda técnica «aparentemente fácil» de entender y de aplicar, este empleo generalizado también lleva asociado en ocasiones una puesta en práctica no demasiado ortodoxa de la cuestión, si vamos a lo estricto de la definición. De todos modos, como bien sabemos en Evaluación, la ortodoxia extrema nos puede llevar a la inutilidad más absoluta, así que, en definitiva, tener el DAFO en la caja de herramientas como evaluador/a nunca está de más.
Quizá lo que sí me he topado algunas veces, y me consta que no soy el único, es con cierta «vaguedad» en el uso posterior de una matriz DAFO. Quiero decir con esto: seguro que mas de una y más de uno se ha encontrado con esa «arrancada de macho, parada de burro» en el proceso. Una tremenda euforia colectiva en el sesudo descubrimiento de todos, absolutamente todos los factores que influyen en el proceso, sus dobles y triples lecturas («es que según lo mires, es una oportunidad pero también es una amenaza«), y un largo etcétera de variantes. Y tras pintar la matriz ¿qué hacemos con ella?
He usado el DAFO para el análisis de factores de viabilidad en proyectos. Tras una matriz completa (y en la que hemos podido conseguir una amplia participación de grupos y actores involucrados en el proceso), resulta muy útil tener la información algo más masticada. Esto puede significar desde armar una jerarquía de factores, para facilitar su uso posterior a la hora de seleccionar estrategias de intervención, hasta valorar de un modo más preciso la importancia de dichos factores, así como su interrelación, para depurar el análisis y simplificar los procesos de decisión posteriores.
Toda esta larga introducción para recomendar una llamada de atención a la combinación de técnicas (especialmente el binomio cuantitativo-cualitativo). Hay que huir de las recetas o de los métodos que garantizan resultados definitivos. Es mucho más rico (genera mayor aprendizaje) y es más efectiva la combinación de aquellas técnicas que en el contexto determinado que nos encontremos puedan facilitar la obtención de productos o resultados que esperamos. ¿Cómo elegirlas? Eso forma parte de la vertiene artísitica de todo/a evaluador/a.
Es curioso que mientras pensaba en estas cosas me he topado con un artículo al respecto. Para los/as atrevidos/as, aquí os dejo la referencia: Ihsan Yüksel y Metin Dagdeviren (2007) Using the analytic network process (ANP) in a SWOT nalysis – A case study for a textile firm, Information Sciences 177 (2007) 3364–3382. En él, se propone el uso de una técnica Multicriterio Discreta (ANP) que permite valorar cuantitativamente la importancia de cada factor en el contexto, teniendo en cuenta la influencia que ejerce cada uno sobre el resto y viceversa.
Personalmente, creo que ésta en particular es una estimulante idea e intentaré probarla próximamente (que tiemblen los/as próximos/as compañeros/as que me sufran en una evaluación 😉 ). Se admiten y agradecen enormemente informaciones sobre ideas semejantes y su puesta en práctica. Por mi parte, si alguien tiene la curiosidad de ojear el artículo citado y no lo puede conseguir con facilidad, me ofrezco a enviarlo por correo. Como se trata de una publicación con Copyright, me abstengo de colgarlo, a ver si va a ser peor. Pero como yo lo he obtenido de forma LEGAL, puedo enviar una COPIA PRIVADA por correo-e a quien lo requiera (<rmonterd@gmail.com>), ya que acá en España esta modalidad NO ESTÁ PENADA POR LA LEY DE PROPIEDAD INTELECUAL. Además, estoy seguro de que los autores intelectuales del artículo estarán encantados. Por si a alguien (amigo/a o enemigo/a) no le ha quedado claro el concepto legal, le invito a ver este divertido y a la par pedagógico video de David Bravo, experto en legislación y famoso (por lo menos en España) activista contra la protección muchas veces irracional del conocimiento y la cultura.
Es muy habitual que los gestores y los técnicos de proyectos busquen mecanismos cuantitativos de medición que permitan mostrar (a responsables, donantes, etc.) los alcances de la intervención que manejan. Nos hemos acostumbrado a que los indicadores cuantitativos son el instrumento más sencillo, preciso y fácil de comunicar, factores que lo hacen especialmente útil en una evaluación.
En los cursos en los que vengo participando, siempre hay una fuerte demanda de herramientas, y, como digo, las cuantitativas (indicadores, especialmente) suelen ser el producto estrella. Sin embargo, últimamente sugiero también, para compensar un poco, algunas propuesas más cualitativas. A continuación os menciono dos de ellas, con gran parecido aunque de origen absolutamente distante.
El método del caso exitoso (Success Case Method, nombre original en inglés) es una propuesta del profesor Robert Brinkerhoff, emérito de la West Michigan University. Una actividad es evaluada a partir de los relatos de actores implicados y comunicada por medio de una narración, creada a su vez por el evaluador a partir de los hitos o factores de éxito encontrados en ellos. Es, por supuesto, un método «sesgado», ya que emplea unas pocas valoraciones, pero esto no minusvalora su aporte ya que la inferencia estadística no es su fin. Por el contrario, la finalidad es mucho más formativa, intentado encontrar en los casos de análisis pistas innovadoras para la mejora de la calidad de la intervención.
Por su parte, el método de los Cambios Más Significativos (Most Significant Changes) es un reciente aporte de Rick Davies junto a Jess Dart. Davies es una referencia imprescindible en Internet en cuanto a evaluación se refiere: la web que mantiene desde hace ya años es uno de los más antiguos y completos sitios en Seguimiento y Evaluación. La experiencia de Davies en India, en programas de gran alcance en los que se le solicitaba (¡cómo no!) mostrar la relación entre intevenciones e impacto, le llevó a proponer un procedimiento en el que los propios involucrados narran aquellos cambios que consideran más importantes en el transcurso del tiempo que compete a la intervención.
No hay nada como aprender haciendo, así que lo mejor es dejarse de análisis y ponerse a probar. Os dejo las obligadas referencias: en el primer caso, lamentablemente no puedo dar una fuente completa en formato electrónico, y tendréis que acudir a la fuente bibliográfica fundamental (Brinkerhoff, R.O. (2003) The Success Case Method. Ed. Berrett Koehler, San Francisco). En el caso del MSC, la guía de referencia la podéis bajar aquí.
¡Ánimo y a experimentar! Como siempre, espero opiniones, experiencias, e incluso propuestas para ponernos manos a la obra.
Como se nota que los compañeros y las compañeras de Latinoamérica tienen solera en esto. Leo en la web de ASOCAM- Plataforma Lationoamericana de Gestión del Conocimiento (vía PREVAL), novedades de publicación de herramientas, cajas de herramientas, documentos conceptuales y demás material de guerra, en Evaluación Participativa.
No he tenido la oportunidad de hincarle el diente en detalle (estos días ando con agenda liada en Mérida-Venezuela…y dificultades de conexión a Internet), pero los primeros vistazos prometen bastante. Son documentos sencillos, y entiendo que con vocación de divulgación más que de rigor científico (aunque sin perder la compostura, ¡por supuesto!). En particular me parece interesante que las menciones al «impacto» de los proyectos en el vocabulario de estas propustas tienen más que ver con los cambios «significativos» para la población, dichos por los protagonistas, que aquello de la manida «atribución» de los cambios al proyecto (ya sabéis, RCT y demás torturas 😉 ).
¡Qué bueno contar con material fresco …y gratuito!
Como dice el gran Bob Williams, esto no es una cuestión de sana discusión científica. Es una lucha de poder. Y como casi todas las luchas que se han dado y se siguen dando en nuestro mundo, es una lucha desigual.
Leo en un mensaje de la lista del grupo «International and Cross-Cultural Evaluation» de la Sociedad Americana de la Evaluación, un mensaje de Jim Rugh (ex-Director General de la Oficina de Evaluación de CARE International), informando de otra iniciativa más que parece estar teniendo su pegada en cuanto a la defensa radical de los métodos científicos en evaluación, basados en modelos experimentales cuantitativos (ya hablamos de esto en un post sobre el polémico informe de CGD «When we ever learn?»). Se trata esta vez de un grupo nada menos que del Masachussets Institute of Technology (MIT), denominado Poverty Action Lab.
Nada específico que comentar. Más de lo mismo (pero no por ello no hay que seguir debatiendo…o luchando): un regustillo a «si no es con ESTOS métodos científicos, la validez de las evaluaciones deja que desear«. No hay nada más peligroso que un grupo de poder con un par de artículos científicos que avalen su teoría interés (este «Lab» está patrocinado por un grupo empresarial de Arabia Saudí…¡ay! ¡cuanto daño le queda a la Responsabilidad Social Corporativa! por hacer a nuestro mundo). Y queramos o no, siempre va a haber «científicos» con necesidades financieras (lo digo con conocimiento de causa, que yo mismo estoy en el lado oscuro de la Fuerza…).
En fin. Me duele especialmente mi ego ingenieril, ya que el MIT para cualquier profesional de la técnica es algo así como el Olimpo de los Dioses. Y de remate, es la casa de estudios mi admirado Noam Chomsky. Ya no te puedes fiar de casi nadie…
Leo vía PREVAL, que en uno de sus boletines electrónicos hay un especial de Mapeo de Actores. Lo interesante del asunto es la buena recopilación de material electronico disponible online y de forma gratuita.
A destacar, desde mi punto de vista, los materiales sobre Prospectiva Estratégica, del gran experto francés en la materia, Michel Godet. Tanto en la referencia del boletín como en la web del Laboratorio de Investigación en Prospectiva, Estrategia y Organización (LIPSOR) se pueden encontrar materiales interesantes y basante claros de cómo emplear estos métodos de prospectiva. Incluso software distribuído gratuítamente (¡¡enhorabuena!!).
Echo de menos algo explícito de Análisis de Redes Sociales. Hay mucho material en red (dedicaremos un comentario específico al ARS más adelante ) y contamos con expertos internacionales de habla hispana. Y, por dar el contrapunto, pero «sin acritud», en una reseña de este tipo sobran textos inoperativos y poco claros como el del BID, firmado (sorprendentemente) por Luis de Sebastián (por las dudas, podéis consultar el practiquísimo apartado metodológico «9. Técnicas de análisis microsocial», pags. 54 a 62).
Esto de las herramientas nunca está de más, aunque como bien es sabido, uno/a no debe ser esclavo/a del método. Por otra parte hay quien, de vez en cuando, se dedica a escudriñar sobre cuestiones como la «ontología» de los mismos, para intentar entender si la herramienta de turno es maligna por naturaleza. No digo que no sea intersante, pero…no es para mi y no lo recomiendo a nadie, por higiene mental. Además, me inclino más por el empirismo en la ciencia y el pragmatismo en el quehacer diario. Por ahora me da mejores resultados: la esquizofrenia paraniode es menor, y de los compañeros y compañeras que «prueban» los inventos que hacemos en la academia aprendo mucho más.
Hoy he comrorbado una máxima de un buen amigo y maestro, aplicable a casi todo, pero especialmente a la ciencia: «cuando piensas en una buena idea, casi seguro alguien en el mundo ya la había pensado antes«. Esto tiene buenas y malas lecturas: el vaso medio vacío nos dice que no somos originales. Yo prefiero verlo medio lleno: no estábamos tan mal encaminados 😉
Los que me conocen saben de mi pasión por la numeritis, las matemáticas, los calculitos, las gráficas…y su uso en la gestión de proyectos, y en especial, en la evaluación. Creo sinceramente que pueden ser de gran utilidad, bien empleadas (aunque esto de «emplear bien o no, en sentido ético, lo discutimos en otro post…que da para rato). Y en este pack es donde ubico las Técnicas Multicriterio Discretas, toda una batería de m´todos y técnicas, con soporte matemático, para ayudarnos en situaciones en las que es bueno (e incluso higiénico) explicitar y sitematizar lo más posible el proceso de toma de decisiones. Esto es algo realmente importante en el uso de resultados o recomendaciones de evaluación.
Curioseando por la revista «Evaluation» del Instituto Tavistock (Londres) me he encontrado con una publicación de Jos Vaessen (Universidad de Atwerp, Bélgica), titulada «Programme Theory Evaluation, Multicriteria Decision Aid and Stakeholder Values: A Methodological Framework«. Se trata de un artículo bastante generalista, pero muestra en un caso de estudio (programa de Desarrollo Rural en el Altiplano de Guatemala) las posibilidades de este enfoque.
Interesante echar un vistazo, con recomendables citas sobre Multicriterio para los evaluadores que se inician en el tema.
ACTUALIZACIÓN 23/05/07
El irónico y (casi) siempre acertado Dilbert me hace recapacitar, una vez más, sobre mi fe en los programitas que calculan y nos hacen la vida más fácil en la evaluación y la toma de decisiones
Evaluateca 