You are currently browsing the tag archive for the ‘Enfoques de Evaluación’ tag.

En estos días se ha “liberado” un interesante documento, que lleva casi una década siendo un referente a la hora de justificar el uso de uno u otro enfoque cuando diseñamos un proceso evaluativo. Me refiero al compendio de 22 enfoques elaborado por Daniel L. Stufflebeam, un grande de la evaluación de aquellos que se concentraron en Kalamazoo, Michigan (EEUU), en esa versión evaluativa del Pentágono (dicho esto con todo el cariño) llamada Evaluation Center, en la Universidad de Michigan Oeste.

Este artículo nació previamente como un Documento Ocasional (Ocassional Papers Series) del EC y posteriormente fue objeto de un monográfico de la revista de evaluación New Directions in Evaluation. Lamentablemente, esta revista, aunque tiene fácil acceso electrónico, está restringida a la suscripción (es decir, al pago).

A pesar de ser un documento teórico, vale la pena leerlo y tenerlo como referencia. Por supuesto, en cursos y capacitaciones para profesionales que vayan a dedicarse a hacer evaluación, diría que es de obligada lectura. En la web del EC puede bajarse la copia en PDF. Dejo también una copia aquí para mayor facilidad. Lamentablemente sólo está en inglés. Si alguien se anima a traducir, que me avise y lo hacemos a dúo (trío, cuarteto…cuantos más seamos, mejor).

Foundational Models for 21st Century – Program Evaluation

Además de esta aportación, Stufflebeam es, como decía, un grande de la evaluación. No diré que soy un gran fan, pero hay que reconocer su aportación al mundo de la evaluación. En el campo de la evaluación educativa, tenemos su archiconocido modelo CIPP (siglas en inglés de Contexto, Entrada, Proceso, Producto). Para los más prácticos, recomiendo también sus aportes con los enfoques de Listas de Comprombación (Checklist). El EC desarrolló un proyecto hace unos años para el desarrollo de estas listas en difrentes aplicaciones: varios tipos de proyecto/producto, diferentes enfoques, etc. Estas listas son accesibles vía web, aquí.

Una anécdota: la primera vez que me presentaron a Mr. Stufflebeam en una de esas simpáticas recepciones de las tarde-noches de las Conferencias de la AEA (algo muy típico eso del networking), al decirle que era español me contó que la primera vez (y creo que única) que visitó España fue víctima, por error, de un secuestro a manos de supuestos miembros del grupo terrorista ETA. Pensé que era una vacile, ¡pero no!, se ve que esta historia la cuenta con cierta frecuencia.

[Vía XCeval]

Soy un convencido de las redes sociales y del potencial de las TIC para promover procesos de cambio, de todo tipo. Ejemplo de ello es esta entrada: el mes pasado se producia un interesante debate electrónico en un foro al que estoy suscrito (y que como es habitual en estos casos, soy incapaz de seguir al día y mucho menos de aportar nada relevante). Se trata del foro del Mapeo de Alcances, una propuesta del IDRC que ya hemos mencionado en anteriores entradas.

En él, unos compañeros suizos del AGRIDEA – Developing Agriculture and Rural Areas, planteaban la eterna discusión sobre las limitaciones del enfoque de Marco Lógico como herramienta de planificación y/o de evaluación. Lo que me pareció interesante, y comparto con vosotros/as, fue que además de la crítica a la ortodoxia inherente al método, se hacía una propuesta para incorporar nuevas capacidades y reducir la rigidez a través de la incorporación de estrategias propias del Mapeo de Alcances (que a aprtir de ahora citaremos como OM en sus siglas en inglés).

Sin entrar en el meollo del debate, que llevaría mucho tiempo y espacio, me gustaría resaltar algunas ideas. Por un lado, contrariamente a la creeencia habitual, el EML tiene carencias en lo OPERATIVO. Se ha convertido en una herramienta-modelo en las relaciones entre instituciones de la Cooperación Internacional, lo que supuestamente ha mejorado su capacidad “operativa” de acción. Pero si pensamos en el objeto del EML, que es la intervención en sí, cualquiera que haya hecho una Matriz de ML se habrá topado con la dificultad de describir mecanismos “en la práctica”, cambios de conducta, organización del proyecto para su ejecución.

Una segunda cuestión es la incapacidad del EML de mostrar el trazado del proyecto. El propio IRDC presentó en 2001 una ponencia en la Conferencia Anual de la AEA sobre la posibilidad de dotar al EML de perspectiva temporal, tanto en su fase de diseño como en posteriores monitoreos y evaluación (presentando una interesante “mutación” del EML llamada ‘Temporal Logic Model’, del que curiosamente, no he sabido más). El EML no nos permite apenas dotar al diseño de una perspectiva de evalución, ya que la variable temporal sólo actúa en la definición de hitos, por ejemplo en metas o en umbrales de los indicadores objetivamente verificables.

Ambas cuestiones son CLAVE para la evaluación con EML. En el primer caso, sin capacidad de describir cambios operativos no podemos reconstruir Teoría de Programa, no podemos establecer cadenas causales de resultados, en definitiva no podemos justificar el alcance de determinadas metas a partir de lo ocurrido en el proyecto. Y lo que es peor, no podemos aprender del propio proyecto en cuanto a las estrategias de cambio más exitosas. En el segundo caso, la falta de perspectiva temporal nos dificulta el establecimiento de ciertos modelos de evaluación, que tienen en cuenta la perspectiva temporal, como podrían ser los modelos cuasi-experimentales y no experimentales destinados a la medición del impacto.

En la discusión, los amigos suizos, encabezados por Daniel Roduner, nos ilustraron algunas de sus ideas de “fusión” con esta animación en PowerPoint (Marco Lógico y Mapeo de Alcances). Prometo traducirla al castellano en cuanto me sea posible.

Estos días estoy fuera, en Quito. Tenemos un curso de Evaluación de Programas en el marco de una colaboración entre la Universidad Politécnica Salesiana y la mía. Revisando el material que he pasado como lecturas previas, pensaba sobre la ideas de uso de evaluación del gran Michael Patton. Hay un artículo muy breve (dos páginas apenas) pero que da en el clavo. Lo podéis encontrar en el Vol. IX nº4 de The Evaluation Exchange (se puede bajar el número entero en PDF aquí).

La propuesta de evaluación enfocada al uso de Patton tiene una fuerte conexión con la idea de incorporar cultura de evaluación en las organizaciones (lo que hace unos años se puso de moda con el manido término “mainstreaming”, cuya traducción al español no me atrevo a dar). Y creo que esa es una de sus mayores fortalezas. En el breve artículo que recomiendo, afirma algo así como que “apoyar a los profesionales a reflexionar desde un punto de vista de evaluación, puede tener mayor y mejor efecto en la organización que hallazgos específicos”. Ello implica, desde mi punto de vista, un necesario paso de las organizaciones por un proceso de fortalecimiento de sus propias capacidades de evaluación.

Me preocupa el giro que se está dando en España sobre el uso de evaluaciones. De pronto, la solución a todos los males pasa por una Agencia Nacional de Evaluación. Específicamente, hablando del campo de la Cooperación al Desarrollo, parece que podríamos dar una acelerón como en otras cuestiones del área se han dado en el pasado. Se abre un espacio de posibilidades, lo cual es, de entrada, positivo. No obstante, tengo mis dudas sobre si todo esto podría convertirse en un arma de doble filo. Creo que el sector requiere de más fortaleza en sus capacidades, para poder incorporar un buen uso, y no un abuso, de las actividades de evaluación.

En este campo quizá deberíamos mirar más a Latinoamérica. Esa es mi percepción por ahora. En estos días haremos un experimento en el curso. A ver qué tal estamos de usos y abusos en este lado del charco.

Como dice el gran Bob Williams, esto no es una cuestión de sana discusión científica. Es una lucha de poder. Y como casi todas las luchas que se han dado y se siguen dando en nuestro mundo, es una lucha desigual.

Leo en un mensaje de la lista del grupo “International and Cross-Cultural Evaluation” de la Sociedad Americana de la Evaluación, un mensaje de Jim Rugh (ex-Director General de la Oficina de Evaluación de CARE International), informando de otra iniciativa más que parece estar teniendo su pegada en cuanto a la defensa radical de los métodos científicos en evaluación, basados en modelos experimentales cuantitativos (ya hablamos de esto en un post sobre el polémico informe de CGD “When we ever learn?”). Se trata esta vez de un grupo nada menos que del Masachussets Institute of Technology (MIT), denominado Poverty Action Lab.

Nada específico que comentar. Más de lo mismo (pero no por ello no hay que seguir debatiendo…o luchando): un regustillo a “si no es con ESTOS métodos científicos, la validez de las evaluaciones deja que desear“. No hay nada más peligroso que un grupo de poder con un par de artículos científicos que avalen su teoría interés (este “Lab” está patrocinado por un grupo empresarial de Arabia Saudí…¡ay! ¡cuanto daño le queda a la Responsabilidad Social Corporativa! por hacer a nuestro mundo). Y queramos o no, siempre va a haber “científicos” con necesidades financieras (lo digo con conocimiento de causa, que yo mismo estoy en el lado oscuro de la Fuerza…).

En fin. Me duele especialmente mi ego ingenieril, ya que el MIT para cualquier profesional de la técnica es algo así como el Olimpo de los Dioses. Y de remate, es la casa de estudios mi admirado Noam Chomsky. Ya no te puedes fiar de casi nadie…

Creo que no hay palabra que guste más a propios y extraños alrededor de la Evaluación (y más cosas) que “impacto”. Probablemente, será el ímpetu que sugiere la cosa, que uno no puede pasar sin ella.

Mucho nos queda por hablar del tema, pero creo que vale la pena hacer mención de un tema, de impacto ;-), sobre el que se ha posteado, y mucho, en los círculos de evaluadores (mayoritariamente de habla inglesa). Se trata de un informe elaborado por una entidad llamada Center for Global Development, una entidad privada patrocinada nada más y nada menos que por la Fundación Gates. El informe en cuestión, elaborado por un grupo de trabajo llamado Evaluation Gap, lleva por desafortunado título “When will we ever learn?“, algo así como “¿Cuándo aprenderemos de una vez?”.

El tema del informe viene a decirnos que se hace mucha evaluación pero con poco rigor. Supongo que lo de “mucha evaluación” no se refiere a nuestro país. La polémica ha saltado, no tanto por las críticas a la práctica profesional de la evaluacion (que también, dado que los autores parece que no son grandes conocidos del sector) sino por la sospecha de propuesta que viene detrás. Cuando el informe habla de “rigor”, y alude a la validez de los resultados de las evaluaciones, lo hace desde la óptica de un enfoque muy particular de evaluación: enfoques experimentales. Sí, sí, los del grupo de control, el tema aleatorio, etc.

Animo a los presentes a echarle un vistazo al informe ejecutivo, para hacerse una idea de lo que comento. Por aquí por la Península no tenemos el tema demasiado hablado, y sería bueno que lo hiciéramos, porque de ese modo, venga lo que venga (modas, estándares, imposiciones incluso) por lo menos sabemos de qué hablamos y a qué atenernos.

Por si alguien no lo ha notado, yo no lo tengo ni medio claro (lo del “impacto”). Será que últimamente sólo leo propuestas transgresoras. Pero eso es otra historia, y como dice Michael Ende “…será contada en otra ocasión”.

Los visitantes de EVALUATECA

Síguenos en Twitter

Creative Commons License
Esta obra está bajo una licencia de Creative Commons.
Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 160 seguidores

A %d blogueros les gusta esto: