You are currently browsing the tag archive for the ‘General’ tag.
Hace poco estoy dejándome seducir por algunos de mis compañeros con esta nueva palabreja. No es que sea un tipo fácil (que lo soy), es que además la cosa promete, de verdad. ¿Cómo me están enganchando, cuál es el truco? Bueno, por un lado, diría que en términos generales, esto de la complejidad de los sistemas sociales es algo que de entrada parece de sentido común. Así que una teoría sólida que sustente las cuestiones de cambio social en esta idea, cuanto menos resulta interesante.
Pero en lo particular, en mi caso de pobre mortal enamorado de las técnicas, los trucos de magia, los numeritos, el software que todo lo puede…esto de la compejidad casa mucho mejor que otras religiones en la que andaba en estos tiempos queriendo militar. Y es que cosas que me interesan respecto a la Evaluación de Progamas/Políticas y que ya he venido comentando en éste y otros foros (como por ejemplo el SNA, el system evaluation approach, las técnicas MCDM), resulta que parecen encajar más con alguna de las corrientes adscritas a este nuevo meme.
Y para ver si hay algo más tras el precipicio, nos vamos en misión exploratoria a Utrech (Holanda) en Mayo, a la conferencia «Evaluation Revisited: Improving the Quality of Evaluative Practice by Embracing Complexity. A Conference on Evaluation for Development«. Suena sexy, ¿verdad? 😉
Me interesa especialmente porque estarán por allá dos mujeres que además de ser una referencia mundial en Evaluación (me atrevería a decir que una la generación actual de líderes en evaluación, después de los Patton, Scriven, Stake, Stufflebeam), creo que son de las que están proponiendo realmente cosas nuevas. Una es Sara Earl, del IDRC, los creadores del Mapeo de Alcances. La otra es Patricia Rogers, del RMIT, que le pega a un montón de temas de evaluación aunque es especialmente conocida como experta en Modelos Lógicos y el enfoque de evaluación basado en Teoría de Programas. Sin embargo, en este último caso, lo que creo que puede ser más interesante en el contexto de la conferencia, es lo que nos pueda aportar sobre evaluación con enfoque sistémico, toda una línea a mi juicio apasionante y en la que todavía hay muchísima tela que cortar.
Prometemos fotos y comentarios a la vuelta. No aseguro crónica en real-time (twiteos y similares, aunque habrá que ir acostumbrándose). La sede: el Centre for Development Innovation en la Universidad de Wageningen. Ya hay algunos precedentes: dos seminarios sobre complejidad, en 2008 y 2009. Se puede consultar sobre el tema aquí. Y para muestra, un, botón: les dejo con un pequeño resumen de lo acontecido, desde la perspectiva de uno de los conferenciantes invitados: el gran Bob Williams. Todo mi respeto intelectual por este tipazo, que además es un claro exponente del humor britántico (a pesar de llevar décadas en Nueva Zelanda), pero sobre todo un gran amante de la vida…de la buena vida. Y si no me creen, juzguen ustedes mismos por su sitio web.
Ha sido algo más de un mes de vértigo formativo. Por suerte para mi (empiezo a dudar que para los y las que me han sufrido) he tenido la oportunidad de participar en actividades de formación en evaluación (y cuestiones afines) en múltiples formatos y con gente muy diversa. Tanta ha sido la absorción que apenas he podido radiar mis comentarios y compartirlos en EVALUATECA, como toca.
Voy a intentar hacer una retrospectiva en los próximos días. Por de pronto, a ver si consigo que esta última se sincronice 😉 Hoy arrancamos con la fase presencial de mi asingatura de Evaluación en el marco del Master en Políticas y Procesos de Desarrollo, que desarrolla la Universidad Politécnica de Valencia en su segunda edición. En la curiosa estructura semipresencial que tenemos (un día de estos la cuento con calma) siempre organizamos una actividad abierta al público, promoviendo la interacción, del Máster como institución y en especial de los almunos y alumnas, con el «RealWolrd», a veces desde la academia/investigación más alternativa (véase IDS, ISS, etc.), a veces desde la profesión (firmas de consultoría como TRELLAT, ONGD españolas como ACSUD o Intermón, instituciones multilaterales como PNUD, OIT, BID).
En esta ocasión nos hemos atrevido con una idea medio loca, una humilde «jornada de metaevaluación», que para evitar sustos hemos llamado de otro modo (no está la cosa preparada todavía para usar el gran palabro -metaevaluación-). Se trata de una mañana en la que se van a presentar dos evaluaciones realizadas por una consultora, y en la que postriormente intervendrán las ONGD evaluadas para explicar en qué modo han empleado o piensan emplear los resultados y las recomendaciones. Posteriormente nos ayudarán dos compañeras a diseccionar tanto lo metodológico como la puesta en práctica del proceso y su utilidad. Para la primera parte de la disecci´pon contamos con Ester García, profesora titular de la Universidad Carlos III de Madrid en el área de Ciencia Política, experta en Metaevaluación y Estándares de Evaluación. Para la segunda, nos acompaña Mónica Lomeña, oficial de evaluación de la Oficina de Evaluación y Supervisión del BID, con amplia experiencia tanto en la comisión y supuervisión de evaluaciones como de su puesta en ejecución en campo.
Va a ser una mañana interesante. Estoy seguro de ello. Intentaremos contar las conclusiones…¡en cuanto las tengamos!
"Studies Veijo Palacio Venecia" de Giner Bueno
Esta es una entrada de agradecimiento. Desde la eterna Vencia (de ahí el cuadro alusivo), acabo de ver que EVALUATECA ha superado las 15.000 entradas. Hace unos días que se cumplieron dos años (cómo pasa el tiempo) desde que empezamos con esta historia, después de mucho pensar, mucho leer sobre la Blogosfera y mucho dudar sobre la capacidad de mantenerlo vivo. Después de dos años, es evidente que hay muchísimo que mejorar. Creo que lo que menos se parece a la planificación original es la frecuencia: nos las deseábamos con una entrada cada dos/tres días y en fin, juzguen ustedes mismos… A pesar de que las planificaciones están para no cumplirse, todavía creo que hay que aumentar el ritmo. Lo seguiremos intentando.
La verdad es que este número no es nada especial. Sinceramente, se me pasaron las 10.000…y ya que estamos, no nos apetece esperar a las 20.000 o a otro número redondo más acorde con las celebraciones tradicionales (bodas de plata, etc.). Tampoco EVALUATECA aboga por «metas» específicas, al menos en este rubro. Si habláramos de «orientación por resultados» pondríamos más el acento en los «cambios de hábitos» que humildemente pudiéramos encender en colegas que practican evaluación. Aunque ya puestos en materia metodológica, prefiero pensar que 15.000 visitas y más de 20 países desde los que se consulta EVALUATECA son «señales de progreso», que dirían los adeptos al Mapeo de Alcances 😉
Segundo día de la Conferencia, que viene cargado del grueso de las ponencias. Como decíamos ayer, casi 100 propuestas de evaluadores y evaluadoras en diferentes aplicaciones, campos, etc. Las presentaciones se ha articulado alrededor de tres ejes: Evaluación de políticas locales, Evaluación de políticas sectoriales, y en tercer lugar Conceptos y Metodología de Evaluación. Como siempre ocurre en un evento de este tipo, uno no puede bilocarse (todavía), así que hemos tenido que optar. Por mis particulares intereses he decidido participar en Metodología, para mañana dedicarlo a las sectoriales, ya que entre ellas se encuentra el área de Cooperación al Desarrollo. Este último caso comparte un interesante y a veces complejo balance sobre la óptica evaluativa desde la que mirar, bien como una política pública (como se aborda en este ambiente de la SEE) o bien como el apoyo a la puesta en práctica de otras políticas sectoriales en otros países (ahí el énfasis mayor en el «desarrollo» que en la «cooperación»).
Sería eterno hacer un repaso de todas las ponencias. La información sobre todas ellas y los textos de las que han sido presentadas como un artículo (no son todas) estarán disponibles próximamente en la web de la SEE. NO obstante pongo a disposición mi CD del congreso por si alguien le interesara. Ahí vemos como facilitarle los archivos.
Por la tarde había programada una mesa redonda con Alcaldes, con el título «evaluación de políticas en los municipios». No he asistido, así que no puedo hacer una crónica del evento, pero los amigos y amigas a los que he consultado me han dicho que se ha hablado de todo menos de evaluación. En fin, habrá que preguntarse por qué…
La primera intervención magistral ha estado a cargo de Nuria Conill Grau,Centro Latinoamericano de Administración para el Desarrollo. Interesante discurso en el que ha intentado tocar no pocos temas, por lo que quizá (como suele pasar en estos caso) es difícil profundizar en cualquiera de ellos (incluso en las preguntas). Dejo algunas píldoras de las que me han llamado la atención (entiéndase no como un resumen, seguro me dejo por el camino muchas cosas de las que ha dicho):
- El «cómo» evaluar supone un problema mayor que requiere de una consideración importante: un proceso evaluativo supone un cuestionamiento de valores y de prácticas en sí mismo (vaya, el instrumento NO es aséptico).
- Participación: sin duda pero hay que valorar siempre el coste de oportunidad que supone.
- La dicotomía autoevaluación-evaluación externa. Una evaluación externa puede sacrificar fácilmente el aprendizaje en aras de una «supuesta objetividad».
- Hay que invertir en más investigación sobre interconexión entre instituciones/valores/normas de comportamiento.
- Más publicidad/difusión de lo evaluado, más creatividad, más aprendizaje.
- Hay una «cadena de conexiones» en la que hay que profundizar: tecnología -> aumento de capacidades admon pública -> impacto en sectores sociales
- La tradición de la institucionalización de la evaluación nos habla de dos líneas: a) presupuestaria: mejorar la gestión de fondos (ej: ministerios de hacienda); b) programática: mejorar las decisiones políticas (ej: secretarías de planificación). en estos momentos es necesaria una solución de compromiso, que ha dado en llamar «integración sistémica» . Hay que superar la ausencia de uso social de las evaluaciones.
- Las cuatro claves limitantes de la institucionalización de la evaluación: a) si la información no es confiable; b) si no se percibe como necesaria; c) si no está disponible; d) si no es comprensible.
«La evaluación siempre deja ganadores y perdedores: obviarlo es pecar de voluntarismo» (wooop, casi ná)
Empieza la Conferencia con una gran sorpresa: más de 400 participantes y casi 100 ponencias. Como dice el maestro de ceremonias de la ocasión, Carles Ramió, de la Generalitat de Catalunya, se nota que esto empieza a ser una rutina, en el buen sentido de la palabra.
Interviene Jose Luis Osuna, nuestro presidente de la SEE, recordando la trayectoria de casi una década con una finalidad común: cultura, cultura, cultura de evaluación. Un reto apasionante, que lo fue y lo sigue siendo. Como no podría ser de otro modo, un recuerdo a Carlos Román, el fundador y presidente hasta que lamentablemente nos dejó. Y un detalle: que aquí nos tienen (los administradores públicos), para apoyar, para contratar (;-)) pero sobre todo para usar la evaluación.
Andreu Puig, Gerente General del Ayuntamiento de Barcelona nos hace una referencia a la necesidad de evaluación en estos tiempos de recortes presupuestarios, en especial en los gobiernos locales. Demasiada referencia a evaluar=controlar, pero…bueno, de todo hay en la viña del señor, que me decían en los salesianos cuando era pequeño. Mejorar la calidad, rendir cuentas (cuentas=dineros). Referencia a la trayectoria en Barcelona: todo empezó con el control pero en estos momentos nos cuentan una Barcelona 2.0 con una política de evaluación orientada a resultados (política por objetivos, presupuestos por programa). «Lo que no es medible no es gestionable», ese tipo de frases que, según se mire, levanta ampollas. Y mucha administración electrónica: mis respetos.
Juan Echániz, coordinador general de la Diputación de Barcelona, repasa el proceso histórico de las últimas décadas de gobiernos locales democráticos. Evaluación como derivada lógica del proceso (tarde o temprano había que evaluar). cultura evaluativa creciente y de crecimiento imparable.
Mª Luisa Carcedo, presidenta de la Agencia Española de Evaluación, reconoce la aportación de la SEE al proceso de creación de la Agencia (buen punto). Evaluación es modernización de la acción pública. Nos cuenta el cambio de adscripción de la AEVAL, que ahora cuelga de Presidencia, como un cambio a mejor, una puesta en valor con un cariz más político (supongo que para esto habrá opiniones para todos los gustos). Nos adelanta las evaluaciones «complejas» que se van a abordar en el 2009: todas relacionadas con políticas de empleo (mmm, ¿por qué será? ¿por el 17,4% de desempleo, quizá?). Y el año pasado se hizo, entre otras, una sobre la gestión de la propiedad intelectual (esa que genera situaciones como la que describía hoy Nacho Escolar en su nueva columna de contraportada en Público), será como para no perdérsela.
¡Queda inaugurada la Conferencia SEE 2009!
Esta semana nos vamos de Conferencia. La Sociedad Española de la Evaluación (de Políticias Públicas) organiza su Conferencia Bianual. En este caso, hace en realidad año y medio que tuvimos la anterior…y se agradece. Sigo pensando que necesitamos más espacios como éste. A ver si seguimos apretando la marcha y dentro de poco ya son anuales.
Este año se celebrará en Barcelona, en Centro de Estudios Jurídicos y Formación Especializada, y lo lidera el Institut de Govern i Polítiques Públiques de la Universidat Autónoma de Barcelona. Se puede consultar el programa aquí.
Desde EVALUATECA vamos a hacer el intento de dar seguimiento en línea al evento, al más puro «estilo bloggero»…esperemos que los medios acompañen (o sea, que haya WiFi en las instalaciones 😉 ).
Ah, y aviso desde ya mismo: nos vamos a postular desde Valencia a organizar la próxima. Y el que avisa no es traidor.
No se me ocurría mejor modo de titular esta entrada. Como Tirant el caballero andante, la cooperación al desarrollo se lanza a la dura batalla con valentía, con energía, es pura épica. Y también como el protagonista, los y las cooperantes, y los y las que estamos al servicio desde otras facetas como la docencia, la investigación, la gestión pública, nos topamos demasiado rápido con la cruda realidad cada día, realidad que no es tan caballeresca.
Sin perder ese espíritu luchador que desde que lo conozco siempre ha mantenido, el profesor de la Universitat Jaume I de Castellón, Andrés Piqueras, convoca a algunos participantes en un programa de formación de postgrado, pero sobre todo amigos y compañeros en aventura, para hablar
sobre la Ayuda al Desarrollo. El título del libro: Desarrollo y cooperación : un análisis crítico.
En términos de evaluación, no sé muy bien cómo podríamos clasificar este trabajo, pero sin duda tiene componentes en cantidad y calidad para serlo: importantes hallazgos, interpretación de las relaciones causales, coclusiones y algunas interesantes recomendaciones. He tenido el privilegio de poder participar en uno de los capítulos, dedicado a los proyectos de cooperación al desarrollo, como instrumento clave de la cooperación. Lamentablemente el espacio no daba para hablar también de evaluación en ese marco, pero muchas de las reflexiones que hemos volcado acá y que venimos hablando en diferentes foros, están sin duda presentes. No podía ser de otro modo: nuestra concepción de la acción y la promoción del desarrollo no se ajusta a cajones estancos, es cíclica, es interrelacionada.
Barato y absolutamente recomendable. Yo en particular estoy fascinado por un par de capítulos. Uno, como no podía ser de otro modo, el del maestro Carlos Gomez Gil (del que ya hablamos en otra entrada anterior), hablando de la ayuda española. Otro, un redescubrimiento para mi que no soy economista, el dedicado al «hacia dónde vamos», en el que su autor, Wim Dirckxsens introduce conceptos realmente interesantes y de total actualidad a pesar de no ser nuevos: el decrecimiento económico del profesor Herman Daly como lectura cruda de los modelos de sostenibilidad que planteamos actualmente.
A estas alturas, se me había olvidado mencionar que el título de la entrada es en realidad la editorial valenciana en la que se ha publicado el pasado septiembre 😉
Estos días he tenido algo que se podría llamar «debate» en un foro (por muchos de ustedes conocido). Pero esta mañana me he levantado con la sensación de que estaba perdiendo el norte de la discusión. Todo empezó con un comentario sobre un artículo, en el que mi ahora interlocutor hablaba de términos en evaluación…lo de siempre, vamos, nada nuevo, que si los impactos, que si el alcance es o no es un efecto directo del proyecto. Se me ocurrió responder, intentando proponer un argumento que ya hemos venido comentando por acá: ojala el problema fuera de terminología. Si acaso, el problema es de enfoque, y si rascamos mucho más abajo, bajo el enfoque están las construcciones estructurales que sustentan las relaciones en la que se basa el actual modelo de desarrollo. Ni más ni menos.
Pues creo que me expliqué mal, y la conversación sigue y sigue. ¡Dios mio! Con lo fácil que sería hacer borron y cuenta nueva. Sí, en serio, más de lo que puede parecer.
(esta reflexión se la dedico a Quique Cano, que seguro me estará viendo allá en el mundo en el que esté, y que ya hece mucho nos propuso a los ingenieros que inventáramos el Marco Lógico con Rostro Humano…Quique, algún día de estos lo vamos a hacer)
Source: LifePrints - The Blog of Lisa McGlaun
Sé que a veces las entradas de EVALUATECA pecan de muy formales y con referencias demasiado «de libro». No es que no quiera trasladar experiencias de la práctica real, que también, sino que por suerte o por desgracia, el papel que me está tocando jugar durante los últimos tiempos tiene mucho de estar sentado en el escritorio frente a mucho y (por suerte) muy interesante material bibliográfico sobre evaluación.
Y ahora más que nunca, que estoy encerrado una temprada en el GIOS, como ya hice referencia en los anteriores post. En estos días estoy trabajando, entre otras cosas, en un artículo sobre los resultados de un trabajo liderado por la Prof. Hallie Eakin. El proyecto es intelectualmente muy estimulante y, ójala, útil en sus conclusiones para ayudar a los decisiones políticos a desarrollar planes efectivos de desarrollo. Son cuatro los países involucrados, la perspectiva es Mesoamericana: México, Guatemala, honduras y Costa Rica.
Entre los objetivos, se pretendía analizar los factores más influyentes en las decisiones de los pequeños productores de café a la hora de lidiar con situaciones graves (lo que ellos llaman «sometidos a un estrés»). Como ya imaginarán algunos, se trata de un estudio en el ámbito de la vulnerabilidad y la adaptabilidad.
Para diseñar el marco de evaluación, se optó por un panel de expertos. Es curioso lo habituados que podemos estar a esta técnica, o este enfoque de trabajo, como se quiera, y lo poco documentado que parece estar el procedimiento en la literatura especializada. Más allá de la pura intuición, el sentido común y la experiencia de trabajo en dinámicas de grupo, ¿qué más referencias se usan en la práctica para diseñar un trabajo con expertos?
En esta ocasión, se ha probado el uso de un método sistemático de estructuración, que ya he nombrado en alguna ocasión: el Proceso Analítico Jerárquico (AHP en sus siglas en inglés) y su versión ampliada para el nuevo siglo (y con un enorme potencial por explorar), el Proceso Analítico en Red (ANP). El núcleo central de este enfoque es la captación de preferencias (llamémosle en este caso, «conocimiento experto») a través de un procedimiento sistemático en el que no es necesario realizar estimaciones cuantitativas (al estilo Delphi clásico) pero que, oh maravilla, sí las ofrece como resultado. Esta utilidad es muy importante para hacer ciertas estimaciones, para comparar muchos factores en juego (como era este caso), etc.
Y revisando el trabajo de otras gentes, he encontrado algo que para los fanáticos de las técnicas puede ser de interés. En un post de hace tiempo, hacía referencia a una propuesta que encontré para hacer del análisis DAFO algo más sistemático y sobre todo más práctico a la hora de trasladar sus conclusiones a fases posteriores. Ahora, comparto otro trabajo reciente (2008) de revisión de combianciones de este enfoque tan útil, AHP/ANP, con técnicas seguro familiares para muchos: Análisis de Envoltura de Datos (DEA) y Despliegue de la Función de Calidad (QFD). El autor es el señor William Ho, de la Aston University, y el título » Integrated analytic hierarchy process and its applications«. Como en otras ocasiones, lamento que el material no es de libre disposición. Pero como de costumbre, estoy dispuesto a pasar por alto la obsoleta filosofía de protección del conocimiento y compartirlo por correo a quien interese (al fin y al cabo, será compartir una copia privada sin ánimo de lucro 😉 )
Evaluateca 