You are currently browsing rafamonty's articles.
Ya está disponible la última edición de la revista editada por la Sociedad Española de Evaluación, esta vez dedicada a la evaluación de políticas públicas relacionadas con el empleo. Interesantes siempre el tema del empleo y las políticas alrededor de ello, pero especialmente relevante en el contexto en el que nos encontramos en España. Un buen termómetro para saber si la evaluación también tiene capacidad efectiva no sólo de informar de lo que ocurre o de si funciona o no una política en términos de resultados, sino para dar respuestas, en este caso ante un drama social con un rostro demasiado humano.
Pueden descargar la revista en formato electrónico aquí.
Como ya sabrán los seguidores de la lista de la Red Latinoamericana de Evaluación, hace unos meses un nuevo grupo de compañeros y compañeras van a impulsar los próximos pasos de la red. Coordinados por Sergio Martinic (Chile), se trata de un variado grupo de expertos en evaluación procedentes de distintos países de la región: Rogerio Delamare (Brasil), Ronny Muñoz (Costa Rica), Pablo Rodriguez Bilella (Argentina), Gloria Vela (Colombia) y Carmela Valle (El Salvador).
Entre los próximos logros que apunta el nuevo grupo, se señala la realización de la III Conferencia ReLAC, así como el impulso a las acciones de formación, tanto las que ya se van dando como el Diplomado en Formulación, Evaluación y Monitoreo de Programas y Proyectos Sociales con FLACSO-Chile y otras que están en marcha. Desde EVALUATECA animamos al grupo y le deseamos muchos éxitos, que sin duda repercutirán en positivo en la práctica evaluativa de todos y todas.
Hace aproximadamente un año, la gente del Área de Cooperación Internacional de la Escuela Andaluza de Salud Pública tuvo el detalle de invitarme a participar en un estudio sobre el impacto de sus intervenciones en este sector en las diferentes acciones que había venido trabajando. Lamentablemente no pude participar porque la cosa requería presencialidad y yo estaba huído en el GIOS en Arizona (como seguramente algún amigo recordará). Una vez acabado el trabajo, llega el momento de socializar. Y ahora que estoy por Valencia de nuevo (más o menos), tienen de nuevo la amabilidad de invitarme a participar en una jornada para discutir sobre el tema, junto a otros ponentes y un reducido grupo de gente vinculada a la cooperación internacional desde las instituciones públicas.
Ni que decir tiene que me parece una iniciativa genial, de las que lamentablemente hay pocas en España. Pero además creo que han dado en el clavo promoviendo la asistencia y el diálogo con la cooperación descentralizada de otras comunidades autónomas, entre ellas la que resido habitualmente. El papel de la descentralizada es clave en una nueva manera de entender la articulación de actores a nivel internacional, y la evaluación debe formar parte de este nuevo discurso. Pero de este tema, evaluación y actores locales, hablaremos en otra entrada 
A continuación comparto el programa. Como veréis se trata de un plantel bien interesante. De hecho, vamos a ver si soy capaz de contar algo interesante ;-( Paradójicamente, como podrán ver en el guión, me han pedido que haga un resumen del polémico informe del CDG ‘When we ever learn?‘ y de lo que ha venido pasando al rededor del tema desde 2006. Anda que con lo que servidor ha rajado de este tema…
10’00 Presentación del evento.
José Luis Rocha. Secretario General de Calidad y Modernización.
Consejería de Salud de la Junta de Andalucía
10’15 MESA DEBATE 1
PUNTOS CRÍTICOS EN LA EVALUACIÓN DE IMPACTO EN
COOPERACIÓN INTERNACIONAL.
Modera: Miguel Casado
Responsable de Salud.
Dirección General de Planificación y Evaluación de Políticas para el
Desarrollo Ministerio de Asuntos Exteriores y de Cooperación
Conclusiones del grupo de trabajo sobre la brecha de evaluación: ¿cuándo
aprenderemos? Avances producidos desde el informe de 2006.
Ponente: Rafael Monterde Díaz.
Universidad Politécnica de Valencia
11’00 Café
11’30 La evaluación del impacto en cooperación internacional: ¿en qué punto estamos?
Ponente: José Antonio Alonso
Instituto Complutense de Estudios Internacionales
12’00 El papel de la ética en la evaluación de la cooperación al desarrollo.
Ponente: Alejandra Boni.
Escuela Técnica Superior de Ingenieros Industriales. Universidad de Valencia
12’30 La cadena de resultados y la evaluación de políticas públicas en el sector social
Ponente: Juan Murciano Rosado.
Consultor. Evaluación de Políticas Públicas
13’00 La evaluación de impacto: estado de la cuestión y aplicaciones en la cooperación para el
desarrollo en salud
Ponente: José María Larrú Ramos
Universidad CEU‐San Pablo
13’30 Debate abierto.
14’00 Comida
15’30 MESA DEBATE 2
MODELOS, BUENAS PRÁCTICAS, DIFICULTADES E INSTRUMENTOS
DISPONIBLES PARA EL DESARROLLO DE EVALUACIONES DE
IMPACTO.
Modera: Sandra Pinzón Pulido.
Escuela Andaluza de Salud Pública
Ponentes:
Miguel Casado.
Dirección General de Planificación y Evaluación de Políticas de Desarrollo
Carmen Pérez Samaniego.
Deutsche Gesellschaft für Technische Zusammenarbeit (GTZ)
Carlos Asenjo.
Fondo Español de Evaluación de Impacto. Banco Mundial.
Marie Gaarner.
Representante de IP3 (Video‐conferencia)
17’30 Identificación de líneas de trabajo conjunto.
Debate dirigido con la participación de los responsables de evaluación de las
cooperaciones descentralizadas de Andalucía, Asturias, Canarias, Cantabria,
Castilla La Mancha, Castilla y León, Cataluña, Comunidad Valenciana,
Extremadura, Galicia, Islas Baleares, La Rioja, Región de Murcia, Comunidad
Foral de Navarra y País Vasco.
Programa
Ha sido algo más de un mes de vértigo formativo. Por suerte para mi (empiezo a dudar que para los y las que me han sufrido) he tenido la oportunidad de participar en actividades de formación en evaluación (y cuestiones afines) en múltiples formatos y con gente muy diversa. Tanta ha sido la absorción que apenas he podido radiar mis comentarios y compartirlos en EVALUATECA, como toca.
Voy a intentar hacer una retrospectiva en los próximos días. Por de pronto, a ver si consigo que esta última se sincronice Hoy arrancamos con la fase presencial de mi asingatura de Evaluación en el marco del Master en Políticas y Procesos de Desarrollo, que desarrolla la Universidad Politécnica de Valencia en su segunda edición. En la curiosa estructura semipresencial que tenemos (un día de estos la cuento con calma) siempre organizamos una actividad abierta al público, promoviendo la interacción, del Máster como institución y en especial de los almunos y alumnas, con el “RealWolrd”, a veces desde la academia/investigación más alternativa (véase IDS, ISS, etc.), a veces desde la profesión (firmas de consultoría como TRELLAT, ONGD españolas como ACSUD o Intermón, instituciones multilaterales como PNUD, OIT, BID).
En esta ocasión nos hemos atrevido con una idea medio loca, una humilde “jornada de metaevaluación”, que para evitar sustos hemos llamado de otro modo (no está la cosa preparada todavía para usar el gran palabro -metaevaluación-). Se trata de una mañana en la que se van a presentar dos evaluaciones realizadas por una consultora, y en la que postriormente intervendrán las ONGD evaluadas para explicar en qué modo han empleado o piensan emplear los resultados y las recomendaciones. Posteriormente nos ayudarán dos compañeras a diseccionar tanto lo metodológico como la puesta en práctica del proceso y su utilidad. Para la primera parte de la disecci´pon contamos con Ester García, profesora titular de la Universidad Carlos III de Madrid en el área de Ciencia Política, experta en Metaevaluación y Estándares de Evaluación. Para la segunda, nos acompaña Mónica Lomeña, oficial de evaluación de la Oficina de Evaluación y Supervisión del BID, con amplia experiencia tanto en la comisión y supuervisión de evaluaciones como de su puesta en ejecución en campo.
Va a ser una mañana interesante. Estoy seguro de ello. Intentaremos contar las conclusiones…¡en cuanto las tengamos!
"Studies Veijo Palacio Venecia" de Giner Bueno
Esta es una entrada de agradecimiento. Desde la eterna Vencia (de ahí el cuadro alusivo), acabo de ver que EVALUATECA ha superado las 15.000 entradas. Hace unos días que se cumplieron dos años (cómo pasa el tiempo) desde que empezamos con esta historia, después de mucho pensar, mucho leer sobre la Blogosfera y mucho dudar sobre la capacidad de mantenerlo vivo. Después de dos años, es evidente que hay muchísimo que mejorar. Creo que lo que menos se parece a la planificación original es la frecuencia: nos las deseábamos con una entrada cada dos/tres días y en fin, juzguen ustedes mismos… A pesar de que las planificaciones están para no cumplirse, todavía creo que hay que aumentar el ritmo. Lo seguiremos intentando.
La verdad es que este número no es nada especial. Sinceramente, se me pasaron las 10.000…y ya que estamos, no nos apetece esperar a las 20.000 o a otro número redondo más acorde con las celebraciones tradicionales (bodas de plata, etc.). Tampoco EVALUATECA aboga por “metas” específicas, al menos en este rubro. Si habláramos de “orientación por resultados” pondríamos más el acento en los “cambios de hábitos” que humildemente pudiéramos encender en colegas que practican evaluación. Aunque ya puestos en materia metodológica, prefiero pensar que 15.000 visitas y más de 20 países desde los que se consulta EVALUATECA son “señales de progreso”, que dirían los adeptos al Mapeo de Alcances
Cambio de rutina: hoy hemos estado en el Monaterio de La Rábida, en la sede de la Universidad Internacional de Andalucía, compartiendo la jornada con la gente del Master de Evaluación de Políticas Públicas promovido por la Sociedad Española de la Evaluación. Un grupo de algo más de 20 profesionales de diferentes países de Latinoamérica con el que hemos estado discutiendo sobre Resultados…también sobre Ipacto (no podía resistirme ). La idea era trabajar dos enfoques bien diferenciados, hablando de resultados: RMB y Mapeo de Alcances. En 8 horas ¡Casi nada! Como era de esperar, nos hemos liado y el Mapeo se ha quedado para otra jornada. No obstante, he pasado algo de materiales, links y sobre todo el gusanillo de “probar algo diferente”. Ojalá los organizadores nos den un espacio próximamente para el segundo round.
Esto, junto a los comentarios durante los descansos y el (poco) tiempo libre, me han vuelto a traer a la mente un debate que ya he tenido con algunos colegas y amigos sobre qué tipo de formación (sobre todo qué formato) se requiere para eso que se ha dado en llamar “instalar capacidades”, en nuestro caso de evaluación. Este Master, o en general un programa de este tipo, desconecta temporalmente al profesional de su quehacer diario. Es imposible (incluso en los formatos “adaptados” que vamos montando, semipresenciales, no-presenciales, etc.) hacer ambas cosas al mismo tiempo…bien hechas. La cuestión, entonces, y sobre todo desde el punto de vista de las instituciones, si esa brecha es asumible por la organización, con todos los costes asociados que supone. Y en terminos de “resultados” (valga la gracia), si realmente supone “EL” aporte que necesita la organización para mejorar su desempeño en en Evaluación.
Creo que en esto, como en otras muchísimas más cosas, en la academia estamos en deuda con la sociedad que nos da de comer. Deberíamos buscar alternativas a estos formatos. Insisto, no creo que haya que eliminar las Maestrías (vaya, si no…será la primera y la última vez que me invitan a La Rábida), pero sí veo necesario buscar otros formatos que puedan entroncar mejor con la dinámica de las instituciones. Una suerte de enfoque “Life Long Learning”, por ejemplo.
Habrá que seguir buscando recetas. Mientras tanto, vamos a disfrutar de estos espacios formativos, que son pocos y cuesta mucho conquistarlos. Brindo por el Master de la SEE ¡Salud y larga vida!
Última jornada de la Conferencia 2009, en la que cerramos haciendo un sprint con un tercio de las ponencias restantes, una ponencia sobre “evaluación de políticas públicas de participación ciudadana” a cargo de Ernesto Ganuza, del Instituto de Estudios Sociales Avanzados y la clausura. Como comenté en la anterior entrada, mi interés estaba en la mesa de políticas sectoriales de hoy viernes, que abordaba ponencias sobre Cooperación al Desarrollo. La lista era amplia para el poco del que disponíamos, pero afortunadamente y al mismo tiempo lamentablemente, han habido ausencias. Digo lamentablemente porque ha sido una pena no contar con una de ellas en particular, la de los compañeros y compañeras de la DGPOLDE del Ministerio de Exteriores y Cooperación del Gobierno de España, que aparecían en el programa con una comunicación sobre los avances que están dando en evaluación. Ya hemos hecho algunos comentarios en EVALUATECA a este respecto y algunos esperábamos con interés sus apuntes, en especial sobre cómo encaraban los retos evaluativos que el nuevo Plan Director de la Cooperación Española les plantea. Esperemos contar próximamente con otras oportunidades para escucharlo y contrastarlo.
De las presentes, muy buenas presentaciones. Me gustado mucho la claridad con la que José Mª Larrú, de la Facultad de Ciencias Económicas y Empresariales, Universidad San Pablo-CEU, ha recordado las oportunidades que sigue brindando un viejo enfoque, ahora de nuevo en primera plana: diseños experimentales o también conocidos como evaluaciones aleatorizadas (traducción del RCT inglés, gracias por la sugerencia, José Mª). Algunos asiduos a EVALUATECA saben de mis cuestionamientos al respecto de este enfoque. Sin embargo, reconozco que también me ha gustado que José Mª ha planteado su uso desde una actitud abierta y huyendo de fanatismos. Se lo agradezco mucho porque creo que precisamente lo que algunos hemos venido comentando sobre el “remake” de las técnicas es, entre otras cosas, el modo tajante con el que se ha querido hacer desde algunas instancias una defensa a ultranza, tildando otros enfoques de poco científicos.
Me han gustado mucho un par de frases valientes que nos ha regalado: “evitemos el síndrome ‘ya que vas‘”, refiriéndose a la sobrcarga de cuestiones evaluativas con las que los contratantes engordan una evaluación sin medir las capacidades reales que se ponen al servicio (presupuestos, tiempos, recursos humanos); y la otra “digamos NO a evaluar la incidencia del Plan Director de la Cooperación Española en los Objetivos de Desarrollo del Milenio“. Me parece muy valiente, como digo, porque descansa en su creencia particular sobre lo que se puede y no se puede medir. Es obvio que desde un enfoque experiemental (casi me atrevería a decir que desde el sentido común) la tarea sería muy compleja y spondría un coste inabordable por los propios que probablemente la promoverían. Otra cuestión es si es una pregunta relevante, que por ahí más bien creo que podríamos empezar la discusión. Pero eso lo dejo para el debate.
Para finalizar este comentario en realación a la ponencia de Jose Mª (y que los asiduos no vayan a pensar que me he pasado a los RCT ), sí diré que al contrario que él, no saludo el impulso que Cooperación Española le ha dado a la realización de evaluaciones de impacto con este enfoque, entre otras medidas con la dotación de 10,4 millones de euros para la creación del Fondo para la Evaluación de Impacto en el seno del Banco Mundial. Primero porque creo que el debate no está maduro como para que la Cooperación Española se decante tan claramente por apoyar un enfoque determinado. Segundo, porque hay prioridades en evaluación en nuestro país, y en particular en el sector de la cooperación al desarrollo, mucho más urgentes.
Cito la más urgente a mi juicio: invertir en el fortalecimiento de capacidades evaluativas en el sector. Valga como ejemplo el nulo acompañamiento que tuvo la revisión de la Metodología de Evaluación que tuvo lugar hace casi dos años: más allá de alguna que otra presentación formal (por supuesto, en Madrid), ni mayor difusión, ni actividades de formación…Esperemos que no nos pase como con la Metodolgía anterior, la de 1998 que quedó una década en el cajón. Y tercero de mis argumentos, porque no recuerdo cuándo uan administración española se gastó de tirón más de 10 millones de euros en promover evaluaciones (por ejemplo, sumando las evaluaciones licitadas por DGPOLDE en la legislatura pasada dudo que lleguen a menos de un cuarto de esa cantidad). Así las cosas, ¿por que no promover que actores españoles desarrollen evaluaciones -sean incluso RCT exclusivamente- en programas españoles, que buena falta nos hace? En un basiquísimo análisis económico, y ya que estamos con la crisis, es también una buena manera de mover el sector, enfoque por el que el propio gobierno ha optado a mucha mayor escala en sectores privados como la construcción o el automóvil.
Y como me ha salido algo extenso este comentario, dejo para una segunda parte lo que me queda. ¡¡No se vayan todavía, aún hay más!!
Segundo día de la Conferencia, que viene cargado del grueso de las ponencias. Como decíamos ayer, casi 100 propuestas de evaluadores y evaluadoras en diferentes aplicaciones, campos, etc. Las presentaciones se ha articulado alrededor de tres ejes: Evaluación de políticas locales, Evaluación de políticas sectoriales, y en tercer lugar Conceptos y Metodología de Evaluación. Como siempre ocurre en un evento de este tipo, uno no puede bilocarse (todavía), así que hemos tenido que optar. Por mis particulares intereses he decidido participar en Metodología, para mañana dedicarlo a las sectoriales, ya que entre ellas se encuentra el área de Cooperación al Desarrollo. Este último caso comparte un interesante y a veces complejo balance sobre la óptica evaluativa desde la que mirar, bien como una política pública (como se aborda en este ambiente de la SEE) o bien como el apoyo a la puesta en práctica de otras políticas sectoriales en otros países (ahí el énfasis mayor en el “desarrollo” que en la “cooperación”).
Sería eterno hacer un repaso de todas las ponencias. La información sobre todas ellas y los textos de las que han sido presentadas como un artículo (no son todas) estarán disponibles próximamente en la web de la SEE. NO obstante pongo a disposición mi CD del congreso por si alguien le interesara. Ahí vemos como facilitarle los archivos.
Por la tarde había programada una mesa redonda con Alcaldes, con el título “evaluación de políticas en los municipios”. No he asistido, así que no puedo hacer una crónica del evento, pero los amigos y amigas a los que he consultado me han dicho que se ha hablado de todo menos de evaluación. En fin, habrá que preguntarse por qué…
La primera intervención magistral ha estado a cargo de Nuria Conill Grau,Centro Latinoamericano de Administración para el Desarrollo. Interesante discurso en el que ha intentado tocar no pocos temas, por lo que quizá (como suele pasar en estos caso) es difícil profundizar en cualquiera de ellos (incluso en las preguntas). Dejo algunas píldoras de las que me han llamado la atención (entiéndase no como un resumen, seguro me dejo por el camino muchas cosas de las que ha dicho):
- El “cómo” evaluar supone un problema mayor que requiere de una consideración importante: un proceso evaluativo supone un cuestionamiento de valores y de prácticas en sí mismo (vaya, el instrumento NO es aséptico).
- Participación: sin duda pero hay que valorar siempre el coste de oportunidad que supone.
- La dicotomía autoevaluación-evaluación externa. Una evaluación externa puede sacrificar fácilmente el aprendizaje en aras de una “supuesta objetividad”.
- Hay que invertir en más investigación sobre interconexión entre instituciones/valores/normas de comportamiento.
- Más publicidad/difusión de lo evaluado, más creatividad, más aprendizaje.
- Hay una “cadena de conexiones” en la que hay que profundizar: tecnología -> aumento de capacidades admon pública -> impacto en sectores sociales
- La tradición de la institucionalización de la evaluación nos habla de dos líneas: a) presupuestaria: mejorar la gestión de fondos (ej: ministerios de hacienda); b) programática: mejorar las decisiones políticas (ej: secretarías de planificación). en estos momentos es necesaria una solución de compromiso, que ha dado en llamar “integración sistémica” . Hay que superar la ausencia de uso social de las evaluaciones.
- Las cuatro claves limitantes de la institucionalización de la evaluación: a) si la información no es confiable; b) si no se percibe como necesaria; c) si no está disponible; d) si no es comprensible.
“La evaluación siempre deja ganadores y perdedores: obviarlo es pecar de voluntarismo” (wooop, casi ná)
Empieza la Conferencia con una gran sorpresa: más de 400 participantes y casi 100 ponencias. Como dice el maestro de ceremonias de la ocasión, Carles Ramió, de la Generalitat de Catalunya, se nota que esto empieza a ser una rutina, en el buen sentido de la palabra.
Interviene Jose Luis Osuna, nuestro presidente de la SEE, recordando la trayectoria de casi una década con una finalidad común: cultura, cultura, cultura de evaluación. Un reto apasionante, que lo fue y lo sigue siendo. Como no podría ser de otro modo, un recuerdo a Carlos Román, el fundador y presidente hasta que lamentablemente nos dejó. Y un detalle: que aquí nos tienen (los administradores públicos), para apoyar, para contratar (;-)) pero sobre todo para usar la evaluación.
Andreu Puig, Gerente General del Ayuntamiento de Barcelona nos hace una referencia a la necesidad de evaluación en estos tiempos de recortes presupuestarios, en especial en los gobiernos locales. Demasiada referencia a evaluar=controlar, pero…bueno, de todo hay en la viña del señor, que me decían en los salesianos cuando era pequeño. Mejorar la calidad, rendir cuentas (cuentas=dineros). Referencia a la trayectoria en Barcelona: todo empezó con el control pero en estos momentos nos cuentan una Barcelona 2.0 con una política de evaluación orientada a resultados (política por objetivos, presupuestos por programa). “Lo que no es medible no es gestionable”, ese tipo de frases que, según se mire, levanta ampollas. Y mucha administración electrónica: mis respetos.
Juan Echániz, coordinador general de la Diputación de Barcelona, repasa el proceso histórico de las últimas décadas de gobiernos locales democráticos. Evaluación como derivada lógica del proceso (tarde o temprano había que evaluar). cultura evaluativa creciente y de crecimiento imparable.
Mª Luisa Carcedo, presidenta de la Agencia Española de Evaluación, reconoce la aportación de la SEE al proceso de creación de la Agencia (buen punto). Evaluación es modernización de la acción pública. Nos cuenta el cambio de adscripción de la AEVAL, que ahora cuelga de Presidencia, como un cambio a mejor, una puesta en valor con un cariz más político (supongo que para esto habrá opiniones para todos los gustos). Nos adelanta las evaluaciones “complejas” que se van a abordar en el 2009: todas relacionadas con políticas de empleo (mmm, ¿por qué será? ¿por el 17,4% de desempleo, quizá?). Y el año pasado se hizo, entre otras, una sobre la gestión de la propiedad intelectual (esa que genera situaciones como la que describía hoy Nacho Escolar en su nueva columna de contraportada en Público), será como para no perdérsela.
¡Queda inaugurada la Conferencia SEE 2009!
