El camino del aprendizaje de evaluación de impacto: conceptos aplicados a casos reales utilizando herramientas de Data Analytics y Análisis estadístico.

En la actualidad, las organizaciones de la sociedad civil con varios años de trayectoria cuentan con diversos datos de sus programas y de las personas que apoyan. Muchas veces, estos datos no suelen ser aprovechados al máximo por parte de los equipos de las organizaciones para mejorar sus programas y escalar su impacto.  

La necesidad de sistemas y capacidades de M&E efectivos para seguir el progreso de las estrategias de desarrollo es cada vez mayor.

«Los sistemas efectivos de monitoreo y evaluación son críticos para alcanzar las metas, ya que permiten basar las políticas en lo que se ha demostrado que funciona”.

Indran Naidoo, Director de la Oficina de Evaluación Independiente del PNUD.

Sin embargo, diseñar una estrategia de generación de datos y evaluación de los aprendizajes suele ser un proceso de transformación en la cultura organizacional y un gran desafío.

Junto con Monte de Piedad y ZIGLA LAB compartimos este desafío de mejorar la forma en que organizaciones sociales gestionan sus datos y los convierten en aprendizajes para escalar su impacto. En Diciembre de 2019 seleccionamos un grupo de 40 personas de 21 organizaciones sociales líderes de México para poder fortalecerlas en el desarrollo de estas capacidades. 

¿Qué queríamos lograr? ¿Cuál era el mayor desafío?

• Diseñar una capacitación que cubriera el ciclo integral de Monitoreo y Evaluación de Resultados e Impacto enfocada en programas de Empleabilidad Juvenil: Teoría del Cambio, diseño de indicadores, instrumentos, procesos y plataformas/sistemas de M&E, tipos y enfoques de evaluación (no experimental, experimental y cuasi-experimental) 
• Realizar una capacitación atractiva y relevante para organizaciones y personas con necesidades y niveles de conocimiento en materia de estadística, monitoreo y evaluación.

¿Cómo lo hicimos?

El enfoque de las capacitaciones estuvo en el uso de simulaciones, la presentación de herramientas, aplicaciones y ejemplos concretos por sobre el desarrollo teórico-formal.

Llevamos adelante 3 talleres prácticos que fueron fundamentales no sólo para poner en práctica el contenido sino también para que las organizaciones se conozcan mejor entre ellas y compartan experiencias enriquecedoras.

• Teoría del cambio: se realizó un mini-taller para que los participantes pudieran vivenciar los desafíos que surgen al tratar de establecer una lógica causal entre la el problema a resolver y la visión de éxito. Durante este ejercicio se introdujo la dinámica de “Portada de diario” que usualmente empleamos como estrategia lúdica para que las personas visualicen el cambio que esperan observar en relación a la problemática abordada.
• Diseño de indicadores: se dividieron a los participantes en grupos y a cada uno se le asignó la consigna de diseñar un indicador para medir cambios a nivel de beneficiarios en la situación laboral y sus habilidades socioemocionales. 
• Diseño de instrumentos: se les  solicitó a los participantes que corrijan un cuestionario estructurado que incluía preguntas varias con algunos de los errores típicos que se observan en este tipo de instrumentos (escalas no relevantes para el objeto de evaluación, ausencia de opción de no respuesta cuando esta es posible, etc).

Durante el transcurso de la semana, al final de cada módulo, los participantes debían contestar un cuestionario en Kahoot.it y sumaban puntos por dar respuestas correctas en el menor tiempo posible. Esto no solo involucró activamente a los participantes, sino que además sirvió para chequear la incorporación de contenido y retomar conceptos que no hubiesen quedado claros antes de avanzar al próximo módulo (Gamemification).

Con el objetivo de realizar una capacitación con fines prácticos y de aprendizaje en situaciones reales, presentamos herramientas y aplicaciones relevantes a cada etapa de M&E contextualizando las mismas en el marco de ejemplos y proyectos concretos. 

• Visualización y análisis de información → PowerBi / Tableau
• Storytelling → Attavist, Sway
• Análisis cuantitativo → Stata / R
• Plataformas/Sistemas de M&E → Salesforce
• Análisis cualitativo → AtlasTi
• Recolección y sistematización de información cuali → OTranscribe, AudioNote

Los participantes se mostraron muy satisfechos por la presentación de estos recursos, no solo por la posibilidad de eventualmente incorporarlas a su práctica, sino también porque al conocerlas, entender para qué sirven y saber cuál es el producto disponible, podrán exigirlas a evaluadores externos. 

En cuanto a la aplicación de conceptos en casos puntuales, durante almuerzos y recreos se apoyó a cada organización a identificar un desafío concreto de su organización en M&E.El día 5, último día del curso, se dividió a las organizaciones según tipo desafío identificado y se trabajó en los mismos.
Algunos grupos se llevaron un esquema de diseño de cómo podrían evaluar el impacto de sus programas, otros se iniciaron o resolvieron dudas específicas y más avanzadas de cómo visualizar la información de sus programas en PowerBi/Tableau, otros trabajaron en definir o rediseñar su ToC y otros aprovecharon el día para rediseñar sus estrategias/procesos de monitoreo y evaluación; y algunos incluso llegaron a bosquejar algunos de los cuestionarios a aplicar a sus beneficiarios para medir los resultados establecidos en dicha estrategia.

Una vez finalizada la capacitación, los participantes pudieron adquirir:

• Capacidades y recursos para:
  • Diseñar Estrategias de Monitoreo, Evaluación y Aprendizaje.
  • Desarrollar, supervisar e implementar evaluaciones de resultado.
• Conocimientos sobre la disponibilidad de distintas herramientas, aplicaciones y sistemas vinculados a la práctica de Monitoreo y Evaluación.
• Conocimientos teóricos sobre evaluación de impacto:
  • Conceptos básicos de estadística inferencial.
  • Capacidades para identificar oportunidades, desafíos y amenazas a la hora de encarar una evaluación de impacto.
  • Conocimientos teóricos sobre el modelo de inferencia causal y el diseño experimental.
  • Conocimientos generales sobre métodos de evaluación de impacto cuasi-experimentales.

De esta manera, los participantes pudieron incorporar los distintos conocimientos y herramientas para encontrar oportunidades de mejora en sus programas sociales y abordarlas con mayor confianza.