Ocho claves para incorporar un Sistema de Monitoreo, Evaluación y Aprendizaje (MEL) en mi organización

Empresas BIC: un avance hacia la consolidación de emprendimientos con propósito en Argentina
julio 2, 2019
Violencia contra la mujer.
noviembre 25, 2019

Ocho claves para incorporar un Sistema de Monitoreo, Evaluación y Aprendizaje (MEL) en mi organización

¿Por dónde empezar? ¿Qué medir y con qué herramientas? Éstas son algunas de las preguntas que se hacen las organizaciones al pensar en un sistema de Monitoreo, Evaluación y Aprendizaje (MEL).  

En la presente nota detallaremos cómo desde ZIGLA abordamos cuestiones clave que toda organización debe hacerse a la hora de pensar y diseñar su sistema MEL.

1. ¿La organización necesita un sistema MEL?

“Quiero medir todo lo que pasa en mi organización” es uno de los comentarios frecuentes que surgen durante las reuniones iniciales con nuestros clientes. Ahora bien, ¿A qué se refieren con todo lo que pasa en su organización? ¿Qué buscan o quieren medir realmente?

Si la organización busca medir los resultados de sus programas o los resultados de sus acciones en los beneficiarios, están en lo cierto: lo que necesitan es un sistema que justamente les permita monitorear y evaluar dichos resultados de su organización.

Por el contrario, si lo que se requiere es un sistema para registrar sus procesos de gestión de donantes, voluntariado, recursos humanos, etc.  lo que se necesita no es un sistema MEL, sino un sistema que permita facilitar la gestión operativa de la organización: proporcionar la información de gestión básica necesaria para dirigir, coordinar y controlar los recursos humanos, financieros y físicos necesarios para lograr cualquier objetivo dado.

Muchas veces sucede que una organización se acerca en búsqueda de un sistema MEL y a medida que se avanza en el proceso de desarrollo, se desprende la necesidad de contar además con un sistema de gestión. Es por esto que lo que siempre sugerimos en ZIGLA, es primero hacer un breve diagnóstico de necesidades, ordenarlas y a partir de allí priorizar por dónde empezar. Es clave tener muy claro el objetivo desde un comienzo, así como tener organizadas las prioridades antes de pensar en el tipo y diseño del sistema a desarrollar. 

2. ¿Cómo surge la necesidad de un sistema MEL?

Antes de comenzar el proceso, es recomendable analizar el origen de la necesidad del sistema:  ¿De dónde viene? ¿Quién lo pide? ¿Cómo surgió el requerimiento?

La necesidad de tener un sistema  MEL puede tener diferentes orígenes: interno o externo. Es interna cuando surge del equipo o de miembros de la organización. Por ejemplo, al querer armar el reporte de fin de año con los resultados de los programas y no es posible encontrar dicha información; o cuando los directores o coordinadores necesitan hacer una reflexión o evaluación interna de resultados.

Otras veces, la necesidad de un sistema surge de forma externa a la organización. Por ejemplo cuando un financiador o donante exige reportes de los resultados para el otorgamiento del financiamiento. 

Si bien puede parecer una pequeña sutileza, es muy importante entender de dónde surge la necesidad del sistema MEL, dado que influye directamente en los requerimientos que tendrá el desarrollo de ese sistema.

3. ¿Qué se quiere medir? Productos, resultados y efectos que se pueden medir en un sistema MEL.

El diseño de un sistema MEL está determinado no solo por el objetivo, sino también por el tipo de resultados a medir:

  • Productos y/o Resultados de los programas.
  • Efectos sobre los beneficiarios de los programas.
  • Resultados de los programas y efectos de los beneficiarios.
  • Resultados de los programas/beneficiarios/ambos y además poder hacer seguimiento de cómo se están gestionando las actividades (procesos).

Cuántos más diversos los resultados se deseen medir, mayor es la complejidad y requerimientos que el sistema MEL tendrá.

4. Alcance y dimensión de un sistema MEL

Definir qué tipo de resultados se quieren medir permite delimitar el alcance y dimensión del sistema. No es lo mismo diseñar un sistema para medir los resultados de todos los programas y acciones de una organización que armar un sistema para medir los resultados de un programa en particular. 

El desarrollo de un sistema MEL implica esfuerzo: decisiones de la dirección ejecutiva, cooperación del equipo operativo, etc. Es por ello, que se recomienda que antes de empezar a trabajar, la organización reflexione acerca de su estado en términos de estructura, financiamiento, equipo, etc.  para así identificar y definir si se encuentra en el momento adecuado para armar un sistema para toda la organización o bien si se empieza por el diseño del sistema para un programa.

Si bien el mejor escenario es medir todas las intervenciones, no siempre es posible.  En ese caso, se puede comenzar armando un sistema MEL que sea escalable. Es decir, comenzar por un programa y luego ir ampliando el alcance para medir el resto de las intervenciones de la organización. Cabe tener en cuenta que para que un sistema MEL sea escalable, el relevamiento y diagnóstico previo al diseño del sistema debe ser lo más profundo posible para así tener mapeado el resto de las acciones que deben ser incorporadas a futuro.

5. Los usuarios de un sistema MEL:  ¿Quiénes serán usuarios? ¿Quiénes van a consumir los datos e información?  ¿Cómo visualizar los datos? 

Es muy importante saber quiénes van a ser los usuarios del sistema, si serán los miembros del equipo, los directivos, o un financiador externo.

Igual de importante es tener claro para qué se van a usar los datos, por ejemplo si serán solo para consumo interno (dentro del mismo sistema o plataforma digital) o si los va a visualizar una persona/institución externa a la organización (en un reporte, página web, etc.).

La visualización de los datos es una de las partes más “divertidas” de un sistema MEL, sobre todo si se presenta de manera interactiva. Para ello desde ZIGLA recomendamos pensar las visualizaciones de resultados en función de quién las va a consumir y los usuarios de esa información. Dependiendo de los usuarios y los usos de los datos, un Sistema MEL podría configurarse a partir de formularios offline/online conectados con herramientas de Bi, con plataformas de tipo CRM o con combinaciones de ambas. Conocer al detalle los intereses de los consumidores y público de la información,  es la llave para saber qué recursos tecnológicos utilizar, cómo estructurar y cruzar la información en el sistema.

6. ¿Cómo se estructura el conocimiento e información? 

Las organizaciones están generando y recopilando datos de manera constante. Sin embargo, no siempre se tiene un registro claro acerca de ese proceso y en dónde se encuentra guardada toda esa información.  Frecuentemente existen múltiples bases de datos y poco sistematizadas. Por ejemplo, si se cuenta con información en planillas online u offline se está más cerca de tener la información organizada que si toda la información se encuentra en informes de texto en carpetas de diferentes miembros de la organización. Tener la información dispersa y desorganizada imposibilita que con esos datos se puedan tomar decisiones precisas y confiables.  

En la misma línea, es importante que las organizaciones puedan registrar e identificar cuáles son los momentos/actividades en los que recopilan información, cómo lo hacen, con qué herramientas y caracterizar el tipo de dato recopilado.  

Identificar, caracterizar y  organizar la información es primordial para el diseño de un sistema MEL. 

7. La cultura de evaluación 

¿Con qué espacios de reflexión y evaluación cuenta la organización? ¿Se hacen evaluaciones periódicas de los programas? ¿Son evaluaciones intermedias o finales? ¿Tienen instrumentos de evaluación? ¿Realizan reportes a fin de año?

A partir de esta batería de preguntas desde ZIGLA buscamos que las organizaciones puedan reflexionar sobre su cultura evaluativa, así como también si el equipo se encuentra preparado o capacitado para realizar evaluaciones. 

Por ejemplo, si el equipo de una organización ya viene haciendo evaluaciones, será cuestión de introducir pequeños cambios. Por el contrario, si es algo nuevo para su equipo hay que tener en cuenta que pueden surgir ciertas resistencias y que va a llevar tiempo introducir nuevas prácticas. Lo importante, es compartir con el conjunto de la organización que un sistema MEL busca evaluar los resultados de la organización no en términos de control, sino para poder registrar y rescatar aprendizajes de sus intervenciones,  así como mejorar sus prácticas. 

Dependiendo de la dimensión del sistema, la organización también puede pensar en incorporar una persona a cargo del sistema MEL y que coordine todas las acciones de evaluación de la organización. 

8. El grado tecnológico de la organización: ¿En qué nivel se encuentra la organización? ¿Qué relación tiene con la tecnología?

Para finalizar, no podemos dejar de hablar de una de las piezas fundamentales de todo sistema MEL: la tecnología. Cuando se diseña un sistema hay que tener siempre en cuenta la relación que tiene la organización con la tecnología,  con qué tecnologías cuenta, qué acceso tiene a ella y qué herramientas utiliza. Por ejemplo: a pesar que puede puede ser muy cómodo hacer una encuesta con un smartphone, suele suceder que durante el trabajo de campo las organizaciones tienen limitado acceso a internet o incluso a electricidad. Algo todavía más básico es relevar  si toda la organización trabaja con computadoras, si tiene acceso a internet durante el desarrollo de los programas o acciones, qué herramientas y paquete informático utiliza, si cuenta con un sistema de gestión interna, CRM, etc.

Por último, no basta solo con analizar las herramientas y acceso sino que también es necesario tener en cuenta el grado de apropiación a la tecnología por parte de los miembros de la organización.  

A modo de conclusión, sabemos que el diseño y desarrollo de un sistema MEL implica grandes desafíos en diferentes niveles, pero es clave para detectar aprendizajes, oportunidades de mejora y tomar mejores decisiones con respecto a las intervenciones sociales.  

Comments are closed.