Módulo 4: Implementación de la evaluación de impacto
Módulo 4: Implementación de la evaluación de impacto
Este es un módulo de contenido dinámico y se espera que, en tanto los diferentes agentes y actores vinculados con la formación lleven adelante más evaluaciones de impacto y acumulen aprendizajes, pueda ampliarse y proveer más conocimiento.
Objetivos
Al finalizar este módulo el lector podrá:
Tener en cuenta requerimientos y aspectos prácticos para implementar e institucionalizar la evaluación de impacto.
01
Identificar las etapas de la implementación de la evaluación de impacto en la formación.
02
Considerar aspectos críticos e incorporar lecciones aprendidas para implementar la evaluación de impacto de la formación.
03
Módulo 4: Implementación de la evaluación de impacto
¿Cómo implementar la evaluación de impacto?
¿Cuáles son las etapas para implementar la evaluación de impacto?
¿Qué se requiere para una buena evaluación?
¿Cómo incorporar la evaluación a la práctica organizacional?
¿Siempre es necesario evaluar el impacto?
Algunas lecciones aprendidas
Módulo 4: Implementación de la evaluación de impacto
4.1. ¿Siempre es necesario evaluar el impacto?
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
4.3. ¿Qué se requiere para una buena evaluación?
4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?
4.5. Visualización de datos
4.6. Evaluación de impacto para la formación profesional tras el COVID19
4.7. Algunas lecciones aprendidas
4.1. ¿Siempre es necesario evaluar el impacto?
Como ya se ha señalado en el módulo 1, existen diversas posturas acerca de si resulta necesario evaluar el impacto de todos los programas, acciones o políticas de formación.
4.1. ¿Siempre es necesario evaluar el impacto?
y competitividad de las empresas y el crecimiento económico sostenible, la creación de empleo y el desarrollo social.
sino además incidir en la mejora de la empleabilidad y calidad de vida de las personas, el aumento de la productividad
Se comparte también la visión de que los objetivos de la formación y el aprendizaje permanente deben, no sólo lograr el desarrollo de las competencias en los participantes
En esta Guía se reconoce que es clave verificar si las acciones que se están llevando a cabo están alcanzando los objetivos planteados.
4.1. ¿Siempre es necesario evaluar el impacto?
Siempre será mejor evaluar y al hacerlo, aplicar métodos
Prácticos
01
Sencillos
02
Útiles
03
4.1. ¿Siempre es necesario evaluar el impacto?
Para que la evaluación de impacto se constituya en una herramienta para tomar decisiones efectivas. Se requiere identificar las variables clave y realizar el seguimiento y monitoreo sobre las mismas (participantes, presupuesto, costos, programas) y de esta manera pueda asociar los objetivos de sus programas con indicadores de resultados, efectos e impactos.
Un apoyo básico y necesario para la gestión por resultados son los métodos de monitoreo junto con los sistemas de información gerencial.
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
A continuación algunos aspectos para hacer de la evaluación de impacto una práctica incorporada en la ejecución de las acciones formativas:
04
03
01
02
Asegurarse de que la evaluación de impacto forme parte del diseño del programa de formación, incluyendo las acciones necesarias para llevarla a cabo realizando las provisiones financieras
Partir de la premisa de que es necesario evaluar todas las intervenciones y tener información sobre los resultados, efectos e impactos parala toma de decisiones
Concebir la evaluación de impacto como parte de un sistema que incluye
Considerar la evaluación de impacto como una práctica del quehacer organizacional y no como un evento puntual o una intervención aislada
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
Si no existe orientación a la demanda, un compromiso con la calidad o si no puede verificarse que los participantes han reaccionado positivamente, han aprendido efectivamente y han podido transferir sus aprendizajes, los cambios operados en las personas, la empresa o la sociedad no podrán atribuirse a la intervención formativa.
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
Evaluación de rentabilidad ROI
Detección de necesidades formativas
Evaluación de impacto
Diseño curricular pertinente y flexible
Enfoque sistémico del desarrollo de competencias
Evaluación de transferencia
Evaluación de satisfacción
Evaluación de aprendizaje
4.3. ¿Qué se requiere para una buena evaluación?
Debe planificarse desde el mismo momento en que se diseña la intervención formativa, sea ésta un programa, una política pública de formación o acciones de desarrollo de competencias llevadas a cabo por instituciones de formación o por promesas de cualquier tamaño.
Una evaluación de impacto
4.3. ¿Qué se requiere para una buena evaluación?
En ese sentido, pueden mencionarse un conjunto de requisitos previos para una buena evaluación
- Determinar los objetivos generales y específicos de las acciones de formación.
- A partir de ellos, identificar un conjunto de indicadores que expresen y permitan considerar el sentido y la magnitud de los cambios esperados.
- Definir el universo de trabajo, es decir la población y actores sociales, políticos o institucionales, sobre los cuales recaerán los impactoa.
- Vincular las actividades y los productos desarrollados con los impactos esperados.
Identificar los cambios esperados desde el diseño de la formación
- Definir conceptual y operacionalmente los indicadores para determinar concretamente la forma de su construcción.
- Describir la situación inicial de los indicadores para poder determinar los cambios acaecidos y así poder medirlos. Dicho proceso se conoce con el nombre de construcción de línea de base.
Seleccionar y definir los indicadores de impacto
4.3. ¿Qué se requiere para una buena evaluación?
En ese sentido, pueden mencionarse un conjunto de requisitos previos para una buena evaluación
- Definir que tiempo requieren los cambios previstos para "madurar" y poder ser evaluados.
- Definir los "momentos" o cortes evaluativos en función de los ámbitos en los cuales se medirá el impacto y de las caracteristicas de las variables consideradas.
Determinar la periodicidad necesaria para evaluar los impactos esperados
Implementar una estrategia de participación de los actores
- Definir acciones y modalidades de participación para incorporar la perspectiva de los actores involucrados, tanto en la implementación de la intervención formativa, como en sus efectos.
4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?
Planificación
El proceso de evaluación de impacto
Diseño
comprende las etapas de
Recolección de información
Producción y divulgación de resultados
4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?
A continuación se señalan los aspectos a tener en cuenta.
Producir y divulgar resultados
Planear la evaluación
Diseñar el proceso
Recolectar información
4.4.1. Planear la evaluación
Es la etapa de preparación de la evaluación de impacto que, tal como se ha planteado, debe realizarse junto con el diseño de la intervención formativa.
En este momento es necesario definir las preguntas básicas de la evaluación de impacto, la cadena de resultados y los indicadores que se van a utilizar.
4.4.1. Planear la evaluación
¿Qué se define?
Las preguntas básicas que la evaluación puede responder. Se derivan de los objetivos de la intervención que se va a evaluar (Ver módulo 1)
A tener en cuenta
Debe tener un carácter participativo en incluyente para que los grupos de interés puedan realizar sugerencias en torno a los objetivos y las preguntas básicas.
Para la formulación de las preguntas, se sugiere priorizar y concentrarse en un número limitado de cuestiones básicas y esenciales.
4.4.1. Planear la evaluación
¿Qué se define?
La cadena de resultados de la acción formativa que permitirá definir los indicadores. (Ver módulo 1)
A tener en cuenta
01
Los resultados, efectos e impactos deben ser útiles para la toma de decisiones.
4.4.1. Planear la evaluación
¿Qué se define?
Los indicadores que permitirán monitorear y medir los impactos relacionados con las preguntas planteadas. (Ver módulo 1)
A tener en cuenta
Identificar las fuentes de información para la construcción de los indicadores de impacto. Para fuentes primarias, prever la sistematización de la información a lo largo de la ejecución y diseñar los instrumentos de registro pertinentes y la forma en que construirá la muestra. Si se trabaja con fuentes secundarias, considerar la disponibilidad efectiva de datos de calidad
La selección de indicadores debe optimizar el uso de la información disponible en las instituciones, las empresas y el Estado.
Seleccionar indicadores específicos, medibles, alcanzables, relevantes y en función de ciertos plazos.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Antes de iniciar la evaluación de impacto, es necesario definir un diseño que determine con claridad las distintas etapas de la misma, junto con la especificación de las actividades que se llevarán a cabo, un cronograma para cada una de dichas actividades, los recursos necesarios y el presupuesto para su ejecución.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Las características de la población
No existe un diseño único para la realización de evaluaciones de impacto y es necesario considerar diferentes alternativas según
Los impactos a evaluar
Las consideraciones éticas y políticas
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Las estrategias cualitativas suponen el uso de técnicas más flexibles y focalizadas para rescatar los pareceres, representaciones y comportamientos, de difícil acceso desde perspectivas cuantitativas.
Un abordaje mixto agrega la posibilidad de identificar las prioridades y dificultades a partir de la opinión y la vivencia de los actores.
Es conveniente incorporar estrategias de evaluación cualitativas y cuantitativas.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
¿Qué se define?
El diseño o cómo se va a evaluar. (ver módulo 3)
03
A tener en cuenta
Incluir metodologías que permitan explorar impactos cualitativos y cuantitativos.
01
Considerar y analizar la viabilidad de una amplia gama de opciones metodológicas y de diseño de la evaluación.
04
Utilizar un diseño lo más sencillo posible. En la medida que las metodologías son más complejas resultan más costosa y ponen en cuestión la viabilidad de la evaluación de impacto.
02
Evaluar las alternativas de diseño en función del objeto de evaluación (acción formativa, estrategia o programa, política pública), los sujetos de la evaluación (personas, empresas micro y pequeñas, grandes o medianas, economía informal, sociedad en su conjunto, otros) y los recursos disponibles.
05
Asegurar la rigurosidad de los procesos técnicos sin caer en la ortodoxia metodológica.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Recursos técnicos y financieros, tiempo e información disponible.
¿Qué se define?
04
03
01
02
A tener en cuenta
Prever recursos financieros para la evaluación de impacto desde el diseño mismo de la acción formativa ya que su existencia constituye una condicionante ineludible.
Definir un equipo responsable de la evaluación que combine competencias técnicas, independencia de criterio y objetividad, orientaciones metodológicas (asegurando que el proceso esté alineado con los objetivos), competencias comunicativas y capacidad operativa para gestionar la implementación.
Decidir si se realiza una evaluación interna o externa (Ver módulo 1) considerando los recursos con que se cuenta.
Desarrollar estrategias para construir o fortalecer las capacidades internas como condición para crear una cultura de evaluación de impacto en la organización.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Cronograma: se debe definir cuándo, una vez acabada la formación a evaluar , se va a desarrollar la evaluación de impacto.
¿Qué se define?
A tener en cuenta
Intervenciones de más corta duración, como las que se desarrollan en las empresas, pueden requerir plazos más reducidos (incluso de algunas semanas o un mes) para constatar los impactos.
Generalmente se da un plazo de seis meses a un año en las evaluaciones de impacto relativas a la empleabilidad, aunque se puede volver a recoger información algún tiempo después -dos años- o incluso con carácter de panel anual, para conocer la evolución de las condiciones de empleo en el tiempo.
No evaluar la intervención demasiado pronto, es necesario que los impactos puedan verificarse. Tampoco dejar pasar un tiempo excesivo ya que la información puede resultar contaminada por otras variables y, los resultados y recomendaciones que surjan pueden llegar tarde para la toma de decisiones.
Definir los plazos en función del tipo de formación y del grado de inmediatez a partir del cual puedan constatarse los impactos.
4.4.3. Recolectar información
• Definir qué información se necesita recolectar.
Esta etapa es eminentemente práctica y comprende una serie de decisiones y actividades, tales como:
• Determinar el equipo encargado.
• Elaborar instrumentos y definir la muestra.
• Realizar el trabajo de campo.
• Procesar y validar la información.
4.4.3. Recolectar información
La forma en que se llevan adelante estas actividades está directamente condicionada por el diseño metodológico. (Ver módulo 3)
4.4.3. Recolectar información
A su vez, para asegurar la confiabilidad de los mismos y su análisis, se debe respaldar toda la información con documentación detallada.
Es recomendable establecer controles de calidad para todas las fases de recolección de datos, con el objetivo de detectar y corregir los errores que pudieran surgir.
4.4.3. Recolectar información
Esta etapa comprende las siguientes actividades:
Divulgar los resultados
Analizar los datos
Elaborar informes
Analizar los datos
Tener en cuenta que los resultados de la evaluación deben ser válidos, confiables, comprensibles y útiles para la toma de decisiones.
Asegurar la imparcialidad y el manejo ético de la información.
Elaborar informes
Asegurar que se ofrezcan bases sólidas y fundamentadas para la toma de decisiones.
Evitar un lenguaje técnico solo para especialistas, los usuarios de la información no siempre son expertos en evaluación de impacto.
Demostrar que la evaluación se basa en informaciones válidas.
Divulgar los resultados
Implementar un plan de difusión de los resultados para los interlocutores sociales.
01
La información de la evaluación es crucial para la toma de decisiones. Una evaluación que no se utiliza es un gasto inútil.
02
4.5. Visualización de datos
El crecimiento de la era digital y la informática ha impulsado la generación de grandes volúmenes de información, sin embargo, sin su procesamiento y clasificación se hace complejo asimilarlos, interpretarlos o analizarlos. Hoy por hoy para poder consumir este cumulo de datos que constantemente crece, es necesario simplificarlos y exponerlos de una manera amable y de fácil comprensión para cualquier individuo, donde las formas visuales (gráficos, mapas, formas, etc.) son la mejor manera de condensar los datos.
4.5. Visualización de datos
La visualización de datos es entonces una representación gráfica de la información que permite observar y comprender tendencias, valores atípicos o patrones de datos de una manera sencilla y accesible. Por lo que las herramientas y tecnologías de visualización de datos son esenciales para analizar grandes cantidades de información y tomar decisiones basadas en los datos.
4.5. Visualización de datos
Se pueden distinguir dos tipos de visualizaciones
Su principal función es la de comunicar datos que previamente han sido clasificados, ordenados y analizados.
Visualizaciones estáticas
01
Permiten una interacción con los datos haciendo que el individuo pueda explorar de manera libre la información concentrándose en los aspectos claves que le interesa.
Visualizaciones interactivas
02
4.5. Visualización de datos
La combinación de disciplinas entre la programación, la investigación y el diseño ha forjado la creación de distintas herramientas que permiten trabajar visualmente con los datos. A continuación, algunos programas de visualización de datos más destacados:
4.5. Visualización de datos
Sumado a las herramientas anteriores, el conocimiento en programación amplia a un más el espectro de los programas para la visualización de datos por medio del acceso a librerías de JavaScript, tales como: Data-Driven Documents, Google Charts, Shiny, Chart JS, D3 JS, Highcharts, entre otras.
4.5. Visualización de datos
Otra herramienta muy conocida para el tratamiento de información y la cual es de fácil acceso y manejo es Microsoft Excel. Si bien no es una herramienta diseñada específicamente para la visualización de datos, esta permite compilar gran volumen de información por medio de sus hojas de cálculo.
4.5. Visualización de datos
Entre las funciones básicas de Microsoft Excel está la de generar resúmenes de datos a partir de tablas y gráficos dinámicos. Esta función permite calcular, resumir y analizar datos permitiendo ver patrones y tendencias en ellos , siendo bastante útil para crear reportes actualizados de un mismo origen de datos. Un aspecto importante relacionado con las tablas y gráficos dinámicos es la de aplicación de filtros o segmentaciones de datos, los cuales agrupan la información en categorías que pueden ser activadas o desactivadas (Dashboard).
4.5. Visualización de datos
Otras de las herramientas que tiene el programa de Microsoft Excel es el editor de Power Query, que permite extraer información de distintas fuentes de datos permitiendo transformarla según se requiera, para luego ser cargada en formato de tabla. Esta herramienta es de utilidad cuando se poseen diferentes bases de datos en archivos individuales y se requiere compilar todo en una única base de datos y que posteriormente puede ser usada para la creación de un dashboard a partir de tablas y gráficos dinámicos.
4.5. Visualización de datos
Excel cuenta también con una programación macro llamada Visual Basic que graba macros que repiten acciones que el usuario halla programado automatización tareas simples, de igual manera permite la creación de formularios y controles en la hoja de trabajo.
4.6. Evaluación de impacto para la formación profesional tras el COVID19
La pandemia del COVID-19 ha tenido repercusiones graves a nivel social y económico, donde las tendencias para los años 2021 y 2022 revelan un déficit en los puestos de trabajo, traduciéndose en mayores niveles de desocupación y subutilización de la mano de obra.
Se prevé que para el 2022 el número de personas desempleadas a nivel mundial se ubique en 205 millones de personas
más que de lo previsto en el año 2019
4.6. Evaluación de impacto para la formación profesional tras el COVID19
Como consecuencia de la caída del empleo, los ingresos laborales se ven reducidos y por ende se genera un aumento de la pobreza.
Según cifras del Banco Mundial, la tasa de pobreza mundial de los individuos que viven con menos de 1,9 dólares al día pasará del 8.4% en el 2019 a 9.1% en 2020, por lo que se estima que ente 88 millones y 115 millones de personas se ubicaran en condición de pobreza
4.6. Evaluación de impacto para la formación profesional tras el COVID19
Entre los desafíos que el COVID – 19 ha generado en la formación profesional, uno de los más relevantes es el de disminuir la brecha tecnológica, dado que muchos centros de formación no contaban con una plataforma y/o herramientas virtuales, se vieron rezagos en comparación con otros en los que su enseñanza es cien por ciento virtual o hibrida.
4.6. Evaluación de impacto para la formación profesional tras el COVID19
La emergencia por el COVID-19 puso a prueba la capacidad que tienen los centros de formación profesional de acoplarse a una nueva realidad en la que las relaciones digitales son el pilar fundamental. Dados los desafíos que genera este nuevo proceso se hace crucial medir la influencia y/o resultados de la formación, buscando mejoras y dando respuestas a las necesidades de las personas y profesionales. Es evidente el cambio estructural que genero la crisis del COVID-19 en la formación profesional, por lo que identificar las debilidades de los programas formativos, así como medir el impacto de estos durante y después de la crisis, ayudaría a tomar decisiones en función de mejorar y ajustar los programas formativos.
4.7. Algunas lecciones aprendidas
05
04
03
01
02
La información es la base de la evaluación
La evaluación para mejorar los sistemas de formación
Evaluación con métodos prácticos y flexibles
Evaluación de impacto: un enfoque flexible para la economía informal
Evaluación para responder a la demanda de competencias
La información es la base de la evaluación
La cuestión clave es cómo hacer viables las evaluaciones e ir generando una cultura de evaluación que cubra toda la pirámide.
y en la cúspide, la evaluación de impacto.
en el siguiente nivel los indicadores y los sistemas de monitoreo y seguimiento
Si se concibiera una pirámide imaginaria sobre la práctica de la evaluación, en su base estarían los datos y la formación
La evaluación para mejorar los sistemas de formación
Juega un importante rol para contribuir a crear y mejora sistemas y políticas de formación y desarrollo de competencias. Si un país está tratando de desarrollar una política coherente en materia de desarrollo de sus recursos humanos, las evaluaciones deberían ser capaces de generar insumos para contribuir con ese objetivo.
La evaluación
La evaluación para mejorar los sistemas de formación
Los resultados de las evaluaciones
Se deben aplicar para el ajuste o modificación de programas, en la reformulación de políticas, en el diseño de soluciones innovadores para responder y anticiparse a las necesidades de formación. Esto puede resumirse en una política de evaluación coherente con una visión de política pública en materia de formación.
Evaluación con métodos prácticos y flexibles
Una clara orientación práctica debe guiar la planificación de la evaluación. Las buenas evaluaciones no tienen que ser extensas, complejas, ni costosas. No es necesario acudir a enfoques ortodoxos y sofisticados, que pueden resultar inútiles y suelen ser demandantes en recursos.
Evaluación con métodos prácticos y flexibles
Se debe tratar de utilizar una variedad de métodos que se adapten al contexto, al tipo de programa. A los objetivos trazados y a las poblaciones beneficiarias. El uso de herramientas, como los cuestionarios y las entrevistas, facilita y flexibiliza la evaluación.
En la evaluación de impacto
Evaluación para responder a la demanda de competencias
La evaluación de impacto
Es útil para orientar la formación como una respuesta a la demanda.
Evaluación para responder a la demanda de competencias
Cuando se trata de evaluar la inserción laboral, una forma es determinar qué fracción de los participantes ha encontrado un empleo o está desempeñando una actividad productiva relacionada.
Evaluación para responder a la demanda de competencias
La conclusión de que solo una pequeña fracción de los participantes está ocupada en la formación relacionada, es un indicio de orientación por la oferta más que de respuesta a la demanda y de que la formación no está articulada con los requerimientos específicos del sector productivo.
Evaluación para responder a la demanda de competencias
Otra forma de evaluación es considerar las preferencias de los empleadores al contratar y su actitud frente a los servicios de formación.
Evaluación de impacto: un enfoque flexible para la economía informal
Es un área donde es necesario aplicar la gama más amplia de métodos de evaluación; un análisis ortodoxo de los impactos, la comparación de grupos con y sin formación en un diseño experimental o semi-experimental es difícil de imaginar.
La economía informal
Evaluación de impacto: un enfoque flexible para la economía informal
Los métodos de evaluación
En la economía informal deben ser flexibles en el sentido de obtener al máximo provechos de los enfoques cualitativos.
Evaluación de impacto: un enfoque flexible para la economía informal
La técnica de estudios de caso y una buena serie de pregunta de evaluación, son una aproximación válida para conocer los factores de éxito de las acciones de formación en la economía informal.
Evaluación de impacto: un enfoque flexible para la economía informal
En estos casos la existencia de registros y testimonios e instrumentos autogestionados por los propios participantes juegan un papel crucial.
Deben considerarse diferentes fuentes y técnicas para recolectar información, tales como los referentes de la comunidad; también se puede realizar un seguimiento de los participantes a través del tiempo.
Material de apoyo a este módulowww.oitcinterfor.org
Conocimiento asociado
Experiencias y aplicaciones
1. Diseño de la evaluación de impactos de las políticas de formación continua. MTEySS. Argentina, 2010.
1. Sistematización de la experiencia SIMAPRO del sector frutícola. Interfases. Chile, 2010.
2. Evaluación estratégica sobre el desarrollo de capacidades. IDRC, 2008.
2. Evaluación para el desarrollo social: aportes para un debate abierto en América Latina. INDES-BID, 2006.
3. Evaluaciones de Impacto de los Programas de Capacitación Laboral: la experiencia internacional y de Chile 2007.
3. La evaluación de impacto en la práctica. Banco Mundial, 2011.
4. Informe de evaluación. Modernización de la industria azucarera en México. Aplicación SIMAPRO, 2010.
4. Guía para la capacitación basada en TIC para MIPYME. OIT/Cinterfor, 2011.
5. Efectos e impactos de los programas intensivos en el empleo. OIT, 2003.
Gracias
MODULO 4
Yesica Fernández Mal
Created on May 25, 2021
Start designing with a free template
Discover more than 1500 professional designs like these:
View
Essential Learning Unit
View
Akihabara Learning Unit
View
Genial learning unit
View
History Learning Unit
View
Primary Unit Plan
View
Vibrant Learning Unit
View
Art learning unit
Explore all templates
Transcript
Módulo 4: Implementación de la evaluación de impacto
Módulo 4: Implementación de la evaluación de impacto
Este es un módulo de contenido dinámico y se espera que, en tanto los diferentes agentes y actores vinculados con la formación lleven adelante más evaluaciones de impacto y acumulen aprendizajes, pueda ampliarse y proveer más conocimiento.
Objetivos
Al finalizar este módulo el lector podrá:
Tener en cuenta requerimientos y aspectos prácticos para implementar e institucionalizar la evaluación de impacto.
01
Identificar las etapas de la implementación de la evaluación de impacto en la formación.
02
Considerar aspectos críticos e incorporar lecciones aprendidas para implementar la evaluación de impacto de la formación.
03
Módulo 4: Implementación de la evaluación de impacto
¿Cómo implementar la evaluación de impacto?
¿Cuáles son las etapas para implementar la evaluación de impacto?
¿Qué se requiere para una buena evaluación?
¿Cómo incorporar la evaluación a la práctica organizacional?
¿Siempre es necesario evaluar el impacto?
Algunas lecciones aprendidas
Módulo 4: Implementación de la evaluación de impacto
4.1. ¿Siempre es necesario evaluar el impacto?
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
4.3. ¿Qué se requiere para una buena evaluación?
4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?
4.5. Visualización de datos
4.6. Evaluación de impacto para la formación profesional tras el COVID19
4.7. Algunas lecciones aprendidas
4.1. ¿Siempre es necesario evaluar el impacto?
Como ya se ha señalado en el módulo 1, existen diversas posturas acerca de si resulta necesario evaluar el impacto de todos los programas, acciones o políticas de formación.
4.1. ¿Siempre es necesario evaluar el impacto?
y competitividad de las empresas y el crecimiento económico sostenible, la creación de empleo y el desarrollo social.
sino además incidir en la mejora de la empleabilidad y calidad de vida de las personas, el aumento de la productividad
Se comparte también la visión de que los objetivos de la formación y el aprendizaje permanente deben, no sólo lograr el desarrollo de las competencias en los participantes
En esta Guía se reconoce que es clave verificar si las acciones que se están llevando a cabo están alcanzando los objetivos planteados.
4.1. ¿Siempre es necesario evaluar el impacto?
Siempre será mejor evaluar y al hacerlo, aplicar métodos
Prácticos
01
Sencillos
02
Útiles
03
4.1. ¿Siempre es necesario evaluar el impacto?
Para que la evaluación de impacto se constituya en una herramienta para tomar decisiones efectivas. Se requiere identificar las variables clave y realizar el seguimiento y monitoreo sobre las mismas (participantes, presupuesto, costos, programas) y de esta manera pueda asociar los objetivos de sus programas con indicadores de resultados, efectos e impactos.
Un apoyo básico y necesario para la gestión por resultados son los métodos de monitoreo junto con los sistemas de información gerencial.
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
A continuación algunos aspectos para hacer de la evaluación de impacto una práctica incorporada en la ejecución de las acciones formativas:
04
03
01
02
Asegurarse de que la evaluación de impacto forme parte del diseño del programa de formación, incluyendo las acciones necesarias para llevarla a cabo realizando las provisiones financieras
Partir de la premisa de que es necesario evaluar todas las intervenciones y tener información sobre los resultados, efectos e impactos parala toma de decisiones
Concebir la evaluación de impacto como parte de un sistema que incluye
Considerar la evaluación de impacto como una práctica del quehacer organizacional y no como un evento puntual o una intervención aislada
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
Si no existe orientación a la demanda, un compromiso con la calidad o si no puede verificarse que los participantes han reaccionado positivamente, han aprendido efectivamente y han podido transferir sus aprendizajes, los cambios operados en las personas, la empresa o la sociedad no podrán atribuirse a la intervención formativa.
4.2. ¿Cómo incorporar la evaluación a la práctica organizacional?
Evaluación de rentabilidad ROI
Detección de necesidades formativas
Evaluación de impacto
Diseño curricular pertinente y flexible
Enfoque sistémico del desarrollo de competencias
Evaluación de transferencia
Evaluación de satisfacción
Evaluación de aprendizaje
4.3. ¿Qué se requiere para una buena evaluación?
Debe planificarse desde el mismo momento en que se diseña la intervención formativa, sea ésta un programa, una política pública de formación o acciones de desarrollo de competencias llevadas a cabo por instituciones de formación o por promesas de cualquier tamaño.
Una evaluación de impacto
4.3. ¿Qué se requiere para una buena evaluación?
En ese sentido, pueden mencionarse un conjunto de requisitos previos para una buena evaluación
Identificar los cambios esperados desde el diseño de la formación
Seleccionar y definir los indicadores de impacto
4.3. ¿Qué se requiere para una buena evaluación?
En ese sentido, pueden mencionarse un conjunto de requisitos previos para una buena evaluación
Determinar la periodicidad necesaria para evaluar los impactos esperados
Implementar una estrategia de participación de los actores
4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?
Planificación
El proceso de evaluación de impacto
Diseño
comprende las etapas de
Recolección de información
Producción y divulgación de resultados
4.4. ¿Cuáles son las etapas para implementar la evaluación de impacto?
A continuación se señalan los aspectos a tener en cuenta.
Producir y divulgar resultados
Planear la evaluación
Diseñar el proceso
Recolectar información
4.4.1. Planear la evaluación
Es la etapa de preparación de la evaluación de impacto que, tal como se ha planteado, debe realizarse junto con el diseño de la intervención formativa.
En este momento es necesario definir las preguntas básicas de la evaluación de impacto, la cadena de resultados y los indicadores que se van a utilizar.
4.4.1. Planear la evaluación
¿Qué se define?
Las preguntas básicas que la evaluación puede responder. Se derivan de los objetivos de la intervención que se va a evaluar (Ver módulo 1)
A tener en cuenta
Debe tener un carácter participativo en incluyente para que los grupos de interés puedan realizar sugerencias en torno a los objetivos y las preguntas básicas.
Para la formulación de las preguntas, se sugiere priorizar y concentrarse en un número limitado de cuestiones básicas y esenciales.
4.4.1. Planear la evaluación
¿Qué se define?
La cadena de resultados de la acción formativa que permitirá definir los indicadores. (Ver módulo 1)
A tener en cuenta
01
Los resultados, efectos e impactos deben ser útiles para la toma de decisiones.
4.4.1. Planear la evaluación
¿Qué se define?
Los indicadores que permitirán monitorear y medir los impactos relacionados con las preguntas planteadas. (Ver módulo 1)
A tener en cuenta
Identificar las fuentes de información para la construcción de los indicadores de impacto. Para fuentes primarias, prever la sistematización de la información a lo largo de la ejecución y diseñar los instrumentos de registro pertinentes y la forma en que construirá la muestra. Si se trabaja con fuentes secundarias, considerar la disponibilidad efectiva de datos de calidad
La selección de indicadores debe optimizar el uso de la información disponible en las instituciones, las empresas y el Estado.
Seleccionar indicadores específicos, medibles, alcanzables, relevantes y en función de ciertos plazos.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Antes de iniciar la evaluación de impacto, es necesario definir un diseño que determine con claridad las distintas etapas de la misma, junto con la especificación de las actividades que se llevarán a cabo, un cronograma para cada una de dichas actividades, los recursos necesarios y el presupuesto para su ejecución.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Las características de la población
No existe un diseño único para la realización de evaluaciones de impacto y es necesario considerar diferentes alternativas según
Los impactos a evaluar
Las consideraciones éticas y políticas
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Las estrategias cualitativas suponen el uso de técnicas más flexibles y focalizadas para rescatar los pareceres, representaciones y comportamientos, de difícil acceso desde perspectivas cuantitativas.
Un abordaje mixto agrega la posibilidad de identificar las prioridades y dificultades a partir de la opinión y la vivencia de los actores.
Es conveniente incorporar estrategias de evaluación cualitativas y cuantitativas.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
¿Qué se define?
El diseño o cómo se va a evaluar. (ver módulo 3)
03
A tener en cuenta
Incluir metodologías que permitan explorar impactos cualitativos y cuantitativos.
01
Considerar y analizar la viabilidad de una amplia gama de opciones metodológicas y de diseño de la evaluación.
04
Utilizar un diseño lo más sencillo posible. En la medida que las metodologías son más complejas resultan más costosa y ponen en cuestión la viabilidad de la evaluación de impacto.
02
Evaluar las alternativas de diseño en función del objeto de evaluación (acción formativa, estrategia o programa, política pública), los sujetos de la evaluación (personas, empresas micro y pequeñas, grandes o medianas, economía informal, sociedad en su conjunto, otros) y los recursos disponibles.
05
Asegurar la rigurosidad de los procesos técnicos sin caer en la ortodoxia metodológica.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Recursos técnicos y financieros, tiempo e información disponible.
¿Qué se define?
04
03
01
02
A tener en cuenta
Prever recursos financieros para la evaluación de impacto desde el diseño mismo de la acción formativa ya que su existencia constituye una condicionante ineludible.
Definir un equipo responsable de la evaluación que combine competencias técnicas, independencia de criterio y objetividad, orientaciones metodológicas (asegurando que el proceso esté alineado con los objetivos), competencias comunicativas y capacidad operativa para gestionar la implementación.
Decidir si se realiza una evaluación interna o externa (Ver módulo 1) considerando los recursos con que se cuenta.
Desarrollar estrategias para construir o fortalecer las capacidades internas como condición para crear una cultura de evaluación de impacto en la organización.
4.4.2. Diseñar y preparar la implementación del proceso de evaluación
Cronograma: se debe definir cuándo, una vez acabada la formación a evaluar , se va a desarrollar la evaluación de impacto.
¿Qué se define?
A tener en cuenta
Intervenciones de más corta duración, como las que se desarrollan en las empresas, pueden requerir plazos más reducidos (incluso de algunas semanas o un mes) para constatar los impactos.
Generalmente se da un plazo de seis meses a un año en las evaluaciones de impacto relativas a la empleabilidad, aunque se puede volver a recoger información algún tiempo después -dos años- o incluso con carácter de panel anual, para conocer la evolución de las condiciones de empleo en el tiempo.
No evaluar la intervención demasiado pronto, es necesario que los impactos puedan verificarse. Tampoco dejar pasar un tiempo excesivo ya que la información puede resultar contaminada por otras variables y, los resultados y recomendaciones que surjan pueden llegar tarde para la toma de decisiones.
Definir los plazos en función del tipo de formación y del grado de inmediatez a partir del cual puedan constatarse los impactos.
4.4.3. Recolectar información
• Definir qué información se necesita recolectar.
Esta etapa es eminentemente práctica y comprende una serie de decisiones y actividades, tales como:
• Determinar el equipo encargado.
• Elaborar instrumentos y definir la muestra.
• Realizar el trabajo de campo.
• Procesar y validar la información.
4.4.3. Recolectar información
La forma en que se llevan adelante estas actividades está directamente condicionada por el diseño metodológico. (Ver módulo 3)
4.4.3. Recolectar información
A su vez, para asegurar la confiabilidad de los mismos y su análisis, se debe respaldar toda la información con documentación detallada.
Es recomendable establecer controles de calidad para todas las fases de recolección de datos, con el objetivo de detectar y corregir los errores que pudieran surgir.
4.4.3. Recolectar información
Esta etapa comprende las siguientes actividades:
Divulgar los resultados
Analizar los datos
Elaborar informes
Analizar los datos
Tener en cuenta que los resultados de la evaluación deben ser válidos, confiables, comprensibles y útiles para la toma de decisiones.
Asegurar la imparcialidad y el manejo ético de la información.
Elaborar informes
Asegurar que se ofrezcan bases sólidas y fundamentadas para la toma de decisiones.
Evitar un lenguaje técnico solo para especialistas, los usuarios de la información no siempre son expertos en evaluación de impacto.
Demostrar que la evaluación se basa en informaciones válidas.
Divulgar los resultados
Implementar un plan de difusión de los resultados para los interlocutores sociales.
01
La información de la evaluación es crucial para la toma de decisiones. Una evaluación que no se utiliza es un gasto inútil.
02
4.5. Visualización de datos
El crecimiento de la era digital y la informática ha impulsado la generación de grandes volúmenes de información, sin embargo, sin su procesamiento y clasificación se hace complejo asimilarlos, interpretarlos o analizarlos. Hoy por hoy para poder consumir este cumulo de datos que constantemente crece, es necesario simplificarlos y exponerlos de una manera amable y de fácil comprensión para cualquier individuo, donde las formas visuales (gráficos, mapas, formas, etc.) son la mejor manera de condensar los datos.
4.5. Visualización de datos
La visualización de datos es entonces una representación gráfica de la información que permite observar y comprender tendencias, valores atípicos o patrones de datos de una manera sencilla y accesible. Por lo que las herramientas y tecnologías de visualización de datos son esenciales para analizar grandes cantidades de información y tomar decisiones basadas en los datos.
4.5. Visualización de datos
Se pueden distinguir dos tipos de visualizaciones
Su principal función es la de comunicar datos que previamente han sido clasificados, ordenados y analizados.
Visualizaciones estáticas
01
Permiten una interacción con los datos haciendo que el individuo pueda explorar de manera libre la información concentrándose en los aspectos claves que le interesa.
Visualizaciones interactivas
02
4.5. Visualización de datos
La combinación de disciplinas entre la programación, la investigación y el diseño ha forjado la creación de distintas herramientas que permiten trabajar visualmente con los datos. A continuación, algunos programas de visualización de datos más destacados:
4.5. Visualización de datos
Sumado a las herramientas anteriores, el conocimiento en programación amplia a un más el espectro de los programas para la visualización de datos por medio del acceso a librerías de JavaScript, tales como: Data-Driven Documents, Google Charts, Shiny, Chart JS, D3 JS, Highcharts, entre otras.
4.5. Visualización de datos
Otra herramienta muy conocida para el tratamiento de información y la cual es de fácil acceso y manejo es Microsoft Excel. Si bien no es una herramienta diseñada específicamente para la visualización de datos, esta permite compilar gran volumen de información por medio de sus hojas de cálculo.
4.5. Visualización de datos
Entre las funciones básicas de Microsoft Excel está la de generar resúmenes de datos a partir de tablas y gráficos dinámicos. Esta función permite calcular, resumir y analizar datos permitiendo ver patrones y tendencias en ellos , siendo bastante útil para crear reportes actualizados de un mismo origen de datos. Un aspecto importante relacionado con las tablas y gráficos dinámicos es la de aplicación de filtros o segmentaciones de datos, los cuales agrupan la información en categorías que pueden ser activadas o desactivadas (Dashboard).
4.5. Visualización de datos
Otras de las herramientas que tiene el programa de Microsoft Excel es el editor de Power Query, que permite extraer información de distintas fuentes de datos permitiendo transformarla según se requiera, para luego ser cargada en formato de tabla. Esta herramienta es de utilidad cuando se poseen diferentes bases de datos en archivos individuales y se requiere compilar todo en una única base de datos y que posteriormente puede ser usada para la creación de un dashboard a partir de tablas y gráficos dinámicos.
4.5. Visualización de datos
Excel cuenta también con una programación macro llamada Visual Basic que graba macros que repiten acciones que el usuario halla programado automatización tareas simples, de igual manera permite la creación de formularios y controles en la hoja de trabajo.
4.6. Evaluación de impacto para la formación profesional tras el COVID19
La pandemia del COVID-19 ha tenido repercusiones graves a nivel social y económico, donde las tendencias para los años 2021 y 2022 revelan un déficit en los puestos de trabajo, traduciéndose en mayores niveles de desocupación y subutilización de la mano de obra.
Se prevé que para el 2022 el número de personas desempleadas a nivel mundial se ubique en 205 millones de personas
más que de lo previsto en el año 2019
4.6. Evaluación de impacto para la formación profesional tras el COVID19
Como consecuencia de la caída del empleo, los ingresos laborales se ven reducidos y por ende se genera un aumento de la pobreza.
Según cifras del Banco Mundial, la tasa de pobreza mundial de los individuos que viven con menos de 1,9 dólares al día pasará del 8.4% en el 2019 a 9.1% en 2020, por lo que se estima que ente 88 millones y 115 millones de personas se ubicaran en condición de pobreza
4.6. Evaluación de impacto para la formación profesional tras el COVID19
Entre los desafíos que el COVID – 19 ha generado en la formación profesional, uno de los más relevantes es el de disminuir la brecha tecnológica, dado que muchos centros de formación no contaban con una plataforma y/o herramientas virtuales, se vieron rezagos en comparación con otros en los que su enseñanza es cien por ciento virtual o hibrida.
4.6. Evaluación de impacto para la formación profesional tras el COVID19
La emergencia por el COVID-19 puso a prueba la capacidad que tienen los centros de formación profesional de acoplarse a una nueva realidad en la que las relaciones digitales son el pilar fundamental. Dados los desafíos que genera este nuevo proceso se hace crucial medir la influencia y/o resultados de la formación, buscando mejoras y dando respuestas a las necesidades de las personas y profesionales. Es evidente el cambio estructural que genero la crisis del COVID-19 en la formación profesional, por lo que identificar las debilidades de los programas formativos, así como medir el impacto de estos durante y después de la crisis, ayudaría a tomar decisiones en función de mejorar y ajustar los programas formativos.
4.7. Algunas lecciones aprendidas
05
04
03
01
02
La información es la base de la evaluación
La evaluación para mejorar los sistemas de formación
Evaluación con métodos prácticos y flexibles
Evaluación de impacto: un enfoque flexible para la economía informal
Evaluación para responder a la demanda de competencias
La información es la base de la evaluación
La cuestión clave es cómo hacer viables las evaluaciones e ir generando una cultura de evaluación que cubra toda la pirámide.
y en la cúspide, la evaluación de impacto.
en el siguiente nivel los indicadores y los sistemas de monitoreo y seguimiento
Si se concibiera una pirámide imaginaria sobre la práctica de la evaluación, en su base estarían los datos y la formación
La evaluación para mejorar los sistemas de formación
Juega un importante rol para contribuir a crear y mejora sistemas y políticas de formación y desarrollo de competencias. Si un país está tratando de desarrollar una política coherente en materia de desarrollo de sus recursos humanos, las evaluaciones deberían ser capaces de generar insumos para contribuir con ese objetivo.
La evaluación
La evaluación para mejorar los sistemas de formación
Los resultados de las evaluaciones
Se deben aplicar para el ajuste o modificación de programas, en la reformulación de políticas, en el diseño de soluciones innovadores para responder y anticiparse a las necesidades de formación. Esto puede resumirse en una política de evaluación coherente con una visión de política pública en materia de formación.
Evaluación con métodos prácticos y flexibles
Una clara orientación práctica debe guiar la planificación de la evaluación. Las buenas evaluaciones no tienen que ser extensas, complejas, ni costosas. No es necesario acudir a enfoques ortodoxos y sofisticados, que pueden resultar inútiles y suelen ser demandantes en recursos.
Evaluación con métodos prácticos y flexibles
Se debe tratar de utilizar una variedad de métodos que se adapten al contexto, al tipo de programa. A los objetivos trazados y a las poblaciones beneficiarias. El uso de herramientas, como los cuestionarios y las entrevistas, facilita y flexibiliza la evaluación.
En la evaluación de impacto
Evaluación para responder a la demanda de competencias
La evaluación de impacto
Es útil para orientar la formación como una respuesta a la demanda.
Evaluación para responder a la demanda de competencias
Cuando se trata de evaluar la inserción laboral, una forma es determinar qué fracción de los participantes ha encontrado un empleo o está desempeñando una actividad productiva relacionada.
Evaluación para responder a la demanda de competencias
La conclusión de que solo una pequeña fracción de los participantes está ocupada en la formación relacionada, es un indicio de orientación por la oferta más que de respuesta a la demanda y de que la formación no está articulada con los requerimientos específicos del sector productivo.
Evaluación para responder a la demanda de competencias
Otra forma de evaluación es considerar las preferencias de los empleadores al contratar y su actitud frente a los servicios de formación.
Evaluación de impacto: un enfoque flexible para la economía informal
Es un área donde es necesario aplicar la gama más amplia de métodos de evaluación; un análisis ortodoxo de los impactos, la comparación de grupos con y sin formación en un diseño experimental o semi-experimental es difícil de imaginar.
La economía informal
Evaluación de impacto: un enfoque flexible para la economía informal
Los métodos de evaluación
En la economía informal deben ser flexibles en el sentido de obtener al máximo provechos de los enfoques cualitativos.
Evaluación de impacto: un enfoque flexible para la economía informal
La técnica de estudios de caso y una buena serie de pregunta de evaluación, son una aproximación válida para conocer los factores de éxito de las acciones de formación en la economía informal.
Evaluación de impacto: un enfoque flexible para la economía informal
En estos casos la existencia de registros y testimonios e instrumentos autogestionados por los propios participantes juegan un papel crucial.
Deben considerarse diferentes fuentes y técnicas para recolectar información, tales como los referentes de la comunidad; también se puede realizar un seguimiento de los participantes a través del tiempo.
Material de apoyo a este módulowww.oitcinterfor.org
Conocimiento asociado
Experiencias y aplicaciones
1. Diseño de la evaluación de impactos de las políticas de formación continua. MTEySS. Argentina, 2010.
1. Sistematización de la experiencia SIMAPRO del sector frutícola. Interfases. Chile, 2010.
2. Evaluación estratégica sobre el desarrollo de capacidades. IDRC, 2008.
2. Evaluación para el desarrollo social: aportes para un debate abierto en América Latina. INDES-BID, 2006.
3. Evaluaciones de Impacto de los Programas de Capacitación Laboral: la experiencia internacional y de Chile 2007.
3. La evaluación de impacto en la práctica. Banco Mundial, 2011.
4. Informe de evaluación. Modernización de la industria azucarera en México. Aplicación SIMAPRO, 2010.
4. Guía para la capacitación basada en TIC para MIPYME. OIT/Cinterfor, 2011.
5. Efectos e impactos de los programas intensivos en el empleo. OIT, 2003.
Gracias