Módulo 3: Métodos de evaluación
¿Cómo evaluar?
Módulo 3: Métodos de evaluación
Este módulo se ocupa de los aspectos técnicos de la evaluación de impacto; plantea qué son y cómo se construyen indicadores de impacto y describe los métodos cuantitativos y cualitativos de evaluación con sus respectivas características, etapas y requerimientos técnicos.
Objetivos
Identificar
Diferenciar
entre los distintos métodos de evaluación.
la importancia y características del uso de indicadores en la evaluación.
02
01
Manejar
Entender
las características del análisis de eficacia y de eficiencia.
la importancia de su aplicación según las características de los programas a evaluar.
03
04
Módulo 3: Métodos de evaluación
¿Cómo evaluar el impacto de la formación?
¿Por qué es importante combinar los métodos cuantitativos y cualitativos para evaluar el impacto de la formación?
¿Qué son y cómo se construyen los indicadores en la evaluación de impacto?
¿Cómo se analizan la eficacia y la eficiencia?
¿En qué consiste la evaluación de impacto con métodos cualitativos?
¿En qué consiste la evaluación de impacto con métodos cuantitativos?
Módulo 3: Métodos de evaluación
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
3.4. ¿Por qué es importante combinar los métodos cuantitativos y cualitativos para evaluar el impacto de la formación?
3.5. ¿Cómo se analizan la eficacia y eficiencia?
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
Un indicador
Es una comparación entre dos o más tipos de datos que sirve para elaborar una medida cuantitativa o una observación cualitativa. Esta comparación arroja un valor, una magnitud o un criterio, que tiene significado para quien lo analiza.
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
la tasa de empleo
Los indicadores
se utilizan en diversos ámbitos. Un ejemplo básico de indicador es el porcentaje. Otros indicadores más comunes pueden ser:
la tasa de desempleo
la tasa de actividad
la tasa de informalidad
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
Una de las ventajas de utilizar indicadores es la objetividad y la comparabilidad; representan un lenguaje común que facilita una medida estandarizada.
Son herramientas útiles
Porque permiten valorar diferentes magnitudes como, por ejemplo, el grado de cumplimiento de un objetivo o el grado de satisfacción de un participante en la formación.
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
Los indicadores por lo general, se construyen con información cuantitativa, no obstante y de modo creciente, se usan indicadores cualitativos.
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
Un indicador
Debe ser construido con un claro criterio de utilidad, para asegurar la disponibilidad de los datos y resultados más relevantes en el menor tiempo posibles y con un menor costo.
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
Resultados
En las personas, las empresas y la sociedad
Los indicadores podrían describir
Efectos
Impactos
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
Específicos
Los indicadores deben asegurar que son buenas medidas del desempeño del programa, por esto el acrónimo EMARF (Específicos, Medibles, Atribuibles, Realistas y Focalizados), por lo tanto, los indicadores deberían ser
Medibles
Atribuibles
Realistas
Focalizados
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
Tipos de indicadores
04
03
01
02
Indicadores de resultado o producto
Indicadores de gestión
Indicadores de efecto
Indicadores de impacto
Indicadores de gestión
Ejemplos de indicadores de gestión:
Se utilizan para realizar el monitoreo de los procesos, de los insumos y de las actividades que se ejecutan con el fin de lograr los productos específicos de una política o programa
Indicadores de resultado o producto
Ejemplos de indicadores de resultado:
Relacionan los bienes y servicios generados por la acción de formación; resultan de las actividades de transformación de los insumos y generan un incremento en los productos aplicables a la formación.
Indicadores de efecto
Algunos indicadores de efecto:
Se refieren a las consecuencias inmediatas de la formación y desarrollo de competencias sobre las personas, las empresas o la sociedad. Representan el encuentro de las acciones formativas con la demanda de los participantes.
Indicadores de impacto
Algunos indicadores de impacto:
Representan el cambio esperado en la situación de los participantes una vez que la formación se lleva a cabo. Usualmente se pueden medir en periodos de mediano o largo plazo debido a que se requiere un lapso de tiempo para que se puedan medir el mejoramiento de los ingresos, las condiciones de trabajo, la empleabilidad y los demás impactos mencionados en el módulo 1 “Contexto”.
Los indicadores de impacto
- Expresan los cambios a partir de las acciones de formación. Deben permitir la comparación con la situación anterior a la implementación del programa y en los sucesivos cortes evaluativos programados. Para ello es necesario disponer de la llamada “línea de base” y los momentos de evaluación intermedia, final y de impacto.
- Reflejan cambios observados en la población objetivo (salarios, empleo, protección social) así como de situaciones expresadas cualitativamente (satisfacción, salud, bienestar).
- Se definen desde el diseño de las acciones de formación y, de esa manera, se garantiza su solidez y confiabilidad.
Los indicadores de impacto
- Deben buscar el retorno económico de la formación para poder demostrar la utilidad del esfuerzo realizado.
- Deben ser válidos, es decir comprobar efectivamente aquello que se pretende medir.
- Deben ser confiables. Su valor no depende de quien lo mida pues las variaciones que refleja son efectivamente encontradas con la realidad.
- Pueden ser cuantitativos y cualitativos, estos últimos están basados en la percepción o el grado de convicción del participante sobre una cierta situación.
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
En la evaluación de impacto se utilizan métodos cuantitativos y cualitativos, no son métodos excluyentes y se suelen utilizar de forma combinada, dependiendo de las características del programa a evaluar, del tipo de participantes y del enfoque de evaluación diseñado.
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
Experimental
Métodos cualitativos
Semi-experimental
No experimental
Evaluación de impacto
Estudio de casos
Métodos cualitativos
Análisis contextual
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
Las características operativas del programa que se evalúa
Para elegir un método de evaluación de impacto se tiene en cuenta
Para seleccionar a los beneficiarios y los plazos para la implementación del programa.
Sus recursos disponibles
Sus criterios de elegibilidad
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
Pueden utilizarse enfoques complementarios en la evaluación de impacto para responder a preguntas específicas de causa y efecto, dentro de ellos se pueden aplicar métodos mixtos.
Los métodos mixtos
Los métodos mixtos
Para el enfoque de métodos mixtos se definen tres diseños:
Los enfoques de métodos mixtos combinan los métodos cuantitativos y cualitativos, ayudan a generar hipótesis y enfocar las preguntas de la investigación antes de recopilar los datos cuantitativos, también sirven para presentar perspectivas y visiones novedosas del desempeño de un programa durante y después de su implementación.
1. Convergente paralelo
2. Explicativo secuencial
3. Exploratorio secuencial
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
El método cuantitativo
Busca verificar la relación de causalidad entre la acción de formación y sus impactos, al efecto, utiliza la información contenida en los objetivos del programa y, con base en la información recolectada, establece el grado en que los objetivos se alcanzaron, mediante un indicador.
Por ejemplo
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
en las condiciones que se habían establecido como objetivos.
a las acciones de formación ejecutadas, los participantes en el programa experimentaron los cambios
La medición del impacto debe corroborar que, debido
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
El siguiente gráfico representa la lógica implícita en la evaluación de impacto; la situación de los participantes cambia ente el comienzo y el final de la ejecución de la acción de formación. El impacto es la diferencia entre la situación “con formación” y “sin formación”. La pregunta central que ejemplifica este enfoque es: ¿Cuál hubiera sido la situación de los participantes, si ellos no hubiesen recibido la formación?
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
Dentro de las evaluaciones de impacto con métodos cuantitativos, se dispone de tres tipos de diseño que pueden integrarse para construir una evaluación más eficiente en función de las características de cada caso. Los diseños más usuales son
01
Experimental
02
Semi-experimental
03
No experimental
3.2.1. Diseño experimental
Estos modelos hacen uso de condiciones de “experimento” para conformar el grupo de participantes y el de control.
Las condiciones experimentales imponen que, tanto los participantes como los integrantes del grupo de control se elijan mediante un sorteo, es decir con un procedimiento aleatorio.
3.2.1. Diseño experimental
Luego de construidos los grupos se realizan comprobaciones de la situación “antes” y “después”, mediante el uso de los indicadores.
Esta selección implica que quienes integren el grupo de control no son invitados a ingresar en el programa.
El impacto se establece a partir de los cambios encontrados en las mediciones entre el grupo de participantes comparado con el grupo de control.
3.2.1. Diseño experimental
Este enfoque utiliza técnicas de comparación estadística para establecer la relación causa-efecto entre la acción de formación y los cambios que se produjeron en los participantes. Una característica fundamental es que el impacto se mide en términos comparativos ente los participantes y los no participantes.
3.2.1. Diseño experimental
Al efecto se recurre a un grupo similar (grupo de control) que no haya participado de las acciones y por tanto permita aislar efectos de factores exógenos al programa . Esto significa que en la evaluación se requiere estar seguro de que los impactos constatados se deben exclusivamente a las acciones de formación y no a otro hecho fuera de contexto.
3.2.1. Diseño experimental
¿Para qué se usan los grupos de control?
con el propósito de identificar el impacto de las acciones desarrolladas, la medición se realiza en el grupo de participantes y en un grupo de control.
Como es necesario realizar la comparación de poblaciones pertenecientes al mismo universo (por ejemplo: jóvenes)
3.2.1. Diseño experimental
Este término se utiliza para expresar la garantía de que los impactos son realmente atribuibles a la acción de formación y no se hubieran generado si la acción no se hubiese realizado.
La conformación de un grupo de control se realiza con el fin de establecer el llamado escenario contrafactual.
Los miembros del grupo de control, por definición, no deben haber participado en las acciones de formación que se evalúan.
Estos grupos coinciden en sus características fundamentales, o al menos en aquellas que se consideran críticas, y que pueden influir en el impacto esperado.
3.2.1. Diseño experimental
Los dos grupos se deben conformar antes de comenzar las acciones y, para garantizar que sean similares, los integrantes deben asignarse mediante procedimientos estadísticos.
3.2.1. Diseño experimental
En este diseño, la medición de la o las variables de impacto (por ejemplo: salario o empleo) se realiza en ambos grupos, una vez que los participantes han recibido los beneficios de la acción. Cuando la medición de la variable de impacto se realiza antes de iniciado el proyecto se establece la “línea de base” de la evaluación. en algunos casos, dada la dificultad de definir la línea de base, se realizan las mediciones en ambos grupos luego de las intervenciones y se establece el impacto por la diferencia encontrada.
3.2.1. Diseño experimental
Estos modelos necesitan sostener las condiciones experimentales a lo largo de toda la evaluación, al impedir participar en la acción formativa a quienes integran el grupo de control genera críticas desde el punto de vista ético y político.
3.2.1. Diseño experimental
Si bien es un método que, en teoría, garantiza condiciones “químicamente puras” y pretende reproducir un ambiente de laboratorio, en la práctica le otorga a la evaluación de impacto un tinte excesivamente científico que la hace difícil de aplicar y poco práctica, disuadiendo a muchos actores de su utilización
3.2.2. Diseño semi-experimental
Este tipo de diseño, también llamado cuasi-experimental, se basa también en la conformación de los dos grupos, el de participantes y el de control, pero no excluye a estos últimos de la participación en el programa.
3.2.2. Diseño semi-experimental
En este enfoque las personas que integran el grupo de participantes han ingresado al programa por su voluntad y no como resultado de un sorteo aleatorio. Se trata de que las personas van a conformar el grupo de control sean lo más parecidas posible a aquellas que constituyen el grupo de participantes. Es decir, que para conformar dichos grupos de comparación se trabaja a partir de las variables centrales o las que se cree pueden provocar o influir en los resultados.
3.2.2. Diseño semi-experimental
Estos diseños pueden realizar mediciones antes-después o solamente después y en algunos casos se pueden aplicar comparando el grupo de participantes con un “grupo de control genérico”.
En este caso, el grupo de comparación puede ser la población en general o un sector especifico de ésta.
3.2.2. Diseño semi-experimental
En la tabla siguiente se presenta la forma en que se establecieron los grupos de participantes y los grupos de control en varias evaluaciones de impacto de instituciones o programas formativos de la región.
Criterios y métodos utilizados en la conformación del grupo de comparación en cuatro estudios de evaluación de impacto de programas de capacitación laboral en América Latina
3.2.3. Diseño no experimental
Este enfoque no utiliza grupos de control para evaluar los impactos de las acciones implementadas; es decir, solo trabaja con la población que participó en el proyecto. El no utilizar grupos de control puede obedecer a que sencillamente no fue previsto en la planificación de la evaluación o, a que en algunos casos, existen razones técnicas que impiden la construcción de los dos grupos.
3.2.3. Diseño no experimental
Es el caso de la evaluación de impacto de una política pública nacional que debe cubrir a toda la población o a un sector importante de ella; la construcción de grupos de control por métodos experimentales supondría separar de los beneficios de las políticas a importantes porciones de la población.
3.2.3. Diseño no experimental
Bajo este enfoque se realizan comparaciones en el tiempo denominadas “diseños seriados” que cubren los momentos:
antes-después
sólo después
3.2.3. Diseño no experimental
Se le llama seriados por cubrir series de tiempo y se conocen como estudios longitudinales. Sus características estarán determinadas por las variables a medir, el tipo de seguimiento requerido y el acceso a datos confiables previos al desarrollo de las acciones.
3.2.3. Diseño no experimental
Son los más rigurosos dentro los no experimentales ya que, a pesar de no trabajar con grupos de control, permiten calcular la tendencia del impacto a analizar si no hubieran tenido lugar las acciones implementadas.
Los diseños seriados
3.2.3. Diseño no experimental
Los diseños seriados
por ejemplo todos los trabajadores jóvenes que se inscriben en cursos de aprendizaje.
son más útiles cuando el objetivo de las acciones cubre a toda una población
3.2.3. Diseño no experimental
La elección de un método determinado para la implementación de la evaluación de impacto supone un conjunto de aspectos
Políticos
A la asignación de recursos económicos y humanos.
Metodológicos
Relativos
3.2.4 La recolección de información bajo el enfoque cuantitativo
Es una parte sensible de la evaluación ya que puede comprometer la calidad de los datos. El tamaño de la muestra y la modalidad de recolección pueden tener una alta incidencia en los costos.
3.2.4 La recolección de información bajo el enfoque cuantitativo
Cuando se trata de intervenciones de carácter público y de amplia cobertura, no es posible obtener la información de cada uno de los participantes, lo que sería un censo, por lo cual se aplican técnicas de muestreo.
Se debe obtener información, tanto del grupo de participantes como del grupo de control, y diseñar categorías claras y estandarizadas para la información recolectada.
3.2.4 La recolección de información bajo el enfoque cuantitativo
Es el procedimiento de seleccionar un subgrupo de todo el conjunto de participantes, que debe ser representativo de dicho conjunto. Existen técnicas estadísticas para calcular el tamaño y características de una muestra; la regla básica es que todos los participantes en el programa tengan la misma probabilidad de salir elegidos en la muestra.
Calcular una muestra
3.2.4 La recolección de información bajo el enfoque cuantitativo
Estas variables pretenden captar los rasgos de los impactos deseados y son diferentes según que los beneficiarios de la formación sean las personas, las empresas o la sociedad.
La información que es recolectada en la muestra comprende un grupo de variables que serán analizadas para evaluar el impacto.
3.2.4 La recolección de información bajo el enfoque cuantitativo
Algunas de las variables de impacto de los programas de formación y desarrollo de competencias son:
Variables de impacto en las empresas
Variables de impacto en la sociedad
Variables de impacto en las personas
Las variables que describen los impactos sociales de la formación son de más difícil obtención y cuantificación, ello hace que las evaluaciones de impacto social sean bastante escasas.
3.2.4 La recolección de información bajo el enfoque cuantitativo
3.2.4 La recolección de información bajo el enfoque cuantitativo
3.2.4 La recolección de información bajo el enfoque cuantitativo
3.2.5. El análisis de información en los métodos cuantitativos
La información sobre las variables e indicadores para la evaluación cuantitativa se analiza con métodos estadísticos. Las herramientas más utilizadas son
01
La media aritmética
02
El análisis de regresión
03
El análisis de panel
3.2.5. El análisis de información en los métodos cuantitativos
Es una medida de la tendencia central de varias observaciones. Para calcularla se toman en cuenta los valores de los indicadores para todas las observaciones realizadas tanto en los participantes como en el grupo de control. Se suele calcular el promedio para cada uno de los grupos (participantes y control); la diferencia entre las dos observaciones promedio, es el impacto del programa.
La media aritmética o promedio
La media aritmética o promedio
En el siguiente ejemplo se presenta una evaluación para la variable ingresos utilizando grupo de control se muestra la información para los dos grupos y el cálculo del promedio para cada uno.
La media aritmética o promedio
La media o promedio está definida por la suma de los datos observados dividida por el número de observaciones, en este caso cinco. La diferencia de las dos medias es el impacto en términos absolutos: $272, un impacto positivo. Para darle un significado se convierte en un indicador porcentual, así:
El impacto representa un incremento de 28,39% en los salarios de quienes participaron en la formación en relación con quienes no lo hicieron.
3.2.5. El análisis de información en los métodos cuantitativos
Es una técnica que estima el valor promedio de una variable dependiente (como el salario o el empleo) dados ciertos valores conocidos de la variable explicativa o independiente (la formación). A modo de ejemplo, en una acción de formación profesional, la variable independiente es la provisión de formación y la variable dependiente el cambio en el empleo de los participantes, o el cambio en el salario.
El análisis de regresión
3.2.5. El análisis de información en los métodos cuantitativos
Diferencia entre relación causal y correlación
Una correlación es una medida o grado de relación entre dos variables. Un conjunto de datos puede ser positivamente correlacionado, negativamente correlacionado o no correlacionado del todo.
Una relación causal entre dos eventos existe si la ocurrencia del primero causa el otro. El primer evento es llamado la causa y el segundo evento es llamado efecto.
3.2.5. El análisis de información en los métodos cuantitativos
Es un conjunto de datos que recoge observaciones de un fenómeno a lo largo del tiempo, se conoce como serie temporal.
El análisis de panel
3.2.5. El análisis de información en los métodos cuantitativos
Utiliza series de tiempo, incorporando información de variables y unidades de estudio durante un periodo determinado. Incluye una muestra de información de agentes de interés (personas, empresas) para un lapso.
El análisis de panel
El análisis de panel
El objetivo es detectar los cambios en los individuos a través del tiempo, atribuibles a su participación en una acción de formación.
Esta técnica permite realizar un análisis dinámico al incorporar la dimensión temporal de los datos, lo que enriquece el estudio, particularmente en períodos de grandes cambios.
3.2.5. El análisis de información en los métodos cuantitativos
Son útiles para identificar aquellos factores que, al no estar asociados con el impacto, no deben ser tomados en cuenta en diseños futuros de intervenciones.
Esta prueba indica si el valor de un determinado indicador de impacto es estadísticamente significativo para explicar el impacto obtenido.
Una vez calculados el promedio, el análisis de regresión o aplicada la técnica de panel, se deben realizar las pruebas de significación estadística de los valores obtenidos.
3.2.5. El análisis de información en los métodos cuantitativos
Como ya se mencionó, en la variación de un determinado indicador, pueden concurrir efectos no necesariamente asociados a la acción de formación. Por ejemplo, un joven que ha recibido información cuando la economía está en auge, tenderá a encontrar empleo con una facilidad similar a otro que no lo haya hecho. El efecto no atribuible al aprendizaje se produce por la alta demanda laboral que tienen las empresas en momentos de crecimiento, cuando la tasa de desempleo tiende a bajar.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
Es un tipo de evaluación en la que las fuentes de información incluyen datos no numéricos y además la relación de causalidad entre la acción de formación se comprueba sin conformar un grupo de control. Es decir, no requiere de un escenario contrafactual. Por tal razón no se establecen controles experimentales en la acción evaluada.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
Otras características del método cualitativo son:
04
03
01
02
Identifica una serie de eventos o acciones que conducen a un resultado en particular y establece su relación de causalidad
Describe las condiciones iniciales de los beneficiarios y luego identifica una serie de eventos que ocurre en diferentes momentos y que conducen al resultado o impacto
No utiliza variables preestablecidas, por lo tanto los resultados no se limitan a tales variables
No incorpora evidencia sobre individuos que no recibieron los beneficios del programa
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
Otras características del método cualitativo son:
08
07
05
06
En lugar de buscar aislar los factores externos a la intervención, este método los incorpora para observar las interacciones que ocurren entre los participantes y la formación, en su contexto geográfico, cultural, organizacional e histórico
Brinda la oportunidad de obtener evidencia de aquellos impactos que no pudieron anticiparse al inicio del programa o la evaluación (positivos y negativos)
En lugar de utilizar un experimento (comparación) para determinar la causalidad, el método cualitativo emplea la técnica del trabajo de campo que permite al evaluador observar y/o interactuar con los participantes de la formación en el terreno.
Asume una concepción “física” de causalidad; que es la relación entre dos eventos en el mundo natural a diferencia de la definición de causalidad que utiliza el método cuantitativo
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
Algunas de las preguntas que se formulan en esta evaluación son:
¿Cuáles fueron los mecanismos que generaron estos impactos?
¿Cuál es el contexto o entorno en el cual se generaron estos impactos?
¿Qué significado tienen estos impactos para los beneficiarios?
¿Cuáles impactos produjo el programa?
La utilización de los métodos cualitativos es creciente y se les aplica también en forma combinada con métodos cuantitativos.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
El estudio de casos
Es uno de los métodos cualitativos más empleados en acciones de formación dirigidas a colectivos de la economía informal y rural.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
El propósito de los estudios de casos
examinan sus necesidades y determinan hasta qué punto éstas fueron satisfechas efectivamente por la intervención
Es examinar el efecto del programa en los beneficiarios para lo cual se describen y definen los beneficiarios del programa
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
El evaluador
Debe conocer qué piensan los beneficiarios y cuáles son sus percepciones acerca de sus necesidades y el impacto del programa . Con este propósito, en un estudio de caso, se utilizan múltiples técnicas de recolección de información que incluyen la observación y el análisis de documentos elaborados a partir de las observaciones.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
Otra técnica utilizada es la del cambio más significativo, una forma de seguimiento y evaluación participativa que involucra a los interesados en la acción evaluada, tanto en el análisis de los cambios, como en el de los datos recogidos.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
todo el equipo puede estar de acuerdo y centrar su atención en el impacto más significativo del programa.
sobre el valor de estos cambios y seleccionan los más importantes. Cuando la técnica se lleva a cabo con éxito
El proceso implica la recopilación de cambios significativos, algunos grupos de personas debaten en profundidad
3.3.1. Recolección de información cualitativa
El papel del evaluador cambia desde un énfasis en el análisis de variables previamente establecidas, al análisis del comportamiento de los participantes en el programa de formación y desarrollo de competencias.
La información cualitativa se obtiene en el lugar donde se han realizado las acciones del proyecto o actividad de formación. Utilizan la observación directa, las entrevistas y la revisión documental en forma combinada; pueden tener una amplia cobertura o también utilizar técnicas de muestreo.
3.3.1. Recolección de información cualitativa
Este enfoque es especialmente apto para conocer el impacto de los proyectos sociales y de lucha contra la pobreza, como lo son los de formación y desarrollo de competencias, en las cuales el comportamiento, expectativas y motivaciones de los beneficiarios son factores fundamentales a analizar. Permite una mejor comprensión de las incidencias económicas, políticas y culturales que afectan la ejecución de la actividad y que inciden en el cambio del bienestar de los participantes.
3.3.2. Análisis de la información cualitativa
Utiliza principalmente la técnica de análisis de contenidos que consiste en la
De los patrones observados en la información cualitativa, así como los mecanismos y relaciones de casualidad que este tipo de información permite identificar.
Descripción
Interpretación
Examen
3.3.2. Análisis de la información cualitativa
El análisis de contenidos
Puede ser efectuado con un enfoque temático en el cual un determinado concepto es seleccionado para el estudio y se revisa la frecuencia con que dicho concepto se presenta el texto.
3.3.2. Análisis de la información cualitativa
Los códigos son usualmente palabras escogidas para representar una opinión, sensación o comportamiento. Seleccionar un buen índice de palabras es crucial para mantener la representatividad de los datos.
Utilizar formas de codificación para procesar datos cualitativos y de este modo, poder aplicar herramientas cuantitativas, es uno de los mecanismos de tratamiento de la información obtenida en el terreno.
3.3.2. Análisis de la información cualitativa
Esta opción, en su forma básica, es la misma que se encuentra en las encuestas de satisfacción con conceptos como:
medianamente satisfecho
satisfecho
no satisfecho
inconforme
3.3.2. Análisis de la información cualitativa
Establecer estas categorías siempre tiene riesgos estadísticos por
Por ello se sugiere que este tipo de categorías estén revisadas y validadas estadísticamente de forma previa, lo que supone un período de experiencia y adaptación.
3.3.2. Análisis de la información cualitativa
Una forma reciente de codificar información en la evaluación cualitativa es hacerlo a partir del material recolectado y con el apoyo de un software para procesamiento de textos, que puede identificar los conceptos o palabras más frecuentemente usadas y de este modo facilitarlas como elementos de análisis de comparación.
3.3.2. Análisis de la información cualitativa
Una aplicación de este enfoque se puede realizar con la trascripción a un procesador de texto de las entrevistas a participantes o a interesados claves en el proyecto, o mediante el uso de documentos que relaten los estudios de casos.
Hoy en día se encuentran disponibles herramientas informáticas libres como el Wordle para crear una nube de palabras cuyo tamaño es proporcional a la frecuencia con que aparecen en el texto.
3.3.2. Análisis de la información cualitativa
De modo complementario el análisis relacional también recurre a la identificación de conceptos en los textos levantados del terreno, pero además de la frecuencia, busca determinar las relaciones existentes entre los conceptos seleccionados.
3.3.2. Análisis de la información cualitativa
En el gráfico siguiente se inserta la nube de palabras que resulta del texto sobre indicadores. Se invita a analizar la nube como ejemplo de aplicación.
3.4. ¿Por qué es importante combinar los métodos cuantitativos y cualitativos para evaluar el impacto de la formación?
La formación y desarrollo de competencias tienen impactos sociales; su realización regular y permanente, hace recomendable que la evaluación sea una práctica habitual y que los métodos cualitativos se combinen con los cuantitativos, sin comprometer la aplicabilidad y practicidad de las herramientas.
3.4. ¿Por qué es importante combinar los métodos cuantitativos y cualitativos para evaluar el impacto de la formación?
A continuación se resumen las principales características de tales métodos:
3.5. ¿Cómo se analizan la eficacia y eficiencia?
Este análisis completa la evaluación de impacto ya que permite conocer:
Si el impacto fue conseguido (eficacia)
01
Si el impacto generado justifica el costo de la acción (eficiencia)
02
Si pueden existir alternativas más eficaces y eficientes para lograr el mismo impacto.
03
3.5. ¿Cómo se analizan la eficacia y eficiencia?
La eficacia
De una acción está dada por el grado en que se cumplieron los objetivos previstos en su diseño. Usualmente se recurre a una forma de planificación como el marco lógico, en el cual se establece la jerarquía de objetivos:
Metas y actividades
Inmediatos
Específicos
General
3.5. ¿Cómo se analizan la eficacia y eficiencia?
Para cada uno de los objetivos previstos se analiza la eficacia de la acción que es evaluada, obteniendo un índice general de eficacia mediante una ponderación de cada uno de los índices por objetivo evaluado.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
3.5. ¿Cómo se analizan la eficacia y eficiencia?
El impacto
Durante los cuatro años de funcionamiento es diferente y en el cuarto año, es cero. Es posible que haya habido otras acciones de formación y que otras personas desarrollaran competencias logrando la misma tasa de inserción laboral que el grupo de participantes.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
La tasa de empleo
Va decreciendo en el tiempo, lo cual envía un mensaje sobre el programa y las competencias que está desarrollando, o sobre el agotamiento del sector en la generación de nuevos puestos de trabajo. Estas son situaciones que surgen durante las evaluaciones y que requieren la utilización de métodos-combinados.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
El indicador de eficacia se obtiene dividiendo el valor logrado sobre la meta de acceso al empleo que se había previsto: 90%, tanto para el grupo de participantes como para el grupo de control; el impacto es la diferencia del indicador entre los dos grupos. En el ejemplo de arriba hay un impacto positivo de 16,7% en la eficacia de esta formación.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
En el caso anterior solo se revisó el impacto y la eficacia para un objetivo. El de acceso al empleo. Normalmente las acciones formativas se trazan otros objetivos, como el incremento de ingreso o la continuidad educativa; el análisis de eficacia se realiza de forma similar pudiéndose efectuar una comparación por cada objetivo, como se presenta a continuación:
3.5. ¿Cómo se analizan la eficacia y eficiencia?
3.5. ¿Cómo se analizan la eficacia y eficiencia?
La eficiencia
Analiza el volumen de recursos gastados para alcanzar las metas. Una actividad eficiente hace un uso óptimo de los recursos y, por tanto, tiene el menor costo posible.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
Mientras que el indicador de eficacia es usualmente una tasa porcentual, en el análisis de eficiencia se utilizan indicadores de costo-beneficio o de costo-eficiencia.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
El análisis de la eficiencia
Es utilizado para comparar entre diferentes alternativas de acciones de formación y se puede realizar ex ante o ex post. En general, siempre que se deban revisar opciones de inversión para emprender acciones o reorientarlas, la búsqueda de un costo eficiente es requerida y este tipo de análisis la facilita.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
Ejemplo
Analizar la opción más eficiente, entre dos, para desarrollar un programa de formación en una comunidad rural apartada. Una, es la de construir un centro de formación, dotar sus instalaciones, contratar y formar personal; la otra, consiste en utilizar unidades móviles con un “centro itinerante” y equipos fácilmente transportables. Es un típico caso en el que, mediante el cálculo de los costos, se puede hacer una evaluación ex ante de las alternativas e implementar la que se muestre más eficiente.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
Para evaluar la eficiencia existen dos tipos de análisis:
El costo-impacto
El costo-beneficio
El costo-efectividad
Análisis costo-beneficio
Se expresa como una relación entre los beneficios obtenidos y los costos incurridos y utiliza como unidad de medida el dinero. En general, en este tipo de análisis se busca una relación beneficio-costo mayor a uno, justamente cuando los beneficios son mayores que los costos.
Análisis costo-beneficio
Dentro del análisis costo-beneficio se utiliza el indicador conocido como: Retorno de la inversión (ROI) para medir el rendimiento de las inversiones que realizan las empresas en capacitación.
Análisis costo-beneficio
Dentro de los costos se incluyen: pagos a los docentes, salario de los trabajadores separados de sus funciones mientras atendían el curso, el costo de utilizar las instalaciones y el de los demás insumos identificados. Como beneficios se toman la disminución de accidentes laborales, la reducción de productos imperfectos, la disminución de accidentes laborales, la mejora en productividad.
Análisis costo-beneficio
Los beneficios y los costos
Son traducidos a un valor monetario por los interesados en su medición. Normalmente es fácil calcular estos valores, pero en algunos casos se requiere acuerdo, por ejemplo, sobre cómo medir la variación en la productividad y sobre qué base valorarla.
Análisis costo-beneficio
Una vez sumados los valores de beneficios y costos se puede optar por compararlos directamente o por calcular su valor presente neto si el tiempo de análisis lo amerita.
Análisis costo-beneficio
ROI
Se ha utilizado para medir el impacto de capacitación en experiencias de aplicación del Sistema Integral de medición y Avance de la Productividad SIMAPRO.
SIMAPRO y un caso de aplicación de la evaluación de impacto
El Sistema Integral de Medición y Avance de la Productividad tiene el propósito de mejorar la eficiencia, la calidad y las condiciones de trabajo a través del involucramiento y compromiso del personal operario, mandos medios y la gerencia, con una metodología participativa, integral e incluyente. Actualmente hay experiencias de aplicación en México, Chile República Dominicana y Cuba, en diferentes sectores productivos: azucarero, turismo y auto partes.
En el caso de Chile, la evaluación de impacto en empresas del sector frutícola exportador, comprobó una disminución del 30,6% en el total de las jornadas laborales; los resultados promedio de las mediciones para productividad y calidad para los grupos SIMAPRO alcanzaron un 28% sobre el promedio, en contraste con los grupos no SIMAPRO que sólo fue del 1%. Las empresas que aplicaron SIMAPRO reportaron una rotación del grupo participante muy baja y en dos de ellas fue de 0%. En una de las empresas los accidentes disminuyeron 49% y los días perdidos en 35,5%. Con esta metodología de gestión una de las empresas piloto tuvo un retorno de la inversión del 182,6% según análisis financiero ROI.
En términos generales, la experiencia de empresas exportadoras de fruta fresca indica que el retorno sobre la inversión (ROI) de la implementación del sistema está en rangos de entre 82% y 279%
Análisis costo-beneficio
Otro indicador que se suele utilizar es la Tasa Interna de Retorno (TIR) que define un valor de referencia por encima del cual se considera rentable el programa. Esta tasa hace que el valor presente de un flujo de beneficios y costos, se igual a cero.
Análisis costo-beneficio
TIR
Se compara con tasas de interés de otras inversiones alternativas; normalmente se usa para decidir a favor de aquélla que ofrezca una tasa de retorno mayor.
Análisis costo- efectividad
Es la relación entre los impactos obtenidos (valorados en dinero) y el valor presente de los costos, también en dinero, en que incurrió la actividad desarrollada.
El costo efectividad incluye la posibilidad de traducir ciertos impactos sociales a valores expresados en moneda corriente.
Análisis costo- efectividad
También permite realizar comparaciones entre impactos obtenidos con diferentes alternativas de acción. Las decisiones que se toman con base en esta relación favorecen a los programas más costo-efectivos para ser ejecutados nuevamente o para tomar sus modelos de ejecución como referencia en otros programas de formación.
Análisis costo-impacto
Una relación muy útil consiste en comparar el valor presente de los costos con el valor del impacto obtenido, dando una idea del valor de cada unidad de impacto generado. Es adecuada para realizar comparaciones entre proyectos terminados (ex post) o alternativas de inversión bajo estudio (ex ante).
Análisis costo-impacto
Se puede calcular, por ejemplo, que si la reducción en la tasa de desempleo provocada por una acción de formación fue del 12% con unos costos totales actualizados de $150.000, entonces el costo por cada punto porcentual de reducción del desempleo fue de $12.500. De nuevo, esta cifra es valiosa en tanto comparable con otras alternativas de acción o de utilización de los fondos invertidos en el programa.
Análisis costo-impacto
Se alcanzaron los objetivos previstos
En la práctica, se encuentran evaluaciones que utilizan de forma conjunta los diferentes indicadores de eficacia y eficiencia. Como corolario de los métodos de evaluación, no hay que perder de vista que la evaluación de impacto es útil para comprobar si:
Los participantes en las acciones mejoraron su bienestar (ingresos, empleabilidad, competitividad)
Las políticas públicas impulsadas por los gobiernos, lograron su cometido en la población beneficiaria
El uso de los fondos invertidos fue el mejor en términos de eficiencia
Existen alternativas de costo menor para lograr los mismos impactos
Material de apoyo a este módulowww.oitcinterfor.org
Conocimiento asociado
Experiencias y aplicaciones
1. Grado de ocupación de los egresados de aprendizaje dual. SENATI. Perú, 2001.
1. Plan anual de evaluación de la calidad, impacto, eficacia y eficiencia del conjunto del subsistema de formación profesional para el empleo. FTFE. España, 2011.
2. Evaluación del impacto de la formación profesional industrial SENATI. Perú, 2009.
3. Informe de Evaluación de Impacto para el Programa Nacional de Formación Continua Área Técnica. INSAFORP. El Salvador, 2011.
2. Evaluación de contexto. Estructura temática y de contenidos. FTFE. España, 2011.
3. Encuesta a participantes en acciones de formación en el ámbito de la empresa. FTFE. España, 2011.
4. Informe de evaluación. Sistema Nacional de Formación para el Trabajo. SENA. Colombia, 2009.
4. Las TIC en educación: Una metodología para valorar impacto social y condiciones de equidad. Fundación Omar Dengo. Costa Rica, 2002.
5. Evaluación de impacto del programa jóvenes en acción. DNP-SENA. Colombia, 2008.
Material de apoyo a este módulowww.oitcinterfor.org
Conocimiento asociado
Experiencias y aplicaciones
6. Evaluación de impacto del programa jóvenes rurales emprendedores. SENA. Colombia, 2010.
5. Documento aportes metodológicos a la comunidad virtual. MTEySS. Argentina, 2011.
7. Evaluación de impacto de la formación profesional modalidades: habilitación, complementación y formación continua en centros. INFOTEP. República Dominicana, 2006.
6. Instrumentos diseñados para la evaluación de la política de formación continua. MTEySS. Argentina, 2011.
8. Evaluación de impacto del proyecto piloto jóvenes emprendedores rurales. Argentina, 2007.
7. Documento metodológico contribución de SENAI. Brasil, 2011.
9. Programa de acompañamiento de egresos. Evaluación 2008-2010. SENAI. Brasil.
8. Formulario para la evaluación de impacto de asistencia técnica en empresas. INTECAP. Guatemala, 2011.
10. Evaluación de medio término. Programa educación técnica productiva. FAUTAPO. Bolivia, 2010.
9. Formulario para evaluación de impacto de la formación profesional. INTECAP. Guatemala, 2011.
11. La evaluación de impacto en la práctica. Segunda edición. Banco Mundial, 2016.
Gracias
MODULO 3
Yesica Fernández Mal
Created on May 21, 2021
Start designing with a free template
Discover more than 1500 professional designs like these:
View
Math Lesson Plan
View
Primary Unit Plan 2
View
Animated Chalkboard Learning Unit
View
Business Learning Unit
View
Corporate Signature Learning Unit
View
Code Training Unit
View
History Unit plan
Explore all templates
Transcript
Módulo 3: Métodos de evaluación
¿Cómo evaluar?
Módulo 3: Métodos de evaluación
Este módulo se ocupa de los aspectos técnicos de la evaluación de impacto; plantea qué son y cómo se construyen indicadores de impacto y describe los métodos cuantitativos y cualitativos de evaluación con sus respectivas características, etapas y requerimientos técnicos.
Objetivos
Identificar
Diferenciar
entre los distintos métodos de evaluación.
la importancia y características del uso de indicadores en la evaluación.
02
01
Manejar
Entender
las características del análisis de eficacia y de eficiencia.
la importancia de su aplicación según las características de los programas a evaluar.
03
04
Módulo 3: Métodos de evaluación
¿Cómo evaluar el impacto de la formación?
¿Por qué es importante combinar los métodos cuantitativos y cualitativos para evaluar el impacto de la formación?
¿Qué son y cómo se construyen los indicadores en la evaluación de impacto?
¿Cómo se analizan la eficacia y la eficiencia?
¿En qué consiste la evaluación de impacto con métodos cualitativos?
¿En qué consiste la evaluación de impacto con métodos cuantitativos?
Módulo 3: Métodos de evaluación
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
3.4. ¿Por qué es importante combinar los métodos cuantitativos y cualitativos para evaluar el impacto de la formación?
3.5. ¿Cómo se analizan la eficacia y eficiencia?
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
Un indicador
Es una comparación entre dos o más tipos de datos que sirve para elaborar una medida cuantitativa o una observación cualitativa. Esta comparación arroja un valor, una magnitud o un criterio, que tiene significado para quien lo analiza.
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
la tasa de empleo
Los indicadores
se utilizan en diversos ámbitos. Un ejemplo básico de indicador es el porcentaje. Otros indicadores más comunes pueden ser:
la tasa de desempleo
la tasa de actividad
la tasa de informalidad
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
Una de las ventajas de utilizar indicadores es la objetividad y la comparabilidad; representan un lenguaje común que facilita una medida estandarizada.
Son herramientas útiles
Porque permiten valorar diferentes magnitudes como, por ejemplo, el grado de cumplimiento de un objetivo o el grado de satisfacción de un participante en la formación.
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
Los indicadores por lo general, se construyen con información cuantitativa, no obstante y de modo creciente, se usan indicadores cualitativos.
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
Un indicador
Debe ser construido con un claro criterio de utilidad, para asegurar la disponibilidad de los datos y resultados más relevantes en el menor tiempo posibles y con un menor costo.
3.1. ¿Qué son y cómo se construyen los indicadores de evaluación de impacto?
Resultados
En las personas, las empresas y la sociedad
Los indicadores podrían describir
Efectos
Impactos
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
Específicos
Los indicadores deben asegurar que son buenas medidas del desempeño del programa, por esto el acrónimo EMARF (Específicos, Medibles, Atribuibles, Realistas y Focalizados), por lo tanto, los indicadores deberían ser
Medibles
Atribuibles
Realistas
Focalizados
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
Tipos de indicadores
04
03
01
02
Indicadores de resultado o producto
Indicadores de gestión
Indicadores de efecto
Indicadores de impacto
Indicadores de gestión
Ejemplos de indicadores de gestión:
Se utilizan para realizar el monitoreo de los procesos, de los insumos y de las actividades que se ejecutan con el fin de lograr los productos específicos de una política o programa
Indicadores de resultado o producto
Ejemplos de indicadores de resultado:
Relacionan los bienes y servicios generados por la acción de formación; resultan de las actividades de transformación de los insumos y generan un incremento en los productos aplicables a la formación.
Indicadores de efecto
Algunos indicadores de efecto:
Se refieren a las consecuencias inmediatas de la formación y desarrollo de competencias sobre las personas, las empresas o la sociedad. Representan el encuentro de las acciones formativas con la demanda de los participantes.
Indicadores de impacto
Algunos indicadores de impacto:
Representan el cambio esperado en la situación de los participantes una vez que la formación se lleva a cabo. Usualmente se pueden medir en periodos de mediano o largo plazo debido a que se requiere un lapso de tiempo para que se puedan medir el mejoramiento de los ingresos, las condiciones de trabajo, la empleabilidad y los demás impactos mencionados en el módulo 1 “Contexto”.
Los indicadores de impacto
Los indicadores de impacto
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
En la evaluación de impacto se utilizan métodos cuantitativos y cualitativos, no son métodos excluyentes y se suelen utilizar de forma combinada, dependiendo de las características del programa a evaluar, del tipo de participantes y del enfoque de evaluación diseñado.
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
Experimental
Métodos cualitativos
Semi-experimental
No experimental
Evaluación de impacto
Estudio de casos
Métodos cualitativos
Análisis contextual
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
Las características operativas del programa que se evalúa
Para elegir un método de evaluación de impacto se tiene en cuenta
Para seleccionar a los beneficiarios y los plazos para la implementación del programa.
Sus recursos disponibles
Sus criterios de elegibilidad
3.1.1. ¿Qué tipos de indicadores se utilizan y para qué?
Pueden utilizarse enfoques complementarios en la evaluación de impacto para responder a preguntas específicas de causa y efecto, dentro de ellos se pueden aplicar métodos mixtos.
Los métodos mixtos
Los métodos mixtos
Para el enfoque de métodos mixtos se definen tres diseños:
Los enfoques de métodos mixtos combinan los métodos cuantitativos y cualitativos, ayudan a generar hipótesis y enfocar las preguntas de la investigación antes de recopilar los datos cuantitativos, también sirven para presentar perspectivas y visiones novedosas del desempeño de un programa durante y después de su implementación.
1. Convergente paralelo
2. Explicativo secuencial
3. Exploratorio secuencial
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
El método cuantitativo
Busca verificar la relación de causalidad entre la acción de formación y sus impactos, al efecto, utiliza la información contenida en los objetivos del programa y, con base en la información recolectada, establece el grado en que los objetivos se alcanzaron, mediante un indicador.
Por ejemplo
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
en las condiciones que se habían establecido como objetivos.
a las acciones de formación ejecutadas, los participantes en el programa experimentaron los cambios
La medición del impacto debe corroborar que, debido
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
El siguiente gráfico representa la lógica implícita en la evaluación de impacto; la situación de los participantes cambia ente el comienzo y el final de la ejecución de la acción de formación. El impacto es la diferencia entre la situación “con formación” y “sin formación”. La pregunta central que ejemplifica este enfoque es: ¿Cuál hubiera sido la situación de los participantes, si ellos no hubiesen recibido la formación?
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
3.2. ¿En qué consiste la evaluación de impacto con métodos cuantitativos?
Dentro de las evaluaciones de impacto con métodos cuantitativos, se dispone de tres tipos de diseño que pueden integrarse para construir una evaluación más eficiente en función de las características de cada caso. Los diseños más usuales son
01
Experimental
02
Semi-experimental
03
No experimental
3.2.1. Diseño experimental
Estos modelos hacen uso de condiciones de “experimento” para conformar el grupo de participantes y el de control.
Las condiciones experimentales imponen que, tanto los participantes como los integrantes del grupo de control se elijan mediante un sorteo, es decir con un procedimiento aleatorio.
3.2.1. Diseño experimental
Luego de construidos los grupos se realizan comprobaciones de la situación “antes” y “después”, mediante el uso de los indicadores.
Esta selección implica que quienes integren el grupo de control no son invitados a ingresar en el programa.
El impacto se establece a partir de los cambios encontrados en las mediciones entre el grupo de participantes comparado con el grupo de control.
3.2.1. Diseño experimental
Este enfoque utiliza técnicas de comparación estadística para establecer la relación causa-efecto entre la acción de formación y los cambios que se produjeron en los participantes. Una característica fundamental es que el impacto se mide en términos comparativos ente los participantes y los no participantes.
3.2.1. Diseño experimental
Al efecto se recurre a un grupo similar (grupo de control) que no haya participado de las acciones y por tanto permita aislar efectos de factores exógenos al programa . Esto significa que en la evaluación se requiere estar seguro de que los impactos constatados se deben exclusivamente a las acciones de formación y no a otro hecho fuera de contexto.
3.2.1. Diseño experimental
¿Para qué se usan los grupos de control?
con el propósito de identificar el impacto de las acciones desarrolladas, la medición se realiza en el grupo de participantes y en un grupo de control.
Como es necesario realizar la comparación de poblaciones pertenecientes al mismo universo (por ejemplo: jóvenes)
3.2.1. Diseño experimental
Este término se utiliza para expresar la garantía de que los impactos son realmente atribuibles a la acción de formación y no se hubieran generado si la acción no se hubiese realizado.
La conformación de un grupo de control se realiza con el fin de establecer el llamado escenario contrafactual.
Los miembros del grupo de control, por definición, no deben haber participado en las acciones de formación que se evalúan.
Estos grupos coinciden en sus características fundamentales, o al menos en aquellas que se consideran críticas, y que pueden influir en el impacto esperado.
3.2.1. Diseño experimental
Los dos grupos se deben conformar antes de comenzar las acciones y, para garantizar que sean similares, los integrantes deben asignarse mediante procedimientos estadísticos.
3.2.1. Diseño experimental
En este diseño, la medición de la o las variables de impacto (por ejemplo: salario o empleo) se realiza en ambos grupos, una vez que los participantes han recibido los beneficios de la acción. Cuando la medición de la variable de impacto se realiza antes de iniciado el proyecto se establece la “línea de base” de la evaluación. en algunos casos, dada la dificultad de definir la línea de base, se realizan las mediciones en ambos grupos luego de las intervenciones y se establece el impacto por la diferencia encontrada.
3.2.1. Diseño experimental
Estos modelos necesitan sostener las condiciones experimentales a lo largo de toda la evaluación, al impedir participar en la acción formativa a quienes integran el grupo de control genera críticas desde el punto de vista ético y político.
3.2.1. Diseño experimental
Si bien es un método que, en teoría, garantiza condiciones “químicamente puras” y pretende reproducir un ambiente de laboratorio, en la práctica le otorga a la evaluación de impacto un tinte excesivamente científico que la hace difícil de aplicar y poco práctica, disuadiendo a muchos actores de su utilización
3.2.2. Diseño semi-experimental
Este tipo de diseño, también llamado cuasi-experimental, se basa también en la conformación de los dos grupos, el de participantes y el de control, pero no excluye a estos últimos de la participación en el programa.
3.2.2. Diseño semi-experimental
En este enfoque las personas que integran el grupo de participantes han ingresado al programa por su voluntad y no como resultado de un sorteo aleatorio. Se trata de que las personas van a conformar el grupo de control sean lo más parecidas posible a aquellas que constituyen el grupo de participantes. Es decir, que para conformar dichos grupos de comparación se trabaja a partir de las variables centrales o las que se cree pueden provocar o influir en los resultados.
3.2.2. Diseño semi-experimental
Estos diseños pueden realizar mediciones antes-después o solamente después y en algunos casos se pueden aplicar comparando el grupo de participantes con un “grupo de control genérico”.
En este caso, el grupo de comparación puede ser la población en general o un sector especifico de ésta.
3.2.2. Diseño semi-experimental
En la tabla siguiente se presenta la forma en que se establecieron los grupos de participantes y los grupos de control en varias evaluaciones de impacto de instituciones o programas formativos de la región.
Criterios y métodos utilizados en la conformación del grupo de comparación en cuatro estudios de evaluación de impacto de programas de capacitación laboral en América Latina
3.2.3. Diseño no experimental
Este enfoque no utiliza grupos de control para evaluar los impactos de las acciones implementadas; es decir, solo trabaja con la población que participó en el proyecto. El no utilizar grupos de control puede obedecer a que sencillamente no fue previsto en la planificación de la evaluación o, a que en algunos casos, existen razones técnicas que impiden la construcción de los dos grupos.
3.2.3. Diseño no experimental
Es el caso de la evaluación de impacto de una política pública nacional que debe cubrir a toda la población o a un sector importante de ella; la construcción de grupos de control por métodos experimentales supondría separar de los beneficios de las políticas a importantes porciones de la población.
3.2.3. Diseño no experimental
Bajo este enfoque se realizan comparaciones en el tiempo denominadas “diseños seriados” que cubren los momentos:
antes-después
sólo después
3.2.3. Diseño no experimental
Se le llama seriados por cubrir series de tiempo y se conocen como estudios longitudinales. Sus características estarán determinadas por las variables a medir, el tipo de seguimiento requerido y el acceso a datos confiables previos al desarrollo de las acciones.
3.2.3. Diseño no experimental
Son los más rigurosos dentro los no experimentales ya que, a pesar de no trabajar con grupos de control, permiten calcular la tendencia del impacto a analizar si no hubieran tenido lugar las acciones implementadas.
Los diseños seriados
3.2.3. Diseño no experimental
Los diseños seriados
por ejemplo todos los trabajadores jóvenes que se inscriben en cursos de aprendizaje.
son más útiles cuando el objetivo de las acciones cubre a toda una población
3.2.3. Diseño no experimental
La elección de un método determinado para la implementación de la evaluación de impacto supone un conjunto de aspectos
Políticos
A la asignación de recursos económicos y humanos.
Metodológicos
Relativos
3.2.4 La recolección de información bajo el enfoque cuantitativo
Es una parte sensible de la evaluación ya que puede comprometer la calidad de los datos. El tamaño de la muestra y la modalidad de recolección pueden tener una alta incidencia en los costos.
3.2.4 La recolección de información bajo el enfoque cuantitativo
Cuando se trata de intervenciones de carácter público y de amplia cobertura, no es posible obtener la información de cada uno de los participantes, lo que sería un censo, por lo cual se aplican técnicas de muestreo.
Se debe obtener información, tanto del grupo de participantes como del grupo de control, y diseñar categorías claras y estandarizadas para la información recolectada.
3.2.4 La recolección de información bajo el enfoque cuantitativo
Es el procedimiento de seleccionar un subgrupo de todo el conjunto de participantes, que debe ser representativo de dicho conjunto. Existen técnicas estadísticas para calcular el tamaño y características de una muestra; la regla básica es que todos los participantes en el programa tengan la misma probabilidad de salir elegidos en la muestra.
Calcular una muestra
3.2.4 La recolección de información bajo el enfoque cuantitativo
Estas variables pretenden captar los rasgos de los impactos deseados y son diferentes según que los beneficiarios de la formación sean las personas, las empresas o la sociedad.
La información que es recolectada en la muestra comprende un grupo de variables que serán analizadas para evaluar el impacto.
3.2.4 La recolección de información bajo el enfoque cuantitativo
Algunas de las variables de impacto de los programas de formación y desarrollo de competencias son:
Variables de impacto en las empresas
Variables de impacto en la sociedad
Variables de impacto en las personas
Las variables que describen los impactos sociales de la formación son de más difícil obtención y cuantificación, ello hace que las evaluaciones de impacto social sean bastante escasas.
3.2.4 La recolección de información bajo el enfoque cuantitativo
3.2.4 La recolección de información bajo el enfoque cuantitativo
3.2.4 La recolección de información bajo el enfoque cuantitativo
3.2.5. El análisis de información en los métodos cuantitativos
La información sobre las variables e indicadores para la evaluación cuantitativa se analiza con métodos estadísticos. Las herramientas más utilizadas son
01
La media aritmética
02
El análisis de regresión
03
El análisis de panel
3.2.5. El análisis de información en los métodos cuantitativos
Es una medida de la tendencia central de varias observaciones. Para calcularla se toman en cuenta los valores de los indicadores para todas las observaciones realizadas tanto en los participantes como en el grupo de control. Se suele calcular el promedio para cada uno de los grupos (participantes y control); la diferencia entre las dos observaciones promedio, es el impacto del programa.
La media aritmética o promedio
La media aritmética o promedio
En el siguiente ejemplo se presenta una evaluación para la variable ingresos utilizando grupo de control se muestra la información para los dos grupos y el cálculo del promedio para cada uno.
La media aritmética o promedio
La media o promedio está definida por la suma de los datos observados dividida por el número de observaciones, en este caso cinco. La diferencia de las dos medias es el impacto en términos absolutos: $272, un impacto positivo. Para darle un significado se convierte en un indicador porcentual, así:
El impacto representa un incremento de 28,39% en los salarios de quienes participaron en la formación en relación con quienes no lo hicieron.
3.2.5. El análisis de información en los métodos cuantitativos
Es una técnica que estima el valor promedio de una variable dependiente (como el salario o el empleo) dados ciertos valores conocidos de la variable explicativa o independiente (la formación). A modo de ejemplo, en una acción de formación profesional, la variable independiente es la provisión de formación y la variable dependiente el cambio en el empleo de los participantes, o el cambio en el salario.
El análisis de regresión
3.2.5. El análisis de información en los métodos cuantitativos
Diferencia entre relación causal y correlación
Una correlación es una medida o grado de relación entre dos variables. Un conjunto de datos puede ser positivamente correlacionado, negativamente correlacionado o no correlacionado del todo.
Una relación causal entre dos eventos existe si la ocurrencia del primero causa el otro. El primer evento es llamado la causa y el segundo evento es llamado efecto.
3.2.5. El análisis de información en los métodos cuantitativos
Es un conjunto de datos que recoge observaciones de un fenómeno a lo largo del tiempo, se conoce como serie temporal.
El análisis de panel
3.2.5. El análisis de información en los métodos cuantitativos
Utiliza series de tiempo, incorporando información de variables y unidades de estudio durante un periodo determinado. Incluye una muestra de información de agentes de interés (personas, empresas) para un lapso.
El análisis de panel
El análisis de panel
El objetivo es detectar los cambios en los individuos a través del tiempo, atribuibles a su participación en una acción de formación.
Esta técnica permite realizar un análisis dinámico al incorporar la dimensión temporal de los datos, lo que enriquece el estudio, particularmente en períodos de grandes cambios.
3.2.5. El análisis de información en los métodos cuantitativos
Son útiles para identificar aquellos factores que, al no estar asociados con el impacto, no deben ser tomados en cuenta en diseños futuros de intervenciones.
Esta prueba indica si el valor de un determinado indicador de impacto es estadísticamente significativo para explicar el impacto obtenido.
Una vez calculados el promedio, el análisis de regresión o aplicada la técnica de panel, se deben realizar las pruebas de significación estadística de los valores obtenidos.
3.2.5. El análisis de información en los métodos cuantitativos
Como ya se mencionó, en la variación de un determinado indicador, pueden concurrir efectos no necesariamente asociados a la acción de formación. Por ejemplo, un joven que ha recibido información cuando la economía está en auge, tenderá a encontrar empleo con una facilidad similar a otro que no lo haya hecho. El efecto no atribuible al aprendizaje se produce por la alta demanda laboral que tienen las empresas en momentos de crecimiento, cuando la tasa de desempleo tiende a bajar.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
Es un tipo de evaluación en la que las fuentes de información incluyen datos no numéricos y además la relación de causalidad entre la acción de formación se comprueba sin conformar un grupo de control. Es decir, no requiere de un escenario contrafactual. Por tal razón no se establecen controles experimentales en la acción evaluada.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
Otras características del método cualitativo son:
04
03
01
02
Identifica una serie de eventos o acciones que conducen a un resultado en particular y establece su relación de causalidad
Describe las condiciones iniciales de los beneficiarios y luego identifica una serie de eventos que ocurre en diferentes momentos y que conducen al resultado o impacto
No utiliza variables preestablecidas, por lo tanto los resultados no se limitan a tales variables
No incorpora evidencia sobre individuos que no recibieron los beneficios del programa
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
Otras características del método cualitativo son:
08
07
05
06
En lugar de buscar aislar los factores externos a la intervención, este método los incorpora para observar las interacciones que ocurren entre los participantes y la formación, en su contexto geográfico, cultural, organizacional e histórico
Brinda la oportunidad de obtener evidencia de aquellos impactos que no pudieron anticiparse al inicio del programa o la evaluación (positivos y negativos)
En lugar de utilizar un experimento (comparación) para determinar la causalidad, el método cualitativo emplea la técnica del trabajo de campo que permite al evaluador observar y/o interactuar con los participantes de la formación en el terreno.
Asume una concepción “física” de causalidad; que es la relación entre dos eventos en el mundo natural a diferencia de la definición de causalidad que utiliza el método cuantitativo
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
Algunas de las preguntas que se formulan en esta evaluación son:
¿Cuáles fueron los mecanismos que generaron estos impactos?
¿Cuál es el contexto o entorno en el cual se generaron estos impactos?
¿Qué significado tienen estos impactos para los beneficiarios?
¿Cuáles impactos produjo el programa?
La utilización de los métodos cualitativos es creciente y se les aplica también en forma combinada con métodos cuantitativos.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
El estudio de casos
Es uno de los métodos cualitativos más empleados en acciones de formación dirigidas a colectivos de la economía informal y rural.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
El propósito de los estudios de casos
examinan sus necesidades y determinan hasta qué punto éstas fueron satisfechas efectivamente por la intervención
Es examinar el efecto del programa en los beneficiarios para lo cual se describen y definen los beneficiarios del programa
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
El evaluador
Debe conocer qué piensan los beneficiarios y cuáles son sus percepciones acerca de sus necesidades y el impacto del programa . Con este propósito, en un estudio de caso, se utilizan múltiples técnicas de recolección de información que incluyen la observación y el análisis de documentos elaborados a partir de las observaciones.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
Otra técnica utilizada es la del cambio más significativo, una forma de seguimiento y evaluación participativa que involucra a los interesados en la acción evaluada, tanto en el análisis de los cambios, como en el de los datos recogidos.
3.3. ¿En qué consiste la evaluación de impacto con métodos cualitativos?
todo el equipo puede estar de acuerdo y centrar su atención en el impacto más significativo del programa.
sobre el valor de estos cambios y seleccionan los más importantes. Cuando la técnica se lleva a cabo con éxito
El proceso implica la recopilación de cambios significativos, algunos grupos de personas debaten en profundidad
3.3.1. Recolección de información cualitativa
El papel del evaluador cambia desde un énfasis en el análisis de variables previamente establecidas, al análisis del comportamiento de los participantes en el programa de formación y desarrollo de competencias.
La información cualitativa se obtiene en el lugar donde se han realizado las acciones del proyecto o actividad de formación. Utilizan la observación directa, las entrevistas y la revisión documental en forma combinada; pueden tener una amplia cobertura o también utilizar técnicas de muestreo.
3.3.1. Recolección de información cualitativa
Este enfoque es especialmente apto para conocer el impacto de los proyectos sociales y de lucha contra la pobreza, como lo son los de formación y desarrollo de competencias, en las cuales el comportamiento, expectativas y motivaciones de los beneficiarios son factores fundamentales a analizar. Permite una mejor comprensión de las incidencias económicas, políticas y culturales que afectan la ejecución de la actividad y que inciden en el cambio del bienestar de los participantes.
3.3.2. Análisis de la información cualitativa
Utiliza principalmente la técnica de análisis de contenidos que consiste en la
De los patrones observados en la información cualitativa, así como los mecanismos y relaciones de casualidad que este tipo de información permite identificar.
Descripción
Interpretación
Examen
3.3.2. Análisis de la información cualitativa
El análisis de contenidos
Puede ser efectuado con un enfoque temático en el cual un determinado concepto es seleccionado para el estudio y se revisa la frecuencia con que dicho concepto se presenta el texto.
3.3.2. Análisis de la información cualitativa
Los códigos son usualmente palabras escogidas para representar una opinión, sensación o comportamiento. Seleccionar un buen índice de palabras es crucial para mantener la representatividad de los datos.
Utilizar formas de codificación para procesar datos cualitativos y de este modo, poder aplicar herramientas cuantitativas, es uno de los mecanismos de tratamiento de la información obtenida en el terreno.
3.3.2. Análisis de la información cualitativa
Esta opción, en su forma básica, es la misma que se encuentra en las encuestas de satisfacción con conceptos como:
medianamente satisfecho
satisfecho
no satisfecho
inconforme
3.3.2. Análisis de la información cualitativa
Establecer estas categorías siempre tiene riesgos estadísticos por
Por ello se sugiere que este tipo de categorías estén revisadas y validadas estadísticamente de forma previa, lo que supone un período de experiencia y adaptación.
3.3.2. Análisis de la información cualitativa
Una forma reciente de codificar información en la evaluación cualitativa es hacerlo a partir del material recolectado y con el apoyo de un software para procesamiento de textos, que puede identificar los conceptos o palabras más frecuentemente usadas y de este modo facilitarlas como elementos de análisis de comparación.
3.3.2. Análisis de la información cualitativa
Una aplicación de este enfoque se puede realizar con la trascripción a un procesador de texto de las entrevistas a participantes o a interesados claves en el proyecto, o mediante el uso de documentos que relaten los estudios de casos.
Hoy en día se encuentran disponibles herramientas informáticas libres como el Wordle para crear una nube de palabras cuyo tamaño es proporcional a la frecuencia con que aparecen en el texto.
3.3.2. Análisis de la información cualitativa
De modo complementario el análisis relacional también recurre a la identificación de conceptos en los textos levantados del terreno, pero además de la frecuencia, busca determinar las relaciones existentes entre los conceptos seleccionados.
3.3.2. Análisis de la información cualitativa
En el gráfico siguiente se inserta la nube de palabras que resulta del texto sobre indicadores. Se invita a analizar la nube como ejemplo de aplicación.
3.4. ¿Por qué es importante combinar los métodos cuantitativos y cualitativos para evaluar el impacto de la formación?
La formación y desarrollo de competencias tienen impactos sociales; su realización regular y permanente, hace recomendable que la evaluación sea una práctica habitual y que los métodos cualitativos se combinen con los cuantitativos, sin comprometer la aplicabilidad y practicidad de las herramientas.
3.4. ¿Por qué es importante combinar los métodos cuantitativos y cualitativos para evaluar el impacto de la formación?
A continuación se resumen las principales características de tales métodos:
3.5. ¿Cómo se analizan la eficacia y eficiencia?
Este análisis completa la evaluación de impacto ya que permite conocer:
Si el impacto fue conseguido (eficacia)
01
Si el impacto generado justifica el costo de la acción (eficiencia)
02
Si pueden existir alternativas más eficaces y eficientes para lograr el mismo impacto.
03
3.5. ¿Cómo se analizan la eficacia y eficiencia?
La eficacia
De una acción está dada por el grado en que se cumplieron los objetivos previstos en su diseño. Usualmente se recurre a una forma de planificación como el marco lógico, en el cual se establece la jerarquía de objetivos:
Metas y actividades
Inmediatos
Específicos
General
3.5. ¿Cómo se analizan la eficacia y eficiencia?
Para cada uno de los objetivos previstos se analiza la eficacia de la acción que es evaluada, obteniendo un índice general de eficacia mediante una ponderación de cada uno de los índices por objetivo evaluado.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
3.5. ¿Cómo se analizan la eficacia y eficiencia?
El impacto
Durante los cuatro años de funcionamiento es diferente y en el cuarto año, es cero. Es posible que haya habido otras acciones de formación y que otras personas desarrollaran competencias logrando la misma tasa de inserción laboral que el grupo de participantes.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
La tasa de empleo
Va decreciendo en el tiempo, lo cual envía un mensaje sobre el programa y las competencias que está desarrollando, o sobre el agotamiento del sector en la generación de nuevos puestos de trabajo. Estas son situaciones que surgen durante las evaluaciones y que requieren la utilización de métodos-combinados.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
El indicador de eficacia se obtiene dividiendo el valor logrado sobre la meta de acceso al empleo que se había previsto: 90%, tanto para el grupo de participantes como para el grupo de control; el impacto es la diferencia del indicador entre los dos grupos. En el ejemplo de arriba hay un impacto positivo de 16,7% en la eficacia de esta formación.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
En el caso anterior solo se revisó el impacto y la eficacia para un objetivo. El de acceso al empleo. Normalmente las acciones formativas se trazan otros objetivos, como el incremento de ingreso o la continuidad educativa; el análisis de eficacia se realiza de forma similar pudiéndose efectuar una comparación por cada objetivo, como se presenta a continuación:
3.5. ¿Cómo se analizan la eficacia y eficiencia?
3.5. ¿Cómo se analizan la eficacia y eficiencia?
La eficiencia
Analiza el volumen de recursos gastados para alcanzar las metas. Una actividad eficiente hace un uso óptimo de los recursos y, por tanto, tiene el menor costo posible.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
Mientras que el indicador de eficacia es usualmente una tasa porcentual, en el análisis de eficiencia se utilizan indicadores de costo-beneficio o de costo-eficiencia.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
El análisis de la eficiencia
Es utilizado para comparar entre diferentes alternativas de acciones de formación y se puede realizar ex ante o ex post. En general, siempre que se deban revisar opciones de inversión para emprender acciones o reorientarlas, la búsqueda de un costo eficiente es requerida y este tipo de análisis la facilita.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
Ejemplo
Analizar la opción más eficiente, entre dos, para desarrollar un programa de formación en una comunidad rural apartada. Una, es la de construir un centro de formación, dotar sus instalaciones, contratar y formar personal; la otra, consiste en utilizar unidades móviles con un “centro itinerante” y equipos fácilmente transportables. Es un típico caso en el que, mediante el cálculo de los costos, se puede hacer una evaluación ex ante de las alternativas e implementar la que se muestre más eficiente.
3.5. ¿Cómo se analizan la eficacia y eficiencia?
Para evaluar la eficiencia existen dos tipos de análisis:
El costo-impacto
El costo-beneficio
El costo-efectividad
Análisis costo-beneficio
Se expresa como una relación entre los beneficios obtenidos y los costos incurridos y utiliza como unidad de medida el dinero. En general, en este tipo de análisis se busca una relación beneficio-costo mayor a uno, justamente cuando los beneficios son mayores que los costos.
Análisis costo-beneficio
Dentro del análisis costo-beneficio se utiliza el indicador conocido como: Retorno de la inversión (ROI) para medir el rendimiento de las inversiones que realizan las empresas en capacitación.
Análisis costo-beneficio
Dentro de los costos se incluyen: pagos a los docentes, salario de los trabajadores separados de sus funciones mientras atendían el curso, el costo de utilizar las instalaciones y el de los demás insumos identificados. Como beneficios se toman la disminución de accidentes laborales, la reducción de productos imperfectos, la disminución de accidentes laborales, la mejora en productividad.
Análisis costo-beneficio
Los beneficios y los costos
Son traducidos a un valor monetario por los interesados en su medición. Normalmente es fácil calcular estos valores, pero en algunos casos se requiere acuerdo, por ejemplo, sobre cómo medir la variación en la productividad y sobre qué base valorarla.
Análisis costo-beneficio
Una vez sumados los valores de beneficios y costos se puede optar por compararlos directamente o por calcular su valor presente neto si el tiempo de análisis lo amerita.
Análisis costo-beneficio
ROI
Se ha utilizado para medir el impacto de capacitación en experiencias de aplicación del Sistema Integral de medición y Avance de la Productividad SIMAPRO.
SIMAPRO y un caso de aplicación de la evaluación de impacto
El Sistema Integral de Medición y Avance de la Productividad tiene el propósito de mejorar la eficiencia, la calidad y las condiciones de trabajo a través del involucramiento y compromiso del personal operario, mandos medios y la gerencia, con una metodología participativa, integral e incluyente. Actualmente hay experiencias de aplicación en México, Chile República Dominicana y Cuba, en diferentes sectores productivos: azucarero, turismo y auto partes. En el caso de Chile, la evaluación de impacto en empresas del sector frutícola exportador, comprobó una disminución del 30,6% en el total de las jornadas laborales; los resultados promedio de las mediciones para productividad y calidad para los grupos SIMAPRO alcanzaron un 28% sobre el promedio, en contraste con los grupos no SIMAPRO que sólo fue del 1%. Las empresas que aplicaron SIMAPRO reportaron una rotación del grupo participante muy baja y en dos de ellas fue de 0%. En una de las empresas los accidentes disminuyeron 49% y los días perdidos en 35,5%. Con esta metodología de gestión una de las empresas piloto tuvo un retorno de la inversión del 182,6% según análisis financiero ROI. En términos generales, la experiencia de empresas exportadoras de fruta fresca indica que el retorno sobre la inversión (ROI) de la implementación del sistema está en rangos de entre 82% y 279%
Análisis costo-beneficio
Otro indicador que se suele utilizar es la Tasa Interna de Retorno (TIR) que define un valor de referencia por encima del cual se considera rentable el programa. Esta tasa hace que el valor presente de un flujo de beneficios y costos, se igual a cero.
Análisis costo-beneficio
TIR
Se compara con tasas de interés de otras inversiones alternativas; normalmente se usa para decidir a favor de aquélla que ofrezca una tasa de retorno mayor.
Análisis costo- efectividad
Es la relación entre los impactos obtenidos (valorados en dinero) y el valor presente de los costos, también en dinero, en que incurrió la actividad desarrollada.
El costo efectividad incluye la posibilidad de traducir ciertos impactos sociales a valores expresados en moneda corriente.
Análisis costo- efectividad
También permite realizar comparaciones entre impactos obtenidos con diferentes alternativas de acción. Las decisiones que se toman con base en esta relación favorecen a los programas más costo-efectivos para ser ejecutados nuevamente o para tomar sus modelos de ejecución como referencia en otros programas de formación.
Análisis costo-impacto
Una relación muy útil consiste en comparar el valor presente de los costos con el valor del impacto obtenido, dando una idea del valor de cada unidad de impacto generado. Es adecuada para realizar comparaciones entre proyectos terminados (ex post) o alternativas de inversión bajo estudio (ex ante).
Análisis costo-impacto
Se puede calcular, por ejemplo, que si la reducción en la tasa de desempleo provocada por una acción de formación fue del 12% con unos costos totales actualizados de $150.000, entonces el costo por cada punto porcentual de reducción del desempleo fue de $12.500. De nuevo, esta cifra es valiosa en tanto comparable con otras alternativas de acción o de utilización de los fondos invertidos en el programa.
Análisis costo-impacto
Se alcanzaron los objetivos previstos
En la práctica, se encuentran evaluaciones que utilizan de forma conjunta los diferentes indicadores de eficacia y eficiencia. Como corolario de los métodos de evaluación, no hay que perder de vista que la evaluación de impacto es útil para comprobar si:
Los participantes en las acciones mejoraron su bienestar (ingresos, empleabilidad, competitividad)
Las políticas públicas impulsadas por los gobiernos, lograron su cometido en la población beneficiaria
El uso de los fondos invertidos fue el mejor en términos de eficiencia
Existen alternativas de costo menor para lograr los mismos impactos
Material de apoyo a este módulowww.oitcinterfor.org
Conocimiento asociado
Experiencias y aplicaciones
1. Grado de ocupación de los egresados de aprendizaje dual. SENATI. Perú, 2001.
1. Plan anual de evaluación de la calidad, impacto, eficacia y eficiencia del conjunto del subsistema de formación profesional para el empleo. FTFE. España, 2011.
2. Evaluación del impacto de la formación profesional industrial SENATI. Perú, 2009.
3. Informe de Evaluación de Impacto para el Programa Nacional de Formación Continua Área Técnica. INSAFORP. El Salvador, 2011.
2. Evaluación de contexto. Estructura temática y de contenidos. FTFE. España, 2011.
3. Encuesta a participantes en acciones de formación en el ámbito de la empresa. FTFE. España, 2011.
4. Informe de evaluación. Sistema Nacional de Formación para el Trabajo. SENA. Colombia, 2009.
4. Las TIC en educación: Una metodología para valorar impacto social y condiciones de equidad. Fundación Omar Dengo. Costa Rica, 2002.
5. Evaluación de impacto del programa jóvenes en acción. DNP-SENA. Colombia, 2008.
Material de apoyo a este módulowww.oitcinterfor.org
Conocimiento asociado
Experiencias y aplicaciones
6. Evaluación de impacto del programa jóvenes rurales emprendedores. SENA. Colombia, 2010.
5. Documento aportes metodológicos a la comunidad virtual. MTEySS. Argentina, 2011.
7. Evaluación de impacto de la formación profesional modalidades: habilitación, complementación y formación continua en centros. INFOTEP. República Dominicana, 2006.
6. Instrumentos diseñados para la evaluación de la política de formación continua. MTEySS. Argentina, 2011.
8. Evaluación de impacto del proyecto piloto jóvenes emprendedores rurales. Argentina, 2007.
7. Documento metodológico contribución de SENAI. Brasil, 2011.
9. Programa de acompañamiento de egresos. Evaluación 2008-2010. SENAI. Brasil.
8. Formulario para la evaluación de impacto de asistencia técnica en empresas. INTECAP. Guatemala, 2011.
10. Evaluación de medio término. Programa educación técnica productiva. FAUTAPO. Bolivia, 2010.
9. Formulario para evaluación de impacto de la formación profesional. INTECAP. Guatemala, 2011.
11. La evaluación de impacto en la práctica. Segunda edición. Banco Mundial, 2016.
Gracias