Módulo 3: Métodos de avaliação
¿Como avaliar?
Módulo 3: Métodos de avaliação
Este módulo trata dos aspectos técnicos da avaliação de impacto; Propõe o que são indicadores de impacto e como são construídos e descreve os métodos de avaliação quantitativa e qualitativa com suas respectivas características, etapas e requisitos técnicos.
Metas
Identificar
Distinguir
entre os diferentes métodos de avaliação.
a importância e as características do uso de indicadores na avaliação.
02
01
Lidar com
Entender
as características da eficácia e análise da eficiência.
a importância de sua aplicação em função das características dos programas a serem avaliados.
03
04
Módulo 3: Métodos de avaliação
¿Como avaliar o impacto do treinamento?
¿Por que é importante combinar métodos quantitativos e qualitativos para avaliar o impacto do treinamento?
¿Quais são os indicadores e como são construídos na avaliação de impacto?
¿O que é avaliação de impacto com métodos qualitativos?
¿O que é avaliação de impacto com métodos quantitativos?
¿Como a eficácia e a eficiência são analisadas?
Módulo 3: Métodos de avaliação
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
3.2. ¿O que é avaliação de impacto com métodos quantitativos?
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
3.4. ¿Por que é importante combinar métodos quantitativos e qualitativos para avaliar o impacto do treinamento?
3.5. ¿Como a eficácia e a eficiência são analisadas?
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
Um indicador
É uma comparação entre dois ou mais tipos de dados que serve para elaborar uma medida quantitativa ou uma observação qualitativa. Essa comparação produz um valor, uma magnitude ou um critério, que tem significado para quem o analisa.
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
a taxa de emprego
Os indicadores
eles são usados em vários campos. Um exemplo básico de indicador é a porcentagem. Outros indicadores mais comuns podem ser:
a taxa de desemprego
a taxa de atividade
a taxa de informalidade
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
Uma das vantagens do uso de indicadores é a objetividade e comparabilidade; eles representam uma linguagem comum que fornece uma medida padronizada.
Eles são ferramentas úteis
Porque permitem avaliar diferentes magnitudes, como, por exemplo, o grau de cumprimento de um objetivo ou o grau de satisfação de um participante do treinamento.
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
Os indicadores são geralmente construídos com informações quantitativas, entretanto, e cada vez mais, indicadores qualitativos são utilizados.
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
Um indicador
Deve ser construído com um critério claro de utilidade, para garantir a disponibilidade dos dados e resultados mais relevantes no menor tempo possível e com menor custo.
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
Resultados
Os indicadores podem descrever
Nas pessoas, empresas e sociedade
Efeitos
Impactos
3.1.1. ¿Que tipos de indicadores são usados e para quê?
Específico
Os indicadores devem garantir que são boas medidas de desempenho do programa, por isso a sigla EMARF (Específico, Mensurável, Atribuível, Realístico e Focado), portanto, os indicadores devem ser
Mensurável
Atribuível
Realista
Focado
3.1.1. ¿Que tipos de indicadores são usados e para quê?
Tipos de indicadores
04
03
01
02
Resultado ou indicadores de produto
Indicadores de gestão
Indicadores de efeito
Indicadores de impacto
Indicadores de gestão
Exemplos de indicadores de gestão:
Eles são usados para monitorar os processos, entradas e atividades que são executados a fim de alcançar os resultados específicos de uma política ou programa
Resultado ou indicadores de produto
Relacionam os bens e serviços gerados pela ação formativa; Resultam das atividades de transformação dos insumos e geram aumento nos produtos aplicáveis à formação.
Exemplos de indicadores de resultado:
Indicadores de efeito
Referem-se às consequências imediatas da formação e desenvolvimento de competências nas pessoas, empresas ou sociedade. Eles representam o encontro das ações de capacitação com a demanda dos participantes.
Alguns indicadores de efeitos:
Indicadores de impacto
Alguns indicadores de impacto:
Eles representam a mudança esperada na situação dos participantes assim que o treinamento ocorrer. Geralmente podem ser medidos em períodos de médio ou longo prazo, pois é necessário um período de tempo para que a melhoria na renda, nas condições de trabalho, na empregabilidade e nos demais impactos mencionados no módulo 1 “Contexto” possam ser medidos.
Indicadores de impacto
- Eles expressam as mudanças a partir das ações de treinamento. Devem permitir a comparação com a situação anterior à implementação do programa e nos sucessivos cortes avaliativos programados. Para isso, é necessário ter a chamada “linha de base” e os momentos de avaliação intermediária, final e de impacto.
- Refletem as mudanças observadas na população-alvo (salários, emprego, proteção social), bem como as situações expressas qualitativamente (satisfação, saúde, bem-estar).
- São definidos a partir do desenho das ações de formação e, desta forma, garantem a sua solidez e fiabilidade.
Indicadores de impacto
- Devem buscar o retorno econômico do treinamento de forma a demonstrar a utilidade do esforço realizado.
- Devem ser válidos, ou seja, para verificar efetivamente o que se pretende medir.
- Eles devem ser confiáveis. Seu valor não depende de quem o mede, pois as variações que reflete são efetivamente encontradas com a realidade.
- Podem ser quantitativos e qualitativos, estes últimos são baseados na percepção ou grau de convicção do participante sobre uma determinada situação.
3.1.1. ¿Que tipos de indicadores são usados e para quê?
Na avaliação de impacto, são utilizados métodos quantitativos e qualitativos, que não são métodos exclusivos e costumam ser usados em combinação, dependendo das características do programa a ser avaliado, do tipo de participantes e da abordagem de avaliação desenhada.
3.1.1. ¿Que tipos de indicadores são usados e para quê?
Experimental
Métodos qualitativos
Semi-experimental
Não experimental
Avaliação de impacto
Estudo de casos
Métodos qualitativos
Análise contextual
3.1.1. ¿Que tipos de indicadores são usados e para quê?
As características operacionais do programa que está sendo avaliado
Para escolher um método de avaliação de impacto, leva-se em consideração
Selecionar os beneficiários e os prazos de implantação do programa.
Seus recursos disponíveis
Seus critérios de elegibilidade
3.1.1. ¿Que tipos de indicadores são usados e para quê?
Abordagens complementares podem ser usadas na avaliação de impacto para responder a questões específicas de causa e efeito, dentro das quais métodos mistos podem ser aplicados.
Métodos mistos
Métodos mistos
Para a abordagem de métodos mistos, três projetos são definidos:
Abordagens de métodos mistos combinam métodos quantitativos e qualitativos, ajudam a gerar hipóteses e focam questões de pesquisa antes de coletar dados quantitativos e também servem para apresentar novas perspectivas e percepções sobre o desempenho do programa durante e após a implementação.
1. Paralelo convergente
2. Explicação sequencial
3. Sequencial exploratório
3.2. O que é avaliação de impacto com métodos quantitativos?
O método quantitativo
Procura verificar a relação causal entre a ação formativa e os seus impactos, para o efeito, utiliza as informações contidas nos objetivos do programa e, com base nas informações recolhidas, estabelece o grau de cumprimento dos objetivos, através de um indicador.
Por ejemplo
3.2. O que é avaliação de impacto com métodos quantitativos?
nas condições que foram estabelecidas como objetivos.
às ações formativas realizadas, os participantes do programa vivenciaram as mudanças
A medição do impacto deve corroborar que, devido a
3.2. O que é avaliação de impacto com métodos quantitativos?
O gráfico a seguir representa a lógica implícita na avaliação de impacto; a situação dos participantes muda entre o início e o fim da execução da ação formativa. O impacto é a diferença entre a situação "com treinamento" e "sem treinamento". A questão central que exemplifica essa abordagem é: Qual teria sido a situação dos participantes se não tivessem recebido o treinamento?
3.2. O que é avaliação de impacto com métodos quantitativos?
3.2. O que é avaliação de impacto com métodos quantitativos?
Dentro das avaliações de impacto com métodos quantitativos, existem três tipos de design que podem ser integrados para construir uma avaliação mais eficiente com base nas características de cada caso. Os designs mais comuns são
01
Experimental
02
Semi-experimental
03
Não experimental
3.2.1. Design experimental
Esses modelos fazem uso de condições de "experimento" para formar o grupo participante e o grupo de controle.
As condições experimentais impõem que tanto os participantes quanto os integrantes do grupo de controle sejam escolhidos por sorteio, ou seja, com procedimento aleatório.
3.2.1. Design experimental
Essa seleção implica que aqueles que compõem o grupo de controle não são convidados a ingressar no programa.
Após a construção dos grupos, é feita a verificação da situação "antes" e "depois", por meio dos indicadores.
O impacto é estabelecido a partir das mudanças encontradas nas medidas entre o grupo de participantes em relação ao grupo controle.
3.2.1. Design experimental
Esta abordagem usa técnicas de comparação estatística para estabelecer a relação de causa-efeito entre a ação de treinamento e as mudanças que ocorreram nos participantes. Uma característica fundamental é que o impacto é medido em termos comparativos entre participantes e não participantes.
3.2.1. Design experimental
Para tanto, é utilizado um grupo semelhante (grupo controle) que não participou das ações e, portanto, nos permite isolar efeitos de fatores exógenos ao programa. Isso significa que a avaliação precisa ter certeza de que os impactos encontrados se devem exclusivamente às ações formativas e não a outro fato fora de contexto.
3.2.1. Design experimental
Para identificar o impacto das ações desenvolvidas, a medição é realizada no grupo de participantes e em um grupo de controle.
¿Para que são usados os grupos de controle?
Como é necessário fazer a comparação de populações pertencentes a um mesmo universo (por exemplo: jovens)
3.2.1. Design experimental
Este termo é utilizado para expressar a garantia de que os impactos são realmente atribuíveis à ação formativa e não teriam sido gerados se a ação não tivesse sido realizada.
A formação de um grupo de controle é realizada para estabelecer o chamado cenário contrafactual.
Os membros do grupo de controle, por definição, não devem ter participado das ações de treinamento avaliadas.
Esses grupos coincidem em suas características fundamentais, ou pelo menos naquelas consideradas críticas e que podem influenciar no impacto esperado.
3.2.1. Design experimental
Os dois grupos devem ser formados antes do início das ações e, para garantir que sejam semelhantes, os membros devem ser atribuídos através de procedimentos estatísticos.
3.2.1. Design experimental
Nesse desenho, a mensuração da (s) variável (is) de impacto (por exemplo: salário ou emprego) é realizada em ambos os grupos, uma vez que os participantes tenham recebido os benefícios da ação. Quando a variável de impacto é medida antes do início do projeto, a "linha de base" da avaliação é estabelecida. Em alguns casos, dada a dificuldade de definir a linha de base, as medidas são feitas em ambos os grupos após as intervenções e o impacto é estabelecido pela diferença encontrada.
3.2.1. Design experimental
Esses modelos precisam sustentar as condições experimentais ao longo de toda a avaliação, evitando que os integrantes do grupo de controle participem da ação formativa, gerando críticas do ponto de vista ético e político.
3.2.1. Design experimental
Embora seja um método que, em tese, garante condições “quimicamente puras” e visa reproduzir um ambiente laboratorial, na prática confere à avaliação de impacto um matiz excessivamente científico que a torna difícil de aplicar e impraticável, dissuadindo muitos atores do seu uso.
3.2.2. Desenho semi-experimental
Esse tipo de desenho, também denominado quase-experimental, também se baseia na conformação dos dois grupos, o grupo participante e o grupo controle, mas não exclui este último da participação no programa.
3.2.2. Desenho semi-experimental
Nessa abordagem, as pessoas que compõem o grupo de participantes ingressaram no programa por vontade própria e não por sorteio. A ideia é que as pessoas que vão compor o grupo de controle sejam o mais parecidas possível com aquelas que compõem o grupo de participantes. Ou seja, para formar os referidos grupos de comparação, trabalhamos a partir das variáveis centrais ou que se acredita que causam ou influenciam os resultados.
3.2.2. Desenho semi-experimental
Esses projetos podem ser executados antes-depois ou apenas depois das medições e, em alguns casos, podem ser aplicados comparando o grupo de participantes com um “grupo de controle genérico”.
Nesse caso, o grupo de comparação pode ser a população em geral ou um setor específico dela.
3.2.2. Desenho semi-experimental
A tabela a seguir mostra como os grupos de participantes e grupos de controle foram estabelecidos em várias avaliações de impacto de instituições ou programas de treinamento na região.
Critérios e métodos usados na composição do grupo de comparação em quatro estudos que avaliam o impacto dos programas de treinamento para o trabalho na América Latina
3.2.3. Projeto não experimental
Essa abordagem não utiliza grupos de controle para avaliar os impactos das ações implementadas; ou seja, só funciona com a população que participou do projeto. A não utilização de grupos de controle pode ser devido ao fato de simplesmente não estar previsto no planejamento da avaliação ou, em alguns casos, há motivos técnicos que impedem a construção dos dois grupos.
3.2.3. Projeto não experimental
É o caso da avaliação de impacto de uma política pública nacional que deve abranger toda a população ou um setor importante dela; a construção de grupos de controle por métodos experimentais significaria separar parcelas importantes da população dos benefícios das políticas.
3.2.3. Projeto não experimental
Sob esta abordagem, as comparações são feitas ao longo do tempo, chamadas de "projetos em série" que abrangem os momentos:
antes-depois
só depois
3.2.3. Projeto não experimental
Eles são chamados de séries porque cobrem séries temporais e são conhecidos como estudos longitudinais. Suas características serão determinadas pelas variáveis a serem medidas, o tipo de monitoramento necessário e o acesso a dados confiáveis antes do desenvolvimento das ações.
3.2.3. Projeto não experimental
São os mais rigorosos dentro dos não experimentais, pois, apesar de não trabalharem com grupos de controle, permitem calcular a tendência do impacto a ser analisado caso as ações implementadas não tivessem ocorrido.
Designs seriais
3.2.3. Projeto não experimental
Designs seriais
por exemplo, todos os jovens trabalhadores que se inscrevem em programas de aprendizagem.
são mais úteis quando o alvo das ações cobre uma população inteira
3.2.3. Projeto não experimental
A escolha de um método específico para a implementação da avaliação de impacto envolve um conjunto de aspectos
Políticos
À alocação de recursos econômicos e humanos.
Metodológico
Relativo
3.2.4 Coleta de informações sob a abordagem quantitativa
É uma parte sensível da avaliação, pois pode comprometer a qualidade dos dados. O tamanho da amostra e o método de coleta podem ter um alto impacto nos custos.
3.2.4 Coleta de informações sob a abordagem quantitativa
Quando se trata de intervenções de caráter público e ampla cobertura, não é possível obter as informações de cada um dos participantes, o que seria um censo, para o qual se aplicam técnicas de amostragem.
As informações devem ser obtidas, tanto do grupo de participantes quanto do grupo de controle, e devem ser elaboradas categorias claras e padronizadas para as informações coletadas.
3.2.4 Coleta de informações sob a abordagem quantitativa
É o procedimento de seleção de um subgrupo de todo o conjunto de participantes, que deve ser representativo desse conjunto. Existem técnicas estatísticas para calcular o tamanho e as características de uma amostra; a regra básica é que todos os participantes do programa tenham a mesma probabilidade de serem escolhidos na amostra.
Calcule uma amostra
3.2.4 Coleta de informações sob a abordagem quantitativa
Essas variáveis têm o objetivo de captar as características dos impactos desejados e são diferentes dependendo se os beneficiários do treinamento são pessoas, empresas ou a sociedade.
As informações coletadas na amostra constituem um conjunto de variáveis que serão analisadas para avaliar o impacto.
3.2.4 Coleta de informações sob a abordagem quantitativa
Algumas das variáveis de impacto dos programas de treinamento e desenvolvimento de habilidades são:
Variáveis de impacto nas empresas
Variáveis de impacto na sociedade
Variáveis de impacto nas pessoas
As variáveis que descrevem os impactos sociais da formação são mais difíceis de obter e quantificar, o que torna as avaliações de impacto social bastante escassas.
3.2.4 Coleta de informações sob a abordagem quantitativa
3.2.4 Coleta de informações sob a abordagem quantitativa
3.2.4 Coleta de informações sob a abordagem quantitativa
3.2.5. Análise de informação em métodos quantitativos
A informação sobre as variáveis e indicadores para a avaliação quantitativa é analisada com métodos estatísticos. As ferramentas mais utilizadas são
01
A média aritmética
02
Análise de regressão
03
A análise do painel
3.2.5. Análise de informação em métodos quantitativos
É uma medida da tendência central de várias observações. Para o seu cálculo, são tidos em consideração os valores dos indicadores para todas as observações feitas tanto nos participantes como no grupo de controlo. A média geralmente é calculada para cada um dos grupos (participantes e controle); a diferença entre as duas observações médias é o impacto do programa.
A média aritmética ou média
A média aritmética ou média
O exemplo a seguir apresenta uma avaliação da variável renda por meio de um grupo de controle, mostra as informações para os dois grupos e o cálculo da média de cada um.
A média aritmética ou média
A média ou média é definida pela soma dos dados observados dividida pelo número de observações, neste caso cinco. A diferença das duas médias é o impacto em termos absolutos: $ 272, um impacto positivo. Para dar um significado, ele se torna um indicador de porcentagem, como este:
O impacto representa um aumento de 28,39% nos salários dos que participaram do treinamento em relação aos que não participaram.
3.2.5. Análise de informação em métodos quantitativos
É uma técnica que estima o valor médio de uma variável dependente (como salário ou emprego), dados certos valores conhecidos da variável explicativa ou independente (treinamento). A título de exemplo, numa ação de formação profissional, a variável independente é a oferta de formação e a variável dependente é a alteração do emprego dos participantes, ou seja, a alteração do salário.
Análise de regressão
3.2.5. Análise de informação em métodos quantitativos
Diferença entre relação causal e correlação
Uma correlação É uma medida ou grau de relacionamento entre duas variáveis. Um conjunto de dados pode ser positivamente correlacionado, negativamente correlacionado ou nem um pouco correlacionado.
Uma relação causal entre dois eventos existe se a ocorrência do primeiro causar o outro. O primeiro evento é chamado de causa e o segundo evento é chamado de efeito.
3.2.5. Análise de informação em métodos quantitativos
É um conjunto de dados que coleta observações de um fenômeno ao longo do tempo, conhecido como série temporal.
A análise do painel
3.2.5. Análise de informação em métodos quantitativos
Utiliza séries temporais, incorporando informações de variáveis e unidades de estudo durante um determinado período. Inclui uma amostra de informações de agentes de interesse (pessoas, empresas) para um período.
A análise do painel
A análise do painel
O objetivo é detectar mudanças nos indivíduos ao longo do tempo, atribuíveis à sua participação em uma ação de treinamento.
Esta técnica permite realizar uma análise dinâmica incorporando a dimensão temporal dos dados, o que enriquece o estudo, nomeadamente em períodos de grandes variações.
3.2.5. Análise de informação em métodos quantitativos
Eles são úteis para identificar aqueles fatores que, por não estarem associados ao impacto, não devem ser levados em consideração em projetos de intervenção futuros.
Este teste indica se o valor de um determinado indicador de impacto é estatisticamente significativo para explicar o impacto obtido.
Uma vez calculada a média, aplicada a análise de regressão ou a técnica de painel, devem ser realizados os testes de significância estatística dos valores obtidos.
3.2.5. Análise de informação em métodos quantitativos
Como já mencionado, na variação de um determinado indicador, podem haver efeitos não necessariamente associados à ação de treinamento. Por exemplo, um jovem que recebeu informações quando a economia estava em alta tende a encontrar emprego com facilidade semelhante a outro que não recebeu. O efeito não atribuível à aprendizagem é produzido pela alta demanda de mão-de-obra que as empresas apresentam em tempos de crescimento, quando a taxa de desemprego tende a cair.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
É um tipo de avaliação em que as fontes de informação incluem dados não numéricos e também se verifica a relação causal entre a ação formativa sem formar um grupo de controle. Ou seja, não requer um cenário contrafactual. Por este motivo, não são estabelecidos controles experimentais na ação avaliada.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
Outras características do método qualitativo são:
04
03
01
02
Descreve as condições iniciais dos beneficiários e, em seguida, identifica uma série de eventos que ocorrem em momentos diferentes e que levam ao resultado ou impacto
Identifique uma série de eventos ou ações que levam a um determinado resultado e estabeleça sua relação causal
Não utiliza variáveis pré-estabelecidas, portanto os resultados não se limitam a tais variáveis
Não incorpora evidências sobre indivíduos que não receberam benefícios do programa
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
Outras características do método qualitativo são:
08
07
05
06
Em vez de procurar isolar os fatores externos à intervenção, este método incorpora-os para observar as interações que ocorrem entre os participantes e a formação, no seu contexto geográfico, cultural, organizacional e histórico.
Em vez de usar um experimento (comparação) para determinar a causalidade, o método qualitativo emprega a técnica de trabalho de campo que permite ao avaliador observar e / ou interagir com os participantes do treinamento no campo.
Ele assume uma concepção "física" de causalidade; que é a relação entre dois eventos no mundo natural em oposição à definição de causalidade que usa o método quantitativo
Oferece a oportunidade de obter evidências desses impactos que não poderiam ser previstos no início do programa ou avaliação (positivos e negativos)
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
Algumas das perguntas que são feitas nesta avaliação são:
Qual é o contexto ou ambiente em que esses impactos foram gerados?
¿Quais foram os mecanismos que geraram esses impactos?
¿Qual o significado desses impactos para os beneficiários?
¿Que impactos o programa produziu?
O uso de métodos qualitativos está aumentando e também é aplicado em combinação com métodos quantitativos.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
O estudo de caso
É um dos métodos qualitativos mais utilizados nas ações de formação dirigidas a grupos da economia informal e rural.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
O objetivo dos estudos de caso
examinar suas necessidades e determinar até que ponto foram efetivamente atendidas pela intervenção
É para examinar o efeito do programa sobre os beneficiários para os quais os beneficiários do programa são descritos e definidos
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
O avaliador
Você precisa saber o que os beneficiários pensam e quais são suas percepções sobre suas necessidades e o impacto do programa. Para tanto, em um estudo de caso, são utilizadas múltiplas técnicas de coleta de informações que incluem a observação e análise de documentos feitos a partir das observações.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
Outra técnica utilizada é a da mudança mais significativa, uma forma de monitoramento e avaliação participativa que envolve os interessados na ação avaliada, tanto na análise das mudanças quanto na análise dos dados coletados.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
toda a equipe pode concordar e focar no impacto mais significativo do programa.
sobre o valor dessas mudanças e selecione o mais importante. Quando a técnica é realizada com sucesso
O processo envolve a coleta de mudanças significativas, alguns grupos de pessoas discutem em profundidade
3.3.1. Coleta de informações qualitativas
O papel do avaliador muda de uma ênfase na análise de variáveis previamente estabelecidas, para a análise do comportamento dos participantes do programa de treinamento e desenvolvimento de competências.
A informação qualitativa é obtida no local onde foram realizadas as ações do projeto ou atividade formativa. Eles usam observação direta, entrevistas e revisão documental em combinação; podem ter ampla cobertura ou também utilizar técnicas de amostragem.
3.3.1. Coleta de informações qualitativas
Esta abordagem é especialmente adequada para compreender o impacto de projetos sociais e de combate à pobreza, como a formação e o desenvolvimento de competências, em que o comportamento, as expectativas e as motivações dos beneficiários são fatores fundamentais a serem analisados. Permite um melhor entendimento dos incidentes econômicos, políticos e culturais que afetam a execução da atividade e que afetam a mudança no bem-estar dos participantes.
3.3.2. Análise de informação qualitativa
Utiliza principalmente a técnica de análise de conteúdo que consiste na
Dos padrões observados nas informações qualitativas, bem como dos mecanismos e relações de chance que este tipo de informação permite identificar.
Descrição
Interpretação
Exame
3.3.2. Análise de informação qualitativa
Análise de conteúdo
Pode ser realizada com uma abordagem temática em que determinado conceito é selecionado para estudo e é revista a frequência com que tal conceito é apresentado no texto.
3.3.2. Análise de informação qualitativa
Os códigos são geralmente palavras escolhidas para representar uma opinião, sentimento ou comportamento. Selecionar um bom índice de palavras é fundamental para manter a representatividade dos dados.
Utilizar formas de codificação para processar dados qualitativos e, assim, poder aplicar ferramentas quantitativas é um dos mecanismos de processamento da informação obtida em campo.
3.3.2. Análise de informação qualitativa
Essa opção, em sua forma básica, é a mesma encontrada nas pesquisas de satisfação com conceitos como:
moderadamente satisfeito
satisfeito
não satisfeito
insatisfeito
3.3.2. Análise de informação qualitativa
O estabelecimento dessas categorias sempre apresenta riscos estatísticos devido a
Por esse motivo, sugere-se que este tipo de categorias seja revisado e validado estatisticamente com antecedência, o que implica um período de experiência e adaptação.
3.3.2. Análise de informação qualitativa
Uma forma recente de codificar a informação na avaliação qualitativa é fazê-la a partir do material coletado e com o apoio de um software de processamento de texto, que pode identificar os conceitos ou palavras mais utilizados e assim facilitá-los como elementos de análise de comparação.
3.3.2. Análise de informação qualitativa
Uma aplicação dessa abordagem pode ser feita com a transcrição para um processador de texto das entrevistas com os participantes ou principais interessados no projeto, ou por meio do uso de documentos que relacionam os estudos de caso.
Hoje, ferramentas de computador gratuitas, como o Wordle, estão disponíveis para criar uma nuvem de palavras cujo tamanho é proporcional à frequência com que aparecem no texto.
3.3.2. Análise de informação qualitativa
De forma complementar, a análise relacional também recorre à identificação de conceitos nos textos levantados do solo, mas além da frequência, busca determinar as relações existentes entre os conceitos selecionados.
3.3.2. Análise de informação qualitativa
A nuvem de palavras resultante do texto nos indicadores é inserida no gráfico a seguir. Você está convidado a analisar a nuvem como um exemplo de aplicativo.
3.4. ¿Por que é importante combinar métodos quantitativos e qualitativos para avaliar o impacto do treinamento?
O treinamento e o desenvolvimento de habilidades têm impactos sociais; Seu desempenho regular e permanente recomenda que a avaliação seja uma prática comum e que os métodos qualitativos sejam combinados aos quantitativos, sem comprometer a aplicabilidade e praticidade das ferramentas.
3.4. ¿Por que é importante combinar métodos quantitativos e qualitativos para avaliar o impacto do treinamento?
As principais características de tais métodos estão resumidas a seguir:
3.5. ¿Como a eficácia e a eficiência são analisadas?
Esta análise completa a avaliação de impacto, pois permite saber:
Se o impacto foi alcançado (eficácia)
01
Se o impacto gerado justificar o custo da ação (eficiência)
02
Se pode haver alternativas mais eficazes e eficientes para atingir o mesmo impacto.
03
3.5. ¿Como a eficácia e a eficiência são analisadas?
A eficácia
Uma ação é dada pelo grau em que os objetivos definidos em seu projeto foram atingidos. Normalmente, uma forma de planejamento é usada, como a estrutura lógica, na qual a hierarquia de objetivos é estabelecida:
Objetivos e atividades
Imediato
Específico
em geral
3.5. ¿Como a eficácia e a eficiência são analisadas?
Para cada um dos objetivos previstos, analisa-se a eficácia da ação avaliada, obtendo-se um índice geral de eficácia através da ponderação de cada um dos índices por objetivo avaliado.
3.5. ¿Como a eficácia e a eficiência são analisadas?
Impactos de um programa de treinamento no acesso ao emprego
3.5. ¿Como a eficácia e a eficiência são analisadas?
O impacto
Nos quatro anos de operação é diferente e no quarto ano é zero. É possível que tenham ocorrido outras ações de formação e que outras pessoas tenham desenvolvido competências alcançando o mesmo índice de colocação profissional do grupo de participantes.
3.5. ¿Como a eficácia e a eficiência são analisadas?
A taxa de emprego
Diminui com o tempo, o que passa uma mensagem sobre o programa e as competências que está desenvolvendo, ou sobre o esgotamento do setor na geração de novos empregos. São situações que surgem durante as avaliações e que requerem o uso de métodos combinados.
3.5. ¿Como a eficácia e a eficiência são analisadas?
O indicador de eficácia é obtido dividindo o valor alcançado no objetivo de acesso ao emprego previsto: 90%, tanto para o grupo de participantes como para o grupo de controlo; o impacto é a diferença do indicador entre os dois grupos. No exemplo acima, há um impacto positivo de 16,7% na eficácia desse treinamento.
3.5. ¿Como a eficácia e a eficiência são analisadas?
No caso anterior, apenas o impacto e a eficácia foram analisados para um objetivo. O do acesso ao emprego. Normalmente, as ações formativas estabelecem outros objetivos, como aumento de renda ou continuidade educacional; A análise de eficácia é realizada de forma semelhante, podendo ser feita uma comparação para cada objetivo, da seguinte forma:
3.5. ¿Como a eficácia e a eficiência são analisadas?
Diferentes impactos de um programa de treinamento e sua eficácia
3.5. ¿Como a eficácia e a eficiência são analisadas?
Eficiência
Analise o volume de recursos gastos para atingir as metas. Uma atividade eficiente aproveita ao máximo os recursos e, portanto, tem o menor custo possível.
3.5. ¿Como a eficácia e a eficiência são analisadas?
Embora o indicador de eficácia seja geralmente uma taxa percentual, os indicadores de custo-benefício ou custo-eficiência são usados na análise de eficiência.
3.5. ¿Como a eficácia e a eficiência são analisadas?
A análise de eficiência
É utilizado para comparar diferentes alternativas de ações de formação e pode ser realizado ex ante ou ex post. Em geral, sempre que as opções de investimento devem ser revistas para realizar ações ou redirecioná-las, a busca por um custo eficiente é necessária e esse tipo de análise facilita.
3.5. ¿Como a eficácia e a eficiência são analisadas?
Exemplo
Analise a opção mais eficiente, de duas, para desenvolver um programa de treinamento em uma comunidade rural remota. Uma é construir um centro de treinamento, equipar suas instalações, contratar e treinar pessoal; a outra consiste na utilização de unidades móveis com “centro itinerante” e equipamentos facilmente transportáveis. É um caso típico em que, com o cálculo dos custos, pode-se fazer uma avaliação ex ante das alternativas e implementar a que for mais eficiente.
3.5. ¿Como a eficácia e a eficiência são analisadas?
Para avaliar a eficiência, existem dois tipos de análise:
A relação custo-eficácia
O impacto do custo
O custo benefício
Análise de custo-benefício
É expressa como uma relação entre os benefícios obtidos e os custos incorridos e usa o dinheiro como unidade de medida. Em geral, esse tipo de análise busca uma relação custo-benefício maior que um, justamente quando os benefícios são maiores que os custos.
Análise de custo-benefício
Dentro da análise de custo-benefício, o indicador conhecido como: Retorno do Investimento (ROI) é utilizado para medir o desempenho dos investimentos realizados pelas empresas em treinamento.
Análise de custo-benefício
Os custos incluem: pagamentos a professores, salário de trabalhadores desligados de suas funções durante a frequência do curso, custo de uso das instalações e demais insumos identificados. Como benefícios são levados a redução de acidentes de trabalho, a redução de produtos imperfeitos, a redução de acidentes de trabalho, a melhoria da produtividade.
Análise de custo-benefício
Os benefícios e os custos
Eles são traduzidos em um valor monetário pelos interessados em sua medição. Esses valores são normalmente fáceis de calcular, mas em alguns casos é necessário acordo, por exemplo, sobre como medir a variação na produtividade e com que base avaliá-la.
Análise de custo-benefício
Uma vez somados os valores dos benefícios e custos, é possível optar por compará-los diretamente ou calcular seu valor presente líquido se o tempo de análise o justificar.
Análise de custo-benefício
ROI
Tem sido usado para medir o impacto do treinamento nas experiências de aplicação do Sistema Integral de Medição e Avanço da Produtividade SIMAPRO.
SIMAPRO e um caso de aplicação da avaliação de impacto
O Sistema Integral de Medição e Avanço da Produtividade tem como objetivo melhorar a eficiência, a qualidade e as condições de trabalho através do envolvimento e comprometimento do pessoal operacional, média gerência e gestão, com uma metodologia participativa, abrangente e inclusiva. Atualmente existem experiências de aplicação no México, Chile, República Dominicana e Cuba, em diferentes setores produtivos: açúcar, turismo e autopeças. No caso do Chile, a avaliação de impacto nas empresas do setor exportador de frutas constatou uma redução de 30,6% na jornada total de trabalho; os resultados médios das medições de produtividade e qualidade para os grupos SIMAPRO atingiram 28% acima da média, ao contrário dos grupos não SIMAPRO, que foi de apenas 1%. As empresas que aplicaram o SIMAPRO relataram uma rotatividade muito baixa do grupo participante e em duas delas foi de 0%. Em uma das empresas, os acidentes diminuíram 49% e os dias perdidos 35,5%. Com esta metodologia de gestão, uma das empresas piloto teve um retorno do investimento de 182,6% segundo a análise financeira ROI. Em linhas gerais, a experiência das empresas exportadoras de frutas frescas indica que o retorno sobre o investimento (ROI) da implantação do sistema oscila entre 82% e 279%
Análise de custo-benefício
Outro indicador muito utilizado é a Taxa Interna de Retorno (TIR), que define um valor de referência acima do qual o programa é considerado rentável. Essa taxa torna o valor presente de um fluxo de benefícios e custos igual a zero.
Análise de custo-benefício
TIR
É comparado com as taxas de juros de outros investimentos alternativos; geralmente é usado para decidir a favor daquele que oferece uma taxa de retorno mais alta.
Análise de custo-efetividade
É a relação entre os impactos obtidos (avaliados em dinheiro) e o valor presente dos custos, também em dinheiro, incorridos pela atividade desenvolvida.
A relação custo-eficácia inclui a possibilidade de traduzir certos impactos sociais em valores expressos na moeda corrente.
Análise de custo-efetividade
Também permite comparações entre impactos obtidos com diferentes alternativas de ação. As decisões tomadas a partir dessa relação favorecem que os programas mais econômicos sejam executados novamente ou que tenham seus modelos de execução como referência em outros programas de treinamento.
Análise de impacto de custo
Uma relação muito útil consiste em comparar o valor presente dos custos com o valor do impacto obtido, dando uma ideia do valor de cada unidade de impacto gerada. É adequado para fazer comparações entre projetos concluídos (ex post) ou alternativas de investimento em estudo (ex ante).
Análise de impacto de custo
Pode-se calcular, por exemplo, que se a redução da taxa de desemprego causada por uma ação de treinamento foi de 12% com custos totais atualizados de $ 150.000, então o custo por ponto percentual de redução do desemprego foi de $ 12.500. Novamente, este valor é valioso na medida em que é comparável a outras alternativas de ação ou uso dos recursos investidos no programa.
Análise de impacto de custo
Os objetivos planejados foram alcançados
a prática, existem avaliações que utilizam os diferentes indicadores de eficácia e eficiência em conjunto. Como corolário dos métodos de avaliação, não se deve esquecer que a avaliação de impacto é útil para verificar se:
Os participantes das ações melhoraram seu bem-estar (renda, empregabilidade, competitividade)
As políticas públicas promovidas pelos governos, cumpriram sua missão junto à população beneficiária
A utilização dos recursos investidos foi a melhor em termos de eficiência
Existem alternativas de menor custo para atingir os mesmos impactos
Material de apoio para este módulo www.oitcinterfor.org
Conhecimento associado
Experiências e aplicações
1. Grau de ocupação dos licenciados em dual learning. SENATI. Peru, 2001.
1. Plano anual de avaliação da qualidade, impacto, eficácia e eficiência de todo o subsistema de formação profissional para o emprego. FTFE. Espanha, 2011.
2. Avaliação do impacto da formação profissional industrial SENATI. Peru, 2009.
3. Relatório de Avaliação de Impacto do Programa Nacional de Formação Contínua na Área Técnica. INSAFORP. El Salvador, 2011.
2. Avaliação do contexto. Estrutura temática e de conteúdo. FTFE. Espanha, 2011.
3. Levantamento de participantes em ações de formação em ambiente empresarial. FTFE. Espanha, 2011.
4. Relatório de avaliação. Sistema Nacional de Capacitação para o Trabalho. ASSINAR. Colômbia, 2009.
4. TIC na educação: Uma metodologia para avaliar o impacto social e as condições de equidade. Fundação Omar Dengo. Costa Rica, 2002.
5. Avaliação do impacto do programa Juventude em Ação. DNP-SENA. Colômbia, 2008.
Material de apoio para este módulo www.oitcinterfor.org
Conhecimento associado
Experiências e aplicações
6. Avaliação de impacto do programa de jovens empreendedores rurais. ASSINAR. Colômbia, 2010.
5. Documentar contribuições metodológicas para a comunidade virtual. MTEySS. Argentina, 2011.
7. Avaliação de impacto das modalidades de formação profissional: habilitação, complementação e formação contínua em centros. INFOTEP. República Dominicana, 2006.
6. Instrumentos concebidos para a avaliação da política de formação contínua. MTEySS. Argentina, 2011.
8. Avaliação do impacto do projeto-piloto de jovens empresários rurais. Argentina, 2007.
7. Documento metodológico de contribuição do SENAI. Brasil, 2011.
9. Programa de acompanhamento de pós-graduação. Avaliação 2008-2010. SENAI. Brasil.
8. Formulário de avaliação de impacto da assistência técnica nas empresas. INTECAP. Guatemala, 2011.
10. Avaliação intermediária. Programa de educação técnica produtiva. FAUTAPO. Bolívia, 2010.
9. Formulário de avaliação de impacto da formação profissional. INTECAP. Guatemala, 2011.
11. Avaliação de impacto na prática. Segunda edição. Banco Mundial, 2016.
Obrigado
MODULO 3 EN PORTUGUES
Yesica Fernández Mal
Created on June 17, 2021
Start designing with a free template
Discover more than 1500 professional designs like these:
View
Math Lesson Plan
View
Primary Unit Plan 2
View
Animated Chalkboard Learning Unit
View
Business Learning Unit
View
Corporate Signature Learning Unit
View
Code Training Unit
View
History Unit plan
Explore all templates
Transcript
Módulo 3: Métodos de avaliação
¿Como avaliar?
Módulo 3: Métodos de avaliação
Este módulo trata dos aspectos técnicos da avaliação de impacto; Propõe o que são indicadores de impacto e como são construídos e descreve os métodos de avaliação quantitativa e qualitativa com suas respectivas características, etapas e requisitos técnicos.
Metas
Identificar
Distinguir
entre os diferentes métodos de avaliação.
a importância e as características do uso de indicadores na avaliação.
02
01
Lidar com
Entender
as características da eficácia e análise da eficiência.
a importância de sua aplicação em função das características dos programas a serem avaliados.
03
04
Módulo 3: Métodos de avaliação
¿Como avaliar o impacto do treinamento?
¿Por que é importante combinar métodos quantitativos e qualitativos para avaliar o impacto do treinamento?
¿Quais são os indicadores e como são construídos na avaliação de impacto?
¿O que é avaliação de impacto com métodos qualitativos?
¿O que é avaliação de impacto com métodos quantitativos?
¿Como a eficácia e a eficiência são analisadas?
Módulo 3: Métodos de avaliação
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
3.2. ¿O que é avaliação de impacto com métodos quantitativos?
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
3.4. ¿Por que é importante combinar métodos quantitativos e qualitativos para avaliar o impacto do treinamento?
3.5. ¿Como a eficácia e a eficiência são analisadas?
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
Um indicador
É uma comparação entre dois ou mais tipos de dados que serve para elaborar uma medida quantitativa ou uma observação qualitativa. Essa comparação produz um valor, uma magnitude ou um critério, que tem significado para quem o analisa.
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
a taxa de emprego
Os indicadores
eles são usados em vários campos. Um exemplo básico de indicador é a porcentagem. Outros indicadores mais comuns podem ser:
a taxa de desemprego
a taxa de atividade
a taxa de informalidade
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
Uma das vantagens do uso de indicadores é a objetividade e comparabilidade; eles representam uma linguagem comum que fornece uma medida padronizada.
Eles são ferramentas úteis
Porque permitem avaliar diferentes magnitudes, como, por exemplo, o grau de cumprimento de um objetivo ou o grau de satisfação de um participante do treinamento.
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
Os indicadores são geralmente construídos com informações quantitativas, entretanto, e cada vez mais, indicadores qualitativos são utilizados.
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
Um indicador
Deve ser construído com um critério claro de utilidade, para garantir a disponibilidade dos dados e resultados mais relevantes no menor tempo possível e com menor custo.
3.1. ¿O que são indicadores de avaliação de impacto e como são construídos?
Resultados
Os indicadores podem descrever
Nas pessoas, empresas e sociedade
Efeitos
Impactos
3.1.1. ¿Que tipos de indicadores são usados e para quê?
Específico
Os indicadores devem garantir que são boas medidas de desempenho do programa, por isso a sigla EMARF (Específico, Mensurável, Atribuível, Realístico e Focado), portanto, os indicadores devem ser
Mensurável
Atribuível
Realista
Focado
3.1.1. ¿Que tipos de indicadores são usados e para quê?
Tipos de indicadores
04
03
01
02
Resultado ou indicadores de produto
Indicadores de gestão
Indicadores de efeito
Indicadores de impacto
Indicadores de gestão
Exemplos de indicadores de gestão:
Eles são usados para monitorar os processos, entradas e atividades que são executados a fim de alcançar os resultados específicos de uma política ou programa
Resultado ou indicadores de produto
Relacionam os bens e serviços gerados pela ação formativa; Resultam das atividades de transformação dos insumos e geram aumento nos produtos aplicáveis à formação.
Exemplos de indicadores de resultado:
Indicadores de efeito
Referem-se às consequências imediatas da formação e desenvolvimento de competências nas pessoas, empresas ou sociedade. Eles representam o encontro das ações de capacitação com a demanda dos participantes.
Alguns indicadores de efeitos:
Indicadores de impacto
Alguns indicadores de impacto:
Eles representam a mudança esperada na situação dos participantes assim que o treinamento ocorrer. Geralmente podem ser medidos em períodos de médio ou longo prazo, pois é necessário um período de tempo para que a melhoria na renda, nas condições de trabalho, na empregabilidade e nos demais impactos mencionados no módulo 1 “Contexto” possam ser medidos.
Indicadores de impacto
Indicadores de impacto
3.1.1. ¿Que tipos de indicadores são usados e para quê?
Na avaliação de impacto, são utilizados métodos quantitativos e qualitativos, que não são métodos exclusivos e costumam ser usados em combinação, dependendo das características do programa a ser avaliado, do tipo de participantes e da abordagem de avaliação desenhada.
3.1.1. ¿Que tipos de indicadores são usados e para quê?
Experimental
Métodos qualitativos
Semi-experimental
Não experimental
Avaliação de impacto
Estudo de casos
Métodos qualitativos
Análise contextual
3.1.1. ¿Que tipos de indicadores são usados e para quê?
As características operacionais do programa que está sendo avaliado
Para escolher um método de avaliação de impacto, leva-se em consideração
Selecionar os beneficiários e os prazos de implantação do programa.
Seus recursos disponíveis
Seus critérios de elegibilidade
3.1.1. ¿Que tipos de indicadores são usados e para quê?
Abordagens complementares podem ser usadas na avaliação de impacto para responder a questões específicas de causa e efeito, dentro das quais métodos mistos podem ser aplicados.
Métodos mistos
Métodos mistos
Para a abordagem de métodos mistos, três projetos são definidos:
Abordagens de métodos mistos combinam métodos quantitativos e qualitativos, ajudam a gerar hipóteses e focam questões de pesquisa antes de coletar dados quantitativos e também servem para apresentar novas perspectivas e percepções sobre o desempenho do programa durante e após a implementação.
1. Paralelo convergente
2. Explicação sequencial
3. Sequencial exploratório
3.2. O que é avaliação de impacto com métodos quantitativos?
O método quantitativo
Procura verificar a relação causal entre a ação formativa e os seus impactos, para o efeito, utiliza as informações contidas nos objetivos do programa e, com base nas informações recolhidas, estabelece o grau de cumprimento dos objetivos, através de um indicador.
Por ejemplo
3.2. O que é avaliação de impacto com métodos quantitativos?
nas condições que foram estabelecidas como objetivos.
às ações formativas realizadas, os participantes do programa vivenciaram as mudanças
A medição do impacto deve corroborar que, devido a
3.2. O que é avaliação de impacto com métodos quantitativos?
O gráfico a seguir representa a lógica implícita na avaliação de impacto; a situação dos participantes muda entre o início e o fim da execução da ação formativa. O impacto é a diferença entre a situação "com treinamento" e "sem treinamento". A questão central que exemplifica essa abordagem é: Qual teria sido a situação dos participantes se não tivessem recebido o treinamento?
3.2. O que é avaliação de impacto com métodos quantitativos?
3.2. O que é avaliação de impacto com métodos quantitativos?
Dentro das avaliações de impacto com métodos quantitativos, existem três tipos de design que podem ser integrados para construir uma avaliação mais eficiente com base nas características de cada caso. Os designs mais comuns são
01
Experimental
02
Semi-experimental
03
Não experimental
3.2.1. Design experimental
Esses modelos fazem uso de condições de "experimento" para formar o grupo participante e o grupo de controle.
As condições experimentais impõem que tanto os participantes quanto os integrantes do grupo de controle sejam escolhidos por sorteio, ou seja, com procedimento aleatório.
3.2.1. Design experimental
Essa seleção implica que aqueles que compõem o grupo de controle não são convidados a ingressar no programa.
Após a construção dos grupos, é feita a verificação da situação "antes" e "depois", por meio dos indicadores.
O impacto é estabelecido a partir das mudanças encontradas nas medidas entre o grupo de participantes em relação ao grupo controle.
3.2.1. Design experimental
Esta abordagem usa técnicas de comparação estatística para estabelecer a relação de causa-efeito entre a ação de treinamento e as mudanças que ocorreram nos participantes. Uma característica fundamental é que o impacto é medido em termos comparativos entre participantes e não participantes.
3.2.1. Design experimental
Para tanto, é utilizado um grupo semelhante (grupo controle) que não participou das ações e, portanto, nos permite isolar efeitos de fatores exógenos ao programa. Isso significa que a avaliação precisa ter certeza de que os impactos encontrados se devem exclusivamente às ações formativas e não a outro fato fora de contexto.
3.2.1. Design experimental
Para identificar o impacto das ações desenvolvidas, a medição é realizada no grupo de participantes e em um grupo de controle.
¿Para que são usados os grupos de controle?
Como é necessário fazer a comparação de populações pertencentes a um mesmo universo (por exemplo: jovens)
3.2.1. Design experimental
Este termo é utilizado para expressar a garantia de que os impactos são realmente atribuíveis à ação formativa e não teriam sido gerados se a ação não tivesse sido realizada.
A formação de um grupo de controle é realizada para estabelecer o chamado cenário contrafactual.
Os membros do grupo de controle, por definição, não devem ter participado das ações de treinamento avaliadas.
Esses grupos coincidem em suas características fundamentais, ou pelo menos naquelas consideradas críticas e que podem influenciar no impacto esperado.
3.2.1. Design experimental
Os dois grupos devem ser formados antes do início das ações e, para garantir que sejam semelhantes, os membros devem ser atribuídos através de procedimentos estatísticos.
3.2.1. Design experimental
Nesse desenho, a mensuração da (s) variável (is) de impacto (por exemplo: salário ou emprego) é realizada em ambos os grupos, uma vez que os participantes tenham recebido os benefícios da ação. Quando a variável de impacto é medida antes do início do projeto, a "linha de base" da avaliação é estabelecida. Em alguns casos, dada a dificuldade de definir a linha de base, as medidas são feitas em ambos os grupos após as intervenções e o impacto é estabelecido pela diferença encontrada.
3.2.1. Design experimental
Esses modelos precisam sustentar as condições experimentais ao longo de toda a avaliação, evitando que os integrantes do grupo de controle participem da ação formativa, gerando críticas do ponto de vista ético e político.
3.2.1. Design experimental
Embora seja um método que, em tese, garante condições “quimicamente puras” e visa reproduzir um ambiente laboratorial, na prática confere à avaliação de impacto um matiz excessivamente científico que a torna difícil de aplicar e impraticável, dissuadindo muitos atores do seu uso.
3.2.2. Desenho semi-experimental
Esse tipo de desenho, também denominado quase-experimental, também se baseia na conformação dos dois grupos, o grupo participante e o grupo controle, mas não exclui este último da participação no programa.
3.2.2. Desenho semi-experimental
Nessa abordagem, as pessoas que compõem o grupo de participantes ingressaram no programa por vontade própria e não por sorteio. A ideia é que as pessoas que vão compor o grupo de controle sejam o mais parecidas possível com aquelas que compõem o grupo de participantes. Ou seja, para formar os referidos grupos de comparação, trabalhamos a partir das variáveis centrais ou que se acredita que causam ou influenciam os resultados.
3.2.2. Desenho semi-experimental
Esses projetos podem ser executados antes-depois ou apenas depois das medições e, em alguns casos, podem ser aplicados comparando o grupo de participantes com um “grupo de controle genérico”.
Nesse caso, o grupo de comparação pode ser a população em geral ou um setor específico dela.
3.2.2. Desenho semi-experimental
A tabela a seguir mostra como os grupos de participantes e grupos de controle foram estabelecidos em várias avaliações de impacto de instituições ou programas de treinamento na região.
Critérios e métodos usados na composição do grupo de comparação em quatro estudos que avaliam o impacto dos programas de treinamento para o trabalho na América Latina
3.2.3. Projeto não experimental
Essa abordagem não utiliza grupos de controle para avaliar os impactos das ações implementadas; ou seja, só funciona com a população que participou do projeto. A não utilização de grupos de controle pode ser devido ao fato de simplesmente não estar previsto no planejamento da avaliação ou, em alguns casos, há motivos técnicos que impedem a construção dos dois grupos.
3.2.3. Projeto não experimental
É o caso da avaliação de impacto de uma política pública nacional que deve abranger toda a população ou um setor importante dela; a construção de grupos de controle por métodos experimentais significaria separar parcelas importantes da população dos benefícios das políticas.
3.2.3. Projeto não experimental
Sob esta abordagem, as comparações são feitas ao longo do tempo, chamadas de "projetos em série" que abrangem os momentos:
antes-depois
só depois
3.2.3. Projeto não experimental
Eles são chamados de séries porque cobrem séries temporais e são conhecidos como estudos longitudinais. Suas características serão determinadas pelas variáveis a serem medidas, o tipo de monitoramento necessário e o acesso a dados confiáveis antes do desenvolvimento das ações.
3.2.3. Projeto não experimental
São os mais rigorosos dentro dos não experimentais, pois, apesar de não trabalharem com grupos de controle, permitem calcular a tendência do impacto a ser analisado caso as ações implementadas não tivessem ocorrido.
Designs seriais
3.2.3. Projeto não experimental
Designs seriais
por exemplo, todos os jovens trabalhadores que se inscrevem em programas de aprendizagem.
são mais úteis quando o alvo das ações cobre uma população inteira
3.2.3. Projeto não experimental
A escolha de um método específico para a implementação da avaliação de impacto envolve um conjunto de aspectos
Políticos
À alocação de recursos econômicos e humanos.
Metodológico
Relativo
3.2.4 Coleta de informações sob a abordagem quantitativa
É uma parte sensível da avaliação, pois pode comprometer a qualidade dos dados. O tamanho da amostra e o método de coleta podem ter um alto impacto nos custos.
3.2.4 Coleta de informações sob a abordagem quantitativa
Quando se trata de intervenções de caráter público e ampla cobertura, não é possível obter as informações de cada um dos participantes, o que seria um censo, para o qual se aplicam técnicas de amostragem.
As informações devem ser obtidas, tanto do grupo de participantes quanto do grupo de controle, e devem ser elaboradas categorias claras e padronizadas para as informações coletadas.
3.2.4 Coleta de informações sob a abordagem quantitativa
É o procedimento de seleção de um subgrupo de todo o conjunto de participantes, que deve ser representativo desse conjunto. Existem técnicas estatísticas para calcular o tamanho e as características de uma amostra; a regra básica é que todos os participantes do programa tenham a mesma probabilidade de serem escolhidos na amostra.
Calcule uma amostra
3.2.4 Coleta de informações sob a abordagem quantitativa
Essas variáveis têm o objetivo de captar as características dos impactos desejados e são diferentes dependendo se os beneficiários do treinamento são pessoas, empresas ou a sociedade.
As informações coletadas na amostra constituem um conjunto de variáveis que serão analisadas para avaliar o impacto.
3.2.4 Coleta de informações sob a abordagem quantitativa
Algumas das variáveis de impacto dos programas de treinamento e desenvolvimento de habilidades são:
Variáveis de impacto nas empresas
Variáveis de impacto na sociedade
Variáveis de impacto nas pessoas
As variáveis que descrevem os impactos sociais da formação são mais difíceis de obter e quantificar, o que torna as avaliações de impacto social bastante escassas.
3.2.4 Coleta de informações sob a abordagem quantitativa
3.2.4 Coleta de informações sob a abordagem quantitativa
3.2.4 Coleta de informações sob a abordagem quantitativa
3.2.5. Análise de informação em métodos quantitativos
A informação sobre as variáveis e indicadores para a avaliação quantitativa é analisada com métodos estatísticos. As ferramentas mais utilizadas são
01
A média aritmética
02
Análise de regressão
03
A análise do painel
3.2.5. Análise de informação em métodos quantitativos
É uma medida da tendência central de várias observações. Para o seu cálculo, são tidos em consideração os valores dos indicadores para todas as observações feitas tanto nos participantes como no grupo de controlo. A média geralmente é calculada para cada um dos grupos (participantes e controle); a diferença entre as duas observações médias é o impacto do programa.
A média aritmética ou média
A média aritmética ou média
O exemplo a seguir apresenta uma avaliação da variável renda por meio de um grupo de controle, mostra as informações para os dois grupos e o cálculo da média de cada um.
A média aritmética ou média
A média ou média é definida pela soma dos dados observados dividida pelo número de observações, neste caso cinco. A diferença das duas médias é o impacto em termos absolutos: $ 272, um impacto positivo. Para dar um significado, ele se torna um indicador de porcentagem, como este:
O impacto representa um aumento de 28,39% nos salários dos que participaram do treinamento em relação aos que não participaram.
3.2.5. Análise de informação em métodos quantitativos
É uma técnica que estima o valor médio de uma variável dependente (como salário ou emprego), dados certos valores conhecidos da variável explicativa ou independente (treinamento). A título de exemplo, numa ação de formação profissional, a variável independente é a oferta de formação e a variável dependente é a alteração do emprego dos participantes, ou seja, a alteração do salário.
Análise de regressão
3.2.5. Análise de informação em métodos quantitativos
Diferença entre relação causal e correlação
Uma correlação É uma medida ou grau de relacionamento entre duas variáveis. Um conjunto de dados pode ser positivamente correlacionado, negativamente correlacionado ou nem um pouco correlacionado.
Uma relação causal entre dois eventos existe se a ocorrência do primeiro causar o outro. O primeiro evento é chamado de causa e o segundo evento é chamado de efeito.
3.2.5. Análise de informação em métodos quantitativos
É um conjunto de dados que coleta observações de um fenômeno ao longo do tempo, conhecido como série temporal.
A análise do painel
3.2.5. Análise de informação em métodos quantitativos
Utiliza séries temporais, incorporando informações de variáveis e unidades de estudo durante um determinado período. Inclui uma amostra de informações de agentes de interesse (pessoas, empresas) para um período.
A análise do painel
A análise do painel
O objetivo é detectar mudanças nos indivíduos ao longo do tempo, atribuíveis à sua participação em uma ação de treinamento.
Esta técnica permite realizar uma análise dinâmica incorporando a dimensão temporal dos dados, o que enriquece o estudo, nomeadamente em períodos de grandes variações.
3.2.5. Análise de informação em métodos quantitativos
Eles são úteis para identificar aqueles fatores que, por não estarem associados ao impacto, não devem ser levados em consideração em projetos de intervenção futuros.
Este teste indica se o valor de um determinado indicador de impacto é estatisticamente significativo para explicar o impacto obtido.
Uma vez calculada a média, aplicada a análise de regressão ou a técnica de painel, devem ser realizados os testes de significância estatística dos valores obtidos.
3.2.5. Análise de informação em métodos quantitativos
Como já mencionado, na variação de um determinado indicador, podem haver efeitos não necessariamente associados à ação de treinamento. Por exemplo, um jovem que recebeu informações quando a economia estava em alta tende a encontrar emprego com facilidade semelhante a outro que não recebeu. O efeito não atribuível à aprendizagem é produzido pela alta demanda de mão-de-obra que as empresas apresentam em tempos de crescimento, quando a taxa de desemprego tende a cair.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
É um tipo de avaliação em que as fontes de informação incluem dados não numéricos e também se verifica a relação causal entre a ação formativa sem formar um grupo de controle. Ou seja, não requer um cenário contrafactual. Por este motivo, não são estabelecidos controles experimentais na ação avaliada.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
Outras características do método qualitativo são:
04
03
01
02
Descreve as condições iniciais dos beneficiários e, em seguida, identifica uma série de eventos que ocorrem em momentos diferentes e que levam ao resultado ou impacto
Identifique uma série de eventos ou ações que levam a um determinado resultado e estabeleça sua relação causal
Não utiliza variáveis pré-estabelecidas, portanto os resultados não se limitam a tais variáveis
Não incorpora evidências sobre indivíduos que não receberam benefícios do programa
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
Outras características do método qualitativo são:
08
07
05
06
Em vez de procurar isolar os fatores externos à intervenção, este método incorpora-os para observar as interações que ocorrem entre os participantes e a formação, no seu contexto geográfico, cultural, organizacional e histórico.
Em vez de usar um experimento (comparação) para determinar a causalidade, o método qualitativo emprega a técnica de trabalho de campo que permite ao avaliador observar e / ou interagir com os participantes do treinamento no campo.
Ele assume uma concepção "física" de causalidade; que é a relação entre dois eventos no mundo natural em oposição à definição de causalidade que usa o método quantitativo
Oferece a oportunidade de obter evidências desses impactos que não poderiam ser previstos no início do programa ou avaliação (positivos e negativos)
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
Algumas das perguntas que são feitas nesta avaliação são:
Qual é o contexto ou ambiente em que esses impactos foram gerados?
¿Quais foram os mecanismos que geraram esses impactos?
¿Qual o significado desses impactos para os beneficiários?
¿Que impactos o programa produziu?
O uso de métodos qualitativos está aumentando e também é aplicado em combinação com métodos quantitativos.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
O estudo de caso
É um dos métodos qualitativos mais utilizados nas ações de formação dirigidas a grupos da economia informal e rural.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
O objetivo dos estudos de caso
examinar suas necessidades e determinar até que ponto foram efetivamente atendidas pela intervenção
É para examinar o efeito do programa sobre os beneficiários para os quais os beneficiários do programa são descritos e definidos
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
O avaliador
Você precisa saber o que os beneficiários pensam e quais são suas percepções sobre suas necessidades e o impacto do programa. Para tanto, em um estudo de caso, são utilizadas múltiplas técnicas de coleta de informações que incluem a observação e análise de documentos feitos a partir das observações.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
Outra técnica utilizada é a da mudança mais significativa, uma forma de monitoramento e avaliação participativa que envolve os interessados na ação avaliada, tanto na análise das mudanças quanto na análise dos dados coletados.
3.3. ¿O que é avaliação de impacto com métodos qualitativos?
toda a equipe pode concordar e focar no impacto mais significativo do programa.
sobre o valor dessas mudanças e selecione o mais importante. Quando a técnica é realizada com sucesso
O processo envolve a coleta de mudanças significativas, alguns grupos de pessoas discutem em profundidade
3.3.1. Coleta de informações qualitativas
O papel do avaliador muda de uma ênfase na análise de variáveis previamente estabelecidas, para a análise do comportamento dos participantes do programa de treinamento e desenvolvimento de competências.
A informação qualitativa é obtida no local onde foram realizadas as ações do projeto ou atividade formativa. Eles usam observação direta, entrevistas e revisão documental em combinação; podem ter ampla cobertura ou também utilizar técnicas de amostragem.
3.3.1. Coleta de informações qualitativas
Esta abordagem é especialmente adequada para compreender o impacto de projetos sociais e de combate à pobreza, como a formação e o desenvolvimento de competências, em que o comportamento, as expectativas e as motivações dos beneficiários são fatores fundamentais a serem analisados. Permite um melhor entendimento dos incidentes econômicos, políticos e culturais que afetam a execução da atividade e que afetam a mudança no bem-estar dos participantes.
3.3.2. Análise de informação qualitativa
Utiliza principalmente a técnica de análise de conteúdo que consiste na
Dos padrões observados nas informações qualitativas, bem como dos mecanismos e relações de chance que este tipo de informação permite identificar.
Descrição
Interpretação
Exame
3.3.2. Análise de informação qualitativa
Análise de conteúdo
Pode ser realizada com uma abordagem temática em que determinado conceito é selecionado para estudo e é revista a frequência com que tal conceito é apresentado no texto.
3.3.2. Análise de informação qualitativa
Os códigos são geralmente palavras escolhidas para representar uma opinião, sentimento ou comportamento. Selecionar um bom índice de palavras é fundamental para manter a representatividade dos dados.
Utilizar formas de codificação para processar dados qualitativos e, assim, poder aplicar ferramentas quantitativas é um dos mecanismos de processamento da informação obtida em campo.
3.3.2. Análise de informação qualitativa
Essa opção, em sua forma básica, é a mesma encontrada nas pesquisas de satisfação com conceitos como:
moderadamente satisfeito
satisfeito
não satisfeito
insatisfeito
3.3.2. Análise de informação qualitativa
O estabelecimento dessas categorias sempre apresenta riscos estatísticos devido a
Por esse motivo, sugere-se que este tipo de categorias seja revisado e validado estatisticamente com antecedência, o que implica um período de experiência e adaptação.
3.3.2. Análise de informação qualitativa
Uma forma recente de codificar a informação na avaliação qualitativa é fazê-la a partir do material coletado e com o apoio de um software de processamento de texto, que pode identificar os conceitos ou palavras mais utilizados e assim facilitá-los como elementos de análise de comparação.
3.3.2. Análise de informação qualitativa
Uma aplicação dessa abordagem pode ser feita com a transcrição para um processador de texto das entrevistas com os participantes ou principais interessados no projeto, ou por meio do uso de documentos que relacionam os estudos de caso.
Hoje, ferramentas de computador gratuitas, como o Wordle, estão disponíveis para criar uma nuvem de palavras cujo tamanho é proporcional à frequência com que aparecem no texto.
3.3.2. Análise de informação qualitativa
De forma complementar, a análise relacional também recorre à identificação de conceitos nos textos levantados do solo, mas além da frequência, busca determinar as relações existentes entre os conceitos selecionados.
3.3.2. Análise de informação qualitativa
A nuvem de palavras resultante do texto nos indicadores é inserida no gráfico a seguir. Você está convidado a analisar a nuvem como um exemplo de aplicativo.
3.4. ¿Por que é importante combinar métodos quantitativos e qualitativos para avaliar o impacto do treinamento?
O treinamento e o desenvolvimento de habilidades têm impactos sociais; Seu desempenho regular e permanente recomenda que a avaliação seja uma prática comum e que os métodos qualitativos sejam combinados aos quantitativos, sem comprometer a aplicabilidade e praticidade das ferramentas.
3.4. ¿Por que é importante combinar métodos quantitativos e qualitativos para avaliar o impacto do treinamento?
As principais características de tais métodos estão resumidas a seguir:
3.5. ¿Como a eficácia e a eficiência são analisadas?
Esta análise completa a avaliação de impacto, pois permite saber:
Se o impacto foi alcançado (eficácia)
01
Se o impacto gerado justificar o custo da ação (eficiência)
02
Se pode haver alternativas mais eficazes e eficientes para atingir o mesmo impacto.
03
3.5. ¿Como a eficácia e a eficiência são analisadas?
A eficácia
Uma ação é dada pelo grau em que os objetivos definidos em seu projeto foram atingidos. Normalmente, uma forma de planejamento é usada, como a estrutura lógica, na qual a hierarquia de objetivos é estabelecida:
Objetivos e atividades
Imediato
Específico
em geral
3.5. ¿Como a eficácia e a eficiência são analisadas?
Para cada um dos objetivos previstos, analisa-se a eficácia da ação avaliada, obtendo-se um índice geral de eficácia através da ponderação de cada um dos índices por objetivo avaliado.
3.5. ¿Como a eficácia e a eficiência são analisadas?
Impactos de um programa de treinamento no acesso ao emprego
3.5. ¿Como a eficácia e a eficiência são analisadas?
O impacto
Nos quatro anos de operação é diferente e no quarto ano é zero. É possível que tenham ocorrido outras ações de formação e que outras pessoas tenham desenvolvido competências alcançando o mesmo índice de colocação profissional do grupo de participantes.
3.5. ¿Como a eficácia e a eficiência são analisadas?
A taxa de emprego
Diminui com o tempo, o que passa uma mensagem sobre o programa e as competências que está desenvolvendo, ou sobre o esgotamento do setor na geração de novos empregos. São situações que surgem durante as avaliações e que requerem o uso de métodos combinados.
3.5. ¿Como a eficácia e a eficiência são analisadas?
O indicador de eficácia é obtido dividindo o valor alcançado no objetivo de acesso ao emprego previsto: 90%, tanto para o grupo de participantes como para o grupo de controlo; o impacto é a diferença do indicador entre os dois grupos. No exemplo acima, há um impacto positivo de 16,7% na eficácia desse treinamento.
3.5. ¿Como a eficácia e a eficiência são analisadas?
No caso anterior, apenas o impacto e a eficácia foram analisados para um objetivo. O do acesso ao emprego. Normalmente, as ações formativas estabelecem outros objetivos, como aumento de renda ou continuidade educacional; A análise de eficácia é realizada de forma semelhante, podendo ser feita uma comparação para cada objetivo, da seguinte forma:
3.5. ¿Como a eficácia e a eficiência são analisadas?
Diferentes impactos de um programa de treinamento e sua eficácia
3.5. ¿Como a eficácia e a eficiência são analisadas?
Eficiência
Analise o volume de recursos gastos para atingir as metas. Uma atividade eficiente aproveita ao máximo os recursos e, portanto, tem o menor custo possível.
3.5. ¿Como a eficácia e a eficiência são analisadas?
Embora o indicador de eficácia seja geralmente uma taxa percentual, os indicadores de custo-benefício ou custo-eficiência são usados na análise de eficiência.
3.5. ¿Como a eficácia e a eficiência são analisadas?
A análise de eficiência
É utilizado para comparar diferentes alternativas de ações de formação e pode ser realizado ex ante ou ex post. Em geral, sempre que as opções de investimento devem ser revistas para realizar ações ou redirecioná-las, a busca por um custo eficiente é necessária e esse tipo de análise facilita.
3.5. ¿Como a eficácia e a eficiência são analisadas?
Exemplo
Analise a opção mais eficiente, de duas, para desenvolver um programa de treinamento em uma comunidade rural remota. Uma é construir um centro de treinamento, equipar suas instalações, contratar e treinar pessoal; a outra consiste na utilização de unidades móveis com “centro itinerante” e equipamentos facilmente transportáveis. É um caso típico em que, com o cálculo dos custos, pode-se fazer uma avaliação ex ante das alternativas e implementar a que for mais eficiente.
3.5. ¿Como a eficácia e a eficiência são analisadas?
Para avaliar a eficiência, existem dois tipos de análise:
A relação custo-eficácia
O impacto do custo
O custo benefício
Análise de custo-benefício
É expressa como uma relação entre os benefícios obtidos e os custos incorridos e usa o dinheiro como unidade de medida. Em geral, esse tipo de análise busca uma relação custo-benefício maior que um, justamente quando os benefícios são maiores que os custos.
Análise de custo-benefício
Dentro da análise de custo-benefício, o indicador conhecido como: Retorno do Investimento (ROI) é utilizado para medir o desempenho dos investimentos realizados pelas empresas em treinamento.
Análise de custo-benefício
Os custos incluem: pagamentos a professores, salário de trabalhadores desligados de suas funções durante a frequência do curso, custo de uso das instalações e demais insumos identificados. Como benefícios são levados a redução de acidentes de trabalho, a redução de produtos imperfeitos, a redução de acidentes de trabalho, a melhoria da produtividade.
Análise de custo-benefício
Os benefícios e os custos
Eles são traduzidos em um valor monetário pelos interessados em sua medição. Esses valores são normalmente fáceis de calcular, mas em alguns casos é necessário acordo, por exemplo, sobre como medir a variação na produtividade e com que base avaliá-la.
Análise de custo-benefício
Uma vez somados os valores dos benefícios e custos, é possível optar por compará-los diretamente ou calcular seu valor presente líquido se o tempo de análise o justificar.
Análise de custo-benefício
ROI
Tem sido usado para medir o impacto do treinamento nas experiências de aplicação do Sistema Integral de Medição e Avanço da Produtividade SIMAPRO.
SIMAPRO e um caso de aplicação da avaliação de impacto
O Sistema Integral de Medição e Avanço da Produtividade tem como objetivo melhorar a eficiência, a qualidade e as condições de trabalho através do envolvimento e comprometimento do pessoal operacional, média gerência e gestão, com uma metodologia participativa, abrangente e inclusiva. Atualmente existem experiências de aplicação no México, Chile, República Dominicana e Cuba, em diferentes setores produtivos: açúcar, turismo e autopeças. No caso do Chile, a avaliação de impacto nas empresas do setor exportador de frutas constatou uma redução de 30,6% na jornada total de trabalho; os resultados médios das medições de produtividade e qualidade para os grupos SIMAPRO atingiram 28% acima da média, ao contrário dos grupos não SIMAPRO, que foi de apenas 1%. As empresas que aplicaram o SIMAPRO relataram uma rotatividade muito baixa do grupo participante e em duas delas foi de 0%. Em uma das empresas, os acidentes diminuíram 49% e os dias perdidos 35,5%. Com esta metodologia de gestão, uma das empresas piloto teve um retorno do investimento de 182,6% segundo a análise financeira ROI. Em linhas gerais, a experiência das empresas exportadoras de frutas frescas indica que o retorno sobre o investimento (ROI) da implantação do sistema oscila entre 82% e 279%
Análise de custo-benefício
Outro indicador muito utilizado é a Taxa Interna de Retorno (TIR), que define um valor de referência acima do qual o programa é considerado rentável. Essa taxa torna o valor presente de um fluxo de benefícios e custos igual a zero.
Análise de custo-benefício
TIR
É comparado com as taxas de juros de outros investimentos alternativos; geralmente é usado para decidir a favor daquele que oferece uma taxa de retorno mais alta.
Análise de custo-efetividade
É a relação entre os impactos obtidos (avaliados em dinheiro) e o valor presente dos custos, também em dinheiro, incorridos pela atividade desenvolvida.
A relação custo-eficácia inclui a possibilidade de traduzir certos impactos sociais em valores expressos na moeda corrente.
Análise de custo-efetividade
Também permite comparações entre impactos obtidos com diferentes alternativas de ação. As decisões tomadas a partir dessa relação favorecem que os programas mais econômicos sejam executados novamente ou que tenham seus modelos de execução como referência em outros programas de treinamento.
Análise de impacto de custo
Uma relação muito útil consiste em comparar o valor presente dos custos com o valor do impacto obtido, dando uma ideia do valor de cada unidade de impacto gerada. É adequado para fazer comparações entre projetos concluídos (ex post) ou alternativas de investimento em estudo (ex ante).
Análise de impacto de custo
Pode-se calcular, por exemplo, que se a redução da taxa de desemprego causada por uma ação de treinamento foi de 12% com custos totais atualizados de $ 150.000, então o custo por ponto percentual de redução do desemprego foi de $ 12.500. Novamente, este valor é valioso na medida em que é comparável a outras alternativas de ação ou uso dos recursos investidos no programa.
Análise de impacto de custo
Os objetivos planejados foram alcançados
a prática, existem avaliações que utilizam os diferentes indicadores de eficácia e eficiência em conjunto. Como corolário dos métodos de avaliação, não se deve esquecer que a avaliação de impacto é útil para verificar se:
Os participantes das ações melhoraram seu bem-estar (renda, empregabilidade, competitividade)
As políticas públicas promovidas pelos governos, cumpriram sua missão junto à população beneficiária
A utilização dos recursos investidos foi a melhor em termos de eficiência
Existem alternativas de menor custo para atingir os mesmos impactos
Material de apoio para este módulo www.oitcinterfor.org
Conhecimento associado
Experiências e aplicações
1. Grau de ocupação dos licenciados em dual learning. SENATI. Peru, 2001.
1. Plano anual de avaliação da qualidade, impacto, eficácia e eficiência de todo o subsistema de formação profissional para o emprego. FTFE. Espanha, 2011.
2. Avaliação do impacto da formação profissional industrial SENATI. Peru, 2009.
3. Relatório de Avaliação de Impacto do Programa Nacional de Formação Contínua na Área Técnica. INSAFORP. El Salvador, 2011.
2. Avaliação do contexto. Estrutura temática e de conteúdo. FTFE. Espanha, 2011.
3. Levantamento de participantes em ações de formação em ambiente empresarial. FTFE. Espanha, 2011.
4. Relatório de avaliação. Sistema Nacional de Capacitação para o Trabalho. ASSINAR. Colômbia, 2009.
4. TIC na educação: Uma metodologia para avaliar o impacto social e as condições de equidade. Fundação Omar Dengo. Costa Rica, 2002.
5. Avaliação do impacto do programa Juventude em Ação. DNP-SENA. Colômbia, 2008.
Material de apoio para este módulo www.oitcinterfor.org
Conhecimento associado
Experiências e aplicações
6. Avaliação de impacto do programa de jovens empreendedores rurais. ASSINAR. Colômbia, 2010.
5. Documentar contribuições metodológicas para a comunidade virtual. MTEySS. Argentina, 2011.
7. Avaliação de impacto das modalidades de formação profissional: habilitação, complementação e formação contínua em centros. INFOTEP. República Dominicana, 2006.
6. Instrumentos concebidos para a avaliação da política de formação contínua. MTEySS. Argentina, 2011.
8. Avaliação do impacto do projeto-piloto de jovens empresários rurais. Argentina, 2007.
7. Documento metodológico de contribuição do SENAI. Brasil, 2011.
9. Programa de acompanhamento de pós-graduação. Avaliação 2008-2010. SENAI. Brasil.
8. Formulário de avaliação de impacto da assistência técnica nas empresas. INTECAP. Guatemala, 2011.
10. Avaliação intermediária. Programa de educação técnica produtiva. FAUTAPO. Bolívia, 2010.
9. Formulário de avaliação de impacto da formação profissional. INTECAP. Guatemala, 2011.
11. Avaliação de impacto na prática. Segunda edição. Banco Mundial, 2016.
Obrigado