Módulo 4: Implementação da avaliação de impacto
Módulo 4: Implementação da avaliação de impacto
Trata-se de um módulo de conteúdo dinâmico e espera-se que, à medida que os diferentes agentes e atores vinculados à formação realizam mais avaliações de impacto e acumulam aprendizados, ele possa ser ampliado e proporcionado mais conhecimento.
Metas
No final deste módulo, o leitor será capaz de:
Leve em consideração os requisitos e aspectos práticos para implementar e institucionalizar a avaliação de impacto.
01
02
Identificar as etapas de implementação da avaliação de impacto na formação.
Considere os aspectos críticos e incorpore as lições aprendidas para implementar a avaliação de impacto do treinamento.
03
Módulo 4: Implementação da avaliação de impacto
¿Como implementar a avaliação de impacto?
¿Quais são as etapas para implementar a avaliação de impacto?
¿O que é necessário para uma boa avaliação?
¿Como incorporar a avaliação na prática organizacional?
¿É sempre necessário avaliar o impacto?
Algumas lições aprendidas
Módulo 4: Implementação da avaliação de impacto
4.1. ¿É sempre necessário avaliar o impacto?
4.2. ¿Como incorporar a avaliação na prática organizacional?
4.3. ¿O que é necessário para uma boa avaliação?
4.4. ¿Quais são as etapas para implementar a avaliação de impacto?
4.5. Visualização de dados
4.6. Avaliação de impacto para treinamento vocacional após COVID 19
4.7. Algumas lições aprendidas
4.1. ¿É sempre necessário avaliar o impacto?
Conforme já apontado no módulo 1, existem diferentes posicionamentos sobre a necessidade de avaliar o impacto de todos os programas, ações ou políticas de formação.
4.1. ¿É sempre necessário avaliar o impacto?
e competitividade empresarial e crescimento econômico sustentável, criação de empregos e desenvolvimento social.
mas também para influenciar a melhoria da empregabilidade e qualidade de vida das pessoas, aumentando a produtividade
A visão também é compartilhada de que os objetivos de
a formação e a aprendizagem ao longo da vida não devem apenas alcançar o desenvolvimento de competências nos participantes
Este Guia reconhece que é imprescindível verificar se as ações realizadas estão atingindo os objetivos traçados.
4.1. ¿É sempre necessário avaliar o impacto?
Sempre será melhor avaliar e, ao fazê-lo, aplicar métodos
Prático
01
Simples
02
Ferramentas
03
4.1. ¿É sempre necessário avaliar o impacto?
Para que a avaliação de impacto seja uma ferramenta para a tomada de decisões eficazes. É necessário identificar as variáveis-chave e realizar o seu acompanhamento e monitoramento (participantes, orçamento, custos, programas) e, desta forma, você pode associar os objetivos dos seus programas a indicadores de resultados, efeitos e impactos.
Um suporte básico e necessário para a gestão por resultados são os métodos de monitoramento em conjunto com os sistemas de informação gerencial.
4.2. ¿Como incorporar a avaliação na prática organizacional?
Seguem alguns aspectos para tornar a avaliação de impacto uma prática incorporada na execução de ações de capacitação:
04
03
01
02
Considere a avaliação de impacto como uma prática de trabalho organizacional e não como um evento único ou intervenção isolada
Partir da premissa de que é necessário avaliar todas as intervenções e ter informações sobre os resultados, efeitos e impactos para a tomada de decisão
Certifique-se de que a avaliação de impacto faz parte da concepção do programa de treinamento, incluindo as ações necessárias para realizá-la, tomando as disposições financeiras
Conceba a avaliação de impacto como parte de um sistema que inclui
4.2. ¿Como incorporar a avaliação na prática organizacional?
Se não houver orientação para a demanda, compromisso com a qualidade ou se não for possível verificar que os participantes reagiram positivamente, aprenderam com eficácia e conseguiram transferir seus aprendizados, as mudanças nas pessoas, na empresa ou na sociedade não podem ser atribuídas ao intervenção de treinamento.
4.2. ¿Como incorporar a avaliação na prática organizacional?
Avaliação de rentabilidade ROI
Detecção de necessidades de treinamento
Avaliação de impacto
Projeto de currículo relevante e flexível
Abordagem de sistemas para o desenvolvimento de habilidades
Avaliação de transferência
Avaliação de satisfação
Avaliação de aprendizagem
4.3. ¿O que é necessário para uma boa avaliação?
Deve ser planeada desde o momento em que se delineia a intervenção formativa, seja um programa, uma política pública de formação ou ações de desenvolvimento de competências realizadas por instituições formadoras ou promessas de qualquer dimensão.
Uma avaliação de impacto
4.3. ¿O que é necessário para uma boa avaliação?
Nesse sentido, pode-se citar um conjunto de pré-requisitos para uma boa avaliação.
- Determinar os objetivos gerais e específicos das ações de formação.
- A partir deles, identifique um conjunto de indicadores que expressam e permitem considerar o significado e a magnitude das mudanças esperadas.
- Definir o universo do trabalho, ou seja, a população e os atores sociais, políticos ou institucionais sobre os quais recairão os impactos.
- Relacione as atividades e produtos desenvolvidos com os impactos esperados.
Identifique as mudanças esperadas do projeto de treinamento
- Definir conceitual e operacionalmente os indicadores para determinar especificamente a forma de sua construção.
- Descreva a situação inicial dos indicadores para determinar as mudanças ocorridas e assim poder medi-las. Este processo é conhecido como construção da linha de base.
Selecionar e definir indicadores de impacto
4.3. ¿O que é necessário para uma boa avaliação?
Nesse sentido, pode-se citar um conjunto de pré-requisitos para uma boa avaliação.
- Defina o tempo necessário para que as mudanças planejadas "amadureçam" e possam ser avaliadas.
- Defina os “momentos” ou cortes avaliativos com base nas áreas em que o impacto será medido e nas características das variáveis consideradas.
Determine a periodicidade necessária para avaliar os impactos esperados
Implementar uma estratégia de participação das partes interessadas
- Definir ações e modalidades de participação que incorporem a perspectiva dos atores envolvidos, tanto na implementação da intervenção formativa como nos seus efeitos.
4.4. ¿Quais são as etapas para implementar a avaliação de impacto?
Planejamento
O processo de avaliação de impacto
Projeto
compreende as etapas de
Obtendo informações
Produção e divulgação de resultados
4.4. ¿Quais são as etapas para implementar a avaliação de impacto?
Os aspectos a serem considerados estão listados abaixo.
Produzir e divulgar resultados
Planeje a avaliação
Projete o processo
Coletar informação
4.4.1. Planeje a avaliação
É a fase de preparação da avaliação de impacto que, conforme se propõe, deve ser realizada em conjunto com a conceção da intervenção formativa.
Neste ponto é necessário definir as questões básicas da avaliação de impacto, a cadeia de resultados e os indicadores a serem utilizados.
4.4.1. Planeje a avaliação
¿O que está definido?
As perguntas básicas que a avaliação pode responder. Eles são derivados dos objetivos da intervenção a ser avaliada (ver módulo 1)
Considerar
Deve ser participativo e inclusivo para que as partes interessadas possam fazer sugestões sobre os objetivos e questões básicas.
Para a formulação das questões, sugere-se priorizar e focar em um número limitado de questões básicas e essenciais.
4.4.1. Planeje a avaliação
¿O que está definido?
A cadeia de resultados da ação formativa que permitirá definir os indicadores. (Veja o módulo 1)
Considerar
01
Os resultados, efeitos e impactos devem ser úteis para a tomada de decisões.
4.4.1. Planeje a avaliação
¿O que está definido?
Os indicadores que permitirão monitorar e mensurar os impactos relacionados às questões levantadas. (Veja o módulo 1)
Considerar
Identificar as fontes de informação para construção de indicadores de impacto. Para fontes primárias, preveja a sistematização das informações ao longo da execução e desenhe os instrumentos de registro pertinentes e a forma como a amostra será construída. Se estiver trabalhando com fontes secundárias, considere a disponibilidade efetiva de dados de qualidade
Selecione indicadores específicos, mensuráveis, alcançáveis e relevantes com base em determinados prazos.
A seleção dos indicadores deve otimizar o uso das informações disponíveis nas instituições, empresas e no Estado.
4.4.2. Desenhar e preparar a implementação do processo de avaliação
Antes de iniciar a avaliação de impacto, é necessário definir um desenho que determine claramente as diferentes etapas da avaliação, juntamente com a especificação das atividades a serem realizadas, um cronograma para cada uma dessas atividades, os recursos necessários e o orçamento para sua execução.
4.4.2. Desenhar e preparar a implementação do processo de avaliação
As características da população
Não há um projeto único para a realização de avaliações de impacto e é necessário considerar diferentes alternativas, dependendo de
Os impactos a serem avaliados
Considerações éticas e políticas
4.4.2. Desenhar e preparar a implementação do processo de avaliação
As estratégias qualitativas envolvem o uso de técnicas mais flexíveis e focadas para resgatar visões, representações e comportamentos, de difícil acesso a partir de perspectivas quantitativas.
Uma abordagem mista adiciona a possibilidade de identificar prioridades e dificuldades com base na opinião e experiência dos atores.
É conveniente incorporar estratégias de avaliação qualitativa e quantitativa.
4.4.2. Desenhar e preparar a implementação do processo de avaliação
¿O que está definido?
O projeto ou como ele será avaliado. (ver módulo 3)
03
Considerar
Incluir metodologias que permitam explorar impactos qualitativos e quantitativos.
01
Considere e analise a viabilidade de uma ampla gama de opções metodológicas e de desenho de avaliação.
04
Use um design o mais simples possível. Como as metodologias são mais complexas, elas são mais caras e colocam em questão a viabilidade da avaliação de impacto.
02
Avaliar as alternativas de design com base no objeto de avaliação (ação formativa, estratégia ou programa, política pública), nos sujeitos da avaliação (pessoas, micro e pequena, grande ou média empresa, economia informal, sociedade como um todo, outros ) e recursos disponíveis.
05
Garantir o rigor dos processos técnicos sem cair na ortodoxia metodológica.
4.4.2. Desenhar e preparar a implementação do processo de avaliação
Recursos técnicos e financeiros, tempo e informações disponíveis.
¿O que está definido?
04
03
01
02
Considerar
Fornecer recursos financeiros para avaliação de impacto desde a própria concepção da ação formativa, visto que sua existência constitui uma condição inevitável.
Definir uma equipa responsável pela avaliação que reúna competências técnicas, independência de critérios e objectividade, orientações metodológicas (garantindo que o processo está alinhado com os objectivos), competências de comunicação e capacidade operacional para gerir a implementação.
Decida se vai realizar uma avaliação interna ou externa (ver módulo 1) considerando os recursos disponíveis.
Desenvolver estratégias para construir ou fortalecer capacidades internas como condição para a criação de uma cultura de avaliação de impacto na organização.
4.4.2. Desenhar e preparar a implementação do processo de avaliação
Cronograma: deve ser definido quando, uma vez finalizado o treinamento a ser avaliado, será realizada a avaliação de impacto.
¿O que está definido?
Considerar
Geralmente, é dado um período de seis meses a um ano nas avaliações de impacto relacionadas com a empregabilidade, embora as informações possam ser recolhidas novamente algum tempo depois - dois anos - ou mesmo como um painel anual, para conhecer a evolução das condições de emprego ao longo Tempo.
Não avalie a intervenção muito cedo, é necessário que os impactos possam ser verificados. Nem deixe passar muito tempo, pois as informações podem ser contaminadas por outras variáveis e os resultados e recomendações que surgem podem chegar atrasados para a tomada de decisões.
Intervenções mais curtas, como as realizadas em empresas, podem exigir períodos mais curtos de tempo (até algumas semanas ou um mês) para verificar os impactos.
Defina os prazos de acordo com o tipo de treinamento e o grau de imediatismo a partir do qual os impactos podem ser verificados.
4.4.3. Coletar informação
• Defina quais informações precisam ser coletadas.
Esta etapa é eminentemente prática e inclui uma série de decisões e atividades, tais como:
•Determine a equipe responsável.
• Desenvolver instrumentos e definir a amostra.
• Faça o trabalho de campo.
• Processe e valide as informações.
4.4.3. Coletar informação
A forma como essas atividades são realizadas é diretamente condicionada pelo desenho metodológico. (Veja o módulo 3)
4.4.3. Coletar informação
É aconselhável estabelecer controles de qualidade para todas as fases da coleta de dados, a fim de detectar e corrigir eventuais erros que possam surgir.
Por sua vez, para garantir sua confiabilidade e sua análise, todas as informações devem ser acompanhadas de documentação detalhada.
4.4.3. Coletar informação
Esta etapa inclui as seguintes atividades:
Divulgue os resultados
Analise os dados
Prepare relatórios
Analise os dados
Lembre-se de que os resultados da avaliação devem ser válidos, confiáveis, compreensíveis e úteis para a tomada de decisões.
Garantir a imparcialidade e o tratamento ético das informações.
Prepare relatórios
Garantir que bases sólidas e bem fundamentadas sejam fornecidas para a tomada de decisões.
Evite linguagem técnica apenas para especialistas, os usuários das informações nem sempre são especialistas em avaliação de impacto.
Mostre que a avaliação é baseada em informações válidas.
Divulgue os resultados
Implementar um plano de divulgação dos resultados para os parceiros sociais.
01
As informações da avaliação são fundamentais para a tomada de decisão. Uma avaliação que não é usada é um desperdício de dinheiro.
02
4.5. Visualização de dados
O crescimento da era digital e da tecnologia da informação tem levado à geração de grandes volumes de informações, porém, sem seu processamento e classificação, torna-se complexo assimilá-los, interpretá-los ou analisá-los.
Hoje em dia, para poder consumir esse acúmulo de dados que cresce constantemente, é necessário simplificá-lo e expô-lo de forma amigável e de fácil compreensão para qualquer indivíduo, onde formas visuais (gráficos, mapas, formas, etc.) são a melhor maneira de condensar os dados.
4.5. Visualização de dados
A visualização dos dados é então uma representação gráfica da informação que permite observar e compreender tendências, outliers ou padrões de dados de forma simples e acessível. Portanto, as ferramentas e tecnologias de visualização de dados são essenciais para analisar grandes quantidades de informações e tomar decisões baseadas em dados.
4.5. Visualização de dados
Dois tipos de visualizações podem ser distinguidos
A sua principal função é comunicar dados previamente classificados, ordenados e analisados.
Visualizações estáticas
01
Permitem uma interação com os dados, permitindo ao indivíduo explorar livremente as informações, concentrando-se nos aspectos-chave que lhe interessam.
Visualizações interativas
02
4.5. Visualização de dados
A combinação de disciplinas entre programação, pesquisa e design forjou a criação de diferentes ferramentas que permitem trabalhar visualmente com os dados. Aqui estão alguns programas de visualização de dados mais proeminentes:
4.5. Visualização de dados
Além das ferramentas anteriores, o conhecimento em programação amplia ainda mais o espectro de programas de visualização de dados por meio do acesso a bibliotecas JavaScript, como: Data-Driven Documents, Google Charts, Shiny, Chart JS, D3 JS, Highcharts, entre outros.
4.5. Visualização de dados
Outra ferramenta conhecida para o processamento de informações e de fácil acesso e utilização é o Microsoft Excel. Embora não seja uma ferramenta projetada especificamente para visualização de dados, permite a compilação de um grande volume de informações por meio de suas planilhas.
4.5. Visualização de dados
As funções básicas do Microsoft Excel incluem a geração de resumos de dados a partir de gráficos e tabelas dinâmicas. Esta função permite calcular, resumir e analisar dados permitindo ver padrões e tendências nos mesmos, sendo bastante útil para criar relatórios atualizados a partir da mesma fonte de dados. Um aspecto importante relacionado às tabelas e gráficos dinâmicos é a aplicação de filtros ou segmentações de dados, que agrupam as informações em categorias que podem ser ativadas ou desativadas (Dashboard).
4.5. Visualização de dados
Outra ferramenta que o programa Microsoft Excel possui é o editor Power Query, que permite extrair informações de diferentes fontes de dados, permitindo que sejam transformadas conforme a necessidade e carregadas em formato de tabela. Esta ferramenta é útil quando você tem bancos de dados diferentes em arquivos individuais e é necessária para compilar tudo em um único banco de dados que pode ser usado posteriormente para criar um painel de gráficos e tabelas dinâmicas.
4.5. Visualização de dados
O Excel também possui um programa de macro chamado Visual Basic que registra macros que repetem ações que o usuário programou para automatizar tarefas simples, da mesma forma que permite a criação de formulários e controles na planilha.
4.6. Avaliação de impacto para treinamento vocacional após COVID 19
A pandemia COVID-19 teve graves repercussões sociais e económicas, cujas tendências para os anos 2021 e 2022 revelam um défice de postos de trabalho, traduzindo-se em níveis mais elevados de desemprego e subutilização da força de trabalho.
Em 2022, o número de desempregados em todo o mundo deve chegar a 205 milhões de pessoas
mais do que o esperado em 2019
4.6. Avaliação de impacto para treinamento vocacional após COVID 19
Como consequência da queda do emprego, a renda do trabalho é reduzida e, portanto, um aumento da pobreza é gerado.
De acordo com dados do Banco Mundial, a taxa de pobreza global de indivíduos que vivem com menos de 1,9 dólares por dia passará de 8,4% em 2019 para 9,1% em 2020, então estima-se que entre 88 milhões e 115 milhões de pessoas estarão em pobreza.
4.6. Avaliação de impacto para treinamento vocacional após COVID 19
Entre os desafios que o COVID - 19 tem gerado na formação profissional, um dos mais relevantes é reduzir o gap tecnológico, visto que muitos centros de formação não possuíam plataforma e / ou ferramentas virtuais, existiam defasagens em relação a outros em que seu ensino é cem por cento virtual ou híbrido.
4.6. Avaliação de impacto para treinamento vocacional após COVID 19
A emergência do COVID-19 testou a capacidade dos centros de formação profissional de se adaptarem a uma nova realidade em que as relações digitais são o pilar fundamental. Diante dos desafios gerados por esse novo processo, é fundamental mensurar a influência e / ou resultados dos treinamentos, buscando melhorias e respondendo às necessidades das pessoas e profissionais.
É evidente a mudança estrutural gerada pela crise do COVID-19 na formação profissional, pelo que identificar as fragilidades dos programas de formação, bem como medir o seu impacto durante e após a crise, ajudaria a tomar decisões com base na melhoria e adequação dos programas de formação.
4.7. Algumas lições aprendidas
05
04
03
01
02
A informação é a base da avaliação
Avaliação para melhorar os sistemas de treinamento
Avaliação com métodos práticos e flexíveis
Avaliação de impacto: uma abordagem flexível para a economia informal
Avaliação para responder à demanda por habilidades
A informação é a base da avaliação
A questão chave é como tornar as avaliações viáveis e construir uma cultura de avaliação que cubra toda a pirâmide.
e, no topo, avaliação de impacto.
no nível seguinte, os indicadores e sistemas de monitoramento e acompanhamento
Se uma pirâmide imaginária fosse concebida na prática da avaliação, em sua base estariam os dados e o treinamento
Avaliação para melhorar os sistemas de treinamento
Desempenha um papel importante ao ajudar a criar e melhorar sistemas e políticas de formação e desenvolvimento de competências. Se um país está tentando desenvolver uma política coerente de desenvolvimento de recursos humanos, as avaliações devem ser capazes de gerar insumos que contribuam para esse objetivo.
Avaliação
Avaliação para melhorar os sistemas de treinamento
Os resultados das avaliações
Devem ser aplicados no ajustamento ou modificação de programas, na reformulação de políticas, na concepção de soluções inovadoras para responder e antecipar as necessidades de formação. Isso pode ser resumido em uma política de avaliação consistente com uma visão de política pública de capacitação.
Avaliação com métodos práticos e flexíveis
Uma orientação prática clara deve orientar o planejamento da avaliação. Boas avaliações não precisam ser longas, complexas ou caras. Não há necessidade de recorrer a abordagens sofisticadas e ortodoxas, que podem ser inúteis e muitas vezes exigem muitos recursos.
Avaliação com métodos práticos e flexíveis
Tente usar uma variedade de métodos que se adaptem ao contexto, ao tipo de programa. Aos objetivos traçados e às populações beneficiárias. O uso de ferramentas, como questionários e entrevistas, torna a avaliação mais fácil e flexível.
Na avaliação de impacto
Avaliação para responder à demanda por habilidades
Avaliação impactante
É útil para orientar o treinamento como resposta à demanda.
Avaliação para responder à demanda por habilidades
Quando se trata de avaliar a colocação no emprego, uma forma é determinar qual fração dos participantes encontrou um emprego ou está realizando uma atividade produtiva relacionada.
Avaliação para responder à demanda por habilidades
A conclusão de que apenas uma pequena fração dos participantes está engajada em treinamentos relacionados é uma indicação de orientação para a oferta e não para a resposta à demanda e que a formação não está articulada com as necessidades específicas do setor produtivo.
Avaliação para responder à demanda por habilidades
Outra forma de avaliação é considerar as preferências dos empregadores no momento da contratação e sua atitude em relação aos serviços de treinamento.
Avaliação de impacto: uma abordagem flexível para a economia informal
É uma área onde a mais ampla gama de métodos de avaliação precisa ser aplicada; Uma análise ortodoxa dos impactos, a comparação de grupos com e sem treinamento em um desenho experimental ou semi-experimental é difícil de imaginar.
A economia informal
Avaliação de impacto: uma abordagem flexível para a economia informal
Métodos de avaliação
Na economia informal, eles devem ser flexíveis para obter o máximo das abordagens qualitativas.
Avaliação de impacto: uma abordagem flexível para a economia informal
A técnica de estudo de caso e uma boa série de questões de avaliação são uma abordagem válida para conhecer os fatores de sucesso das ações de formação na economia informal.
Avaliação de impacto: uma abordagem flexível para a economia informal
Nestes casos, a existência de registros e depoimentos e instrumentos autogeridos pelos próprios participantes desempenha um papel fundamental.
Diferentes fontes e técnicas de coleta de informações devem ser consideradas, como referências da comunidade; os participantes também podem ser rastreados ao longo do tempo.
Material de apoio para este módulo
www.oitcinterfor.org
Conhecimento associado
Experiências e aplicações
1. Desenho da avaliação de impacto das políticas de formação contínua. MTEySS. Argentina, 2010.
1. Sistematização da experiência do SIMAPRO no setor de frutas. Interfaces. Chile, 2010.
2. Avaliação estratégica no desenvolvimento de capacidades. IDRC, 2008.
2. Avaliação para o desenvolvimento social: contribuições para um debate aberto na América Latina. INDES-BID, 2006.
3. Avaliações de impacto de programas de capacitação para o trabalho: a experiência internacional e chilena 2007.
3. Avaliação de impacto na prática. Banco Mundial, 2011.
4. Relatório de avaliação. Modernização da indústria açucareira no México. Aplicativo SIMAPRO, 2010.
4. Guia para treinamento baseado em TIC para MPMEs. OIT / Cinterfor, 2011.
5. Efeitos e impactos de programas intensivos de emprego. OIT, 2003.
Obrigado
MODULO 4 EN PORTUGUES
Yesica Fernández Mal
Created on June 17, 2021
Start designing with a free template
Discover more than 1500 professional designs like these:
View
Math Lesson Plan
View
Primary Unit Plan 2
View
Animated Chalkboard Learning Unit
View
Business Learning Unit
View
Corporate Signature Learning Unit
View
Code Training Unit
View
History Unit plan
Explore all templates
Transcript
Módulo 4: Implementação da avaliação de impacto
Módulo 4: Implementação da avaliação de impacto
Trata-se de um módulo de conteúdo dinâmico e espera-se que, à medida que os diferentes agentes e atores vinculados à formação realizam mais avaliações de impacto e acumulam aprendizados, ele possa ser ampliado e proporcionado mais conhecimento.
Metas
No final deste módulo, o leitor será capaz de:
Leve em consideração os requisitos e aspectos práticos para implementar e institucionalizar a avaliação de impacto.
01
02
Identificar as etapas de implementação da avaliação de impacto na formação.
Considere os aspectos críticos e incorpore as lições aprendidas para implementar a avaliação de impacto do treinamento.
03
Módulo 4: Implementação da avaliação de impacto
¿Como implementar a avaliação de impacto?
¿Quais são as etapas para implementar a avaliação de impacto?
¿O que é necessário para uma boa avaliação?
¿Como incorporar a avaliação na prática organizacional?
¿É sempre necessário avaliar o impacto?
Algumas lições aprendidas
Módulo 4: Implementação da avaliação de impacto
4.1. ¿É sempre necessário avaliar o impacto?
4.2. ¿Como incorporar a avaliação na prática organizacional?
4.3. ¿O que é necessário para uma boa avaliação?
4.4. ¿Quais são as etapas para implementar a avaliação de impacto?
4.5. Visualização de dados
4.6. Avaliação de impacto para treinamento vocacional após COVID 19
4.7. Algumas lições aprendidas
4.1. ¿É sempre necessário avaliar o impacto?
Conforme já apontado no módulo 1, existem diferentes posicionamentos sobre a necessidade de avaliar o impacto de todos os programas, ações ou políticas de formação.
4.1. ¿É sempre necessário avaliar o impacto?
e competitividade empresarial e crescimento econômico sustentável, criação de empregos e desenvolvimento social.
mas também para influenciar a melhoria da empregabilidade e qualidade de vida das pessoas, aumentando a produtividade
A visão também é compartilhada de que os objetivos de a formação e a aprendizagem ao longo da vida não devem apenas alcançar o desenvolvimento de competências nos participantes
Este Guia reconhece que é imprescindível verificar se as ações realizadas estão atingindo os objetivos traçados.
4.1. ¿É sempre necessário avaliar o impacto?
Sempre será melhor avaliar e, ao fazê-lo, aplicar métodos
Prático
01
Simples
02
Ferramentas
03
4.1. ¿É sempre necessário avaliar o impacto?
Para que a avaliação de impacto seja uma ferramenta para a tomada de decisões eficazes. É necessário identificar as variáveis-chave e realizar o seu acompanhamento e monitoramento (participantes, orçamento, custos, programas) e, desta forma, você pode associar os objetivos dos seus programas a indicadores de resultados, efeitos e impactos.
Um suporte básico e necessário para a gestão por resultados são os métodos de monitoramento em conjunto com os sistemas de informação gerencial.
4.2. ¿Como incorporar a avaliação na prática organizacional?
Seguem alguns aspectos para tornar a avaliação de impacto uma prática incorporada na execução de ações de capacitação:
04
03
01
02
Considere a avaliação de impacto como uma prática de trabalho organizacional e não como um evento único ou intervenção isolada
Partir da premissa de que é necessário avaliar todas as intervenções e ter informações sobre os resultados, efeitos e impactos para a tomada de decisão
Certifique-se de que a avaliação de impacto faz parte da concepção do programa de treinamento, incluindo as ações necessárias para realizá-la, tomando as disposições financeiras
Conceba a avaliação de impacto como parte de um sistema que inclui
4.2. ¿Como incorporar a avaliação na prática organizacional?
Se não houver orientação para a demanda, compromisso com a qualidade ou se não for possível verificar que os participantes reagiram positivamente, aprenderam com eficácia e conseguiram transferir seus aprendizados, as mudanças nas pessoas, na empresa ou na sociedade não podem ser atribuídas ao intervenção de treinamento.
4.2. ¿Como incorporar a avaliação na prática organizacional?
Avaliação de rentabilidade ROI
Detecção de necessidades de treinamento
Avaliação de impacto
Projeto de currículo relevante e flexível
Abordagem de sistemas para o desenvolvimento de habilidades
Avaliação de transferência
Avaliação de satisfação
Avaliação de aprendizagem
4.3. ¿O que é necessário para uma boa avaliação?
Deve ser planeada desde o momento em que se delineia a intervenção formativa, seja um programa, uma política pública de formação ou ações de desenvolvimento de competências realizadas por instituições formadoras ou promessas de qualquer dimensão.
Uma avaliação de impacto
4.3. ¿O que é necessário para uma boa avaliação?
Nesse sentido, pode-se citar um conjunto de pré-requisitos para uma boa avaliação.
Identifique as mudanças esperadas do projeto de treinamento
Selecionar e definir indicadores de impacto
4.3. ¿O que é necessário para uma boa avaliação?
Nesse sentido, pode-se citar um conjunto de pré-requisitos para uma boa avaliação.
Determine a periodicidade necessária para avaliar os impactos esperados
Implementar uma estratégia de participação das partes interessadas
4.4. ¿Quais são as etapas para implementar a avaliação de impacto?
Planejamento
O processo de avaliação de impacto
Projeto
compreende as etapas de
Obtendo informações
Produção e divulgação de resultados
4.4. ¿Quais são as etapas para implementar a avaliação de impacto?
Os aspectos a serem considerados estão listados abaixo.
Produzir e divulgar resultados
Planeje a avaliação
Projete o processo
Coletar informação
4.4.1. Planeje a avaliação
É a fase de preparação da avaliação de impacto que, conforme se propõe, deve ser realizada em conjunto com a conceção da intervenção formativa.
Neste ponto é necessário definir as questões básicas da avaliação de impacto, a cadeia de resultados e os indicadores a serem utilizados.
4.4.1. Planeje a avaliação
¿O que está definido?
As perguntas básicas que a avaliação pode responder. Eles são derivados dos objetivos da intervenção a ser avaliada (ver módulo 1)
Considerar
Deve ser participativo e inclusivo para que as partes interessadas possam fazer sugestões sobre os objetivos e questões básicas.
Para a formulação das questões, sugere-se priorizar e focar em um número limitado de questões básicas e essenciais.
4.4.1. Planeje a avaliação
¿O que está definido?
A cadeia de resultados da ação formativa que permitirá definir os indicadores. (Veja o módulo 1)
Considerar
01
Os resultados, efeitos e impactos devem ser úteis para a tomada de decisões.
4.4.1. Planeje a avaliação
¿O que está definido?
Os indicadores que permitirão monitorar e mensurar os impactos relacionados às questões levantadas. (Veja o módulo 1)
Considerar
Identificar as fontes de informação para construção de indicadores de impacto. Para fontes primárias, preveja a sistematização das informações ao longo da execução e desenhe os instrumentos de registro pertinentes e a forma como a amostra será construída. Se estiver trabalhando com fontes secundárias, considere a disponibilidade efetiva de dados de qualidade
Selecione indicadores específicos, mensuráveis, alcançáveis e relevantes com base em determinados prazos.
A seleção dos indicadores deve otimizar o uso das informações disponíveis nas instituições, empresas e no Estado.
4.4.2. Desenhar e preparar a implementação do processo de avaliação
Antes de iniciar a avaliação de impacto, é necessário definir um desenho que determine claramente as diferentes etapas da avaliação, juntamente com a especificação das atividades a serem realizadas, um cronograma para cada uma dessas atividades, os recursos necessários e o orçamento para sua execução.
4.4.2. Desenhar e preparar a implementação do processo de avaliação
As características da população
Não há um projeto único para a realização de avaliações de impacto e é necessário considerar diferentes alternativas, dependendo de
Os impactos a serem avaliados
Considerações éticas e políticas
4.4.2. Desenhar e preparar a implementação do processo de avaliação
As estratégias qualitativas envolvem o uso de técnicas mais flexíveis e focadas para resgatar visões, representações e comportamentos, de difícil acesso a partir de perspectivas quantitativas.
Uma abordagem mista adiciona a possibilidade de identificar prioridades e dificuldades com base na opinião e experiência dos atores.
É conveniente incorporar estratégias de avaliação qualitativa e quantitativa.
4.4.2. Desenhar e preparar a implementação do processo de avaliação
¿O que está definido?
O projeto ou como ele será avaliado. (ver módulo 3)
03
Considerar
Incluir metodologias que permitam explorar impactos qualitativos e quantitativos.
01
Considere e analise a viabilidade de uma ampla gama de opções metodológicas e de desenho de avaliação.
04
Use um design o mais simples possível. Como as metodologias são mais complexas, elas são mais caras e colocam em questão a viabilidade da avaliação de impacto.
02
Avaliar as alternativas de design com base no objeto de avaliação (ação formativa, estratégia ou programa, política pública), nos sujeitos da avaliação (pessoas, micro e pequena, grande ou média empresa, economia informal, sociedade como um todo, outros ) e recursos disponíveis.
05
Garantir o rigor dos processos técnicos sem cair na ortodoxia metodológica.
4.4.2. Desenhar e preparar a implementação do processo de avaliação
Recursos técnicos e financeiros, tempo e informações disponíveis.
¿O que está definido?
04
03
01
02
Considerar
Fornecer recursos financeiros para avaliação de impacto desde a própria concepção da ação formativa, visto que sua existência constitui uma condição inevitável.
Definir uma equipa responsável pela avaliação que reúna competências técnicas, independência de critérios e objectividade, orientações metodológicas (garantindo que o processo está alinhado com os objectivos), competências de comunicação e capacidade operacional para gerir a implementação.
Decida se vai realizar uma avaliação interna ou externa (ver módulo 1) considerando os recursos disponíveis.
Desenvolver estratégias para construir ou fortalecer capacidades internas como condição para a criação de uma cultura de avaliação de impacto na organização.
4.4.2. Desenhar e preparar a implementação do processo de avaliação
Cronograma: deve ser definido quando, uma vez finalizado o treinamento a ser avaliado, será realizada a avaliação de impacto.
¿O que está definido?
Considerar
Geralmente, é dado um período de seis meses a um ano nas avaliações de impacto relacionadas com a empregabilidade, embora as informações possam ser recolhidas novamente algum tempo depois - dois anos - ou mesmo como um painel anual, para conhecer a evolução das condições de emprego ao longo Tempo.
Não avalie a intervenção muito cedo, é necessário que os impactos possam ser verificados. Nem deixe passar muito tempo, pois as informações podem ser contaminadas por outras variáveis e os resultados e recomendações que surgem podem chegar atrasados para a tomada de decisões.
Intervenções mais curtas, como as realizadas em empresas, podem exigir períodos mais curtos de tempo (até algumas semanas ou um mês) para verificar os impactos.
Defina os prazos de acordo com o tipo de treinamento e o grau de imediatismo a partir do qual os impactos podem ser verificados.
4.4.3. Coletar informação
• Defina quais informações precisam ser coletadas.
Esta etapa é eminentemente prática e inclui uma série de decisões e atividades, tais como:
•Determine a equipe responsável.
• Desenvolver instrumentos e definir a amostra.
• Faça o trabalho de campo.
• Processe e valide as informações.
4.4.3. Coletar informação
A forma como essas atividades são realizadas é diretamente condicionada pelo desenho metodológico. (Veja o módulo 3)
4.4.3. Coletar informação
É aconselhável estabelecer controles de qualidade para todas as fases da coleta de dados, a fim de detectar e corrigir eventuais erros que possam surgir.
Por sua vez, para garantir sua confiabilidade e sua análise, todas as informações devem ser acompanhadas de documentação detalhada.
4.4.3. Coletar informação
Esta etapa inclui as seguintes atividades:
Divulgue os resultados
Analise os dados
Prepare relatórios
Analise os dados
Lembre-se de que os resultados da avaliação devem ser válidos, confiáveis, compreensíveis e úteis para a tomada de decisões.
Garantir a imparcialidade e o tratamento ético das informações.
Prepare relatórios
Garantir que bases sólidas e bem fundamentadas sejam fornecidas para a tomada de decisões.
Evite linguagem técnica apenas para especialistas, os usuários das informações nem sempre são especialistas em avaliação de impacto.
Mostre que a avaliação é baseada em informações válidas.
Divulgue os resultados
Implementar um plano de divulgação dos resultados para os parceiros sociais.
01
As informações da avaliação são fundamentais para a tomada de decisão. Uma avaliação que não é usada é um desperdício de dinheiro.
02
4.5. Visualização de dados
O crescimento da era digital e da tecnologia da informação tem levado à geração de grandes volumes de informações, porém, sem seu processamento e classificação, torna-se complexo assimilá-los, interpretá-los ou analisá-los. Hoje em dia, para poder consumir esse acúmulo de dados que cresce constantemente, é necessário simplificá-lo e expô-lo de forma amigável e de fácil compreensão para qualquer indivíduo, onde formas visuais (gráficos, mapas, formas, etc.) são a melhor maneira de condensar os dados.
4.5. Visualização de dados
A visualização dos dados é então uma representação gráfica da informação que permite observar e compreender tendências, outliers ou padrões de dados de forma simples e acessível. Portanto, as ferramentas e tecnologias de visualização de dados são essenciais para analisar grandes quantidades de informações e tomar decisões baseadas em dados.
4.5. Visualização de dados
Dois tipos de visualizações podem ser distinguidos
A sua principal função é comunicar dados previamente classificados, ordenados e analisados.
Visualizações estáticas
01
Permitem uma interação com os dados, permitindo ao indivíduo explorar livremente as informações, concentrando-se nos aspectos-chave que lhe interessam.
Visualizações interativas
02
4.5. Visualização de dados
A combinação de disciplinas entre programação, pesquisa e design forjou a criação de diferentes ferramentas que permitem trabalhar visualmente com os dados. Aqui estão alguns programas de visualização de dados mais proeminentes:
4.5. Visualização de dados
Além das ferramentas anteriores, o conhecimento em programação amplia ainda mais o espectro de programas de visualização de dados por meio do acesso a bibliotecas JavaScript, como: Data-Driven Documents, Google Charts, Shiny, Chart JS, D3 JS, Highcharts, entre outros.
4.5. Visualização de dados
Outra ferramenta conhecida para o processamento de informações e de fácil acesso e utilização é o Microsoft Excel. Embora não seja uma ferramenta projetada especificamente para visualização de dados, permite a compilação de um grande volume de informações por meio de suas planilhas.
4.5. Visualização de dados
As funções básicas do Microsoft Excel incluem a geração de resumos de dados a partir de gráficos e tabelas dinâmicas. Esta função permite calcular, resumir e analisar dados permitindo ver padrões e tendências nos mesmos, sendo bastante útil para criar relatórios atualizados a partir da mesma fonte de dados. Um aspecto importante relacionado às tabelas e gráficos dinâmicos é a aplicação de filtros ou segmentações de dados, que agrupam as informações em categorias que podem ser ativadas ou desativadas (Dashboard).
4.5. Visualização de dados
Outra ferramenta que o programa Microsoft Excel possui é o editor Power Query, que permite extrair informações de diferentes fontes de dados, permitindo que sejam transformadas conforme a necessidade e carregadas em formato de tabela. Esta ferramenta é útil quando você tem bancos de dados diferentes em arquivos individuais e é necessária para compilar tudo em um único banco de dados que pode ser usado posteriormente para criar um painel de gráficos e tabelas dinâmicas.
4.5. Visualização de dados
O Excel também possui um programa de macro chamado Visual Basic que registra macros que repetem ações que o usuário programou para automatizar tarefas simples, da mesma forma que permite a criação de formulários e controles na planilha.
4.6. Avaliação de impacto para treinamento vocacional após COVID 19
A pandemia COVID-19 teve graves repercussões sociais e económicas, cujas tendências para os anos 2021 e 2022 revelam um défice de postos de trabalho, traduzindo-se em níveis mais elevados de desemprego e subutilização da força de trabalho.
Em 2022, o número de desempregados em todo o mundo deve chegar a 205 milhões de pessoas
mais do que o esperado em 2019
4.6. Avaliação de impacto para treinamento vocacional após COVID 19
Como consequência da queda do emprego, a renda do trabalho é reduzida e, portanto, um aumento da pobreza é gerado.
De acordo com dados do Banco Mundial, a taxa de pobreza global de indivíduos que vivem com menos de 1,9 dólares por dia passará de 8,4% em 2019 para 9,1% em 2020, então estima-se que entre 88 milhões e 115 milhões de pessoas estarão em pobreza.
4.6. Avaliação de impacto para treinamento vocacional após COVID 19
Entre os desafios que o COVID - 19 tem gerado na formação profissional, um dos mais relevantes é reduzir o gap tecnológico, visto que muitos centros de formação não possuíam plataforma e / ou ferramentas virtuais, existiam defasagens em relação a outros em que seu ensino é cem por cento virtual ou híbrido.
4.6. Avaliação de impacto para treinamento vocacional após COVID 19
A emergência do COVID-19 testou a capacidade dos centros de formação profissional de se adaptarem a uma nova realidade em que as relações digitais são o pilar fundamental. Diante dos desafios gerados por esse novo processo, é fundamental mensurar a influência e / ou resultados dos treinamentos, buscando melhorias e respondendo às necessidades das pessoas e profissionais. É evidente a mudança estrutural gerada pela crise do COVID-19 na formação profissional, pelo que identificar as fragilidades dos programas de formação, bem como medir o seu impacto durante e após a crise, ajudaria a tomar decisões com base na melhoria e adequação dos programas de formação.
4.7. Algumas lições aprendidas
05
04
03
01
02
A informação é a base da avaliação
Avaliação para melhorar os sistemas de treinamento
Avaliação com métodos práticos e flexíveis
Avaliação de impacto: uma abordagem flexível para a economia informal
Avaliação para responder à demanda por habilidades
A informação é a base da avaliação
A questão chave é como tornar as avaliações viáveis e construir uma cultura de avaliação que cubra toda a pirâmide.
e, no topo, avaliação de impacto.
no nível seguinte, os indicadores e sistemas de monitoramento e acompanhamento
Se uma pirâmide imaginária fosse concebida na prática da avaliação, em sua base estariam os dados e o treinamento
Avaliação para melhorar os sistemas de treinamento
Desempenha um papel importante ao ajudar a criar e melhorar sistemas e políticas de formação e desenvolvimento de competências. Se um país está tentando desenvolver uma política coerente de desenvolvimento de recursos humanos, as avaliações devem ser capazes de gerar insumos que contribuam para esse objetivo.
Avaliação
Avaliação para melhorar os sistemas de treinamento
Os resultados das avaliações
Devem ser aplicados no ajustamento ou modificação de programas, na reformulação de políticas, na concepção de soluções inovadoras para responder e antecipar as necessidades de formação. Isso pode ser resumido em uma política de avaliação consistente com uma visão de política pública de capacitação.
Avaliação com métodos práticos e flexíveis
Uma orientação prática clara deve orientar o planejamento da avaliação. Boas avaliações não precisam ser longas, complexas ou caras. Não há necessidade de recorrer a abordagens sofisticadas e ortodoxas, que podem ser inúteis e muitas vezes exigem muitos recursos.
Avaliação com métodos práticos e flexíveis
Tente usar uma variedade de métodos que se adaptem ao contexto, ao tipo de programa. Aos objetivos traçados e às populações beneficiárias. O uso de ferramentas, como questionários e entrevistas, torna a avaliação mais fácil e flexível.
Na avaliação de impacto
Avaliação para responder à demanda por habilidades
Avaliação impactante
É útil para orientar o treinamento como resposta à demanda.
Avaliação para responder à demanda por habilidades
Quando se trata de avaliar a colocação no emprego, uma forma é determinar qual fração dos participantes encontrou um emprego ou está realizando uma atividade produtiva relacionada.
Avaliação para responder à demanda por habilidades
A conclusão de que apenas uma pequena fração dos participantes está engajada em treinamentos relacionados é uma indicação de orientação para a oferta e não para a resposta à demanda e que a formação não está articulada com as necessidades específicas do setor produtivo.
Avaliação para responder à demanda por habilidades
Outra forma de avaliação é considerar as preferências dos empregadores no momento da contratação e sua atitude em relação aos serviços de treinamento.
Avaliação de impacto: uma abordagem flexível para a economia informal
É uma área onde a mais ampla gama de métodos de avaliação precisa ser aplicada; Uma análise ortodoxa dos impactos, a comparação de grupos com e sem treinamento em um desenho experimental ou semi-experimental é difícil de imaginar.
A economia informal
Avaliação de impacto: uma abordagem flexível para a economia informal
Métodos de avaliação
Na economia informal, eles devem ser flexíveis para obter o máximo das abordagens qualitativas.
Avaliação de impacto: uma abordagem flexível para a economia informal
A técnica de estudo de caso e uma boa série de questões de avaliação são uma abordagem válida para conhecer os fatores de sucesso das ações de formação na economia informal.
Avaliação de impacto: uma abordagem flexível para a economia informal
Nestes casos, a existência de registros e depoimentos e instrumentos autogeridos pelos próprios participantes desempenha um papel fundamental.
Diferentes fontes e técnicas de coleta de informações devem ser consideradas, como referências da comunidade; os participantes também podem ser rastreados ao longo do tempo.
Material de apoio para este módulo www.oitcinterfor.org
Conhecimento associado
Experiências e aplicações
1. Desenho da avaliação de impacto das políticas de formação contínua. MTEySS. Argentina, 2010.
1. Sistematização da experiência do SIMAPRO no setor de frutas. Interfaces. Chile, 2010.
2. Avaliação estratégica no desenvolvimento de capacidades. IDRC, 2008.
2. Avaliação para o desenvolvimento social: contribuições para um debate aberto na América Latina. INDES-BID, 2006.
3. Avaliações de impacto de programas de capacitação para o trabalho: a experiência internacional e chilena 2007.
3. Avaliação de impacto na prática. Banco Mundial, 2011.
4. Relatório de avaliação. Modernização da indústria açucareira no México. Aplicativo SIMAPRO, 2010.
4. Guia para treinamento baseado em TIC para MPMEs. OIT / Cinterfor, 2011.
5. Efeitos e impactos de programas intensivos de emprego. OIT, 2003.
Obrigado