sessão 2 - Modelo KirkPatrick.pptx

Avaliação da Formação e das Aprendizagens

Módulo 3

3 de Julho de 2024

Sandra Paulino 2024

No final deste sessão e de acordo com o referencial de FPIF, os/as formandos/as deverão estar aptos a:

• Distinguir os diferentes níveis de avaliação dos resultados de formação.

‹nº›

‹nº›

• Selecionar os candidatos mais aptos para uma determinada formação (no caso da avaliação de diagnóstico) ou função;
• Testar competências já existentes, com o objetivo de evitar desenvolver conteúdos já tratados;

Finalidades e objetos da avaliação

‹nº›

• Controlar a aquisição de novos saberes pelos formandos;
• Informar os formandos dos seus progressos;
• Classificar os formandos, situando-os em relação aos colegas;

Finalidades e objetos da avaliação

‹nº›

• Orientar, aconselhar ou corrigir os formandos;
• Avaliar os objetivos de formação;
• Diagnosticar eventuais falhas e pontos fracos do processo formativo.

Finalidades e objetos da avaliação

‹nº›

Avaliar

Avaliar é um processo dinâmico, contínuo e sistemático que acompanha o desenrolar do ato formativo, contribuindo para o seu aperfeiçoamento e melhoria constante.

‹nº›

Modelo de Avaliação de Kirkpatrick

‹nº›

Quais os efeitos organizacionais gerados pela formação?

O que aprenderam os formandos?

O que utilizaram os formandos do que aprenderam?

Como reagiram os formandos à formação?

Avaliação externa

Avaliação interna

Nível IVImpacto(da formação a nível organizacional)

Nível III Transferência(das aprendizagens para contextos de trabalho)

Nível IIAprendizagem(dos conteúdos pelos formandos)

Nível IReação(à formação pelos formandos)

‹nº›

Modelo de Avaliação de Kirkpatrick

Objetivo Conduzir a avaliação da formação em vários níveis, para conseguir um diagnóstico exaustivo dos problemas que poderão afetá-la.

‹nº›

Níveis de avaliação de Kirkpatrick

Nível IVImpacto(da formação a nível organizacional)

Nível III Transferência(das aprendizagens para contextos de trabalho)

Nível IIAprendizagem(dos conteúdos pelos formandos)

Nível IReação(à formação pelos formandos)

‹nº›

Em que consiste?

• Avaliar a reação significa medir a satisfação do formando;
• Permite recolher informações que ajudam a avaliar o programa e a melhorar próximas edições.

Nível I – Reação(à formação pelos formandos)

‹nº›

• Apreciação global da formação;
• Apreciação da adequação da formação às necessidades e expetativas;
• Qualidade dos conteúdos (nível, adaptação, interesse);

Aspetos práticosÁreas a considerar na avaliação de reação

(dependem da organização e dos objetivos  uns questionários são mais simples e outros mais detalhados)

‹nº›

É importante, ainda, encorajar comentários escritos

• Qualidade dos métodos e suportes pedagógicos e da documentação entregue;
• Condições gerais da formação (local, instalações, etc.)
• Sugestões para melhorar os pontos precedentes;

Aspetos práticosÁreas a considerar na avaliação de reação

‹nº›

• Preparação para as sessões
• Conhecimento da matéria,
• Competências de apresentação,
• Capacidade de resposta aos formandos...

• Prestação do formador e dos intervenientes;
• Possibilidade de aplicação dos conhecimentos adquiridos em situação de trabalho.

Aspetos práticosÁreas a considerar na avaliação de reação

‹nº›

Níveis de avaliação de Kirkpatrick

Nível IVImpacto(da formação a nível organizacional)

Nível III Transferência(das aprendizagens para contextos de trabalho)

Nível IIAprendizagem(dos conteúdos pelos formandos)

Nível IReação(à formação pelos formandos)

‹nº›

Consiste no processo de verificação, em termos quantitativos e/ou qualitativos, das mudanças do formando nos domínios cognitivo, psicomotor e afetivo, durante e após a formação, face à situação inicial e em função dos objetivos pedagógicos definidos.

Nível II – Aprendizagem(dos conteúdos pelos formandos)

‹nº›

Finalidades

Durante o processo

No início

No fim

Durante o processo

No início

Classificadora (posiciona os formandos uns em relação aos outros)

Reguladora (dos processos de elaboração)

Prognóstica (prevê possibilidades de êxito)

Fornecer um balanço de uma determinada etapa e determinar em que medida os objetivos foram atingidos

Melhorar, desenvolver, acompanhar e proporcionar feedback

Saber se, em dado momento, os formandos dispõem ou não dos conhecimentos e capacidades necessários para efetuar uma aprendizagem

Momento

Função

No fim

Durante o processo

No início

Sumativa

Formativa

Diagnóstica

18

‹nº›

• Relatórios produções escritas realizadas pelos formandos a respeito de atividades teóricas ou experimentais de pesquisa ou de projetos em que trabalharam (podem constituir, para além de instrumento de avaliação, um fator de aprendizagem)
• Apresentações orais os formandos desenvolvem a sua compreensão sobre diversos temas, bem como a capacidade de comunicação e de argumentação
• Grelhas de observação permite a recolha de informações sobre o desempenho dos formandos

Aspetos práticosEstratégias de avaliação formativa

‹nº›

• Os testes constituem o instrumento avaliativo habitual (prova escrita, individual, sem consulta e com tempo limitado)

• Avaliação pontual (testes e exames) vs Avaliação contínua (multiplicação de momentos de avaliação)

Aspetos práticosEstratégias de avaliação sumativa

‹nº›

Instrumento que apresenta a todos os formandos as mesmas instruções e condições, e as mesmas questões com o mesmo formato.

Quanto aos itens que os compõem:

• Testes de resposta fechada
• Testes de resposta aberta

Quanto à tarefa que solicitam:

• Testes de papel e lápis
• Testes de desempenho

(exigem a realização de uma tarefa: comum em ensino profissional, artístico e desportivo)

• Os testes constituem o instrumento avaliativo habitual (prova escrita, individual, sem consulta e com tempo limitado)

• Avaliação pontual (testes e exames) vs Avaliação contínua (multiplicação de momentos de avaliação)

Aspetos práticosEstratégias de avaliação sumativa

‹nº›

Aspetos práticosEstratégias de avaliação sumativa

Instrumento que apresenta a todos os formandos as mesmas instruções e condições, e as mesmas questões com o mesmo formato.

Quanto aos itens que os compõem:

• Testes de resposta fechada
• Testes de resposta aberta

Quanto à tarefa que solicitam:

• Testes de papel e lápis
• Testes de desempenho

(exigem a realização de uma tarefa: comum em ensino profissional, artístico e desportivo)

‹nº›

Modelo de Avaliação de Kirkpatrick

‹nº›

Níveis de avaliação de Kirkpatrick

Nível IVImpacto(da formação a nível organizacional)

Nível III Transferência(das aprendizagens para contextos de trabalho)

Nível IIAprendizagem(dos conteúdos pelos formandos)

Nível IReação(à formação pelos formandos)

‹nº›

• Nenhuma formação, independentemente da sua qualidade pedagógica, pode obter efeitos de aprendizagem reais e duráveis na ausência de um reforço dessa aprendizagem em situação de trabalho.

• Em 1913, Ebbinghaus provou que 60% do material adquirido é esquecido ao fim de 72h da aprendizagem se não houver um reforço posterior.

Modelo de Avaliação de Kirkpatrick

‹nº›

Nível III

• Nenhuma formação, independentemente da sua qualidade pedagógica, pode obter efeitos de aprendizagem reais e duráveis na ausência de um reforço dessa aprendizagem em situação de trabalho.

• Em 1913, Ebbinghaus provou que 60% do material adquirido é esquecido ao fim de 72h da aprendizagem se não houver um reforço posterior.

Modelo de Avaliação de Kirkpatrick

‹nº›

Aplicação efetiva e contínua das competências adquiridas num contexto formativo , no contexto de trabalho, (ligação entre o desempenho em sala e algo que é suposto acontecer no “mundo real”).

Nível III – Transferência(das aprendizagens para os contextos de trabalho)

‹nº›

Nível III

Nível II

Nível I

Estudo de caso

Uma Assistente Administrativa frequentou uma ação de formação em Excel, satisfeita com a formação e provou ser capaz de utilizar o que aprendeu, mas não o utiliza de facto em situação real de trabalho

‹nº›

Análise

“mas não o utiliza de facto em situação real de trabalho”

• A formação não foi satisfatória
• A hierarquia não lhe pede que execute funções em que o Excel seja necessário
• O programa não se encontra disponível na empresa ou o atraso na sua obtenção foi tal que ela esqueceu o que aprendeu por falta de prática
• Os seus colegas resistem à introdução da informática e ela não quer ser marginalizada
• A hierarquia inscreveu-a sem verificar se este programa respondia a necessidades reais

‹nº›

• Grelhas de observação de comportamentos no desempenho da função
• Entrevista (estruturada ou não | individual ou coletiva)
• Questionário (instrumentos fáceis de administrar)
• Avaliação de desempenho (antes e depois da formação, podendo ser completada com observação e entrevista)
• Estudos de caso (comparação do desempenho de 2 departamentos que após a formação têm resultados díspares)

Aspetos práticosEstratégias de avaliação de transferência

‹nº›

Níveis de avaliação de Kirkpatrick

Nível IVImpacto(da formação a nível organizacional)

Nível III Transferência(das aprendizagens para contextos de trabalho)

Nível IIAprendizagem(dos conteúdos pelos formandos)

Nível IReação(à formação pelos formandos)

‹nº›

Consiste em avaliar o impacto que a formação teve nos resultados da organização.

Nível IV – Impacto(da formação a nível organizacional)

‹nº›

• Aumento da produção;
• Melhoria da qualidade;
• Diminuição de custos;
• Redução da frequência e/ou da gravidade dos acidentes de trabalho;
• Aumento das vendas;
• Redução da rotatividade de colaboradores;
• Aumento de lucros.

• Estes “resultados finais” podem incluir:

Nível IV – Impacto(da formação a nível organizacional)

‹nº›

Modelo de Avaliação de Kirkpatrick

‹nº›

Em suma…

ImpactoApós a formação, verifica-se modificação dos resultados obtidos pela organização?

TransferênciaO comportamento dos formandos no posto de trabalho alterou-se?

AprendizagensOs formandos adquiriram o conhecimento pretendido?

ReaçãoOs formandos gostaram do curso?

‹nº›

Criado em 1977 por Gartner, Inc. , o conceito de ROI (Return On Investment ou Retorno do Investimento) disseminou-se e amealhou popularidade no mercado na década de 90.

ROI - Retorno do Investimento

‹nº›

Consiste em avaliar a relação entre o investimento na formação e o lucro ou a perda desse investimento.

Nível V – Retorno do Investimento

‹nº›

Para se calcular o ROI, convém não haver dúvidas sobre a inclusão de todos os custos na fórmula e mesmo que surja uma dúvida sobre a inclusão de determinado custo, os autores sugerem incluir sempre. (Phillips & Stone, 2002, p. 202).

‹nº›

São exemplos de custos da formação, os seguintes:

• Despesas com o planeamento e divulgação da formação;
• Custo com os participantes (salários, benefícios e outros extras);
• Gastos com os formadores (honorários, deslocações, etc.);
• Recursos materiais (salas, logística, equipamento, etc.);
• Refeições e outros extras;
• Seguros;
• Custos com pesquisa;
• Despesas com viagens de estudo;
• Gastos com a avaliação (das necessidades, do processo, dos resultados e follow-up).

Nível V – Retorno do Investimento

‹nº›

Após a recolha dos dados da formação e conversão em termos monetários, é possível calcular tanto o rácio custo-benefício (RCB), expresso em termos monetários, como o retorno da formação em termos de investimento (ROI), expresso em termos percentuais.

Nível V – Retorno do Investimento (ROI)

‹nº›

1. Recolha dos dados da formação;
2. Conversão em termos monetários;
3. Calcular o rácio custo-benefício (RCB), expresso em termos monetários;
4. Calcular retorno da formação em termos de investimento (ROI), expresso em termos percentuais.

Nível V – Retorno do Investimento (ROI)

‹nº›

RCB ROI x 100

Nível V – Retorno do Investimento (ROI)

‹nº›

‹nº›

Objetivos alcançados

• Distinguir os diferentes níveis de avaliação dos resultados de formação.

‹nº›

• Abrech, R. (1994) – A Avaliação Formativa. Rio Tinto: Edições Asa.
• Barbier, J.M. (1990) – A Avaliação em Formação. Porto: Afrontamento, D. L.
• Cardinet, J. (1993) - Avaliar é medir? Porto: Edições Asa.
• Cardoso, Z. et al (2003) – Avaliação da Formação: glossário Anotado. Lisboa: INOFOR
• Fernandes, E. (2014). Avaliar, motivar, acreditar at TEDxLisboaED
• Google Imagens. (2018). Obtido de https://goo.gl/gLFSXL
• Instituto para a Qualidade na formação (2006) - Guia para a avaliação da Formação. Coleção Metodologias de Formação. Lisboa: IQF.
• Lemos, V. (1989) - O critério do sucesso: Técnicas de avaliação da aprendizagem. Lisboa: Texto Editora.
• Meignant, A. (1999) – A gestão da Formação. Lisboa: Publicações D. Quixote Ribeiro, L. C. (1990). - Avaliação da aprendizagem. Lisboa: Texto Editora.
• Mattos, I. l. (2003). Problemas no processo de avaliação de desempenho. Centro Universitário Brasília (p. 29). Brasília: Faculdade de Ciências da Saúde. Obtido de https://goo.gl/Wnm38Y

Bibliografia

‹nº›

Bomtrabalho!

‹nº›