sessão 2 - Modelo KirkPatrick.pptx

Módulo 3

Avaliação da Formação e das Aprendizagens

Sandra Paulino 2024

3 de Julho de 2024

No final deste sessão e de acordo com o referencial de FPIF, os/as formandos/as deverão estar aptos a:

• Distinguir os diferentes níveis de avaliação dos resultados de formação.

‹nº›

‹nº›

Finalidades e objetos da avaliação

• Selecionar os candidatos mais aptos para uma determinada formação (no caso da avaliação de diagnóstico) ou função;
• Testar competências já existentes, com o objetivo de evitar desenvolver conteúdos já tratados;

‹nº›

Finalidades e objetos da avaliação

• Controlar a aquisição de novos saberes pelos formandos;
• Informar os formandos dos seus progressos;
• Classificar os formandos, situando-os em relação aos colegas;

‹nº›

Finalidades e objetos da avaliação

• Orientar, aconselhar ou corrigir os formandos;
• Avaliar os objetivos de formação;
• Diagnosticar eventuais falhas e pontos fracos do processo formativo.

‹nº›

Avaliar

Avaliar é um processo dinâmico, contínuo e sistemático que acompanha o desenrolar do ato formativo, contribuindo para o seu aperfeiçoamento e melhoria constante.

‹nº›

Modelo de Avaliação de Kirkpatrick

‹nº›

Avaliação interna

Como reagiram os formandos à formação?

O que aprenderam os formandos?

Nível IReação(à formação pelos formandos)

Nível IIAprendizagem(dos conteúdos pelos formandos)

O que utilizaram os formandos do que aprenderam?

Quais os efeitos organizacionais gerados pela formação?

Nível IVImpacto(da formação a nível organizacional)

Nível III Transferência(das aprendizagens para contextos de trabalho)

Avaliação externa

‹nº›

Objetivo Conduzir a avaliação da formação em vários níveis, para conseguir um diagnóstico exaustivo dos problemas que poderão afetá-la.

Modelo de Avaliação de Kirkpatrick

‹nº›

Níveis de avaliação de Kirkpatrick

Nível IReação(à formação pelos formandos)

Nível IIAprendizagem(dos conteúdos pelos formandos)

Nível IVImpacto(da formação a nível organizacional)

Nível III Transferência(das aprendizagens para contextos de trabalho)

‹nº›

Nível I – Reação(à formação pelos formandos)

Em que consiste?

• Avaliar a reação significa medir a satisfação do formando;
• Permite recolher informações que ajudam a avaliar o programa e a melhorar próximas edições.

‹nº›

Aspetos práticosÁreas a considerar na avaliação de reação

(dependem da organização e dos objetivos  uns questionários são mais simples e outros mais detalhados)

• Apreciação global da formação;
• Apreciação da adequação da formação às necessidades e expetativas;
• Qualidade dos conteúdos (nível, adaptação, interesse);

‹nº›

Aspetos práticosÁreas a considerar na avaliação de reação

• Qualidade dos métodos e suportes pedagógicos e da documentação entregue;
• Condições gerais da formação (local, instalações, etc.)
• Sugestões para melhorar os pontos precedentes;

É importante, ainda, encorajar comentários escritos

‹nº›

Aspetos práticosÁreas a considerar na avaliação de reação

• Prestação do formador e dos intervenientes;
• Possibilidade de aplicação dos conhecimentos adquiridos em situação de trabalho.

• Preparação para as sessões
• Conhecimento da matéria,
• Competências de apresentação,
• Capacidade de resposta aos formandos...

‹nº›

Níveis de avaliação de Kirkpatrick

Nível IReação(à formação pelos formandos)

Nível IIAprendizagem(dos conteúdos pelos formandos)

Nível IVImpacto(da formação a nível organizacional)

Nível III Transferência(das aprendizagens para contextos de trabalho)

‹nº›

Nível II – Aprendizagem(dos conteúdos pelos formandos)

Consiste no processo de verificação, em termos quantitativos e/ou qualitativos, das mudanças do formando nos domínios cognitivo, psicomotor e afetivo, durante e após a formação, face à situação inicial e em função dos objetivos pedagógicos definidos.

‹nº›

Diagnóstica

Formativa

Sumativa

Saber se, em dado momento, os formandos dispõem ou não dos conhecimentos e capacidades necessários para efetuar uma aprendizagem

Melhorar, desenvolver, acompanhar e proporcionar feedback

Fornecer um balanço de uma determinada etapa e determinar em que medida os objetivos foram atingidos

Finalidades

Prognóstica (prevê possibilidades de êxito)

Reguladora (dos processos de elaboração)

Classificadora (posiciona os formandos uns em relação aos outros)

Função

Momento

No início

Durante o processo

No início

Durante o processo

No fim

No início

Durante o processo

No fim

‹nº›

18

Aspetos práticosEstratégias de avaliação formativa

• Relatórios produções escritas realizadas pelos formandos a respeito de atividades teóricas ou experimentais de pesquisa ou de projetos em que trabalharam (podem constituir, para além de instrumento de avaliação, um fator de aprendizagem)
• Apresentações orais os formandos desenvolvem a sua compreensão sobre diversos temas, bem como a capacidade de comunicação e de argumentação
• Grelhas de observação permite a recolha de informações sobre o desempenho dos formandos

‹nº›

Aspetos práticosEstratégias de avaliação sumativa

• Os testes constituem o instrumento avaliativo habitual (prova escrita, individual, sem consulta e com tempo limitado)

• Avaliação pontual (testes e exames) vs Avaliação contínua (multiplicação de momentos de avaliação)

‹nº›

Aspetos práticosEstratégias de avaliação sumativa

Instrumento que apresenta a todos os formandos as mesmas instruções e condições, e as mesmas questões com o mesmo formato.

Quanto aos itens que os compõem:

• Testes de resposta fechada
• Testes de resposta aberta

Quanto à tarefa que solicitam:

• Testes de papel e lápis
• Testes de desempenho

(exigem a realização de uma tarefa: comum em ensino profissional, artístico e desportivo)

• Os testes constituem o instrumento avaliativo habitual (prova escrita, individual, sem consulta e com tempo limitado)

• Avaliação pontual (testes e exames) vs Avaliação contínua (multiplicação de momentos de avaliação)

‹nº›

Aspetos práticosEstratégias de avaliação sumativa

Quanto aos itens que os compõem:

• Testes de resposta fechada
• Testes de resposta aberta

Quanto à tarefa que solicitam:

• Testes de papel e lápis
• Testes de desempenho

(exigem a realização de uma tarefa: comum em ensino profissional, artístico e desportivo)

Instrumento que apresenta a todos os formandos as mesmas instruções e condições, e as mesmas questões com o mesmo formato.

‹nº›

Modelo de Avaliação de Kirkpatrick

‹nº›

Níveis de avaliação de Kirkpatrick

Nível IReação(à formação pelos formandos)

Nível IIAprendizagem(dos conteúdos pelos formandos)

Nível IVImpacto(da formação a nível organizacional)

Nível III Transferência(das aprendizagens para contextos de trabalho)

‹nº›

Modelo de Avaliação de Kirkpatrick

• Em 1913, Ebbinghaus provou que 60% do material adquirido é esquecido ao fim de 72h da aprendizagem se não houver um reforço posterior.

• Nenhuma formação, independentemente da sua qualidade pedagógica, pode obter efeitos de aprendizagem reais e duráveis na ausência de um reforço dessa aprendizagem em situação de trabalho.

‹nº›

Modelo de Avaliação de Kirkpatrick

• Em 1913, Ebbinghaus provou que 60% do material adquirido é esquecido ao fim de 72h da aprendizagem se não houver um reforço posterior.

• Nenhuma formação, independentemente da sua qualidade pedagógica, pode obter efeitos de aprendizagem reais e duráveis na ausência de um reforço dessa aprendizagem em situação de trabalho.

Nível III

‹nº›

Nível III – Transferência(das aprendizagens para os contextos de trabalho)

Aplicação efetiva e contínua das competências adquiridas num contexto formativo , no contexto de trabalho, (ligação entre o desempenho em sala e algo que é suposto acontecer no “mundo real”).

‹nº›

Estudo de caso

Uma Assistente Administrativa frequentou uma ação de formação em Excel, satisfeita com a formação e provou ser capaz de utilizar o que aprendeu, mas não o utiliza de facto em situação real de trabalho

Nível I

Nível II

Nível III

‹nº›

Análise

“mas não o utiliza de facto em situação real de trabalho”

• A formação não foi satisfatória
• A hierarquia não lhe pede que execute funções em que o Excel seja necessário
• O programa não se encontra disponível na empresa ou o atraso na sua obtenção foi tal que ela esqueceu o que aprendeu por falta de prática
• Os seus colegas resistem à introdução da informática e ela não quer ser marginalizada
• A hierarquia inscreveu-a sem verificar se este programa respondia a necessidades reais

‹nº›

Aspetos práticosEstratégias de avaliação de transferência

• Grelhas de observação de comportamentos no desempenho da função
• Entrevista (estruturada ou não | individual ou coletiva)
• Questionário (instrumentos fáceis de administrar)
• Avaliação de desempenho (antes e depois da formação, podendo ser completada com observação e entrevista)
• Estudos de caso (comparação do desempenho de 2 departamentos que após a formação têm resultados díspares)

‹nº›

Níveis de avaliação de Kirkpatrick

Nível IReação(à formação pelos formandos)

Nível IIAprendizagem(dos conteúdos pelos formandos)

Nível IVImpacto(da formação a nível organizacional)

Nível III Transferência(das aprendizagens para contextos de trabalho)

‹nº›

Nível IV – Impacto(da formação a nível organizacional)

Consiste em avaliar o impacto que a formação teve nos resultados da organização.

‹nº›

Nível IV – Impacto(da formação a nível organizacional)

• Estes “resultados finais” podem incluir:

• Aumento da produção;
• Melhoria da qualidade;
• Diminuição de custos;
• Redução da frequência e/ou da gravidade dos acidentes de trabalho;
• Aumento das vendas;
• Redução da rotatividade de colaboradores;
• Aumento de lucros.

‹nº›

Modelo de Avaliação de Kirkpatrick

‹nº›

Em suma…

ReaçãoOs formandos gostaram do curso?

AprendizagensOs formandos adquiriram o conhecimento pretendido?

ImpactoApós a formação, verifica-se modificação dos resultados obtidos pela organização?

‹nº›

TransferênciaO comportamento dos formandos no posto de trabalho alterou-se?

ROI - Retorno do Investimento

Criado em 1977 por Gartner, Inc. , o conceito de ROI (Return On Investment ou Retorno do Investimento) disseminou-se e amealhou popularidade no mercado na década de 90.

‹nº›

Nível V – Retorno do Investimento

Consiste em avaliar a relação entre o investimento na formação e o lucro ou a perda desse investimento.

‹nº›

Para se calcular o ROI, convém não haver dúvidas sobre a inclusão de todos os custos na fórmula e mesmo que surja uma dúvida sobre a inclusão de determinado custo, os autores sugerem incluir sempre. (Phillips & Stone, 2002, p. 202).

‹nº›

Nível V – Retorno do Investimento

São exemplos de custos da formação, os seguintes:

• Despesas com o planeamento e divulgação da formação;
• Custo com os participantes (salários, benefícios e outros extras);
• Gastos com os formadores (honorários, deslocações, etc.);
• Recursos materiais (salas, logística, equipamento, etc.);
• Refeições e outros extras;
• Seguros;
• Custos com pesquisa;
• Despesas com viagens de estudo;
• Gastos com a avaliação (das necessidades, do processo, dos resultados e follow-up).

‹nº›

Nível V – Retorno do Investimento (ROI)

Após a recolha dos dados da formação e conversão em termos monetários, é possível calcular tanto o rácio custo-benefício (RCB), expresso em termos monetários, como o retorno da formação em termos de investimento (ROI), expresso em termos percentuais.

‹nº›

Nível V – Retorno do Investimento (ROI)

1. Recolha dos dados da formação;
2. Conversão em termos monetários;
3. Calcular o rácio custo-benefício (RCB), expresso em termos monetários;
4. Calcular retorno da formação em termos de investimento (ROI), expresso em termos percentuais.

‹nº›

Nível V – Retorno do Investimento (ROI)

RCB ROI x 100

‹nº›

‹nº›

Objetivos alcançados

• Distinguir os diferentes níveis de avaliação dos resultados de formação.

‹nº›

Bibliografia

• Abrech, R. (1994) – A Avaliação Formativa. Rio Tinto: Edições Asa.
• Barbier, J.M. (1990) – A Avaliação em Formação. Porto: Afrontamento, D. L.
• Cardinet, J. (1993) - Avaliar é medir? Porto: Edições Asa.
• Cardoso, Z. et al (2003) – Avaliação da Formação: glossário Anotado. Lisboa: INOFOR
• Fernandes, E. (2014). Avaliar, motivar, acreditar at TEDxLisboaED
• Google Imagens. (2018). Obtido de https://goo.gl/gLFSXL
• Instituto para a Qualidade na formação (2006) - Guia para a avaliação da Formação. Coleção Metodologias de Formação. Lisboa: IQF.
• Lemos, V. (1989) - O critério do sucesso: Técnicas de avaliação da aprendizagem. Lisboa: Texto Editora.
• Meignant, A. (1999) – A gestão da Formação. Lisboa: Publicações D. Quixote Ribeiro, L. C. (1990). - Avaliação da aprendizagem. Lisboa: Texto Editora.
• Mattos, I. l. (2003). Problemas no processo de avaliação de desempenho. Centro Universitário Brasília (p. 29). Brasília: Faculdade de Ciências da Saúde. Obtido de https://goo.gl/Wnm38Y

‹nº›

Bomtrabalho!

‹nº›