Avaliação na Formação

Formadora: Sónia Torres Farias

Início

Avaliação na Formação

Avaliar para promover e reforçar a qualidade da formação!

Introdução

Avaliar consiste em:

• Recolher um conjunto de informações pertinentes, válidas e fiáveis

• Examinar o grau de adequação entre estas informações e o que foi previamente estabelecido (objetivos)

Trata-se de um processo que conduz à tomada de decisões para melhorar o processo formativo.

Introdução

Razões para avaliar:

• Possibilita um conhecimento real da qualidade do desempenho de todos os envolvidos
• Compara resultados face o objetivos previamente definidos
• Permite diagnosticar as causas dos resultados
• Saber como podemos melhorar
• Determinar a continuidade de um determinado programa de formação
• Demonstrar à gestão de topo as mais valias da formação
• Permite diagnosticar novas necessidades de formação

Resultados(impacto da formação a nível organizacional)

Comportamento(transferência, para os contextos de trabalho, das aprendizagens)

Aprendizagem(alcance do desenvolvimento das competências pelos formandos)

Satisfação/Reações (à formação pelos formandos)

Nível 4

Nível 3

Nível 2

Nível 1

Introdução

Rxistem 4 níveis de avaliação - sequenciais:

Avaliação na Formação

Nível 1. Avaliação da Satisfação

Comunique os resultados das reações sempr que julgar apropriado, em local apropriado e a quem julgar apropriado!

Diretrizes para avaliar reações

Separe as áreas de avaliação

Conceba um questionário que quantifique reações

Encoraje comentários escritos e sugestões

Obtenha 100% das respostas na altura

Obtenha respostas honestas

Identifique níveis de desempenho aceitáveis

Tome medidas em função desses níveis

Esteve motivado para aprender?

Motivação para aprender

Foi eficaz?Motivou?Linguagem/relacionamento/gestão do tempo/estabelecimento dos objetivos...?

Formador

Foram necessários e/ou úteis?Foram adequados?

Trabalhos extra-formação

Eram apropriados?Compreensão/utilidade/interesse?

Foram adequados aos objetivos?

Conteúdos

Métodos Pedagógicos

Foram necessários e/ou úteis?

Materiais pré-formação?

Foi útil e adequado?

Material Pedagógico

Em que medida foram alcançados?

Objetivos

Áreas a considerar na avaliação da Reação:

(cont...)

Como/onde/quando irá aplicar o que aprendeu?

Melhorias planeadas/Utilidade da Aprendizagem

Considera-se a população-alvo desta formação/programa?Quem mais deveria ser alvo desta formação/programa?

Recomendações para o público-alvo

Quais as barreiras que espera encontrar à aplicação dos conhecimentos adquiridos?

Barreiras Potenciais

Os horários de atendimento e inscrição foram adequados e fáceis

Logística/Inscrição

Qual a avaliação global que faz da ação de formação?

Avaliação Global

As instalações eram adequadas?Facilitaram a aprendizagem?

Instalações

O curso foi relevante para as suas necessidades?

Relevância do curso

Áreas a considerar na avaliação da Reação:

A avaliação de satisfação é útil, mas deve ser incluída num processo de avaliaçãomais vasto.

Limitações

Subjetividade

Dados subjetivos baseados nas opiniões e sentimentos dos participantes "naquele" momento. Os viés pessoais podem exgerar as classificações.

Desejabilidade Social

Tendência para serem delicados/bem educados nas suas classificações.Geralmente no final da formação há felicidade e satisfação por estarem a terminar a formação e isso tende a que seja dada uma avaliação positiva, mesmo quando os formandos pensam de outra forma.

Incerteza sobre a aplicação do aprendido

Uma boa classificação em termos de satisfação não é a garantia que os formandos vão usar o que aprenderam.

Avaliação na Formação

Nível 2. Avaliação da Aprendizagem

A avaliação das aprendizagens pode estar relacionada com um dado períodos, tema ou formador.A conceção da estratégia avaliativa da aprendizagem deve ser realizada assim que se definem os indicadores de aprendizagem (objetivos/competências a atingir).Para definir o processo de avaliação da aprendizagem é fundamental que existam definidos:

• Objetivos de aprendizagem
• Resultados esperados
• Parâmetros
• Critérios
• Instrumentos de avaliação

É fundamental transmiti-los de uma forma clara e inequívoca aos participantes.

Introdução

A subjetividade na avaliação surge logo à "primeira vista"associado ao formador, podendo esta ser:Inter-Formador: diferentes formadores classificam de maneiras diferentes as mesmas provasIntra-Formador: avalia de forma diferente em diferentes momentos, consoante o seu estado de saúde, físico e mental, a evolução do seu saber, a relação com o aluno, o contexto de avaliação e a escala que, conscientemente ou inconscientemente, adota.

Subjetividade

A avaliação contínua tem como princiapl problema o facto de ocultar aos avaliados o que está a ser avaliado e como

Outras vezes a avaliação contínua chamada de avaliação "em cima do acontecimento", "apreciação em situação", "avaliação permanente" pode ser uma alternativa ou complemento à avaliação por testes

A avaliação final é, muitas vezes, o resultado das avaliações resultantes da observação em situação (avaliação contínua)

A avaliação contínua responde às contingências das avaliações pontuais, diminuindo os erros de examinadores; a ansiedade e tensão dos formandos e o caracter reducionista das provas (não englobam tudo)

A avaliação contínua passa a exercer um papel de controlo de execução do programa e do trabalho do formador

A avaliação contínua implica a multiplicação dos momentos de avaliação; dos procedimentos e dos instrumentos de avaliação

A avaliação contínua, formativa e sistemática vem contrariar e suavizar os efeitos da subjetividade

Avaliação Contínua

Avaliação na Formação

Nível 3. Avaliação do Comportamento

Avaliação do comportamento avalia a tranferência, para os contextos de trabalho, das aprendizagens.Transferência é o grau de utilização, no posto de trabalho, daquilo que foi aprendido em formação.A transferência pode ser:

• Positiva: do aprendido em formação resulta um melhor desempenho
• Negativa: pior desempenho
• Nula: sem efeito no desempenho

Introdução

(Clique nas setas abaixo para ouvir uma breve explicação, aumente o som)

Para aumentar a transferência positiva é necessário intervir:

Avaliação Positiva

Antes da Formação

Durante a Formação

Depois da Formação

• Entrevista
• Questionário

• Grelhas de observação
• Observação não estruturada
• Registo escrito
• Registo vídeo
• Registo áudio
• Transcrições

Estratégias para avaliar o comportamento

Apresentação de algumas estratégias para avaliação das transferências:

Observação

Inquérito

Avaliação de Desempenho

Avaliação na Formação

Nível 4. Avaliação dos Resultados

Medir antes e depois do curso de formação

Impacto na Formação:Aspetos a considerar

Utilização de um grupo de controlo

Tempo para que os resultados se possam manifestar

Repetir a medição em momentos apropriados

Considerar: custos vs benefícios da avaliação do impacto da formação

A relevância e o investimento na avaliação

Ficar satisfeito com a evidência, se não for a prova

Condições de Fiabilidade da Avaliação

(Return On Investment)

NOTA:Benefícios líquidos são calculados subtraindo os custos ao benefício (lucro) do programa.Um ROI de 66,7% significa que os custos foram completamente recuperados e que 66,7% dos custos são registados como lucro.

Jack Phillips acrescentou um 5º nível ao modelo de Kirkpatrick -> Retorno do investimento em formaçãoPretende quantificar financeiramente o retorno do investimento comparando os benefícios gerados pelos efeitos resultantes da frequência da formação com o valor investido nessa mesma formação.A fórmula do ROI aplicada com valores anuais e referente ao primeiro ano é: ROI%= Benefícios Líquidos do Programa x 100 Custos do Programa

Impacto da Formação: ROI

E-mail: soniatorresfarias@gmail.com

Formadora: Sónia Torres Farias

Avaliação na Formação

É mais "caro" avaliar mudanças de comportamento e o impacto destes na organização, do que os custos vs benefícios financeiros.Geralmente os números necessários para avaliar custos/benefícios estão disponíveis.Difícil (e caro) é determinar os indicadores significativos e relevantes.

Importa saber quanta (ou qual) evidência de resultados espera a gestão, para a poder satisfazer.

A relevância e o investimento na avaliação de nível está diretamente dependente de:

• Custos de programa de formação
• Resultados potenciais esperados com a formação
• Nº de vezes que se está a pensar repetir o programa de formação

Os resultados da avaliação devem determinar a continudade do programa.

A avaliação não deve ser realizada imediatamente após a formação (correndo o risco de enviesar os resultados).O tempo que medeia o final da avaliação da formação depende de caso para caso, tendo em conta fatores de contexto que possam influenciar os efeitos da aplicação das aprendizagens/competências.

Apesar de ser útil (a avaliação de nível 4) aos gestores de topo, não significa que seja fiável.

A utilização de um grupo de controlo com as mesmas caraterísticas, mas sem ter frequentado o programa/ação de formação, para comparar com os resultados obtidos pelo grupo que realizou a formação.

Os resultados obtidos com a formação podem mudar com o tempo.

É mais fácil/adequado se estivermos a medir resultados (e não comportamentos).Números relativos às atitudes/comportamentos/opiniões podem ser conhecidos através de inquéritos por questionário e formulário de avaliação de desempenho.