Avaliação na Formação

Avaliação na Formação

Avaliar para promover e reforçar a qualidade da formação!

Início

Formadora: Sónia Torres Farias

Introdução

Avaliar consiste em:

• Recolher um conjunto de informações pertinentes, válidas e fiáveis

• Examinar o grau de adequação entre estas informações e o que foi previamente estabelecido (objetivos)

Trata-se de um processo que conduz à tomada de decisões para melhorar o processo formativo.

Introdução

Razões para avaliar:

• Possibilita um conhecimento real da qualidade do desempenho de todos os envolvidos
• Compara resultados face o objetivos previamente definidos
• Permite diagnosticar as causas dos resultados
• Saber como podemos melhorar
• Determinar a continuidade de um determinado programa de formação
• Demonstrar à gestão de topo as mais valias da formação
• Permite diagnosticar novas necessidades de formação

Introdução

Rxistem 4 níveis de avaliação - sequenciais:

Resultados(impacto da formação a nível organizacional)

Nível 4

Comportamento(transferência, para os contextos de trabalho, das aprendizagens)

Nível 3

Aprendizagem(alcance do desenvolvimento das competências pelos formandos)

Nível 2

Satisfação/Reações (à formação pelos formandos)

Nível 1

Avaliação na Formação

Nível 1. Avaliação da Satisfação

Separe as áreas de avaliação

Conceba um questionário que quantifique reações

Encoraje comentários escritos e sugestões

Obtenha 100% das respostas na altura

Obtenha respostas honestas

Identifique níveis de desempenho aceitáveis

Diretrizes para avaliar reações

Tome medidas em função desses níveis

Comunique os resultados das reações sempr que julgar apropriado, em local apropriado e a quem julgar apropriado!

Áreas a considerar na avaliação da Reação:

Trabalhos extra-formação

Objetivos

Foram necessários e/ou úteis? Foram adequados?

Em que medida foram alcançados?

Métodos Pedagógicos

Foram adequados aos objetivos?

Conteúdos

Eram apropriados? Compreensão/utilidade/interesse?

Formador

Material Pedagógico

Foi eficaz? Motivou? Linguagem/relacionamento/gestão do tempo/estabelecimento dos objetivos...?

Foi útil e adequado?

Materiais pré-formação?

Foram necessários e/ou úteis?

Motivação para aprender

Esteve motivado para aprender?

Áreas a considerar na avaliação da Reação:

(cont...)

Barreiras Potenciais

Relevância do curso

Quais as barreiras que espera encontrar à aplicação dos conhecimentos adquiridos?

O curso foi relevante para as suas necessidades?

Melhorias planeadas/Utilidade da Aprendizagem

Logística/Inscrição

Os horários de atendimento e inscrição foram adequados e fáceis

Como/onde/quando irá aplicar o que aprendeu?

Instalações

Recomendações para o público-alvo

As instalações eram adequadas? Facilitaram a aprendizagem?

Considera-se a população-alvo desta formação/programa? Quem mais deveria ser alvo desta formação/programa?

Avaliação Global

Qual a avaliação global que faz da ação de formação?

Limitações

Subjetividade

Dados subjetivos baseados nas opiniões e sentimentos dos participantes "naquele" momento. Os viés pessoais podem exgerar as classificações.

Desejabilidade Social

Tendência para serem delicados/bem educados nas suas classificações. Geralmente no final da formação há felicidade e satisfação por estarem a terminar a formação e isso tende a que seja dada uma avaliação positiva, mesmo quando os formandos pensam de outra forma.

Incerteza sobre a aplicação do aprendido

Uma boa classificação em termos de satisfação não é a garantia que os formandos vão usar o que aprenderam.

A avaliação de satisfação é útil, mas deve ser incluída num processo de avaliaçãomais vasto.

Avaliação na Formação

Nível 2. Avaliação da Aprendizagem

A avaliação das aprendizagens pode estar relacionada com um dado períodos, tema ou formador.A conceção da estratégia avaliativa da aprendizagem deve ser realizada assim que se definem os indicadores de aprendizagem (objetivos/competências a atingir).Para definir o processo de avaliação da aprendizagem é fundamental que existam definidos:

• Objetivos de aprendizagem
• Resultados esperados
• Parâmetros
• Critérios
• Instrumentos de avaliação

É fundamental transmiti-los de uma forma clara e inequívoca aos participantes.

Introdução

Subjetividade

A subjetividade na avaliação surge logo à "primeira vista"associado ao formador, podendo esta ser: Inter-Formador: diferentes formadores classificam de maneiras diferentes as mesmas provas Intra-Formador: avalia de forma diferente em diferentes momentos, consoante o seu estado de saúde, físico e mental, a evolução do seu saber, a relação com o aluno, o contexto de avaliação e a escala que, conscientemente ou inconscientemente, adota.

Avaliação Contínua

A avaliação contínua passa a exercer um papel de controlo de execução do programa e do trabalho do formador

A avaliação contínua responde às contingências das avaliações pontuais, diminuindo os erros de examinadores; a ansiedade e tensão dos formandos e o caracter reducionista das provas (não englobam tudo)

A avaliação contínua implica a multiplicação dos momentos de avaliação; dos procedimentos e dos instrumentos de avaliação

A avaliação contínua, formativa e sistemática vem contrariar e suavizar os efeitos da subjetividade

Outras vezes a avaliação contínua chamada de avaliação "em cima do acontecimento", "apreciação em situação", "avaliação permanente" pode ser uma alternativa ou complemento à avaliação por testes

A avaliação contínua tem como princiapl problema o facto de ocultar aos avaliados o que está a ser avaliado e como

A avaliação final é, muitas vezes, o resultado das avaliações resultantes da observação em situação (avaliação contínua)

Avaliação na Formação

Nível 3. Avaliação do Comportamento

Avaliação do comportamento avalia a tranferência, para os contextos de trabalho, das aprendizagens.Transferência é o grau de utilização, no posto de trabalho, daquilo que foi aprendido em formação.A transferência pode ser:

• Positiva: do aprendido em formação resulta um melhor desempenho
• Negativa: pior desempenho
• Nula: sem efeito no desempenho

Introdução

Avaliação Positiva

Para aumentar a transferência positiva é necessário intervir:

(Clique nas setas abaixo para ouvir uma breve explicação, aumente o som)

Antes da Formação

Durante a Formação

Depois da Formação

Estratégias para avaliar o comportamento

Apresentação de algumas estratégias para avaliação das transferências:

• Grelhas de observação
• Observação não estruturada
• Registo escrito
• Registo vídeo
• Registo áudio
• Transcrições

Observação

• Entrevista
• Questionário

Inquérito

Avaliação de Desempenho

Avaliação na Formação

Nível 4. Avaliação dos Resultados

Impacto na Formação: Aspetos a considerar

Tempo para que os resultados se possam manifestar

Medir antes e depois do curso de formação

Utilização de um grupo de controlo

Considerar: custos vs benefícios da avaliação do impacto da formação

Condições de Fiabilidade da Avaliação

Ficar satisfeito com a evidência, se não for a prova

Repetir a medição em momentos apropriados

A relevância e o investimento na avaliação

Impacto da Formação: ROI

(Return On Investment)

Jack Phillips acrescentou um 5º nível ao modelo de Kirkpatrick -> Retorno do investimento em formação Pretende quantificar financeiramente o retorno do investimento comparando os benefícios gerados pelos efeitos resultantes da frequência da formação com o valor investido nessa mesma formação. A fórmula do ROI aplicada com valores anuais e referente ao primeiro ano é: ROI%= Benefícios Líquidos do Programa x 100 Custos do Programa

NOTA: Benefícios líquidos são calculados subtraindo os custos ao benefício (lucro) do programa. Um ROI de 66,7% significa que os custos foram completamente recuperados e que 66,7% dos custos são registados como lucro.

Avaliação na Formação

Formadora: Sónia Torres Farias

E-mail: soniatorresfarias@gmail.com

É mais "caro" avaliar mudanças de comportamento e o impacto destes na organização, do que os custos vs benefícios financeiros. Geralmente os números necessários para avaliar custos/benefícios estão disponíveis. Difícil (e caro) é determinar os indicadores significativos e relevantes.

Importa saber quanta (ou qual) evidência de resultados espera a gestão, para a poder satisfazer.

A relevância e o investimento na avaliação de nível está diretamente dependente de:

• Custos de programa de formação
• Resultados potenciais esperados com a formação
• Nº de vezes que se está a pensar repetir o programa de formação

Os resultados da avaliação devem determinar a continudade do programa.

A avaliação não deve ser realizada imediatamente após a formação (correndo o risco de enviesar os resultados). O tempo que medeia o final da avaliação da formação depende de caso para caso, tendo em conta fatores de contexto que possam influenciar os efeitos da aplicação das aprendizagens/competências.

Apesar de ser útil (a avaliação de nível 4) aos gestores de topo, não significa que seja fiável.

A utilização de um grupo de controlo com as mesmas caraterísticas, mas sem ter frequentado o programa/ação de formação, para comparar com os resultados obtidos pelo grupo que realizou a formação.

Os resultados obtidos com a formação podem mudar com o tempo.

É mais fácil/adequado se estivermos a medir resultados (e não comportamentos). Números relativos às atitudes/comportamentos/opiniões podem ser conhecidos através de inquéritos por questionário e formulário de avaliação de desempenho.