avaliaao_da_formaao.pptx

Auditoria e Avaliação do Impacto da Formação

start

Ciclo de Gestão da Formação

AVALIAÇÃO DA FORMAÇÃO

Processo que possibilita a monitorização sistemática de determinada intervenção formativa, recorrendo para o efeito a padrões de qualidade de referência explícitos ou implícitos, com vista à produção de juízos de valor que suportem a eventual tomada de decisões.” Fontes: Patton (1997), Barbier (1990), Luís Capucha (1996) e outros.

Fases do Processo de Avaliação

Avaliação ON-GOING

Avaliar o quê?

Coerência:verificar a relação entre as características e componentes do processo formativo. Conformidade:verificar se um produto, processo ou serviço cumpre os requisitos, prescrições, procedimentos ou normas especificas. Eficácia:verifica em que medida os resultados obtidos reportam aos objectivos previamente estabelecidos. Eficiência:verifica em que medida os resultados do processo formativo justificam os recursos mobilizados

Processo de Avaliação

Tipos de Avaliação (Momentos)

SENTIDO DO PROCESSO

No início do processo

Durante o processo

No final do processo

Avaliação de Impacto

Avaliação de orientação (diagnóstica)

Avaliação de regulação (formativa)

Avaliação de certificação (sumativa)

O modelo de avaliação de Donald Kirkpatrick visa medir a qualidade de uma intervenção formativa, a partir da análise de quatro níveis de avaliação: NÍVEL 1 – AVALIAÇÃO DA REAÇÃO/SATISFAÇÃO DOS PARTICIPANTES NA FORMAÇÃONÍVEL 2 – AVALIAÇÃO DE APRENDIZAGENS (GRAU DE DOMÍNIO DE DETERMINADOS SABERES) NÍVEL 3 – AVALIAÇÃO DA TRANSFERÊNCIA DA FORMAÇÃO para o contexto do trabalho NÍVEL 4 – AVALIAÇÃO DO IMPACTo DA FORMAÇÃO NO DESEMPENHO DA ORGANIZAÇÃO NÍVEL 5 – Cáculo de roi (retorno de investimento)

NÍVEL 1 – AVALIAÇÃO DA REAÇÃO/SATISFAÇÃO

A satisfação é uma variável transaccional de curto prazo, medida “a quente” no final da formação.   A qualidade é uma variável relacional, de longo prazo, que pode ser medida a qualquer momento. Qualidade “Adequação ao uso” (Juran, 1951) Quais são os “usos” esperados de uma formação? A motivação para a formação depende das percepções de utilização futura A motivação baseia‐se na percepção de valor da formação

Items de satisfação na formação Cumprimento de objectivos de formação Supressão de necessidades de formaçãoAdequação do programa e carga horária aos objectivos de formaçãoCondições da salaApoio administrativoAtenção ao clienteRecursos didácticos disponibilizadosDesempenho do(s) formador(es):Competência técnico‐pedagógicaMétodos e técnicas utilizadasRelação interpessoal criada

Recurso: análise de alguns questionários de avaliação

Outros elementos a avaliar Cada sessão deve ser avaliada (especialmente se houver muitas sessões) O desempenho de cada formador deve ser igualmente avaliado Que critérios devemos usar para avaliar uma sessão? E para avaliar um formador?

NÍVEL 2 – AVALIAÇÃO DE APRENDIZAGENS

O que é que os formandos aprenderam com a formação. Caso prático: análise de uma grelha de avaliação de aprendizagem

Instrumentos mais utilizado: Testes (escritos, orais) distribuídos durante/final da formação.

NÍVEL 3 – AVALIAÇÃO DA TRANSFERÊNCIA DA FORMAÇÃO para o contexto do trabalho

Visa aferir em que medida os saberes adquiridos pela via da formação foram efectivamente mobilizados para os respectivos contexto de aplicação, ou seja erificação das melhorias de desempenho através das alterações de comportamento no posto de trabalho, decorrentes da transferência para a prática profissional dos conhecimentos e competência adquiridas/desenvolvidas na formação. Debate: Como avaliar esta transferência da formação? Prazos?

NÍVEL 4 – AVALIAÇÃO DO IMPACTo DA FORMAÇÃO NO DESEMPENHO DA ORGANIZAÇÃO

Análise do impacto da formação na organização – eficácia da formação para o alcance dos objetivos estratégicos e para a melhoria da qualidade do serviço prestado.

NÍVEL 5 – Cáculo de roi (retorno de investimento)

Principais dificuldades associadas à implementação de estratégias avaliativas

Existência de várias teorias e modelos de avaliação ( Alain Maignant; Brinkerhoff; Boterf);Complexidade de alguns modelos de avaliação; Fraca apropriação da teoria avaliativa; A problemática da subjectividade dos processos de avaliação; Fraco envolvimento dos vários actores no processo de avaliação; Inconsistência dos dados.

21

A Estratégia avaliativa de uma acção de formação deve questionar…

Quais os objectivos da avaliação pretendida? (porque se pretende avaliar?)Quais as questões avaliativas a efectuar? (o que é avaliado?)Quais os públicos alvo a implicar no processo avaliativo? (Quem avalia?)Que métodos e técnicas de avaliação serão os mais adequados? (Como avaliar)Em que momentos deverão ser desenvolvidas as intervenções de natureza avaliativa? (Quando avaliar?)Quais os actores interessados nos resultados?Quem é o responsável pela orientação metodológica do processo de avaliação?Como serão apresentados os resultados?Que custos serão imputados ao processo?

22

PRINCÍPIOS DA AUDITORIA

Conduta ética: O fundamento do profissionalismo. Confiança, integridade, confidencialidade e discrição são essenciais para auditar; Apresentação justa: A obrigação de reportar com veracidade e exatidão;Constatações de auditoria, conclusões, relatórios refletem verdadeiramente as atividades da auditoria;

PRINCÍPIOS DA AUDITORIA

Devido cuidado profissional: A aplicação de diligencia e julgamento na auditoria. Os auditores devem ter o cuidado necessário, considerando a importância de seu trabalho e a confiança depositada pelos clientes; Independência:A base para a imparcialidade da auditoria e objetividade das conclusões da auditoria; Abordagem baseada em evidência: O método racional de alcançar conclusões de auditoria confiáveis e reproduzíveis em um processo sistemático de auditoria.

Ciclo da Auditoria

PLANEAR A AUDITORIA

CONDUZIR A AUDITORIA

RELATAR A AUDITORIA

ACOMPANHAR A AUDITORIA

NO PLANEAMENTO DAS AUDITORIAS DEVEMOS CONSIDERAR: A situação atual de implementação de plano de formaçãoA importância do processo a ser auditado;O resultado de auditorias anteriores; A análise crítica; Eventuais alterações; A independência dos auditores.

Plano de Auditoria O QUE será auditado (e qual item da Norma)?POR QUE será auditado (objetivo)?ONDE será admitido (que áreas, processos)?QUEM auditará (e quem será o acompanhante)?QUANDO ocorrerá (data e tempo alvos)?COMO auditar (que perguntas, amostragem, trilhas utilizar)?

Ciclo da Auditoria

PLANEAR A AUDITORIA

CONDUZIR A AUDITORIA

RELATAR A AUDITORIA

ACOMPANHAR A AUDITORIA

Lista de Verificação Vantagem: Força o Auditor a pesquisar a área ou macro-processo. Possibilita que o Auditor pense com “os pés no chão”. Ajudam a controlar o transcorrer da Auditoria. Características: Auxílio à memória - Concisas (úteis para novos Auditores) Permite assegurar a profundidade e a continuidade da Auditoria. Auxílio se emperrar - permite estruturar a entrevista. Específicas (área/processo) e/ou corporativas. Podem evoluir com o tempo. Mais profissional.

PREPARAÇÃO DA AUDITORIA Preparar o programa de auditoria (prevendo tempos, requisitos, processos e auditados envolvidos); Considerar o conjunto da documentação de referências, internas (manual, procedimentos, instruções e registros) externas (normas e documentos regulamentares); Preparar umacheck list se necessário; Selecionar a equipa de auditora; Critérios da auditoria; Pessoal disponível; Tempo disponível para a execução da auditoria.

Condução da Auditoria

Comportamento Interpessoal Passivo - prevalecem os interesses do Auditado - capitulação Firme/Afirmativo - equilíbrio de interesses Agressivo - prevalecem os interesses do Auditor - guerra é guerra

Condução da Auditoria

Gestão do tempo Atenção: o tempo é o inimigo do Auditor. Por ser um recurso não renovável, é necessário saber aproveitá-lo bem. Algumas dicas: Lista de verificação - ajuda a monitorizar o andamento da auditoria Refeições/café/cigarro - evitar Conversas amigáveis - empatia sim, mas cuidado Pistas falsas/amostragem - cuidado com a obsessão por detalhes Caminho mais demorado - planeie com antecedência Amnésia/absenteísmo - cuidado!

Ciclo da Auditoria

PLANEAR A AUDITORIA

CONDUZIR A AUDITORIA

RELATAR A AUDITORIA

ACOMPANHAR A AUDITORIA

RELATAR A AUDITORIA

Consensar fatos

Análise crítica da equipa

Registar Não-conformidade

Consensar Não-conformidade

Preparar Relatório da Auditoria

Anexar os registros de não-conformidades

Apresentar Relatório e definir acompanhamento

ACOMPANHAR A AUDITORIA

Não-conformidade consensada e registrada

Definir ações “imediatas” (correção)

Definir causa(s) principal(ais)

Definir Plano de Ação Corretiva

Implementar Ações Corretivas

Verificar a implementação das ações

Registar (causa, correção, plano de ação, evolução)

Ciclo da Auditoria

PLANEAR A AUDITORIA

CONDUZIR A AUDITORIA

RELATAR A AUDITORIA

ACOMPANHAR A AUDITORIA

Táticas do Auditor Pedir exemplos para ter certeza que entendeu a resposta;Usar o poder das perguntas silenciosas,Ser sistemático: Não deixar de fazer perguntas; Colocar uma pergunta de cada vez; Não se esqueça de fazer perguntas óbvias; Pensar cuidadosamente a respeito das perguntas;P Perguntar a quem realiza a tarefa, e não ao seu superior; Utilizaruma linguagem em que o auditado compreenda; Falar com clareza e cuidado;

Táticas do Auditor

• Repita a pergunta, se necessário;
• Seja cortês e educado, cumprimente
• Mostre interesse, saiba ouvir;
• Relaxe e seja humano, não pratique atitude policial;
• Seja imparcial, impassivo e não se emocione;
• Volte ao local da auditoria sempre que necessário para complementar informações não totalmente esclarecidas;
• Busque a rastreabilidade para frente e para trás;
• Agradeça as pessoas quando sair do local auditado

Táticas do Auditado 1. Coisas que roubam tempo do auditor;

• Rodeios;
• Explanações longas;
• Almoços e paradas extensas para cafezinho;
• Demora no atendimento ao auditor;
• Interrupções planejadas;
• Esquecimento no atendimento às solicitações do auditor;
• Ausência de preparação;
• Perguntas buscando esclarecer dúvidas hipotéticas.

2. Atos planejados de intimidação;

Táticas do Auditado 3. Alegação de casos especiais para confundir o auditor; 4. Afirmações para testar a força e a firmeza do auditor; 5. Questionamento da competência do auditor; 6. Falsos elogios e admiração; 7. Utilização do comportamento de pessoas idosas e inválidas para justificar faltas e sensibilizar o auditor; 8. Alegação de que o profissional responsável faltou ou foi dispensado para impedir acesso às informações.