MIS - UD6. Evaluación de proyectos de IS.

tema 6

Evaluación de proyectos de intervención social

metodología de la intervención social

ÍNDICE

1. Evaluación del proyecto de intervención social.
2. Proceso de evaluación.
3. Evaluación en las diferentes fases del proyecto.
4. Técnicas de recogida de información
5. Informe final.
6. Investigación acción participativa

1. Evaluación del proyecto de intervención social

La evaluación de una intervención supone la recogida, análisis e interpretación de la información relativa a su desarrollo y a sus posibles efectos.

Los datos recogidos suelen utilizarse para decidir cómo mejorar la intervención y si debe continuarse con ella.

Se contempla la evaluación como parte esencial de proceso de intervención social y como tal debe estar presente en todas las fases de dicho proceso.

1.1. DEFINICIÓN DE EVALUACIÓN

EVALUACIÓN = Proceso en el cual se recoge y analiza sistemáticamente información sobre un programa, proyecto, actividad o intervención con la intención de emitir un juicio y tomar una decisión.

1.2. PARA QUÉ EVALUAR

Con la evaluación se pretende:

• Medir el grado de idoneidad (capacidad para atender las necesidades origen del proyecto), efectividad (capacidad del proyecto para lograr los objetivos con los medios planteados), eficiencia (la relación entre lo conseguido y el coste requerido).

• Facilitar el proceso de toma de decisiones: continuar o interrumpir el proyecto, mejorar algún elemento del proyecto, establecer proyectos similares en realidades semejantes, modificar la asignación de recursos, etc.

1.3. CRITERIOS DE evaluación

• Eficacia. Mide el grado de consecución de los objetivos. Se deberá comprobar si las actividades previstas llevan a la consecución del objetivo. Por ello, es necesario tener un objetivo bien definido.
• Eficiencia. Establece la adecuación de los recursos para el desarrollo de un proyecto. Si se han utilizados los recursos disponibles de manera racional en la consecución de los objetivos.

• Pertinencia. La adecuación de la intervención programada a las necesidades observadas; sería la adecuación de los objetivos al contexto.
• Impacto. Se hace referencia a la valoración de las consecuencias que el proyecto haya tenido. E

• Viabilidad. Se puede definir como la capacidad de los resultados obtenidos de permanecer en el tiempo.

1.4. TIPOS DE evaluación

A) Según el momento en que se evalúa:

• Evaluación inicial: Se realiza antes de realizar el proyecto. (Detección de necesidades)
• Evaluación continua: Se realiza durante el desarrollo de un proyecto y sirve específicamente para retroalimentarlo.
• Evaluación final: Sirve especialmente para determinar grado de consecución de objetivos y determinar futuras acciones y cambios.

• Evaluación impacto: Es la que se lleva a cabo cuando ha pasado tiempo desde la finalización de un proyecto y se valora la permanencia de los logros obtenidos sin que esté presente la acción que los hizo posibles

1.4. TIPOS DE evaluación

b) según quien realiza la evaluación:

• Evaluación interna: la efectuada por el equipo que lleva a cabo el proyecto.
• Evaluación externa: es aquella realizada por evaluadores ajenos a la institución ejecutora del proyecto por encargo de la institución.

• Evaluación Mixta: si el equipo que evalúa está compuesto por personas tanto internas como externas a la organización.

• Autoevaluación: realizada por los propios destinatarios.

1.4. TIPOS DE evaluación

c) Según el objeto de evaluación:

• Evaluación de contexto: tiene como objetivo analizar las necesidades y problemas presentes en la realidad.
• Evaluación del diseño: pretende evaluar el correcto diseño del proyecto (objetivos, actividades, recursos…) para dar respuesta a las necesidades de la población.

• Evaluación de proceso/ejecución: tiene como objetivo analizar la puesta en marcha del proyecto.
• Evaluación del producto: trata de valorar la eficacia-relación entre resultados y objetivos.
• Evaluación de impacto: su objetivo es valorar la permanencia de lo resultados pasado el tiempo, una vez que no están presentes las actuaciones que se derivan del proyecto.

2. proceso de evaluación

Un proceso de evaluación deberá estar bien planificado y estructurado con antelación. Por ello, deberá realizarse una planificación previa teniendo en cuanta las siguientes cuestiones...

2. proceso de evaluación

• ¿Por qué? Para rendir cuentas, para mejorar, para valorar la consecución de objetivos, etc.

• ¿Qué? La adecuación de objetivos, los resultados, los procedimientos, la adecuación de los recursos, etc. MODELO CIPP
• ¿Quién? Evaluador interno, externo, equipo de intervención.

• ¿Cómo? Es decir, qué métodos se van a utilizar.
• ¿Cuándo? En qué momento se va a desarrollar.
• ¿Dónde? La evaluación se puede llevar a cabo en el lugar en el que se desarrollan las actividades, en cuestionarios posteriores que se desarrollan en las oficinas de la organización, o según el caso.

3. ¿QUÉ EVALUAR? fases del proyecto

La evaluación debe ser vista como un proceso, por lo que será necesario diseñar un plan de evaluación que englobe todas las fases del proyecto de intervención.

MODELO CIPP (Stufflebeam)

3.1. Evaluación del contexto

análisis de la realidad

• Si se ha definido con claridad el problema y su raíz.
• La fiabilidad de las fuentes secundarias utilizadas.
• La veracidad de los datos obtenidos.
• Si se ha definido con claridad la población objeto de estudio y cómo se ha realizado la selección de la misma.
• Si se han utilizado las técnicas adecuadas durante todo el proceso.
• Si se ha dejado constancia del procedimiento seguido, de tal forma que cualquier persona pueda conocer cómo se ha llevado a cabo el diagnóstico y continuar a partir de los datos aportados.

3.2. Evaluación de la planificación

diseño de la intervención

• Adecuación de los objetivos.
• Actividades y tareas a desarrollar.
• Recursos necesarios para su desarrollo.
• Metodología.
• Temporalización.

Todo esto va a permitir ir realizando modificaciones y adaptaciones en el diseño para adecuarse mejor a las circunstancias.

3.3. Evaluación del proceso

ejecución del proyecto

• Cómo se desarrollan las actividades.
• Labor de los encargados de la ejecución.
• Tiempo
• Uso de recursos.

3.4. Evaluación de resultados

efectos de la intervención

• Si la intervención ha contribuido a la consecución de los objetivos.
• Satisfacción de las personas participantes.

Se deberán analizar e interpretar las conclusiones extraídas de la evaluación comparando los resultados obtenidos con los esperados.

Es importante especificar qué INDICADORES se han elegido respecto a los resultados y cómo se van a medir.

3.4. Evaluación de resultados

efectos de la intervención

INDICADOR = Unidad de información que se puede obtener mediante las técnicas de recogida de información y que permite medir el cumplimiento de los objetivos.

En función del carácter más o menos cuantificable que tengan los indicadores, se pueden dividir en: cuantitativos y cualitativos.

3.4. Evaluación de resultados

indicadores

• Indicadores cuantitativos: son los que tienden a calcular la cantidad de aquello que se evalúa, estimada en porcentajes, grados o escalas numéricas. Se expresan en cifras y permiten medir “cuánto”.
• Indicadores cualitativos: calculan la calidad de lo evaluado, estimándola en términos de apreciaciones, relaciones, expectativas, valoraciones, categorías o calificativos. Evalúan cómo y qué tipo de cambio ocurre.

3.4. Evaluación de resultados

Indicadores cuantitativos

• Nº de personas beneficiarias que acceden al programa.
• % de participantes que finalizan una intervención.

• Tasa de asistencia a talleres o actividades.

• Nº de familias que mejoran su situación habitacional.

• % de jóvenes que regresan al sistema educativo.

• Cantidad de derivaciones realizadas a otros servicios sociales.

• Incremento % de personas con empleo tras la intervención.

3.4. Evaluación de resultados

Indicadores cualitativos

• Grado de satisfacción de los usuarios con el programa.
• Percepción de mejora en la calidad de vida.
• Cambios en la autoestima o autoconfianza de los participantes.
• Mejora en las relaciones familiares según relatos de los usuarios.
• Opinión de los participantes sobre la utilidad de los talleres.
• Percepción de inclusión social o reducción del estigma.
• Si las actividades han sido atractivas y motivadoras

3.4. Evaluación de resultados

• Objetivo: Promover la autonomía personal y económica de mujeres en situación de vulnerabilidad.
• Indicador Cuantitativo: Nº de mujeres que acceden a formación o empleo.
• Indicador Cualitativo: Nivel de autoconfianza y empoderamiento percibido.
• Resultado: El 60 % de las participantes accede a empleo o formación y reporta mayor seguridad personal.

3.4. Evaluación de resultados

• Objetivo: Fortalecer la participación social en la comunidad.
• Indicador Cuantitativo: Número de actividades comunitarias realizadas y nivel de participación.
• Indicador Cualitativo: Percepción de cohesión social entre los vecinos.
• Resultado: Incremento de la participación vecinal y mejora del sentido de pertenencia comunitaria.

3.4. Evaluación de resultados

• Objetivo: Reducir el aislamiento social de personas mayores.
• Indicador Cuantitativo: Frecuencia de participación en actividades sociales.
• Indicador Cualitativo: Percepción de soledad y bienestar emocional.
• Resultado: Disminución del sentimiento de soledad y aumento de la interacción social regular.

4. Técnicas de recogida de información

4. Técnicas de recogida de información

A. OBSERVACIÓN

• Técnica es una técnica de recopilación de datos y de información a través de los sentidos para poder captar loadiferentes hechos, circunstancias y fenómenos del ámbito social en el contexto real donde acontecen.
• Planificada y sistemática, ya que se tendrá que delimitar qué se observa, cómo y cuándo.
• Objetiva: no haciendo interpretaciones personales al recoger las observaciones.

4. Técnicas de recogida de información

A. OBSERVACIÓN

• La observación, como técnica, supone la percepción de un fenómeno, mientras ocurre, que se selecciona y se registra sin haberlo manipulado, convirtiéndose el observador en un testigo pasivo de lo que ocurre.

4. Técnicas de recogida de información

A. OBSERVACIÓN

Toda observación requiere, para su desarrollo:

• Planificar el objetivo de la información.

• Definir los sujetos, hechos o sucesos de la observación.
• Definir el lugar, momento y duración.

• Determinar los registros de observación y las personas que van realizarla.

• Analizar la información recogida, interpretarla y tomar decisiones.

4. Técnicas de recogida de información

A. OBSERVACIÓN

Para realizar una buena observación se debe llevar a cabo el siguiente proceso:

1. Definir el objetivo de la observación.
2. Seleccionar la muestra a observar.
3. Determinar el momento y lugar adecuado.
4. Elegir el instrumento más idóneo.
5. Anotar las conductas observadas inmediatamente que se producen.
6. Analizar los datos en función de los objetivos.
7. Extraer unas conclusiones acerca de lo observado.

4. Técnicas de recogida de información

A. OBSERVACIÓN

tipos de observación:

4. Técnicas de recogida de información

A. OBSERVACIÓN

Los instrumentos de observación pueden ser:

• Categoriales: Listas de comprobación y escalas de estimación.

• Narrativos: Notas de campo (Informes periódicos, fichas deobservación y el diario.)

• Tecnológicos: Mediante soportes técnicos (vídeo, fotografía, magnetofón...)

4. Técnicas de recogida de información

A. OBSERVACIÓN

Registros categoriales:

• Listas de comprobación: hacen referencia a prefijar un número determinado de categorías y registrar la ausencia o presencia de determinadas conductas.

4. Técnicas de recogida de información

A. OBSERVACIÓN

Registros categoriales:

• Escalas de estimación: concretan y especifican el grado en que se da el hecho o conducta observada.

4. Técnicas de recogida de información

A. OBSERVACIÓN

Registros narrativos:

• Notas de campo: Son una forma de expresar observaciones, reflexiones y reacciones acerca de lo que se ha visto oído y vivido en determinados espacios o escenarios elegidos y durante momentos precisos.

4. Técnicas de recogida de información

A. OBSERVACIÓN

Las notas de campo pueden tomar diferentes formatos:

• El Diario: Las anotaciones se registran y organizan por días, redactándose normalmente al terminar las actividades.

• Informes periódicos: Se elaboran por periodos completos: Semanal, mensual o trimestral. Aporta información sobre la evolución del proyecto
• Fichas de observación: Son plantillas sueltas que se utilizan para recoger los datos de la observación de una actividad del Proyecto.

4. Técnicas de recogida de información

b. encuesta

• Es una técnica de recogida de información, aplicada sobre una muestra de la población, mediante una serie de preguntas con la finalidad de obtener, de manera sistemática у ordenada, información sobre cómo actúan una serie de variables.
• Ofrece la ventaja de informar sobre aspectos que no se pueden observar directamente.
• No requieren de la presencia de un entrevistador.

4. Técnicas de recogida de información

b. encuesta

• El instrumento que se utiliza para administrarla es el cuestionario.
• El cuestionario es un conjunto de preguntas que han de ser contestadas por la persona o personas estudiadas o que pueden aportar información significativa sobre el tema estudiado.

4. Técnicas de recogida de información

b. encuesta

• El cuestionario ha de ser claro, actual, y diseñado específicamente para la población a la que va dirigido.
• Criterios para la elaboración de las preguntas:

1. Necesarias: Asegurar que los datos que se quieren, no se poseen o no se pueden conseguir por otros medios.
2. Relevantes: Las preguntas deben poseer relación con lo que se quiere saber.
3. Sencillas y claras: Han de estar al alcance de todos a los que va dirigido. Tienen que ser fáciles de captar y sin tecnicismos.
4. Concisas: No se tienen que hacer varias preguntas dentro de un solo ítem ni dar demasiados rodeos para preguntar algo.

4. Técnicas de recogida de información

b. encuesta

tipos de preguntas que se pueden realizar:

Según la contestación que admitan del encuestado:

• Abiertas: la respuesta debe ser elaborada por la persona encuestada.
• Cerradas: la persona debe optar por alguna alternativa de respuesta entre las que se ofrecen.

Según su finalidad:

• Directas: buscan descubrir aquello que directamente expresan.
• Indirectas: pretenden averiguar algo distinto de lo que se desprende de las palabras usadas para formularlas.

4. Técnicas de recogida de información

b. encuesta

tipos de preguntas que se pueden realizar:

Según la naturaleza del contenido:

• Sociodemográficas básicas: género, edad, lugar de nacimiento, profesión, estado civil, municipio de residencia, ocupación, estudios, etc.

• De acción: relativas a las actividades de la persona encuestada.
• De información: son aquellas que buscan comprobar los conocimientos de la persona encuestada.

• De intención: pretenden conocer sus intenciones o propósitos
• De actitud: buscan conocer opiniones, motivaciones, orientaciones, sentimientos, juicios, valores.

4. Técnicas de recogida de información

b. encuesta

tipos de preguntas que se pueden realizar:

Según su función en el cuestionario:

• De filtro: son las que se realizan previamente a otra pregunta a fin de eliminar a los que no les afecte ésta

• De consistencia: tienen por finalidad asegurarse el interés y sinceridad de la persona encuestada.

• De introducción: son las que se hacen para iniciar el cuestionario o interesar a la persona o para pasar de un tema a otro. Preguntas fáciles, no demasiado indiscretas o personales, basadas en hechos más que en opiniones.

• Amortiguadoras: son preguntas que abordan temas difíciles o escabrosos, formuladas de tal forma que suavicen su brusquedad y rudeza

4. Técnicas de recogida de información

b. encuesta

PASOS PARA LLEVAR A CABO LA ENCUESTA:

1. Definir los objetivos.
2. Decidir la información que se precisa.
3. Revisar la información existente respecto al tema.
4. Decidir y delimitar los destinatarios de la encuesta.
5. Diseño del cuestionario: elección y estructuración de las preguntas, codificación de las respuestas.
6. Aplicación del cuestionario.
7. Análisis de la información recogida.
8. Conclusiones

4. Técnicas de recogida de información

C. ENTREVISTA

• Puede definirse como una conversación establecida entre dos personas, iniciada por un entrevistador, con el propósito de obtener información relevante sobre algún asunto objeto de estudio.
• Es una técnica en la que se obtienen datos a través de la interacción verbal y no verbal entre individuos.

4. Técnicas de recogida de información

C. ENTREVISTA

Tipos de entrevista

Según la forma o estructura:

• Estructurada: Existen unas mismas preguntas y un mismo orden al hacerlas.

• Semiestructurada: Se aplican las mismas preguntas a todos los miembros del grupo de intervención, pero no en el mismo orden, sino que este se altera y adapta a las reacciones de los entrevistados.

• No estructurada: No tiene ni preguntas ni orden prefijado. Se suele dejar hablar libremente al encuestado con el fin de recoger la máxima información posible, sobre aquello que se quiere conocer.

4. Técnicas de recogida de información

C. ENTREVISTA

Tipos de entrevista

Según la disposición de la entrevista y de sus participantes:

• Individuales: Se Illevan a cabo entre el TSIS y un usuario.

• Grupales o colectivas: Aquellas en las que el TSIS pregunta a varios usuarios a la vez. Se ha probado su utilidad para promover el debate sobre problemas específicos, porque fomenta la pluralidad de perspectivas.

• Periódicas o repetidas: Se realizan idénticas preguntas repetidas en intervalos de tiempos diferentes con los mismos usuarios, para valorar los cambios producidos antes y después de una actividad, en las opiniones y actitudes de los participantes.

4. Técnicas de recogida de información

C. ENTREVISTA

El proceso de recogida de información a través de la entrevista lleva los siguientes pasos:

1. Decidir qué información es necesario recoger.
2. Decidir qué persona/s van a ser entrevistadas ya que pueden dar información relevante.
3. Decidir dónde y cuándo se va a realizar la entrevista.
4. Gestionar la cita con la persona/s.
5. Preparar el guión de la entrevista.
6. Realizar la entrevista.
7. Analizar los datos obtenidos.
8. Extraer conclusiones.

4. Técnicas de recogida de información

C. ENTREVISTA

Estructura de la entrevista:

1. Toma de contacto y apertura: en ella se establece la toma de contacto como son los saludos, se establece cierta conversación informal para contactar con la/s persona/s, se plantean las razones de la realización de la entrevista así como el objetivo de la misma.
2. Recogida de información: en esta parte se lleva a cabo la conversación en la cual se van incorporando los puntos del guión que previamente se había diseñado.
3. Cierre y despedida: se comunica la finalización de la entrevista, se extraen conclusiones, se toman decisiones de futuro, se realiza la despedida.

4. Técnicas de recogida de información

d. ANÁLISIS DOCUMENTAL

• Consiste en obtener y analizar información sobre diferentes hechos o realidades que están expresados en diferentes documentos de información.
• Toda la información recopilada ayuda a conocer el problema de investigación, su contexto y su evolución.

• Una buena recopilación documental sirve como marco de referencia en donde poder situar el resto de los datos.
• La utilización de esta técnica requiere rigor documental.

4. Técnicas de recogida de información

d. ANÁLISIS DOCUMENTAL

tipos de documentos:

• Normativos: estatutos, legislación, normas por las que se rige la entidad…
• Administrativos: libros de actas o reuniones, expedientes, archivos, ficheros, libros de correspondencia, etc.

• Técnicos: informes, proyectos, programas, anuarios, memorias…
• Documentos cifrados: datos estadísticos, censos o padrones, etc.
• Documentos gráficos: mapas, planos, organigramas, etc.
• Documentación audiovisual: álbumes de fotos, diapositivas, vídeo o dvd sobre actividades, cursos, campañas…

• Publicaciones: revistas, boletines, recortes de periódicos, dossieres de prensa, folletos, carteles, libros…

• Documentos personales: historiales de vida, autobiografías, diarios, cartas, testimonios personales, buzón de sugerencias, observaciones personales, etc.

4. Técnicas de recogida de información

E. DISCUSIÓN GRUPAL

• Técnica cualitativa de investigación y aprendizaje donde 5-12 personas debaten un tema específico guiadas por un moderador.
• Consiste en crear situaciones grupales en las que, valiéndose de los conocimientos y técnicas de la dinámica de grupos, quien investiga consigue que se genere un flujo comunicativo que le proporcione información.
• Su objetivo es profundizar en opiniones, actitudes y creencias compartidas, fomentando la interacción para obtener información detallada.

4. Técnicas de recogida de información

F. DAFO

• El análisis DAFO es una herramienta de planificación estratégica cuyo objetivo es el de que todas las partes involucradas en la actividad identifiquen las debilidades, amenazas, fortalezas y oportunidades que puedan afectar en mayor o menor medida a la consecución de los objetivos organizacionales.
• Es una herramienta de diagnóstico que facilita la toma de decisiones futuras.
• Nos ayudará a plantear las acciones que deberíamos poner en marcha para aprovechar las oportunidades detectadas y a preparar a nuestra organización contra las amenazas teniendo conciencia de nuestras debilidades y fortalezas.

4. Técnicas de recogida de información

F. DAFO

El análisis DAFO se basa en 2 pilares básicos: el análisis interno y el análisis externo de una organización.

4. Técnicas de recogida de información

F. DAFO

Análisis interno:

• Fortalezas: describe los recursos y las destrezas que ha adquirido la empresa, ¿en qué nos diferenciamos de la competencia?, ¿Qué sabemos hacer mejor?
• Debilidades: describe los factores en los cuales poseemos una posición desfavorable respecto a la competencia. Para realizar el análisis interno se han de considerar análisis de recursos, de actividades y de riesgos.

4. Técnicas de recogida de información

F. DAFO

Análisis externo:

• Oportunidades: describen los posibles mercados, nichos de negocio... que están a la vista de todos, pero si no son reconocidas a tiempo significa una pérdida de ventaja competitiva.

• Amenazas: describen los factores que pueden poner en peligro la supervivencia de la organización, si dichas amenazas son reconocidas a tiempo pueden esquivarse o ser convertidas en oportunidades.

5. Informe final

Tras el análisis de datos...

El informe final es un documento cuya finalidad es informar y dar a conocer los resultados obtenidos a otras personas, para que puedan contrastarlos y tomar decisiones.Consiste, básicamente, en la presentación de resultados de manera escrita.

• Debe incluir qué se ha evaluado, cómo se ha realizado la evaluación.
• la discusión de los resultados.
• las conclusiones a los que se ha llegado.
• los puntos fuertes y débiles.
• las propuestas de mejora.
• limitaciones

5. Informe final

¿Para quién se hace?

• En muchas ocasiones, la institución o entidad para la que hemos llevado a cabo el proyecto demanda una memoria del desarrollo del mismo.

• En otras, interesa que la memoria sirva como proceso de acción-reflexión para los principales participantes en el proyecto.
• También se dirige al propio equipo de trabajo que lleva a cabo la memoria, ya que les va a permitir reflexionar y será la base de posteriores intervenciones.

• Para la comunidad en general cuando se quiere difundir lo realizado.

6. Investigación acción participativa

• La IAP es una metodología de investigación social colaborativa y transformadora, donde las personas directamente afectadas por un problema participan activamente en todas las etapas del proceso investigativo, con el objetivo de comprender y transformar su realidad.

6. Investigación acción participativa

Q&A

muchas gracias