Metodología de la investigación
Unidad 4: Evaluación de la validez y fiabilidad de las pruebas diagnósticas y de cribado TEMA 4.1 Validez y fiabilidad de las pruebas diagnósticas
Maestría en Epidimeología para la Salud Puública
DEFINICIONES
No fiable pero valida
Fiable pero no valida
Exactitud (validez): grado en el que una medición representa el verdadero valor del atributo que está siendo medido, es decir, grado en el que se ajusta a un valor estándar o verdadero Fiabilidad: grado de estabilidad conseguido en los resultados cuando se repite.
No fiable y no valida
Fiable y valida
DEFINICIONES
Variabilidad interobservador: diferencias existentes entre los resultados aportados por distintos observadores Variabilidad intraobservador: diferencias existentes entre los resultados que obtiene el mismo observador cuando informa más de una vez sobre un mismo hecho. Índices Kappa: proporción del acuerdo potencial por encima del azar que obtienen distintas mediciones de un mismo hecho
Índice
- Introducción
- Interpretación de los resultados de un test diagnóstico
- Sensibilidad y especificidad
- Valores predictivos
- ¿cómo medimos la variabilidad?
- Índices de concordancia - kappa
- Fases en el desarrollo de una prueba diagnóstica
¿qué es una prueba diagnóstica?
Herramientas (instrumento, pregunta, síntoma, signo, etc.) utilizadas para disminuir la “incertidumbre” en cuanto al diagnostico, y para establecer estrategias en cuanto a las decisiones clínicas.Pruebas no solo son los procedimientos diagnóstico como radiografía o biopsia, sino también la anamnesis y presencia o ausencia de signos físicos a la exploración
Tipos de Variaciones:
VARIABILIDAD DEL OBSERVADOR
- INTRA – OBSERVADOR
- INTER - OBSERVADOR
POBLACIÓN ENFERMA
- VARIACIONES DE LA ENFERMEDAD (etapas)
- VARIACIONES INDIVIDUALES
- Edad
- Sexo
- etc .
PRUEBA DIAGNOSTICA SENSIBILIDAD ESPECIFICIDAD
Prueba Patrón Oro
- Es la prueba o criterio utilizado que mejor identifica la enfermedad hasta el momento actual
- Es un requisito para evaluar la utilidad de cualquier P.D comparando los resultados
Índice
- Introducción
- Interpretación de los resultados de un test diagnóstico
- Sensibilidad y especificidad
- Valores predictivos
- ¿cómo medimos la variabilidad?
- Índices de concordancia - kappa
- Fases en el desarrollo de una prueba diagnóstica
RELACIÓN ENTRE EL RESULTADO DE UNA PRUEBA DIAGNÓSTICA Y LA PRESENCIA DE ENFERMEDAD
Prueba diagnóstica
Verdad (estándar de oro) Enfermedad
Presente
Ausente
Verdadero Positivo (VP)
Positiva
Falso Positivo (FP)
Total con prueba positiva
Verdadero Negativo (VN)
Total con prueba negativa
Falso Negativo (FN)
Negativa
Total enfermos
Total sanos
SENSIBILIDAD Y ESPECIFICIDAD DE UNA PRUEBA DIAGNÓSTICA
Prueba diagnóstica
Verdad (estándar de oro) Enfermedad
Presente
Ausente
Verdadero Positivo (VP)
Positiva
Falso Positivo (FP)
Total con prueba positiva
Verdadero Negativo (VN)
Total con prueba negativa
Falso Negativo (FN)
Negativa
Total enfermos
Total sanos
Sensibilidad = VP = VP Enfermos VP+FN
Especificidad = VN = VN No enfermos FP+VN
Glucemia basal
Verdad (estándar de oro) Diagnóstico de diabetes confirmado
Diabetes Sí
Diabetes No
>126 mg/dl
86
10
<126 mg/dl
14
90
100 diabéticos
100 no diabéticos
Sensibilidad = VP = 86 = 0,86 = 86% Enfermos 86+14
Especificidad = VN = 90 = 0,9 = 90% No enfermos 90+10
ÍNDICES DE EXACTITUD COMPLEMENTARIOS Y SINÓNIMOS
ENFERMEDAD
PRESENTE
AUSENTE
RESULTADO DE LA PRUEBA
POSITIVO
40
95
NEGATIVO
10
855
TOTAL
50
950
Sensibilidad = 40/50 = 80% o tasa de verdaderos positivos. Especificidad = 855/950 = 90% o tasa de verdaderos negativos Tasa de falsos negativos = 10/50 = 20% Tasa de falsos positivos = 95/950 = 10%
PRESENTACIÓN DE LOS RESULTADOS EN UN ESTUDIO DIAGNÓSTICO
ENFERMEDAD
PRESENTE
AUSENTE
RESULTADO DE LA PRUEBA
POSITIVO
40
95
855
10
NEGATIVO
Sensibilidad = 40 / 50 = 80% (IC 95% = 66-89) Especificidad = 855/950 = 90% (IC 95% = 88-92)
Sensibilidad
Nos indica que una prueba positiva detecta la enfermedad. Es definida como la fracción de los enfermos que dan positivos en la prueba. Su complemento es la tasa de falsos negativos, definida como la fracción de los enfermos que dan negativo con la prueba. Sensibilidad y tasa de falsos negativos suman uno.
Especificidad
Nos indica que tan bien una prueba negativa no detecta la enfermedad. Es definida como la fracción de los no enfermos cuya prueba fue negativa. Su complemento es la tasa de falsos positivos, definida como la fracción de los no enfermos cuya prueba fue positiva. Especificidad más tasa de falsos positivos dan uno.
S = ¿qué proporción de los realmente enfermos resultarán positivos en el test?
VPP = ¿cuántos de los que resultan positivos en el test están realmente enfermos?
E = ¿en cuántos de los no enfermos el test será negativo?
VPN = ¿cuántos de los que resultan negativos en el test están realmente exentos de enfermedad?
Mind map
Valor predictivo + = a/ (a+b)
SENSIBILIDAD Y ESPECIFICIDAD Y VALORES PREDICTIVOS DE UNA PRUEBA DIAGNOSTICA
Valor predictivo - = d/ (c+d)
Sensibilidad: a / a+c Especificidad: d / b+d
Prevalencia: a+c / a+b+c+d
VALOR PREDICTIVO POSITIVO (VPP) = probabilidad de padecer la enfermedad cuando el resultado de la prueba es positivo
Verdaderos positivos Total de resultados positivos
VPP =
VALOR PREDICTIVO NEGATIVO (VPN) = probabilidad de no padecer la enfermedad cuando el resultado de la prueba es negativo.
Verdaderos negativos Total de resultados negativos
VPN =
S.Down
Normales
TOTAL
Triple test +
30
158
188
Triple test -
18
3.011
3.029
TOTAL
48
3.169
3.217
Sensibilidad = 30 / 48 = 62,5% Especificidad = 3.011 / 3.169 = 95% VPP = 30 / 188 = 16% VPN = 3.011 / 3.029 = 99,4%
Cambio de los valores predictivos con la prevalencia
Mediana edad= 37 años
Mediana edad= 30 años
S.Down
Normales
TOTAL
S.Down
Normales
TOTAL
Triple test +
30
158
188
Triple test +
63
4.995
5.058
Triple test -
18
3.011
3.029
Triple test -
37
94.905
94.942
TOTAL
48
3.169
3.217
TOTAL
100
99.900
100.000
S= 30 / 48 = 62,5% E = 3.011 / 3.169 = 95% VPP = 30 / 188 = 16% VPN = 3.011 / 3.029 = 99,4%
S= 63 / 100 = 62,5% E = 94.905 / 99.900 = 95% VPP = 63/ 5.058 = 1,25% VPN = 37 / 94.942 = 99,97%
La detección de VIH mediante la Prueba Elisa
Sensibilidad de la prueba: 99% Especificidad de la prueba: 99,9% PREVALENCIA DE LA INFECCIÓN: 1/10.000 Valor predictivo positivo: 9% Valor predictivo negativo: 100% PREVALENCIA DE LA INFECCIÓN: 1/1.000 Valor predictivo positivo: 49,7% Valor predictivo negativo: 100% PREVALENCIA DE LA INFECCIÓN: 5/100 Valor predictivo positivo: 98,1% Valor predictivo negativo: 99,9%
Índice
- Introducción
- Interpretación de los resultados de un test diagnóstico
- Sensibilidad y especificidad
- Valores predictivos
- ¿cómo medimos la variabilidad?
- Índices de concordancia - kappa
- Fases en el desarrollo de una prueba diagnóstica
A dos médicos se les dan 100 radiografías para que las examinen de manera independiente y diagnostiquen o no neumonía.Cuando ambos grupos se comparan, se encuentra que el 95% de los diagnósticos son los mismos.
¿El porcentaje de concordancia es suficiente?
Hospital 2
Hospital 1
MD#1
MD#1
Si
No
Si
No
Si
43
Si
MD#2
MD#2
No
52
No
94
En ambos ejemplos, los médicos concuerdan en el 95% ¿a que hospital prefieres ir?
La Reproducibilidad
Puede deberse a:
Factores Controlados
El Azar
Acuerdo esperado por azar
Acuerdo controlado
DISCORDANCIA
Coefeciente Kappa K
CO : CONCORDANCIA OBSERVADA
DISCORDANCIA
Concordancia real mas allá del azar
CE: Concordancia esperada por azar
DISCORDANCIA
100 %
0 %
Acuerdo potencial Mas allá del azar
ACUERDO QUE PUDIERA LOGRARSE SI LAS PRUEBAS MIDIERAN LO MISMO
Coeficiente Kappa
(Medición del nivel de reproducibilidad)
Proporción observada de los acuerdos que pudieran lograrse, más allá del azar, si las pruebas midieran lo mismo.
Acuerdo observado más allá del azar
Acuerdo potencial más allá del azar
Coeficiente Kappa:
Acuerdo observado - Acuerdo esperado por azar
Acuerdo potencial - Acuerdo esperado por azar
O - E
1 - E
Acuerdo entre dos clínicos que examinaron el mismo conjunto de 100 fotografías de fondo de ojo
Cálculo del acuerdo observado en una tablas 2 X 2
Cálculo del acuerdo al azar, cuando un segundo clínico tira una moneda al aire
Cálculo del acuerdo al azar en la situación clínica real, usando la tabla 2X2
Cálculo del coeficiente Kappa
O - E
1 - E
0,78 – 0,51 K = _______________________ = 0,55 1 – 0,51 .
Reproducibilidad
<0,20
Pobre
0,21-0,40
Débil
0,41-0,60
Moderado
0,61-0,80
Buena
0,81-1,00
Muy buena
Reproducibilidad
Una medición es reproducible cuando, al observar un mismo fenómeno en iguales condiciones:
Un mismo observador registra el mismo valor en ocasiones repetidas
Reproducibilidad intraobservador
Dos observadores registran el mismo valor en ocasiones repetidas
Reproducibilidad interobservador
Ejercicio práctico
En cada hospital, a dos médicos se les dan 100 radiografías para que las examinen de manera independiente y diagnostiquen o no neumonía.
Hospital 1
MD#1
Hospital 2
MD#1
Si
No
Si
No
MD#2
Si
MD#2
Si
43
No
94
No
52
Semana 7 TAREA Pregunta 3
Hospital 1
MD#1
1. Calcule la concordancia observada 2. Calcule la concordancia esperada (concordancia al azar) 3. Calcule Kappa
Si
No
MD#2
Si
Hospital 2
MD#1
No
94
Si
No
MD#2
Si
43
No
52
Índice
- Introducción
- Interpretación de los resultados de un test diagnóstico
- Sensibilidad y especificidad
- Valores predictivos
- ¿cómo medimos la variabilidad?
- Índices de concordancia - kappa
- Fases en el desarrollo de una prueba diagnóstica
Fases del desarrollo de una prueba diagnóstica
- FASES PREVIAS:
- Características analíticas (VALIDEZ ANALÍTICA)
- FASE I:
- Estudio en casos y controles.
- FASE II:
- Se amplia el espectro de casos y controles.
- FASE IV:
- Muestra consecutiva de pacientes similar a lo que vamos a encontrar en la realidad.
VALIDEZ CLÍNICA
UTILIDAD CLÍNICA
Ejemplo: desarrollo de un nuevo marcador de cáncer de próstata
Modo de recoger las muestras, almacenarlas y tratarlas.Estudio del límite de detección de la técnica.Estudio de reproducibilidad de la técnica.
Estudio de la exactitud diagnóstica de la prueba en pacientes con cáncer de próstata y donantes de sangre.
FASE II:Estudio de la exactitud diagnóstica de la prueba en:Casos: pacientes con cáncer de próstata en distintos grados.Controles: donantes de sangre, pacientes con hiperplasia benigna de próstata.FASE IV:Estudio de la exactitud diagnóstica de la prueba en una muestra consecutiva de todos los pacientes que acuden al servicio de urología durante el período de estudio.
ME - 3M - M7
PUCE
Created on October 26, 2020
Start designing with a free template
Discover more than 1500 professional designs like these:
View
Essential Business Proposal
View
Project Roadmap Timeline
View
Step-by-Step Timeline: How to Develop an Idea
View
Artificial Intelligence History Timeline
View
Magazine dossier
View
Microlearning: Graphic Design
View
Microlearning: Enhance Your Wellness and Reduce Stress
Explore all templates
Transcript
Metodología de la investigación
Unidad 4: Evaluación de la validez y fiabilidad de las pruebas diagnósticas y de cribado TEMA 4.1 Validez y fiabilidad de las pruebas diagnósticas
Maestría en Epidimeología para la Salud Puública
DEFINICIONES
No fiable pero valida
Fiable pero no valida
Exactitud (validez): grado en el que una medición representa el verdadero valor del atributo que está siendo medido, es decir, grado en el que se ajusta a un valor estándar o verdadero Fiabilidad: grado de estabilidad conseguido en los resultados cuando se repite.
No fiable y no valida
Fiable y valida
DEFINICIONES
Variabilidad interobservador: diferencias existentes entre los resultados aportados por distintos observadores Variabilidad intraobservador: diferencias existentes entre los resultados que obtiene el mismo observador cuando informa más de una vez sobre un mismo hecho. Índices Kappa: proporción del acuerdo potencial por encima del azar que obtienen distintas mediciones de un mismo hecho
Índice
¿qué es una prueba diagnóstica?
Herramientas (instrumento, pregunta, síntoma, signo, etc.) utilizadas para disminuir la “incertidumbre” en cuanto al diagnostico, y para establecer estrategias en cuanto a las decisiones clínicas.Pruebas no solo son los procedimientos diagnóstico como radiografía o biopsia, sino también la anamnesis y presencia o ausencia de signos físicos a la exploración
Tipos de Variaciones:
VARIABILIDAD DEL OBSERVADOR
POBLACIÓN ENFERMA
PRUEBA DIAGNOSTICA SENSIBILIDAD ESPECIFICIDAD
Prueba Patrón Oro
Índice
RELACIÓN ENTRE EL RESULTADO DE UNA PRUEBA DIAGNÓSTICA Y LA PRESENCIA DE ENFERMEDAD
Prueba diagnóstica
Verdad (estándar de oro) Enfermedad
Presente
Ausente
Verdadero Positivo (VP)
Positiva
Falso Positivo (FP)
Total con prueba positiva
Verdadero Negativo (VN)
Total con prueba negativa
Falso Negativo (FN)
Negativa
Total enfermos
Total sanos
SENSIBILIDAD Y ESPECIFICIDAD DE UNA PRUEBA DIAGNÓSTICA
Prueba diagnóstica
Verdad (estándar de oro) Enfermedad
Presente
Ausente
Verdadero Positivo (VP)
Positiva
Falso Positivo (FP)
Total con prueba positiva
Verdadero Negativo (VN)
Total con prueba negativa
Falso Negativo (FN)
Negativa
Total enfermos
Total sanos
Sensibilidad = VP = VP Enfermos VP+FN
Especificidad = VN = VN No enfermos FP+VN
Glucemia basal
Verdad (estándar de oro) Diagnóstico de diabetes confirmado
Diabetes Sí
Diabetes No
>126 mg/dl
86
10
<126 mg/dl
14
90
100 diabéticos
100 no diabéticos
Sensibilidad = VP = 86 = 0,86 = 86% Enfermos 86+14
Especificidad = VN = 90 = 0,9 = 90% No enfermos 90+10
ÍNDICES DE EXACTITUD COMPLEMENTARIOS Y SINÓNIMOS
ENFERMEDAD
PRESENTE
AUSENTE
RESULTADO DE LA PRUEBA
POSITIVO
40
95
NEGATIVO
10
855
TOTAL
50
950
Sensibilidad = 40/50 = 80% o tasa de verdaderos positivos. Especificidad = 855/950 = 90% o tasa de verdaderos negativos Tasa de falsos negativos = 10/50 = 20% Tasa de falsos positivos = 95/950 = 10%
PRESENTACIÓN DE LOS RESULTADOS EN UN ESTUDIO DIAGNÓSTICO
ENFERMEDAD
PRESENTE
AUSENTE
RESULTADO DE LA PRUEBA
POSITIVO
40
95
855
10
NEGATIVO
Sensibilidad = 40 / 50 = 80% (IC 95% = 66-89) Especificidad = 855/950 = 90% (IC 95% = 88-92)
Sensibilidad
Nos indica que una prueba positiva detecta la enfermedad. Es definida como la fracción de los enfermos que dan positivos en la prueba. Su complemento es la tasa de falsos negativos, definida como la fracción de los enfermos que dan negativo con la prueba. Sensibilidad y tasa de falsos negativos suman uno.
Especificidad
Nos indica que tan bien una prueba negativa no detecta la enfermedad. Es definida como la fracción de los no enfermos cuya prueba fue negativa. Su complemento es la tasa de falsos positivos, definida como la fracción de los no enfermos cuya prueba fue positiva. Especificidad más tasa de falsos positivos dan uno.
S = ¿qué proporción de los realmente enfermos resultarán positivos en el test?
VPP = ¿cuántos de los que resultan positivos en el test están realmente enfermos?
E = ¿en cuántos de los no enfermos el test será negativo?
VPN = ¿cuántos de los que resultan negativos en el test están realmente exentos de enfermedad?
Mind map
Valor predictivo + = a/ (a+b)
SENSIBILIDAD Y ESPECIFICIDAD Y VALORES PREDICTIVOS DE UNA PRUEBA DIAGNOSTICA
Valor predictivo - = d/ (c+d)
Sensibilidad: a / a+c Especificidad: d / b+d
Prevalencia: a+c / a+b+c+d
VALOR PREDICTIVO POSITIVO (VPP) = probabilidad de padecer la enfermedad cuando el resultado de la prueba es positivo
Verdaderos positivos Total de resultados positivos
VPP =
VALOR PREDICTIVO NEGATIVO (VPN) = probabilidad de no padecer la enfermedad cuando el resultado de la prueba es negativo.
Verdaderos negativos Total de resultados negativos
VPN =
S.Down
Normales
TOTAL
Triple test +
30
158
188
Triple test -
18
3.011
3.029
TOTAL
48
3.169
3.217
Sensibilidad = 30 / 48 = 62,5% Especificidad = 3.011 / 3.169 = 95% VPP = 30 / 188 = 16% VPN = 3.011 / 3.029 = 99,4%
Cambio de los valores predictivos con la prevalencia
Mediana edad= 37 años
Mediana edad= 30 años
S.Down
Normales
TOTAL
S.Down
Normales
TOTAL
Triple test +
30
158
188
Triple test +
63
4.995
5.058
Triple test -
18
3.011
3.029
Triple test -
37
94.905
94.942
TOTAL
48
3.169
3.217
TOTAL
100
99.900
100.000
S= 30 / 48 = 62,5% E = 3.011 / 3.169 = 95% VPP = 30 / 188 = 16% VPN = 3.011 / 3.029 = 99,4%
S= 63 / 100 = 62,5% E = 94.905 / 99.900 = 95% VPP = 63/ 5.058 = 1,25% VPN = 37 / 94.942 = 99,97%
La detección de VIH mediante la Prueba Elisa
Sensibilidad de la prueba: 99% Especificidad de la prueba: 99,9% PREVALENCIA DE LA INFECCIÓN: 1/10.000 Valor predictivo positivo: 9% Valor predictivo negativo: 100% PREVALENCIA DE LA INFECCIÓN: 1/1.000 Valor predictivo positivo: 49,7% Valor predictivo negativo: 100% PREVALENCIA DE LA INFECCIÓN: 5/100 Valor predictivo positivo: 98,1% Valor predictivo negativo: 99,9%
Índice
A dos médicos se les dan 100 radiografías para que las examinen de manera independiente y diagnostiquen o no neumonía.Cuando ambos grupos se comparan, se encuentra que el 95% de los diagnósticos son los mismos.
¿El porcentaje de concordancia es suficiente?
Hospital 2
Hospital 1
MD#1
MD#1
Si
No
Si
No
Si
43
Si
MD#2
MD#2
No
52
No
94
En ambos ejemplos, los médicos concuerdan en el 95% ¿a que hospital prefieres ir?
La Reproducibilidad
Puede deberse a:
Factores Controlados
El Azar
Acuerdo esperado por azar
Acuerdo controlado
DISCORDANCIA
Coefeciente Kappa K
CO : CONCORDANCIA OBSERVADA
DISCORDANCIA
Concordancia real mas allá del azar
CE: Concordancia esperada por azar
DISCORDANCIA
100 %
0 %
Acuerdo potencial Mas allá del azar
ACUERDO QUE PUDIERA LOGRARSE SI LAS PRUEBAS MIDIERAN LO MISMO
Coeficiente Kappa
(Medición del nivel de reproducibilidad)
Proporción observada de los acuerdos que pudieran lograrse, más allá del azar, si las pruebas midieran lo mismo.
Acuerdo observado más allá del azar
Acuerdo potencial más allá del azar
Coeficiente Kappa:
Acuerdo observado - Acuerdo esperado por azar
Acuerdo potencial - Acuerdo esperado por azar
O - E
1 - E
Acuerdo entre dos clínicos que examinaron el mismo conjunto de 100 fotografías de fondo de ojo
Cálculo del acuerdo observado en una tablas 2 X 2
Cálculo del acuerdo al azar, cuando un segundo clínico tira una moneda al aire
Cálculo del acuerdo al azar en la situación clínica real, usando la tabla 2X2
Cálculo del coeficiente Kappa
O - E
1 - E
0,78 – 0,51 K = _______________________ = 0,55 1 – 0,51 .
Reproducibilidad
<0,20
Pobre
0,21-0,40
Débil
0,41-0,60
Moderado
0,61-0,80
Buena
0,81-1,00
Muy buena
Reproducibilidad
Una medición es reproducible cuando, al observar un mismo fenómeno en iguales condiciones:
Un mismo observador registra el mismo valor en ocasiones repetidas
Reproducibilidad intraobservador
Dos observadores registran el mismo valor en ocasiones repetidas
Reproducibilidad interobservador
Ejercicio práctico
En cada hospital, a dos médicos se les dan 100 radiografías para que las examinen de manera independiente y diagnostiquen o no neumonía.
Hospital 1
MD#1
Hospital 2
MD#1
Si
No
Si
No
MD#2
Si
MD#2
Si
43
No
94
No
52
Semana 7 TAREA Pregunta 3
Hospital 1
MD#1
1. Calcule la concordancia observada 2. Calcule la concordancia esperada (concordancia al azar) 3. Calcule Kappa
Si
No
MD#2
Si
Hospital 2
MD#1
No
94
Si
No
MD#2
Si
43
No
52
Índice
Fases del desarrollo de una prueba diagnóstica
VALIDEZ CLÍNICA
UTILIDAD CLÍNICA
Ejemplo: desarrollo de un nuevo marcador de cáncer de próstata
- FASE PREVIA:
Modo de recoger las muestras, almacenarlas y tratarlas.Estudio del límite de detección de la técnica.Estudio de reproducibilidad de la técnica.- FASE I:
Estudio de la exactitud diagnóstica de la prueba en pacientes con cáncer de próstata y donantes de sangre.FASE II:Estudio de la exactitud diagnóstica de la prueba en:Casos: pacientes con cáncer de próstata en distintos grados.Controles: donantes de sangre, pacientes con hiperplasia benigna de próstata.FASE IV:Estudio de la exactitud diagnóstica de la prueba en una muestra consecutiva de todos los pacientes que acuden al servicio de urología durante el período de estudio.