Riesgo de sesgo

valoración del riesgo de sesgo

Concepción Campos-Asensio

Bibliotecaria Hospital Universitario de GetafeComité ejecutivo BiblioMadSalud https://bibliogetafe.com/ https://orcid.org/0000-0003-2724-2563 @biblioGETAFE

RIESGO DE SESGO

RIESGO DE SESGO

Una revisión sistemática refleja las limitaciones de los estudios que incluye; por lo tanto, cada estudio elegible para su inclusión en una revisión sistemática requiere una evaluación crítica para determinar si el estudio no ha respondido correctamente a su pregunta de investigación de una manera libre de sesgos.

El sesgo (por ejemplo, las limitaciones del estudio) se refiere al riesgo de que los estudios sobrestimen o subestimen sistemáticamente el verdadero efecto de la intervención en función de un error en su realización o diseño.

El sesgo también es distinto del concepto de calidad del estudio (es decir, qué bien se pudo haber realizado el estudio).

Info

Sesgo de un resultado no es lo mismo que...

04

01

02

03

Calidad de la evidencia

Calidad metodológica del estudio

Calidad del informe del estudio

Imprecisión del resultado

RIESGO DE SESGO

En los resultados se debe presentar breves resúmenes de los estudios incluidos y su evaluación del "Riesgo de sesgo". Tabla descriptiva separada de "Riesgo de sesgo" y un resumen narrativo de las características clave y cualquier diferencia importante entre los estudios.

Hay varios instrumentos disponibles para evaluar el riesgo de sesgo en estudios individuales:

• Check-list (ej. CASP de lectura crítica)
• Escalas (ej. JADAD)
• Evaluación basada en dominios (la aconsejada)

Tipos de herramientas para evaluar la calidad metodológica de los estudios

Herramientas basadas en dominios

Escalas

Listas de verificación

+info

+info

+info

RIESGO DE SESGO

ALGUNAS HERRAMIENTAS

+info

Estudios cualitativos: Qualitative critical appraisal tool. Ensayos clínicos aleatorizados: Cochrane “Risk of bias” tool (RoB) ; Cochrane’s risk of bias tool RoB 2 (Free training available here. BMJ 2019; 366: l4898.), Ecala PEDro, JBI checklist for randomized controlled trials Estudios no aleatorizados: Newcastle-Ottawa scale y ROBINS-I tooltool (Risk Of Bias In Non-randomized Studies - of Interventions) (BMJ 2016; 355; i4919; doi: 10.1136/bmj.i4919.). Estudios de cohortes: Newcastle-Ottawa scale. Estudios de Caso-control: Newcastle-Ottawa scale and CASP checklist. Encuestas transversales: AXIS appraisal tool. Estudios de factores pronósticos: QUIPS. Estudios diagnósticos: QUADAS-2. SANRA, the Scale for the Assessment of Narrative Review Articles.

Herramienta Cochrane RoB2

Herramienta RoB Cochrane

Valora 7 dominios para cada estudio incluido:

1. Generación de la secuencia aleatoria ("sequence generation")
2. Ocultamiento de la asignación ("allocation concealment")
3. Cegamiento de los participantes y del personal ("blinding", "masking")
4. Cegamiento de los evaluadores del resultado
5. Datos de resultados incompletos ("intention to treat effect")
6. Notificación selectiva de los resultados
7. Otras fuentes de sesgo

El juicio de los revisores puede ser:

• Bajo riesgo de sesgo
• Alto riesgo de sesgo
• Riesgo de sesgo poco claro

Manual Cochrane

+info

RIESGO DE SESGO

• Hay que predefinir en la fase de protocolo cómo se va a considerar el riesgo de sesgo en el análisis (definir si se va a meta-analizar los estudios con riesgo de sesgo alto o incierto).

• Mínimo 2 evaluadores.
• Hacer pilotaje con 3-6 estudios.
• Predefinir cómo resolver los desacuerdos.
• Aclarar la información que falta o no está clara en la publicación (ir a protocolo del estudio y/o contactar con los autores)

Cómo evaluarlo

• Se ha de resumir el riesgo de sesgo de los estudios incluidos y de cada outcome.
• Podemos resumir la información en:
• Tabla de riesgo de sesgo
• Gráfico de riesgo de sesgo
• Figura de riesgo de sesgo

Cómo resumir e incorporar la información

Y/PY = ‘Yes’ or ‘Probably yes’; N/PN = ‘No’ or ‘Probably no’; NI = ‘No information’

Sterne JAC, Savović J, Page MJ, Elbers RG, Blencowe NS, Boutron I, Cates CJ, Cheng H-Y, Corbett MS, Eldridge SM, Hernán MA, Hopewell S, Hróbjartsson A, Junqueira DR, Jüni P, Kirkham JJ, Lasserson T, Li T, McAleenan A, Reeves BC, Shepperd S, Shrier I, Stewart LA, Tilling K, White IR, Whiting PF, Higgins JPT. RoB 2: a revised tool for assessing risk of bias in randomised trials. BMJ 2019; 366: l4898.https://www.riskofbias.info/welcome/rob-2-0-tool/current-version-of-rob-2

RIESGO DE SESGO

RIESGO DE SESGO

Figura del riesgo de sesgo Por cada estudio:

Esta figura muestra un ejemplo de un resumen de la evaluación del riesgo de sesgo según la herramienta Cochrane de riesgo de sesgo aplicada a ocho ECA como parte de una revisión sistemática sobre el calostro humano y bovino para la prevención de la enterocolitis necrotizante.

El resumen de las evaluaciones del riesgo de sesgo para los estudios incluidos en la revisión sistemática incluye tanto la identificación del estudio como los juicios realizados sobre la posibilidad de que se introduzca el sesgo dentro de cada dominio del instrumento de riesgo de sesgo. En esta figura, los círculos verdes que incluyen un carácter más ("+") representan dominios con bajo riesgo de sesgo, mientras que los círculos rojos que incluyen un guión ("-") representan dominios con alto riesgo de sesgo.

+info

RIESGO DE SESGO

RIESGO DE SESGO

Gráfico de riesgo de sesgo Por dominios:

Figura del riesgo de sesgo

Si los tipos de diseño de estudios incluidos en mi revisión sistemática son diferentes (p. ej.: EC, estudio de cohortes, ...), ¿es mejor utilizar una herramienta genética o elegir diferentes según el Tipo de estudio?

• Si utilizamos herramientas específicas según el diseño del estudio, nos asegurarmos de que la evaluación de calidad se alinea con las consideraciones únicas y los sesgos asociados con cada diseño de estudio.
• Pero el uso de múltiples herramientas puede aumentar la complejidad y requerir una mayor familiaridad con cada herramienta específica.

Calidad metodológica en síntesis cualitativa

• La evaluación de la calidad metodológica de los estudios incluidos en una síntesis de investigación cualitativa es discutible (Lockwood C, Munn Z, Porritt K. Qualitative research synthesis: methodological guidance for systematic reviewers utilizing meta-aggregation. Int J Evid Based Healthc 2015;13(3):179–187.).
• Los autores pueden seleccionar una herramienta apropiada para el tipo de metodología de síntesis cualitativa empleada:
• La CASP Qualitative Checklist (Critical Appraisal Skills Programme. CASP qualitative checklist [internet]. CASP; 2018 [cited 2022 Apr 26]. Available from: https://casp-uk.net/images/checklist/documents/CASP-Qualitative-Studies-Checklist/CASP-Qualitative-Checklist-2018_fillable_form.pdf.) es un ejemplo de herramienta publicada y de uso común que se centra en la evaluación de los puntos fuertes y las limitaciones metodológicas de los estudios cualitativos.
• El JBI Critical Appraisal Checklist for Qualitative Research (Hannes K, Lockwood C, Pearson A. A comparative analysis of three online appraisal instruments’ ability to assess validity in qualitative research. Qual Health Res 2010;20(12):1736–1743.) se recomienda para las revisiones que utilizan un enfoque meta-agregativo.

Herramientas de evaluación crítica

CASP

https://redcaspe.org/

La escala de Newcastle-Ottawa (NOS) para evaluar la calidad de los estudios no aleatorios

http://www.ohri.ca/programs/clinical_epidemiology/oxford.asp

Scottish Intercollegiate Guidelines Network (SIGN) Checlists

Revisión sistemática de herramientas para evaluar la calidad metodológica de los estudios observacionales en humanos

Proporciona una descripción general de las fortalezas y limitaciones de cada herramienta individual. La revisión evalúa los tipos de diseños de estudio a los que se aplica la herramienta, los elementos de la herramienta y qué dominios de sesgo evalúan, el método utilizado para desarrollar la herramienta y si se ha probado la herramienta y cómo. El trabajo también incluye un instrumento interactivo de visualización de datos en línea que proporciona una manera fácil y accesible para que los revisores sistemáticos y los desarrolladores de guías comparen diferentes herramientas de riesgo y encuentren las que se ajusten a su propósito. Este enfoque intuitivo facilita la comparación, a través de tablas de visualización interactivas que permiten a los usuarios encontrar y comparar fácilmente las herramientas disponibles y los diferentes componentes dentro de las herramientas. El instrumento interactivo de visualización de datos en línea está disponible aquí .

Wang Z, Taylor K, Allman-Farinelli M, Armstrong B, Askie L, Ghersi D, McKenzie J, Norris S, Page M, Rooney A, Woodruff T, Bero L. A systematic review: Tools for assessing methodological quality of human observational studies. NHMRC. 2019. Available at https://nhmrc.gov.au/guidelinesforguidelines/develop/assessing-risk-bias.

La Escala Newcastle - Ottawa es muy utilizada,

pero, ¿es adecuado su uso?

La escala Newcastle-Ottawa para valorar estudios no aleatorizados métodos es actualmente desaconsejada/anticuada.

• En este artículo trata este tema y describe su falta de fiabilidad y que desaconseja su uso: Stang, A. Critical evaluation of the Newcastle-Ottawa scale for the assessment of the quality of nonrandomized studies in meta-analyses. Eur J Epidemiol 25, 603–605 (2010). https://doi.org/10.1007/s10654-010-9491-z