Sistema GRADE

Bibliotecaria Hospital Universitario de GetafeComité ejecutivo BiblioMadSalud https://bibliogetafe.com/ https://orcid.org/0000-0003-2724-2563 @biblioGETAFE

Concepción Campos-Asensio

empezar >

Clasificación de la calidad de la evidencia y graduación de la fuerza de la recomendación

Sistema GRADE

La certeza de la evidencia es la confianza que tenemos en que las pruebas científicas sean ciertas. Y, dependiendo de ese grado de certeza de la información, podremos tomar diferentes decisiones. Así, si la probabilidad de lluvia es alta seguramente llevaremos un paraguas, mientras que si es muy baja no lo llevaremos.

https://es.cochrane.org/es/divulgacion/simplegrade/certeza

Qué es la certeza y cómo se mide

En ciencia, cuando hablamos de evidencia nos referimos a las pruebas científicas o resultados de la investigación. Esta evidencia científica nunca es absoluta, sino que tiene grados. En la predicción del tiempo, sin ir más lejos, estamos acostumbrados a que se nos informé de que lloverá con una probabilidad determinada. Pero incluso esa probabilidad puede tener un mayor o menor grado de certeza.

La evidencia disponible sobre los efectos de buena parte de los tratamientos que se usan actualmente es muy limitada. El sistema GRADE permite identificar el grado de certeza de los efectos de los tratamientos. Y, de este modo, ayudar a tomar decisiones informadas y orientar la investigación para reducir la incertidumbre.

Leer más

+info

GRADE (Grading of Recommendations Assessment, Development and Evaluation) es el método más utilizado por revisores sistemáticos y desarrolladores de guías para evaluar la calidad de la evidencia de los estudios que se incluirán en las revisiones sistemáticas (RS) y guías de práctica clínica (GPC) y decidir si recomendar una intervención (GPC).

¿Qué es GRADE?

Una revisión sistemática no debería presentar una recomendación para la práctica

+info

• Formular recomendaciones (solo para GPC, ya que una RS no debe presentar una recomendación para la práctica)

+info

• Evaluar la calidad o confianza o certidumbre de la evidencia (RS y GPC)

Por lo tanto, es un método para:

Este sistema clasifica la certeza de la evidencia en cuatro niveles: alto, moderado, bajo y muy bajo.

https://es.cochrane.org/es/divulgacion/simplegrade/certeza

El sistema GRADE, utilizado ampliamente en ciencias de la salud, es el método de referencia internacional para evaluar los hallazgos científicos y comunicar de forma transparente su incertidumbre.

1. Separa la calidad de la evidencia y la fuerza de la recomendación;
2. La calidad de la evidencia se evalúa por separado para cada resultado o desenlace de interés. Para cada uno de los desenlaces o resultados clave se efectúa una evaluación; así, una misma comparación de una intervención terapéutica o preventiva puede recibir diferentes asignaciones de la calidad de la evidencia; y
3. Los estudios observacionales se pueden 'refinar' su nivel inicial de calidad si cumplen con ciertos criterios (pueden hacer bajar o subir el escalón o nivel de la calidad inicialmente asignada). Los ensayos clínicos aleatorizados solo se pueden refinar a la baja.

GRADE se diferencia de otras herramientas de evaluación por 3 razones:

Guyatt G, Oxman AD, Akl EA, Kunz R, Vist G, Brozek J, Norris S, Falck-Ytter Y, Glasziou P, DeBeer H, Jaeschke R, Rind D, Meerpohl J, Dahm P, Schünemann HJ. GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables. J Clin Epidemiol. 2011 Apr;64(4):383-94. doi: 10.1016/j.jclinepi.2010.04.026. PMID: 21195583.

Esquema del proceso Grading of Recommendations, Assessment, Development, and Evaluation for developing recommendations

Guyatt G, Oxman AD, Akl EA, Kunz R, Vist G, Brozek J, Norris S, Falck-Ytter Y, Glasziou P, DeBeer H, Jaeschke R, Rind D, Meerpohl J, Dahm P, Schünemann HJ. GRADE guidelines: 1. Introduction-GRADE evidence profiles and summary of findings tables. J Clin Epidemiol. 2011 Apr;64(4):383-94. doi: 10.1016/j.jclinepi.2010.04.026. PMID: 21195583.

Esquema del proceso GRADE para la elaboración de recomendaciones

GRADE

• Certeza de la evidencia disponible
• Balanza de deseables/indeseacles resultados
• Valores y preferencias
• Equidad, aceptabilidad y viabilidad

• Gran magnitud del efecto
• Dosis-respuesta
• Factores de confusión probablemente minimizan el efecto

• Limitaciones de los estudios
• Imprecisión
• Inconsistencia de los resultados
• Evidencia indirecta
• Sesgo de publicación

Certeza de evidencia sube si:

Certeza de evidencia baja si:

Estudio 3

Resultado 4

Resultado 3

Estudio 2

Efecto estimado de cada resultado (resultados críticos e importantes)

Resultado 2

Resultado 1

Estudio 1

Estudio 1

Estudio 1

Pregunta clínica (PICO)

Recomendaciones finales para la intervención evaluadas (a favor/en contra) y fuerza GRADE (fuerte/débil) tras considerar:

Califique la certeza general de la evidencia para cada resultado en todos los estudios. Los ECA comienzan con una calificación alta y los estudios observacionales con una calificación baja. Niveles de certeza: alto, moderado, bajo o muy bajo.

Revisión sistemática

El sistema GRADE es el método de referencia para determinar el grado de certeza de los resultados de la investigación. Según este sistema, la certeza puede ser alta, moderada, baja y muy baja. Inicialmente la calidad de la evidencia se clasifica, en alta o baja, según provenga de estudios experimentales u observacionales (inicialmente en alta si los estudios incluidos son estudios aleatorios o baja si son estudios observacionales); posteriormente, según una serie de consideraciones, el nivel de calidad de la evidencia queda establecido en 4 categorías: alta, moderada, baja y muy baja.

Vídeo: Observatorio de la Comunicación Científica. Cómo se evalúa la certeza de los resultados de la investigación.

GRADE: 4 categorías de nivel de evidencia y su significado

Ensayo clínico aleatorizado

Estidio observacional (estudios trasversales, los estudios de casos y controles y los estudios de cohortes)

La certeza depende del tipo de estudio que se ha realizado para obtener esas pruebas.

DIseño del estudio

La confianza que tenemos en los resultados de los ensayos clínicos es, en principio, mayor que la de los estudios observacionales. Por eso, se considera que, a priori, los primeros tienen una certeza alta, y los segundos, baja.

¿De qué depende el grado de certeza? El factor más importante es el tipo de estudio, pero.... hay otros 5 factores que pueden disminuirlo y 3 razones para aumentarlo. De entrada, los ensayos clínicos tienen una certeza alta, mientras que los estudios observacionales la tienen baja.

GRADE: Factores que determinan la calidad de la evidencia

La certeza inicial puede disminuir si:

• los estudios se han hecho con poco rigor (riesgo de sesgo);
• los resultados de distintos estudios son muy dispares (inconsistencia);
• la información sobre los efectos del tratamiento es escasa (imprecisión);
• la información no responde directamente a la pregunta que se investiga (evidencia indirecta), y se sospecha que hay resultados no publicados (sesgo de publicación).

Pero no todos los estudios, ya sean observacionales o ensayos, son iguales ni se han realizado con el mismo rigor. Dependiendo de diversas razones, la valoración inicial de la certeza puede disminuir o aumentar. El sistema GRADE establece cinco factores que pueden disminuir la certeza y tres que la pueden aumentar

+info

5 Factores que pueden disminuir la calidad de la evidencia

Por ejemplo, actualmente tenemos una certeza alta de que fumar causa cáncer de pulmón, aunque la evidencia procede solo de estudios observacionales. Esto es así porque la certeza, inicialmente baja, aumenta porque el riesgo de cáncer es mucho más alto en los fumadores y, además, el riesgo es mayor cuanto más se fuma.

En situaciones muy concretas, la certeza inicial puede aumentar si el efecto del tratamiento es muy grande y si el efecto aumenta al aumentar la dosis del tratamiento.

Info

1) Fuerte asociación: hallazgos de efectos relativos RR>2, o < 0,5 en estudios observacionales sin factores de confusión.2) Muy fuerte asociación: hallazgos de efectos relativos RR > 5, o <0,2 basados en estudios sin problemas de sesgo o precisión.3) Existencia de gradiente dosis-respuesta (dose-response gradient).4) Evidencia de que todos los posibles factores de confusión o sesgos podrían haber reducido el efecto observado.

Factores que pueden subir la calidad de la evidencia

El sistema GRADE establece la disminución o el aumento de uno o dos niveles de certeza dependiendo del factor que se evalúa. Las siguientes tablas ejemplifican el aumento o disminución en niveles de certeza, para cada factor.

¿Cuánto puede subirse o bajarse la certeza inicial?

Por ejemplo, en un ensayo clínico los pacientes se asignan aleatoriamente al grupo que recibe el tratamiento o al grupo que no lo recibe o recibe otro tratamiento (grupo control). Pero si los investigadores o participantes que miden o informan de los resultados del estudio conocen qué tratamiento está recibiendo cada participante, podrían sesgar sus mediciones y proporcionar resultados más favorables para el brazo de interés. Esto se conoce como sesgo de medición.

Los estudios mal diseñados o mal ejecutados pueden exagerar el efecto real de un tratamiento, haciéndolo parecer más beneficioso o perjudicial de lo que en realidad es. Si este error se repite una y otra vez, decimos que se trata de un error sistemático (sesgo) y que los resultados están sesgados.

Riesgo de sesgo

• Si los encargados de incluir participantes en el estudio pueden predecir o anticipar a qué grupo de tratamiento será asignado el participante, existe sesgo de selección. Es importante evitar este tipo de sesgo, para garantizar que no haya diferencias sistemáticas entre los grupos. Por ejemplo, podría darse el caso de que la mayoría de los participantes más graves se concentren en un determinado grupo del estudio, o que la mayoría de los participantes más jóvenes se concentren en un grupo.
• Si los investigadores que llevan a cabo los procedimientos del estudio saben qué tratamiento está recibiendo cada participante, podrían cambiar su conducta y sus procedimientos de manera inconsciente. Por ejemplo, podrían realizar más pruebas o análisis a aquellos participantes que se sabe que están recibiendo el tratamiento de interés, lo que se conoce como sesgo de ejecución.
• Si los investigadores o participantes que miden o reportan los resultados del tratamiento, especialmente aquellos que podrían verse influenciados por su subjetividad, saben qué tratamiento está recibiendo cada participante, podrían sesgar sus mediciones y proporcionar resultados más favorables para el brazo de interés. Esto se conoce como sesgo de medición.

Deficiencias más frecuentes de los EC

El margen de error de estos resultados suele ser muy variable. Este margen de error está definido por el intervalo de confianza (IC) alrededor del efecto del tratamiento que evalúa el estudio.

• No se pueden generalizar y aplicar a la población en general
• Pueden deberse al azar más que al tratamiento que se estudia
• Pueden no reflejar todos los efectos beneficiosos y perjudiciales

Uno de los factores que influyen en la precisión de los resultados es el tamaño del estudio que viene dado por el número de participantes que se han incluido, lo que se conoce como tamaño de la muestra. Los resultados de los estudios con pocos participantes son menos fiables, es decir, tienen menor certeza, porque:

Los resultados de un estudio son imprecisos cuando están poco agrupados. Decimos que tienen un amplio margen de error o intervalo de confianza.

Imprecisión

Para determinar la certeza de los resultados es importante conocer si las diferencias son relevantes y, en ese caso, las posibles causas. Una gran variabilidad puede deberse, entre otras cosas, a diferencias en la población, la dosis del tratamiento, el diseño o la duración de los estudios.

Cuando los resultados de diferentes estudios sobre un mismo tratamiento son muy diferentes, es más difícil sacar una conclusión fiable. Esta variabilidad de los resultados entre estudios se denomina también heterogeneidad o inconsistencia.

Variabilidad entre los estudios

¿De dónde proceden las pruebas indirectas?

Si la evidencia es indirecta significa que los estudios podrían estar evaluando algo diferente o en una población diferente, y esto puede afectar a la fiabilidad (certeza) de los resultados de la investigación (evidencia).

Las evidencias directas son los resultados obtenidos con la intervención que nos interesa, comparados con otra intervención relevante, en la población que nos interesa y sobre los efectos beneficiosos o perjudiciales (desenlaces) que nos interesa conocer, y que además son importantes para los pacientes. Es decir, las pruebas directas responden directamente a los elementos de la pregunta de investigación o PICO: Población, Intervención, Comparación y Outcomes o desenlaces (beneficios y perjuicios que interesa estudiar)

Pruebas indirectas

El sesgo de publicación afecta principalmente a los ensayos clínicos, que son la mejor herramienta para evaluar si un medicamento es seguro y efectivo. Se calcula que alrededor del 50% de los ensayos clínicos realizados no se llegan apublicar. Esto perjudica gravemente a los pacientes y la salud pública, además de representar un desperdicio de dinero público.

Los estudios sobre los efectos de los tratamientos que ofrecen resultados positivos se publican más fácilmente (es más probable que sean aceptados en las revistas científicas) que aquellos que ofrecen resultados negativos.la existencia de estudios no publicados puede hacer que se sobreestimen o subestimen los efectos reales.

Sesgo de publicación

3. Confusión residual Hablamos de confusión residual cuando queda cierta duda sobre los resultados de un estudio observacional debido a factores que no hemos controlado o comprendido completamente durante el análisis. Si esta confusión residual resulta en una subestimación del efecto del tratamiento se considera que hay que aumentar la certeza de la evidencia. Por ejemplo, si solo los pacientes más graves reciben una intervención experimental que resulta eficaz, es probable que el efecto de la intervención en el conjunto de pacientes sea incluso mayor que el que muestran por los datos.

Por ejemplo, si se aumenta la dosis de un medicamento X y se observa un aumento proporcional en su eficacia, podríamos decir que hay una relación dosis-respuesta. O lo que ocurre con el consumo del tabaco: a una mayor exposición, existe un mayor riesgo de enfermedad. Cuando se detecta una gradiente dosis-respuesta en un estudio observacional, se puede aumentar la certeza de sus resultados.

1. El efecto de la intervención es grande. Si un estudio observacional no tiene ninguno de los factores que disminuyen la certeza y sus resultados muestran un efecto considerable de la intervención (junto con una adecuada precisión), entonces se puede yener más confianza en los resultados y aumentar su certeza.2. Relación dosis-respuesta. Es la relación que existe entre la dosis de un tratamiento o la intensidad de una exposición a un agente (humo del tabaco, radiación, etc.) y el tamaño del efecto que produce como respuesta biológica o riesgo de enfermedad.

Factores que aumentan la certeza

En el enfoque GRADE, los ensayos aleatorizados comienzan como evidencia de alta calidad y los estudios observacionales como evidencia de baja calidad, pero ambos pueden calificarse a la baja si existen preocupaciones graves en cualquiera de los dominios de GRADE y pueden calificarse si se cumplen criterios específicos.

Chu DK, Golden DBK, Guyatt GH. Translating Evidence to Optimize Patient Care Using GRADE. J Allergy Clin Immunol Pract. 2021 Dec;9(12):4221-4230. doi: 10.1016/j.jaip.2021.09.035.PMID: 34624540.

Calidad de la evidencia para cada desenlance

Resumen de la metodología GRADE. Medwave 2021;21(02):e8109 doi: 10.5867/medwave.2021.02.8109

Asigne una calificación final a la calidad de la evidencia como 'alta', 'moderada', 'baja' o 'muy baja' para todos los resultados de importancia crítica. Una regla general es subir o bajar una categoría por tema. Por ejemplo, la calidad de la evidencia para un resultado estudiado en ensayos controlados aleatorios que inicialmente comienza como 'alta' podría pasar a 'moderada' debido al alto riesgo de sesgo en los estudios incluidos, y más abajo a 'baja' si hubo una cantidad significativa de heterogeneidad inexplicable entre los ensayos, e incluso más hasta "muy baja" si hubo pocos eventos que conduzcan a intervalos de confianza que incluyan beneficios y daños importantes.

PASO 3

Clasificación inicial de "degradación" o "actualización". Es frecuente que los ensayos controlados aleatorios y los estudios observacionales sean degradados porque tienen sesgos identificables. Además, los estudios observacionales pueden actualizar cuando varios estudios de alta calidad muestran resultados consistentes.

PASO 2

Asigne una clasificación a priori de "alto" a los ensayos controlados aleatorios y "bajo" a los estudios observacionales. A los ensayos controlados aleatorios se les asigna inicialmente una calificación más alta porque generalmente son menos propensos al sesgo que los estudios observacionales

PASO 1

Cómo usar GRADE: PASOS

Los pasos 4 y 5 solo en GPC

Goldet G, Howick J. Understanding GRADE: an introduction. J Evid Based Med. 2013 Feb;6(1):50-54. doi: 10.1111/jebm.12018. PMID: 23557528.

Los pasos de 1 a 3 se repiten para cada resultado crítico o importante

+info

Leer más

Tablas resumen de hallazgos

Todo este proceso planteado por GRADE se resume de manera bastante sencilla en las tablas resumen de hallazgos.Estas tablas muestran todo el proceso por cada desenlace, con efecto relativo, absoluto, certeza de evidencia (con su justificación), y el mensaje clave en lenguaje controlado. En la figura tenemos la Tabla resumen de hallazgos acerca de tratamiento con sialogogos y tratamiento no farmacológico para xerostomía.

¿qué significa exactamente cada nivel de certeza?

Softwares para la aplicación de GRADE

Volver

• GRADEPro Website http://gradepro.org/ (Es el software usado para facilitar la aplicación del sistema GRADE a la elaboración de las Tablas de resumen de resultados (Summary of Findings, SoF) en revisiones Cochrane y al desarrollo de guías de práctica clínica).

• Schünemann HJ, Higgins JPT, Vist GE, Glasziou P, Akl EA, Skoetz N, Guyatt GH. Chapter 14: Completing ‘Summary of findings’ tables and grading the certainty of the evidence. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MJ, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.2 (updated February 2021). Cochrane, 2021. Available from www.training.cochrane.org/handbook
• Chu DK, Golden DBK, Guyatt GH. Translating Evidence to Optimize Patient Care Using GRADE. J Allergy Clin Immunol Pract. 2021 Dec;9(12):4221-4230. doi: 10.1016/j.jaip.2021.09.035. Epub 2021 Oct 5. PMID: 34624540.
• Guía Fisterra: La evaluación de la calidad de la evidencia y la graduación de la fuerza de las recomendaciones: el sistema GRADE.

• GRADE working group https://www.gradeworkinggroup.org/

• GRADE handbook https://training.cochrane.org/resource/grade-handbook

Recursos GRADE

1. Diferencias en la población estudiada. Cuando realizamos una revisión sistemática (análisis y resumen de varios estudios), las diferencias de poblaciones de los estudios son un problema de evidencia indirecta y afectan negativamente a la valoración global de la certeza de la evidencia, en mayor o menor grado según lo diferentes que sean estas poblaciones. 2. Diferencias en las intervenciones. Los autores de revisiones sistemáticas hacen grandes esfuerzos para que los estudios incluidos en la revisión sean sobre intervenciones que sean directamente relevantes. Sin embargo, a veces se incluyen estudios que no comparan directamente las intervenciones de interés cuando no se encuentran estas evidencias directas. Esto hace que la calidad o certeza de esta evidencia disminuya, ya que no es directa. 3. Comparaciones indirectas. Cuando no se dispone de una comparación entre una intervención A y una intervención B, pero se ha comparado la intervención A con una intervención C y la intervención B se comparó también con C, se puede obtener una comparación indirecta entre A y B con los resultados de las comparaciones ya hechas. Esta evidencia indirecta reduce la certeza global de la evidencia. 4. Diferencias en los desenlaces. La metodología GRADE recomienda que quienes elaboren revisiones sistemáticas o guías de práctica clínica especifiquen los desenlaces importantes que interesa conocer. A veces, los estudios disponibles evalúan la intervención de interés en resultados relacionados (desenlaces medidos), pero no específicamente en aquellos que son importantes para los pacientes (desenlaces deseados). La diferencia entre resultados deseados y medidos a veces puede estar relacionada con el marco temporal en el que se han medido estos resultados (por ejemplo, medidos en tres meses en lugar de en un año). Otra fuente de diferencias en los resultados de los estudios tienen que ver con los desenlaces sustitutos o subrogados.

¿Cuáles son las principales fuentes de sesgo de publicación?

En las diferentes fases del proceso de publicación, hay diversas circunstancias que facilitan el sesgo de publicación: 1. Estudios preliminares y pilotos. Los estudios más pequeños tienen mayor probabilidad de mostrar resultados negativos y permanecen sin publicar. 2. Redacción del artículo sobre el estudio. Los autores consideran que reportar un estudio con resultados negativos no es interesante, y generalmente no invierten el tiempo y esfuerzo que requiere la elaboración del artículo. 3. Elección de la revista. Los autores generalmente deciden enviar el artículo “negativo” a revistas no indexadas o de circulación limitada. 4. Consideraciones del editor. El editor decide que el estudio “negativo” no merece una revisión por pares y rechaza el manuscrito. 5. Revisión por pares. Los revisores concluyen que los estudios “negativos” no contribuyen al área de investigación y recomiendan rechazar el manuscrito. Esto hace que el autor busque una revista de menor impacto y retrasa la publicación. 6. Reelaboración del manuscrito. El autor del manuscrito rechazado decide abstenerse de enviar un estudio “negativo” o lo envía más tarde a otra revista (ver elección de la revista). 7. Publicación del artículo. Las revistas retrasan la publicación de estudios “negativos”.

¿Qué es un efecto grande? El efecto de una intervención se considera grande cuando el riesgo relativo (el cociente entre los riesgos absolutos de los dos grupos: el grupo intervención dividido por el grupo control) es mayor de 2 menor de 0,5. Es decir, cuando el riesgo de la población sometida a una exposición perjudicial (humo del tabaco) es mayor del doble, o cuando el riesgo de sufrir un problema de salud (por ejemplo, un infarto) se reduce a la mitad con un tratamiento. La certeza de la evidencia puede subir un nivel si la evidencia es directa y no hay posibles factores de confusión. ¿Qué es un efecto muy grande? Se considera que el efecto es muy grande cuando el RR es mayor de 5 o menor de 0,2. La certeza de la evidencia se puede subir dos niveles si la evidencia es directa y no hay problemas graves, como riesgo de sesgo o imprecisión.