Das Dokument behandelt das GRADE-System, das zur Beurteilung der Qualität von Evidenz und der Stärke von Empfehlungen in der evidenzbasierten Medizin entwickelt wurde. Es beschreibt die Schritte zur Erstellung evidenzbasierter Leitlinien, die systematische Literaturrecherche, die kritische Bewertung gefundener Literatur und die Formulierung von Empfehlungen unter Berücksichtigung der Patientenbedürfnisse. GRADE zielt darauf ab, die Transparenz und Nachvollziehbarkeit von Entscheidungen im Gesundheitswesen zu verbessern, auch wenn die Evidenz nicht der höchsten Qualität entspricht.

1. GRADE in der Erstellung von Leitlinien und HTA-Berichten HTA-online „ Berlin“ 19. November 2009 Dr. med. Monika Lelgemann, MSc HTA-Zentrum, Universität Bremen

2. GRADE Vorgehen zur Beurteilung der Qualität der Evidenz Einbettung von GRADE in die Erstellung von Leitlinien GRADE Profil – was ist das GRADE Anwendungsbeispiele Was sollte vorkommen:

3. Ursprung oder wie alles anfing….. Canadian Medical Association Journal 2003; 169: 677-680 The Grading of Recommendations Assessment, Development and Evaluation (short GRADE) Working Group

4. Symbolik für Qualität der Evidenz und Empfehlungsgrad…..

5. Leitlinien sollen dazu dienen das umfangreiche Wissen (wissenschaftliche Evidenz und Praxiserfahrung) zu definierten Versorgungsfragen zu werten; gegensätzliche Standpunkte zu klären; unter Abwägung von Nutzen und Schaden das derzeitige Vorgehen der Wahl zu definieren. Definitionen

6. Klassifikation auch rechtliche Legitimation im Sinne des medizinischen Standards Leitlinienprogramm

7. Gute klinische Leitlinien benennen klar ihren Geltungsbereich und Zweck entstehen unter Beteiligen alle Adressaten (multidisziplinär und berufsgruppenübergreifend) und der betroffenen Patienten entstehen nach einer expliziten, transparenten Methodik unter Beachtung der Prinzipien der Evidenzbasierten Medizin bedienen sich eines formalisierten Konsensprozesses zur Abstimmung des Inhalts und des Stärkegrades der Empfehlungen sind leicht anwendbar legen mögliche Interessenkonflikte der Autoren dar werden regelmäßig aktualisiert ................ n. Field und Lohr. IOM 1990 Leitlinien  Leitlinie

8. - explizite Formulierung der Fragestellung systematische Literatursuche (transparente Darlegung, a priori Festlegung der Ein- und Ausschlusskriterien,Dokumentation) kritische Bewertung der gefundenen Literatur hinsichtlich ihrer Robustheit gegen systematische Verzerrungen und zufälliger Ergebnisse  Ergebnissicherheit Synthese der eingeschlossenen Evidenz – qualitativ oder quantitativ Interpretation der Ergebnisse (Relevanz ….) Anwenden der Evidenz  Entscheidung mit der Patientin / politische Entscheidung / LL-Empfehlung EbM / Prinzipien 5 Schritte Schema

9. Die ausgesprochenen Empfehlungen resultieren bei einer „evidenzbasierten Leitlinie“ mit größerer Wahrscheinlichkeit in einem tatsächlichen Nutzen (pos. Beeinflussung eines patientenrelevanten Endpunktes) Empfehlungen sind das Charakteristikum von Leitlinien Interventionen werden empfohlen; diagnostische und therapeutische Empfehlungen sind nur sinnvoll, wenn es um zu empfehlende „Maßnahmen“ geht (handlungsleitend) Evidenz  Empfehlung Voraussetzungen / Annahmen

10. Konsens über die Empfehlungen unterschiedet Leitlinien von Evidenzanalysen bzw. Evidenzdarlegungen Konsens ist der „Brückenschlag“ zwischen der Welt der Evidenz und der realen Welt der Patientenversorgung  Evidenzlücken Anwendbarkeit Relevanz Leitlinienautoren wollen auch dann Empfehlungen geben, wenn Evidenz der höchsten Stufe nicht vorhanden ist Evidenz  Empfehlung Voraussetzungen / Annahmen

11. Evidenz  Empfehlung Interdisziplinare S3-Leitlinie fur die Diagnostik, Therapie und Nachsorge des Mammakarzinoms. 2008

12. Prophylaxe der venösen Thromboembolie (VTE) / S3 LL AWMF; Stand März 2009 Evidenz  Empfehlung Sollen und  Sollte und 

13. Wie können wir zu einer klinisch relevanten Frage das vorhandene Wissen transparent und explizit darlegen und das Ausmaß der (Un-) Sicherheit ausdrücken, dass das Umsetzen einer Empfehlung (Anwenden oder Vermeiden einer Intervention) in größerem Nutzen als Schaden resultiert? GRADE - Aufgabe

14. Themenauswahl (Versorgungsproblem)  Definition der Ziele  Zusammenstellung der Leitlinien-Gruppe  Formulierung von Schlüsselfragen  Systematische Literatursuche  Kritische Bewertung der Literatur  Formulierung graduierter Empfehlungen  Konsultation und externe Begutachtung  Präsentation und Disseminierung  Implementierung  Wartung, Evaluation und Überarbeitung formalisiertes Konsensverfahren formalisiertes Konsensverfahren

15. Berücksichtigung aller Elemente der PICO Frage in der Beantwortung der Schlüsselfragen Intervention, Vergleichstherapie, genaue Patienten- charakteristik, Versorgungssetting und Outcomes a priori Festlegung und Hierarchisierung der zu berücksichtigenden resp. nicht zu berücksichtigenden Endpunkte wichtige Klärung über evtl. entscheidende Werturteile bereits zu Beginn Kernelemente von GRADE

16. Gewichtung der Endpunkte 1 2 3 6 5 4 7 8 9 entscheidender Endpunkt für Formulierung der Empfehlung / Risiko-Nutzen Abwägung (critical) leitend für „Qualität der Evidenz gesamt“, auf welcher Empfehlung beruht relevanter Endpunkt, aber nachrangig für Formulierung der Empfehlung / Risiko-Nutzen Abwägung (important) unerheblicher / irrelevanter Endpunkt, sollte in GRADE Profil nicht aufgenommen werden

17. Oseltamivir / Vogelgrippe; Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31 Gewichtung der Endpunkte 5 mitel Dauer der Erkrankung 8 wichtig LRTI 7 wichtig Dauer KH-Aufenthalt 6 mittel Hospitalisierung 9 wichtig Mortalität

18. GRADE Evidence Profile

19. GRADE Overview of Reviews

20. Berücksichtigung aller Elemente der PICO Frage in der Beantwortung der Schlüsselfragen Intervention, Vergleichstherapie, genaue Patienten- charakteristik, Versorgungssetting und Outcomes a priori Festlegung und Hierarchisierung der zu berücksichtigenden resp. nicht zu berücksichtigenden Endpunkte wichtige Klärung über evtl. entscheidende Werturteile bereits zu Beginn Systematische Übersicht ist Voraussetzung, resultiert nicht in Heraufstufung der Evidenz Änderung der Hierarchie der Evidenz erforderlich? Kernelemente von GRADE

21.     hohe Qualität Es ist unwahrscheinlich, dass weitere Forschung in diesem Bereich unser Vertrauen in den geschätzten Effekt ändern wird.    mittlere Qualität Es ist wahrscheinlich, dass unser Vertrauen in den geschätzten Effekt durch weitere Forschung erheblich beeinflusst wird und sich der geschätzte Effekt dadurch ändern kann.   niedrige Qualität Es ist sehr wahrscheinlich, dass unser Vertrauen in den geschätzten Effekt durch weitere Forschung erheblich beeinflusst und sich der geschätzte Effekt dadurch wahrscheinlich ändern wird.  sehr niedrige Qualität Jede Effektschätzung ist sehr unsicher. Bedeutung der Evidenzklassifizierung

22. Beurteilung der Qualität der Evidenz” bezogen auf die festgelegten Endpunkte / across studies  in vielen Fällen wird die Qualität der Evidenz für die einzelnen Endpunkte verschieden sein “ sogar” aus gleichen Studien kann unterschiedliche Qualität der Evidenz für einzelne Endpunkte resultieren GRADE dient nicht der Qualitätsbeurteilung einzelner Studien sondern eines „body of evidence“ Kernelemente von GRADE

23. Leitlinienempfehlungen beinhalten die Empfehlung einer Maßnahme ( Intervention) Bei Anwendung des Prinzips der Evidenzbasierten Medizin gilt damit das Primat des RCTs Kein „ roter Strich“ bei GRADE Bias Beweis Systematischer Review (Metaanalyse) auf der Basis vergleichender, randomisierter Studien (RCT) Vergleichende Studien mit Randomisierung (RCT) Vergleichende Studien ohne Randomisierung Nicht experimentelle, deskriptive Studien (z.B. Vergleichsstudien, Korrelationsstudien, Fall-Kontroll-Studien) Meinungen und Berichte von Expertenkommissionen, Konsensuskonferenzen, Fallberichte etc….

24. Grading the Quality of Evidence

25. Konkretes Vorgehen / Bewertung der Qualität der Evidenz Sonstige Evidenz oder…. Sehr niedrig  Beobachtungs-Studie oder abgewertete RCTs Niedrig  abgewertete RCTs oder aufgewertete Beobachtungs-studien Mittel  Effekte groß……. +1 sehr groß........... +2 Dosis-Wirkungsbeziehung Nachweis einer Dosis- Wirkungsbeziehung.... +1 Confounder würden plausible Confounder Effekt verkleinert haben…….+1 oder würden für den Fall, dass kein Effekt nachgewiesen, fälschlicherweise einen Effekt suggeriert haben…..+1 Mängel in der Studienmethodik Schwerwiegend…………-1 sehr schwerwiegend……-2 Heterogene Ergebnisse (inconsistency) Schwerwiegend………..-1 sehr schwerwiegend…...-2 Indirekte Evidenz Schwerwiegend……-1 sehr schwerwiegend…..-2 Fehlende Präzision Schwerwiegend…….-1 sehr schwerwiegend…….-2 Reporting Bias wahrscheinlich……..-1 sehr wahrscheinlich…..-2 RCT Hoch  Heraufstufen falls… Herabstufen falls… Studiendesign Qualität der Evidenz

26. Konkretes Vorgehen / Abwertung der Qualität der Evidenz Mängel in der Durchführungsqualität (bis zu  ) verdeckte Randomisierung magelnde Verblindung Umgang mit ausgeschiedenen Patienten, resp. fehlenden Daten

27. Ergebnissicherheit / „durchführungsbedingt“ Risk of Bias

28. Ergebnissicherheit / „durchführungsbedingt“ Risk of Bias (Studienebene)

29. Ergebnissicherheit / „durchführungsbedingt“ Risk of Bias (Endpunktebene)

30. Konkretes Vorgehen / Abwertung der Qualität der Evidenz Mängel in der Durchführungsqualität (bis zu  ) verdeckte Randomisierung magelnde Verblindung Umgang mit ausgeschiedenen Patienten, resp. fehlenden Daten Inkonsistenz der Ergebnisse (bis zu  ) Heretogene oder sogar widersprüchliche Ergebnisse Indirektheit (bis zu  ) kann sich beziehen auf eingeschlossenen Patienten, durchgeführte Intervention oder Kontrolltherapie, Endpunkte Spärliche Datenlage, unpräzise Effekte (bis zu  ) Anhalt für “Reporting Bias” ( bis zu  ) Studien und Endpunkte

31. Konkretes Vorgehen / Aufwertung der Qualität der Evidenz 1. Starke Assozioation im Sinne eines großen Effektes RR > 2 / < 0,5 bei mehr als zwei Beobachtungsstudien ohne erkennbare confounder und mit konsistenten Ergebnissen (  ) RR > 5 / < 0,2 based on direct evidence with no major threats to validity (  ) 2. Nachweis einer Dosis-Wirkungs-Beziehung (  ) 3. Alle verbleibeneden confounder haben zu einer “Verdünnung” des Effektes geführt (  )

32. Beurteilung der Qualität der Evidenz” für die gesamte Evidenzlage (body of evidence) - alle relevanten Endpunkte werden berückschtigt - die schlechteste Beurteilung ist leitend  möglicherweise der schwierigste und häufigst kritisierte Schritt Kernelemente von GRADE

33. GRADE Evidence Profile

34. GRADE Summary of Findings

35. Evidenzbericht zur S3 LL Brustkrebsfrüherkennung NNS ca. 2500 (über 10 Jahre alle 2 Jahre eingeladen) Elemente von Grade in HTA Bsp. / Versuch einer Nutzen-Schaden Bilanz Mammographiescreening 40-49 Jahre

36. Evidenzprofil für Beobachtungsstudien Eher getrennte Darstellung wählen, üblicherweise nicht Beobachtungsstudien und RCTs in ein Profil eingeben

37. Einflussfaktoren auf die Stärke der Empfehlung

38. stark  oder  schwach  oder   gewünschte Effekte überwiegen eindeutig die unerwünschten  annähernd gleiches „Gewicht“ der erwünschten und unerwünschten Effekte - Balance Einflussfaktoren auf die Stärke der Empfehlung

39. Achtung Festlegung über Qualität der Gesamtevidenz erforderlich!!! across outcomes Einflussfaktoren auf die Stärke der Empfehlung

40. Einflussfaktoren auf die Stärke der Empfehlung Balance between desirable and undesirable effects (not considering cost) The larger the difference between the desirable and undesirable consequences, the more likely is a strong recommendation warranted. The smaller the net benefit and the lower certainty for that benefit, the more likely is a weak recommendation warranted. Quality of the evidence The higher the quality of evidence, the more likely is a strong recommendation. Values and preferences The greater the variability in values and preferences, or uncertainty in values and preferences, the more likely is a weak recommendation warranted. Costs (resource utilization) The higher the costs of an intervention – that is, the more resources consumed – the less likely is a strong recommendation warranted

41. Evidenzprofil Oseltamivir zur Therapie der Vogelgrippe Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31 Qualitätsbeurteilung Effektstärke Zusammen-fassung Qualität Relevanz der Endpunkte

42. Relevanz der Endpunkte Abstimmung per Delphi Verfahren Oseltamivir / Vogelgrippe; Schünemann, HJ. et al. Lancet Infect Dis 2007;7:21-31 5 mitel Dauer der Erkrankung 8 wichtig LRTI 7 wichtig Dauer KH-Aufenthalt 6 mittel Hospitalisierung 9 wichtig Mortalität

43. Qualitätsbeurteilung   

44. Resultierende Empfehlung Abstimmung per formalisiertem Konsensprozess

45. Resultierende Empfehlung Abstimmung per formalisiertem Konsensprozess

46. Resultierende Empfehlung Abstimmung per formalisiertem Konsensprozess

47. Elemente von Grade in HTA Bsp. / LBI HTA 2008: Minimal invasiver Aortenklappenersatz

48. Elemente von Grade in HTA Bsp. / LBI HTA 2008: Rheopherese bei AMD und anderen Indikationen

49. Elemente von Grade in HTA Bsp. / LBI HTA 2008: Rheopherese bei AMD und anderen Indikationen

50. 1. Guyatt GH, Oxman AD, Kunz R, Jaeschke R, Helfand M, Liberati A, Vist GE, Schunemann HJ. Incorporating considerations of resources use into grading recommendations. BMJ 2008;336(7654):1170-3. 2. Schunemann HJ, Oxman AD, Brozek J, Glasziou P, Jaeschke R, Vist GE, Williams JW, Jr., Kunz R, Craig J, Montori VM, Bossuyt P, Guyatt GH. Grading quality of evidence and strength of recommendations for diagnostic tests and strategies. BMJ 2008;336(7653):1106-10. 3. Guyatt GH, Oxman AD, Kunz R, Falck-Ytter Y, Vist GE, Liberati A, Schunemann HJ. Going from evidence to recommendations. BMJ 2008;336(7652):1049-51. 4. Guyatt GH, Oxman AD, Kunz R, Vist GE, Falck-Ytter Y, Schunemann HJ. What is &quot;quality of evidence&quot; and why is it important to clinicians? BMJ 2008;336(7651):995-8. 5. Guyatt GH, Oxman AD, Vist GE, Kunz R, Falck-Ytter Y, onso-Coello P, Schunemann HJ. GRADE: an emerging consensus on rating quality of evidence and strength of recommendations. BMJ 2008;336(7650):924-6. 6. Atkins D, Best D, Briss PA, Eccles M, Falck-Ytter Y, Flottorp S, Guyatt GH, Harbour RT, Haugh MC, Henry D, Hill S, Jaeschke R, Leng G, Liberati A, Magrini N, Mason J, Middleton P, Mrukowicz J, O'Connell D, Oxman AD, Phillips B, Schunemann HJ, Edejer TT, Varonen H, Vist GE, Williams JW, Jr., Zaza S. Grading quality of evidence and strength of recommendations. BMJ 2004;328(7454):1490.