Checklist per la valutazione delle evidenze

Passaggio chiave dell’EBM, la valutazione critica della letteratura (critical appraisal) ha come scopo l’identificazione delle migliori evidenze scientifiche da integrare nelle decisioni clinico-assistenziali attraverso l’analisi di 4 dimensioni: la validità interna, la rilevanza, la validità esterna e la consistenza. Sono stati sviluppati numerosi strumenti a livello internazionale per il critical appraisal: ne riportiamo di seguito una lista con link e commento.

Linee-guida

Grade

Il GRADE – Grading of Recommendations, Assessment, Development and Evaluation è lo strumento di riferimento per la valutazione della affidabilità delle prove scientifiche e per la formulazione di raccomandazioni cliniche basate sulle evidenze.

Uno degli aspetti peculiari del GRADE è l’integrazione della valutazione della qualità metodologica delle prove con aspetti spesso trascurati, come la praticabilità e la trasferibilità dell’intervento proposto nello specifico contesto di riferimento e le implicazioni organizzative, economiche, sociali e finanziarie.

Le principali novità dell’approccio GRADE sono quindi: 1. la forza delle raccomandazioni non dipende più unicamente dal tipo di studio; 2. la raccomandazione non dipende solo dalle evidenze, ma anche dalla disponibilità delle risorse e dalle aspettative e dalle preferenze espresse dal paziente; 3. l’efficacia deve essere sempre valutata in relazione agli esiti, ai risultati che si vogliono ottenere e a quanto quell’esito è critico. Non esiste, in altre parole, un’efficacia determinabile in senso assoluto. È adottato dalla World Health Organization e dalla Cochrane Collaboration nelle revisioni sistematiche.

Il processo GRADE

Panoramica del processo da seguire se si vogliono produrre raccomandazioni utilizzando la metodologia GRADE

Agree

Strumento per la valutazione della qualità di una linea guida, prodotto nell’ambito di un progetto collaborativo europeo. Può essere utilizzato sia da chi elabora linee guida come strumento di autovalutazione sia per prendere decisioni nella pratica clinica e in politica sanitaria. È applicabile a linee guida in qualsiasi area clinica Nel 2010 è stato pubblicato un aggiornamento della checklist: AGREE II. Le traduzioni ufficiali in italiano dei documenti AGREE sono state realizzate dalla Fondazione GIMBE.

Revisioni sistematiche

AMSTAR e AMSTAR 2

La checklist AMSTAR (A Measurement Tool to Assess Systematic Reviews), pubblicata nel 2007, è uno degli strumenti più conosciuti per la valutazione della qualità metodologica delle revisioni sistematiche sull’efficacia degli interventi sanitari.
Dal momento che un numero sempre crescente di decisioni vengono prese sulla base di studi osservazionali, la versione 2 della checklist permette la valutazione di revisioni sistematiche di studi randomizzati controllati e di studi osservazionali (AMSTAR 2).

MECIR

Gli standard MECIR (Methodological Expectations of Cochrane Intervention Reviews) per la redazione di nuove revisioni Cochrane e per la pianificazione di aggiornamenti definiscono dei criteri per ogni aspetto della revisione. I criteri sono suddivisi in obbligatori o “altamente desiderabile” (se non presenti, dovrebbe essere fornita una spiegazione da parte dall’autore).

PRISMA

La checklist PRISMA (Preferred Reporting System for Systematic Review and Meta-Analysis) è composta da 27 item e una flow-chart sviluppata per aumentare la trasparenza e il reporting di meta-analisi e revisioni sistematiche. Nel caso di revisioni che rispondono a quesiti di eziologia, prognosi o di accuratezza diagnostica, il PRISMA dovrebbe essere modificato, includendo elementi aggiuntivi (vedi tutte le estensioni).

ROBIS

Lo strumento ROBIS (Risk of Bias in Systematic Review) è stato sviluppato per valutare i rischi di bias nelle revisioni sistematiche. Al momento si può applicare a revisioni che riguardano quattro ambiti dell’assistenza sanitaria: interventi, diagnosi, prognosi ed eziologia. Il processo di valutazione prevede quattro fasi:

  • valutazione della rilevanza del quesito di ricerca (facoltativa)
  • identificazione dei momenti del processo di revisione in cui possono essere introdotti bias:
  • criteri di eleggibilità degli studi, identificazione e selezione degli studi, raccolta dei dati e valutazione degli studi, sintesi e risultati
  • giudizio complessivo sul rischio di bias nell’interpretazione dei risultati.

La versione ufficiale in italiano dello strumento è disponibile sul sito della Biblioteca Alessandro Liberati.

Studi randomizzati controllati

Cochrane risk-of-bias tool per studi randomizzati controllati (RoB2)

Introdotto dalla Cochrane nel 2008 per la valutazione del rischio di distorsione (bias) negli studi randomizzati e controllati (RCT), nel 2019 lo strumento è stato aggiornato in una nuova versione (RoB 2) che consente di valutare il rischio di bias per ogni singolo risultato riportato in uno studio RCT.

Destinato principalmente ad autori di revisioni sistematiche e a coloro che sviluppano linee-guida,    RoB 2 è strutturato in domini attraverso i quali potrebbero essere introdotti dei bias:

  • processo di randomizzazione
  • cambiamento nell’intervento prestabilito
  • dati mancanti
  • misurazione degli esiti
  • selezione dei risultati riportati nello studio

Per ogni dominio è possibile rispondere ad una o più domande e, attraverso un algoritmo, arrivare alla formulazione di un giudizio di rischio di bias basso, “some concerns” o rischio di bias alto.

CONSORT statement

Sviluppato per migliorare la qualità del report di uno studio clinico randomizzato e controllato, CONSORT comprende una checklist, un diagramma di flusso e un documento di spiegazione.
Rappresenta quindi sia una guida per gli autori di un trial per riportare in maniera chiara e trasparente la metodologia utilizzata nelle diverse fasi dello studio sia uno strumento per chi deve valutare e interpretare i risultati dello studio. Nei prossimi mesi è previsto il rilascio di una nuova versione del CONSORT statement

Altre checklist

Equator network

Equator (Enhancing the QUAlity and Transparency Of health Research) nasce con l’obiettivo di sostenere autori, redattori e associazioni nella pubblicazione delle loro ricerche in modo accurato e trasparente. Nella sezione Links sono raccolti inoltre i collegamenti ad altre risorse che forniscono le corrette indicazioni per scrivere lavori di ricerca e scientifici.

Le checklist del BMJ

La SR toolbox è un sito web che fornisce elenchi regolarmente aggiornati delle linee guida e dei software disponibili per ogni fase del processo di revisione sistematica, compresi lo screening e la valutazione della qualità.

Il sito presenta alcuni esempi di checklist per diversi tipi di studio e informazioni per i diversi scenari di critical appraisal.

ICMJE

Sul sito sono riportate le regole di uniformità per i manoscritti stilate dall’International Committee ofMedical Journal Editors.

NEWCASTLE-OTTAWA SCALE (NOS)

Checklist sviluppata per valutare la qualità di studi non randomizzati (studi caso- controllo, studi prospettici di coorte,). In particolare vengono valutate tre aree: la selezione dei partecipanti, la comparabilità e gli esiti (per gli studi di coorte) e la selezione, la comparabilità e l’esposizione per quei casi di controllo.

QUADAS-2

QUADAS-2 è uno strumento per la valutazione del rischio di bias negli studi sull’accuratezza diagnostica da includere nelle revisioni sistematiche. Sono 4 i domini considerati: selezione dei pazienti, test diagnostico di cui si vuole studiare l’efficacia, test diagnostico di riferimento e, infine, un diagramma che descrive il flusso dei pazienti che si sottopongono ai test. 

SQUIRE (Standards for quality Improvement Reporting Excellence)

Le linee guida SQUIRE aiutano gli autori nella messa a punto di articoli sulla qualità dell’assistenza sanitaria. Consiste in una checklist suddivisa in 18 punti e contenente direttive e consigli su come rendere una ricerca chiara ed efficace.

STROBE Statement

STROBE  è una iniziativa internazionale di collaborazione di epidemiologi, metodologi, statistici, ricercatori ed editori di riviste coinvolti nella conduzione e diffusione di studi osservazionali, con l’obiettivo comune di rafforzare la rendicontazione degli studi osservazionali in epidemiologia. Contiene diverse checklist per strutturare i report di studi osservazionali (di coorte, caso-controllo, cross-sectional).