Essais cliniques - PowerPoint Presentation

Slide1

Essais cliniques interrompus et sélection des résultats: Comment l’efficacité de la médecine peut être surestimée en éludant les obligations morales et scientifiques

Matthias Briel MD

MSc

Basel Institute

for

Clinical

Epidemiology

and

Biostatistics

Dept

of Clinical

Epidemiology

&

Biostatistics

, McMaster

m

atthias.briel@usb.ch Slide2

Liste de médicaments essentiels3 Critères:Importance du bénéficeSécuritéRelevance pour la santé publique}Basée sur des preuves solidesThérapie/Prévention-> résumé de preuves solides & récentes pour apprécier les bénéfices/risques/coûts-> Outil: Revues systématiques/Meta-analyses d'essais cliniques randomisés (ECRs)Slide3

AgendaPourquoi les essais cliniques sont interrompus & pourquoi est-ce un problème ? Interrompu précocément du fait du bénéfice Interrompu du fait d'un recrutement insuffisantQu'est-ce que le rapportage sélectif des résultats?Slide4

AgendaPourquoi les essais cliniques sont interrompus & pourquoi est-ce un problème ? Interrompu précocément du fait du bénéfice Interrompu du fait d'un recrutement insuffisantQu'est-ce que le rapportage sélectif de résultats?Slide5

TerminologyRandomized clinical trials (RCTs)Synonyms: disconinued stopped early truncatedSlide6

Processus naturel d'un essai clinique

Idée de recherche

Protocole

Approbation

Recrutement &

Collecte des données

Analyses

Disponibilité des résultats

Publication complète

Abstract

Rapports internes

Pas publié du tout

…

Analyses intérimaires planifiées



Règles d'interruption pour:

Futilité

Bénéfice

Risques

Publication

Résultats:

positif/négatifSlide7

Raisons pour interrompre Déclenchée par une analyse intermédiaire :L'un des groupes dans l'essai montre très rapidement des preuves d'un effet négatifL'un des groupes dans l'essai

montre

très

rapidement

un

bénéfice

Futilité

=

Très

faible

probabilité

d'une différence significative entre les deux groupesPAS déclenchée par une analyse intermédiaireNouvelle preuve extérieure (ex: le traitement est dépassé)Retrait du sponsor (

ex: plus commercialisé)Recrutement insuffisant de patientsSlide8

Raisons pour interrompre Déclenchée par une analyse intermédiaire :L'un des groupes dans l'essai montre très rapidement des preuves d'un effet négatifL'un des groupes dans l'essai montre très rapidement un bénéficeFutilité = Très faible probabilité d'une différence significative entre les deux groupesPAS déclenchée par une analyse intermédiaireNouvelle preuve extérieure (ex: le traitement est dépassé)Retrait du sponsor (ex: plus commercialisé)Recrutement insuffisant de patientsSlide9

Poldermans et al. NEJM 1999 RCT chirurgie vasculaire électiveComparaison: bisoprolol vs placeboCritère principal: mort cardiaque ou infarctus du myocarde non mortel Taille

de

l'échantillon

planifiée

: n = 266

Analyse

intérimaire

planifiée

après 100 patients

(O’Brien-Fleming boundary p < 0.001):

2

évènements

sur 59 (3.4%) dans le groupe bisoprolol18 évènements sur 53 (34%)

dans le groupe placeboRR 0.09, 95% IC 0.02 à 0.37, P< 0.001Arrêt anticipé après 112 patientsSlide10

Poldermans et al. NEJM 1999 Slide11
Slide12

Meilleures estimations en découlant> 10,000 patients randomisésInfarctus du myocarde 0.71 (0.57 à 0.86)Mort 1.23 (0.98 – 1.55)Accident vasculaire cérébral 2.21 (1.37 – 3.55)Médecins communautaires recommandant toujours des Beta-bloquants

Same

histoire avec

La cible d'un glucose bas ICU

Protéine C activée chez des patients particulièrement maladesSlide13

63 Questions précises revues91 RCTs tronqués (tRCT)424 RCTs complets

Résumé des

résultats

:

Taux

de

risque

relatif

0.71 (95% CI, 0.65-0.77)

Revue systématique des métaanalyses incluant les RCTs interrompus (

STOP-IT 2)

Bassler D, Briel M et al.

JAMA 2010

Suestimation des effets dans les essais interrompusSlide14

Problème de l'interruption du fait de bénéfice précocePrincipaux effets petits ou modérés, essais arrêtés du fait d'une surestimation des bénéficesNombre d'évènements petits  Surestimations importantesRatio bénéfice/risque biaisé Obstacles pour les essais suivantsDirectives cliniques & revues systématiques non respectéesSlide15

Implications des revues systématiques Si les essais sont arrêtés précocement du fait des bénéficesAttention à la surestimation dû à des résultats groupésSi les 3 conditions ci-dessous coexistent -> surestimation importante small number of events in stopped trial (< 200)big difference in effects between stopped-completed trialsratio of RRs < 0.70stopped trial has substantial weight in meta-analysis (> 20%)Slide16

Et ensuite? Correction potentielle des surestimations dans les tECRs en utilisant des méthodes Bayesian avec un à priori conservateur

Etudier les

ECRs qui sont lancés après la publication d'un tECR

ayant la même question de recherche – la pratique acteulle d'interruption des

ECRs

est-elle

suffisamment

conservatrice

?Slide17

Raisons pour interrompre Déclenchée par une analyse intermédiaire :L'un des groupes dans l'essai montre très rapidement des preuves d'un effet négatifL'un des groupes dans l'essai montre très rapidement un bénéficeFutilité = Très faible probabilité d'une différence significative entre les deux groupesPAS déclenchée par une analyse intermédiaireNouvelle preuve extérieure (ex: le traitement est dépassé)Retrait du sponsor (ex: plus commercialisé)Recrutement insuffisant de patientsSlide18

Processus naturel d'un essai clinique

Idée de recherche

Protocole

Approbation

Recrutement &

Collecte des données

Analyses

Disponibilité des résultats

Publication complète

Abstract

Rapports internes

Pas publié du tout

…

Analyses intérimaires planifiées



Règles d'interruption pour:

Futilité

Bénéfice

Risques

Publication

Résultats:

positif/négatifSlide19

Objectifs de l'étude DISCO

Pour étudier:

La prévalence de l'interruption d'essais pour différentes raisons

La publication de l'histoire des essais interrompus

Les facteurs associés à l'interruption ou à l'absence de publicationSlide20

Conception et critères d'interruption

Extraction des données des

protocoles ECR de

6

REBs

(2000-2003)

Identification des publications correspondantes

Extraction des données

Evaluation

de

trial fate

Principaux

critères d'arrêt

Complet

versus

arrêté

(<90% de la taille de l'échantillon prévu ) du fait de:

Problème rencontréFutilitéBénéficeRecrutement insuffisant

AutrePublished versus not publishedEnquête auprès des investigateurs locaux pour retrouver l'information manquante

Analyse des facteurs associés avec l'interruption du fait d'un recrutement insuffisant & absence de publicationIf main endpoints remained unclearSlide21

Résultats: Sélection des études

3819 protocoles revus rapidement

1408 protocoles revus en détail

1080 Protocoles d' ECRs approuvés

1017 protocoles d' ECRs inclus

894

ECR

s incluant des patients

123 ECRs incluant

des volontaires sains

2411

pas de conception de l'

ECR

192 duplications

87 protocoles imcomplets

41 non approuvés

8 avec pas de conception de l'ECR

53 jamais

démarrés

10

toujours en coursSlide22
Slide23

Résultats: caractéristiques de l'essai

Characteristics

Industry initiated (N=538)

Investigator initiated (N=356)

All (N=894)

Planned sample size median (IQR)

350 (159 - 700)

150 (62 - 450)

260 (100 - 606)

Planned centres

Multiple

513 (95·4)

228 (64·0)

741 (82·9)

Single

23 (4·3)

126 (35·4)149 (16·7)Unclear2 (0·4)

2 (0·6)4 (0·4)Study purpose   Superiority

386 (71·7)266 (74·7)652 (72·9)Non-inferiority 110 (20·4)29 (8·1)139 (15·5)Unclear42 (7·8)

61 (17·1)

103 (11·5)Unit of randomization  

 Individuals535 (99·4)344 (96·6)879 (98·3)

Clusters

2 (0·4)

10 (2·8)12 (1·3)

Body Parts

1 (0·2)2 (0·5)3 (0·3)Slide24

Resultats: Interruption de l'essai64%

28%

8%

N=894

N=250

100

%

%

%

%

%

%

%

%

%Slide25

Résultats: Rapport aux Comités Ethiques de Recherche (CERs)L'Information concernant

l'interruption

a

été

obtenue

par (N=250):

Les publications

seulement

86

(34·4%

)

L'enquête

auprès

des investigateurs 69 (27·6%)REB seulement 68 (27·2%)REB et publications16 (6·4%)REB et

enquête 7 (2·8%)publication et enquête 4 (1·6%) Le CER responsable était informé dans

91/250 (36%) des casSlide26

Résultats: Recrutement insuffisant

Risk and protective factors

Odds Ratio

95% CI

p

-value

Placebo/no intervention

(yes

versus

no)

0·82

0·50 - 1·32

0·411

Centre status

(single

versus

multicentre)

0·640·31 - 1·350·242

Methods/Logistical support (yes versus no)0·620·36 - 1·060·082

Recruitment projection (yes versus no)1·040·49 - 2·180·926Industry initiation (yes versus no)

0·230·14 - 0·40<0·001Design(Cross over versus parallel/factorial)1·940·73 – 5·170·186

Planned total sample size

(by 100 increase)0·960·92 – 1·000·044Logistic regression of risk and protective factors for discontinuation due to poor recruitment with REC included as random intercept.

Only trials that were completed or stopped due to poor recruitment were included in this analysis.Slide27

Résultats – Publication des essais

35%

65%

90%

7

%Slide28

Résultats – Publication des essais

47%

72%

21%

46%Slide29

Résultats: Non-publication des essais

Characteristics

OR

95% CI

P

-value

Planned target sample size, median (IQR)

0.95

0.92 - 0.97

<0.001

Multi-centre status (

vs

single centre)

0.50

0.32 - 0.76

0.001

Industry sponsor (

vs investigator)

1.681.20 - 2.340.002Discontinued RCT (vs completed RCT)3.192.29 - 4.43

<0.001RCT with patients (vs healthy volunteers)0.360.20 - 0.63<0.001Slide30

Quels sont les problèmes ?Slide31

Problèmes éthiques (1)1) Les participants donnent leur consentement sur le principe de contribuer à l'avancement de la science médicaleAltruistic reasons are a main motivation for trial participation. Welton BMJ 1999„Patients who

volunteer

to

participate

in

trials

deserve

to

know

that their contribution to improving human health will be available to inform health-care decisions

“ Uniform Requirements for Manuscripts Submitted to Biomedical Journals (www.icmje.org)Slide32

Problèmes éthiques (2)2) Les ressources limitées pour la recherche sont gaspillées si les études ne sont pas terminées ou les données pas disponibles (aucun retour sur investissement pour le public/privé)3) Les comités d'éthique, les comités d'examen institutionnels et les organismes de financement consacrent du temps et des efforts considérables pour l'évaluation des protocoles d'étude4) L'approche fondée sur des preuves est compromise Slide33

Absence de Publication

Biais

dans

les publications



Essai

“

Negatif

”



Essai

“

Positif

”Slide34
Slide35

Conclusions de DISCOL'interruption des ECRs est couranteLa raison principale est l'insuffisance de recrutement, part. à l'initiative de l'investigateur

--> Besoin d'une planification plus professionnelle et de financements

Les

ECRs

interrompus font fréquemment l'objet de publications

Les

CERs

sont rarement informés à propos de l'interruption des

ECRs

-->

Obligations éthiques Slide36

Peut-on empêcher l'interruption des essais ?Slide37
Slide38

Prévention de l'interruption des essais (1)Phase pilote de recrutement des patients (étude de faisabilité)  projection réaliste des taux cumulésCritères d'éligibilité pragmatiques & objectifs de recrutement (pas largement sélectionnés dans les populations étudiées)Suivi du nombre cumulé à un stade précoce (après 1 ou 2 mois)Coordonnateur de l'essai dédié / personnel bien formé à l'étudeSlide39

En cas de recrutement lent :Augmentation de la sensibilisation parmi les participants potentiels et les professionnels de santé (newsletters etc.)Critères d'éligibilité plus largesAugmentation du temps pour le recrutementt (financement additionnel?)Ajoûts de centres complémentaires (financement additionnel?)Fermer les centres avec un taux faible / ou pas de recrutementSimplifier les procédures (ex. pendant le suivi)Prévoir les scénarios „que faire si“ déjà au moment de la planification (dans le protocole)Prévention de l'interruption des essais (2)Slide40

Et ensuite? Etude qualitative des causes principales du recrutement insuffisant et solutions potentielles

Projet

DISCO-SNF

Modes de recrutement parmi les domaines

médicaux

?Slide41

AgendaPourquoi les essais cliniques sont interrompus & pourquoi est-ce un problème ? Interrompu précocément du fait du bénéfice Interrompu du fait d'un recrutement insuffisantQu'est-ce que le rapportage sélectif des résultats?Slide42

Chan et al. JAMA 2004 Slide43

Chan et al. JAMA 2004Protocoles de l'ECR de REB Kopenhagen

1994/5 & publications

102

essais

avec 122 publications & 3736

résultats

Rapport

incomplet

(information

insuffisante

des meta-analyses) de:

38% des

résultats

d'efficacité

50% des résultats concernant la sécurité

Les résultats statistiquement significatifs ont été complétement rapportés plus souvant62% des

essais avec des résultats initiaux modifiés/ajoûtés/enlevésSlide44

Rapportage sélectif de résultats D'autres études l'ont confirmé Chan et al. 2004En moyenne, 50% des résultats non significatifs sont publiés contre 72% des résultats avec des résultats significatifs-> Surestimation des effets des interventions dans les méta-analyses

Evaluation des rapports de résultats sélectifs

Comparaison avec le protocole

Comparaison avec le registre d'information

Comparaison avec les sections Méthode

Slide45

Rapportage sélectif de résultats Différents types:Omission sélective de résultats

Choix

sélectif

des

données

(

différents

instruments)

Rapport

sélectif

des analyses (

contin-dichotom

)

Rapport

sélectif

des données sous jacentesSélection des données rapportées (“non significatives”, détails manquants)Slide46

Détection & Prévention du rapportage sélectif des

résultats

Check

against

protocol

–

access

to

protocol

?

Check

against

registry entry

– registry info accurate/up-to-date?Check

against Methods section – comprehensive reporting / CONSORT guidelines endorsed?Slide47

Résumé La validité du résumé des preuves est crucialeInterrompre les ECRs de manière précoce du fait du bénéfice peut surestimer les bénéfices et sous-estimer les risquesL'absence de publication des ECRs est courante – spécialement dans le cas de ECRs interrompusLes obligations morales sont souvent oubliéesLa publication sélective de résultats est couranteCe qui peut aider. Accès aux protocoles et aux plans d'analyses & les registres d'information mis à jour incluant les principaux résultats des ECRs Slide48

Merci de votre attention! – matthias.briel@usb.ch