Manipulatie van taal bij rapportage van niet-significante resultaten voor primaire uitkomsten in CV RCTs
Level and Prevalence of Spin in Published Cardiovascular Randomized Clinical Trial Reports With Statistically Nonsignificant Primary Outcomes A Systematic Review
Literatuur - Khan MS, Lateef N, Siddiqi JT et al. - JAMA Netw Open 2019; 2019;2(5):e192622, doi:10.1001/jamanetworkopen.2019.2622Introductie en methoden
De resultaten van gerandomiseerde klinische trials (RCT’s) vormen de basis van klinische richtlijnen [1] en daarom is nauwkeurige presentatie van trialresultaten zeer belangrijk. Taal in wetenschappelijke artikelen om resultaten te beschrijven kan echter worden gebruikt om de indruk van resultaten vorm te geven voor lezers. ‘Spin is gedefinieerd als de manipulatie van taal om lezers te misleiden van de waarschijnlijke waarheid van de resultaten’ [2-4]. Een aanpak beschreven door Boutron et al. [5] richtte zich op RCT’s die niet-significante primaire uitkomsten rapporteren, omdat deze resultaten hoogstwaarschijnlijk het onderwerp zijn van spin.
In CV literatuur is geen rapportage van systematisch geïdentificeerde en geëvalueerde spin. Daarom werd in deze systematische review de prevalentie en mate van spin onderzocht in een cohort van CV RCT’s.
In MEDLINE werd gezocht naar CV RCT’s die tussen 1 januari 2015 en 31 december 2017 waren gepubliceerd, in zes tijdschriften met een hoge impact: New England Journal of Medicine, The Lancet, JAMA, European Heart Journal, Circulation en Journal of the American College of Cardiology. Alleen RCT’s met parallelle groepen, duidelijk geïdentificeerde primaire uitkomsten en statistisch niet-significante resultaten voor primaire uitkomsten werden geïncludeerd, wat resulteerde in 93 studies.
Twee reviewers beoordeelden spin-type, de ernst en mate; classificaties waren gebaseerd op het artikel van Boutron et al. [5]. In deze studie was spin gedefinieerd als het ‘gebruik van specifieke rapportagestrategieën, ongeacht het motief, om te benadrukken dat de experimentele behandeling voordelig is, ondanks een statistisch niet-significant verschil voor de primaire uitkomst [dus: ongepast gebruik van causale taal], of om de lezer af te leiden van statistisch niet-significante resultaten [dus: om te focussen op een statistisch significant secundair resultaat]” [5]. Spin werd als volgt geclassificeerd: (1) auteurs richtten zich op statistisch significante secundaire resultaten, (2) auteurs interpreteerden niet-significante resultaten om aan te tonen dat behandelingen equivalentzijn of om een nadelig event uit te sluiten; en (3) auteurs richtten zich op behandeleffectiviteit met of zonder erkenning van de statistisch niet-significante primaire uitkomst. Het niveau van spin werd geclassificeerd als hoog, matig of laag. Er waren vier categorieën om de mate van spin te classificeren: (1) spin in één sectie anders dan de conclusiesectie, (2) spin in alleen de conclusiesectie, (3) spin in twee secties, exclusief het abstract , (4) spin in alle secties.
Belangrijkste resultaten
- Spin werd gezien in titels van 10 artikelen (11%, 95% CI:6-19%). In abstracts werd spin geïdentificeerd in 28 resultatensecties (41%; 95%CI: 31-51%) en in 45 conclusiesecties (48%, 95%CI: 38-58%). In de hoofdtekst van artikelen werd spin gezien in 35 resultatensecties (38%, 95%CI: 28-48%), in 35 discussiesecties (38%; 95%CI: 28-48%) en in 50 conclusiesecties (54%, 95%CI: 44-64%).
- In de abstract-resultatensectie was in 13 artikelen (14%, 95%CI: 8-22%) spin gericht op statistisch significante secundaire uitkomsten, in 10 artikelen (11%, 95%CI: 6-19%) op statistisch significante subgroepanalyses. In de conclusiesectie van het abstract was spin in 17 artikelen (18%, 95%CI: 12-27%) gericht op het rapporteren van behandeleffectiviteit.
- In de hoofdtekst was spin in de resultatensectie geclassificeerd als het presenteren van statistisch significante secundaire uitkomsten in 11 documenten (12%, 95%CI: 7-20%) en dit was in de conclusiesectie van 16 artikelen (17%, 95%CI: 11-26%) geclassificeerd als gericht op behandeleffectiviteit.
- Spin in tenminste één sectie kwam voor in 53 samenvattingen (57%, 95%CI: 47-67%) en in 62 hoofdteksten (67%, 95%CI: 57-76%). Spin in alle secties werd geïdentificeerd in 26 samenvattingen (28%, 95%CI; 20-38%) en in 18 hoofdteksten (19%, 95%CI: 12-29%).
- Wanneer spin werd geïdentificeerd, was het niveau van spin meestal laag.
- Vermelding van belangenverstrengeling van de eerste en laatste auteurs was niet gecorreleerd aan spin. Het aantal citaten per jaar en niveau van spin in abstract- en hoofdteksten waren negatief gecorreleerd. Er was geen associatie tussen CV subvakgebied, financiering door de industrie of tijdschrifttype met spin.
Conclusie
In deze review van 93 CV RCT’s gepubliceerd in zes tijdschriften met een hoge impact die statistisch niet-significante resultaten voor primaire uitkomsten rapporteerden, werd positieve spin geïdentificeerd in 57% van de abstracts en in 67% van de hoofdteksten. Deze resultaten suggereren dat manipulatie van taal om mogelijk lezers te misleiden vaak voorkomt in CV documenten en dat lezers zich bewust moeten zijn van dit fenomeen in wetenschappelijke publicaties om medische bewijsvoering het best toe te passen.
Deel deze pagina met collega's en vrienden: