Methodologische kwaliteit van systematische reviews naar Chinese kruidengeneesmiddelen onder de loep

Een kritische bespreking van de methodologische survey van Zhang en collega’s

Binnen het domein Oosters, en specifiek binnen de discipline TCM / Foundations of Chinese Medicine, is de omvang van de onderzoeksliteratuur over Chinese kruidengeneesmiddelen intussen aanzienlijk: voor vrijwel elke denkbare indicatie is inmiddels wel een systematische review of meta-analyse gepubliceerd. Deze schijnbare rijkdom aan bewijs roept de vraag op hoe betrouwbaar die reviews eigenlijk zijn. Dit artikel bespreekt de methodologische survey van Zhang en collega’s, gepubliceerd onder de titel ‘Methodological quality of systematic reviews on Chinese herbal medicine: a methodological survey’ (PMC8867833), waarin niet de klinische effectiviteit van kruidengeneesmiddelen zelf wordt onderzocht, maar de methodologische kwaliteit van de reeds gepubliceerde systematische reviews op dit terrein systematisch in kaart wordt gebracht. Dit type ‘review van reviews’, ook wel meta-epidemiologisch onderzoek genoemd, maakt doorgaans gebruik van gevalideerde beoordelingsinstrumenten zoals AMSTAR-2 om reviews te scoren op onder meer zoekstrategie, risk-of-bias-beoordeling, transparantie van dataextractie en rapportage van belangenverstrengeling. De survey van Zhang en collega’s laat zien dat de methodologische kwaliteit van systematische reviews naar Chinese kruidengeneesmiddelen doorgaans te wensen overlaat, met specifieke tekortkomingen op het gebied van risk-of-bias-beoordeling van de geïncludeerde primaire studies en het naleven van erkende rapportagestandaarden zoals PRISMA. Omdat de volledige tekst van het artikel via de geraadpleegde bronnen niet in detail kon worden geopend, worden de bevindingen in dit artikel kwalitatief beschreven, in lijn met de door de bronvermelding gerapporteerde patronen, zonder exacte cijfers te construeren die niet konden worden geverifieerd. Dit artikel plaatst de bevindingen in hun theoretische en methodologische context, bespreekt de sterktes en beperkingen van dit type onderzoek, en weegt de implicaties af voor de interpretatie van de bredere evidentiebasis rond Chinese kruidengeneeskunde binnen de discipline TCM / Foundations of Chinese Medicine.

De traditionele Chinese geneeskunde (TCM) kent een van de meest omvangrijke en snelst groeiende onderzoeksliteraturen binnen de complementaire zorg. Met name Chinese kruidengeneesmiddelen — enkelvoudige kruiden, maar vaker nog complexe, gestandaardiseerde of individueel samengestelde formules — zijn de afgelopen decennia onderwerp geweest van duizenden gerandomiseerde gecontroleerde trials en honderden systematische reviews en meta-analyses, met name afkomstig uit Chinese onderzoeksgroepen. Voor clinici, beleidsmakers en patiënten die zich willen oriënteren op de stand van het bewijs, is deze omvang in eerste instantie geruststellend: bij zoveel gepubliceerd onderzoek lijkt het voor de hand te liggen dat er op zijn minst voor de meest onderzochte toepassingen een solide evidentiebasis bestaat.

Deze indruk verdient echter kritische toetsing. Het aantal gepubliceerde systematische reviews zegt op zichzelf weinig over de methodologische kwaliteit van die reviews, en dus over de mate waarin hun conclusies betrouwbaar zijn. Dit artikel bespreekt de methodologische survey van Zhang en collega’s¹, die precies deze vraag centraal stelt: niet of Chinese kruidengeneesmiddelen werkzaam zijn, maar of de systematische reviews die daarover conclusies trekken, methodologisch voldoende solide zijn uitgevoerd en gerapporteerd om die conclusies te kunnen dragen. Binnen de discipline TCM / Foundations of Chinese Medicine sluit deze studie aan bij een reeks verwante publicaties die eveneens de kwaliteit en reikwijdte van het TCM-onderzoek op een hoger, overkoepelend niveau evalueren, zoals de klinische evidentiekaart voor essentiële hypertensie², de overview van reviews naar kruidengeneesmiddelen bij COVID-19³ en de systematische review van RCT’s naar Chinese kruidengeneesmiddelen bij kankergerelateerde vermoeidheid⁴.

Het doel van dit artikel is drieledig: ten eerste wordt het theoretisch kader van methodologische surveys en kwaliteitsbeoordelingsinstrumenten zoals AMSTAR-2 toegelicht; ten tweede wordt de opzet en de kwalitatieve strekking van de bevindingen van Zhang en collega’s besproken, met expliciete aandacht voor de grenzen van wat op basis van de beschikbare bronnen kon worden geverifieerd; en ten derde worden deze bevindingen kritisch geplaatst binnen de bredere evidentiebasis voor Chinese kruidengeneeskunde, inclusief de implicaties voor de klinische en wetenschappelijke interpretatie van individuele systematische reviews binnen dit vakgebied.

Systematische reviews worden binnen de evidence-based geneeskunde doorgaans beschouwd als een van de sterkste vormen van bewijs, hoger in de evidentiepiramide dan individuele gerandomiseerde trials, omdat zij de resultaten van meerdere primaire studies systematisch samenbrengen en zo een vollediger en robuuster beeld geven van het beschikbare bewijs. Deze status is echter afhankelijk van de veronderstelling dat de review zelf op een methodologisch rigoureuze en transparante manier is uitgevoerd. Een systematische review die zelf een onvolledige zoekstrategie hanteert, het risico op bias in de geïncludeerde primaire studies niet adequaat beoordeelt, of selectief rapporteert over uitkomsten, kan een vertekend of te optimistisch beeld van de werkzaamheid van een interventie geven, ongeacht hoeveel primaire studies zijn geïncludeerd.

Om deze reden is er de afgelopen twee decennia een aparte onderzoekstraditie ontstaan die zich specifiek richt op het beoordelen van de methodologische kwaliteit van systematische reviews zelf: het zogeheten meta-epidemiologisch onderzoek, waarvan de methodologische survey een belangrijke vorm is. Het meest gebruikte instrument hiervoor is AMSTAR (A Measurement Tool to Assess Systematic Reviews), en in het bijzonder de doorontwikkelde versie AMSTAR-2, die op zestien items beoordeelt of een review onder meer een vooraf geregistreerd protocol hanteerde, een uitputtende zoekstrategie volgde, de selectie en dataextractie in duplo uitvoerde, een adequate risk-of-bias-beoordeling van de geïncludeerde primaire studies maakte, en financieringsbronnen en belangenverstrengeling rapporteerde. Een deel van deze items geldt als ‘kritisch’: tekortkomingen daarop, zoals het ontbreken van een adequate risk-of-bias-beoordeling, wegen zwaarder mee in de uiteindelijke kwalificatie dan tekortkomingen op de overige items.

Naast AMSTAR-2 wordt de rapportagekwaliteit van systematische reviews doorgaans beoordeeld aan de hand van de PRISMA-richtlijn (Preferred Reporting Items for Systematic Reviews and Meta-Analyses), die eisen stelt aan de rapportage van zoekstrategie, selectieproces, studiekenmerken en de gehanteerde methoden voor risk-of-bias-beoordeling en synthese. AMSTAR-2 beoordeelt primair de methodologische rigueur van het onderzoeksproces, terwijl PRISMA zich richt op de transparantie van de rapportage daarvan; in de praktijk hangen beide sterk samen en worden zij in methodologische surveys vaak in combinatie gebruikt.

De centrale onderzoeksvraag van de methodologische survey van Zhang en collega’s is in hoeverre systematische reviews naar Chinese kruidengeneesmiddelen voldoen aan erkende methodologische kwaliteitsstandaarden, zoals geoperationaliseerd in instrumenten als AMSTAR of AMSTAR-2, en welke specifieke methodologische tekortkomingen daarbij het meest prominent naar voren komen. Als zodanig richt de studie zich niet op een specifieke aandoening, kruidenformule of klinische uitkomst, maar op het gehele corpus van systematische reviews binnen dit onderzoeksveld, met als doel een generaliseerbaar beeld te schetsen van de methodologische stand van zaken. Dit maakt de studie functioneel vergelijkbaar met andere overkoepelende evaluaties binnen dit corpus, zoals de eerder genoemde evidentiekaart voor essentiële hypertensie², al onderscheidt de survey van Zhang en collega’s zich door zich niet te richten op de klinische bevindingen van de onderliggende reviews, maar uitsluitend op hun methodologische kwaliteit als zodanig.

Methodologische surveys van dit type volgen doorgaans een vaste opzet: eerst wordt een systematische zoekstrategie uitgevoerd in relevante bibliografische databases (zoals PubMed/MEDLINE, Embase, de Cochrane Library en veelal ook Chinesetalige databases zoals CNKI, gezien de aard van het onderwerp) om alle systematische reviews te identificeren die zich richten op Chinese kruidengeneesmiddelen. Vervolgens worden vooraf gedefinieerde in- en exclusiecriteria toegepast om te bepalen welke publicaties daadwerkelijk als systematische review kwalificeren, in tegenstelling tot bijvoorbeeld narratieve reviews, die geen systematische en reproduceerbare methode van literatuuronderzoek hanteren. Op basis van de geraadpleegde bronvermelding kon niet worden geverifieerd welke exacte periode, databases en aantallen gescreende publicaties in de survey van Zhang en collega’s zijn gehanteerd; deze informatie wordt daarom in dit artikel niet als concreet cijfer weergegeven.

Na toepassing van de selectiecriteria resulteert dit type survey doorgaans in een corpus van enkele tientallen tot enkele honderden systematische reviews. Voor het onderwerp Chinese kruidengeneesmiddelen is een dergelijk corpus doorgaans aanzienlijk, gezien de omvang van de onderliggende primaire onderzoeksliteratuur en de neiging binnen dit vakgebied om voor vergelijkbare indicaties meerdere, deels overlappende reviews te publiceren. Ook hier geldt dat de exacte omvang van het door Zhang en collega’s geïncludeerde corpus niet via de geraadpleegde bronnen kon worden geverifieerd, en dus niet als hard cijfer in dit artikel is opgenomen.

Voor de beoordeling van de methodologische kwaliteit van de geïncludeerde reviews wordt in dit type survey doorgaans gebruikgemaakt van AMSTAR of AMSTAR-2, veelal aangevuld met de PRISMA-checklist voor rapportagekwaliteit. De beoordeling gebeurt idealiter door minimaal twee onafhankelijke beoordelaars, met een vooraf vastgelegde procedure voor het oplossen van meningsverschillen. Elke review wordt op de afzonderlijke items gescoord, waarna de scores worden samengevat in een algehele kwalificatie (bijvoorbeeld ‘hoog’, ‘matig’, ‘laag’ of ‘kritisch laag’ bij AMSTAR-2), en per item kan worden geanalyseerd op welke domeinen reviews doorgaans tekortschieten. Uit de bronvermelding blijkt dat Zhang en collega’s specifieke tekortkomingen signaleren op het gebied van risk-of-bias-beoordeling en naleving van rapportagestandaarden zoals PRISMA, wat wijst op gebruik van een dergelijk gecombineerd beoordelingskader; het exact gehanteerde instrument en de itemscores konden echter niet worden bevestigd.

De synthese van de bevindingen is in dit type survey doorgaans beschrijvend van aard: in plaats van een kwantitatieve meta-analyse van effectgroottes wordt de verdeling van kwaliteitsscores over de geïncludeerde reviews samengevat, worden veelvoorkomende methodologische tekortkomingen geïdentificeerd, en wordt vaak een vergelijking gemaakt met de reviewkwaliteit binnen andere, meer gevestigde medische vakgebieden. Deze vergelijkende component is waardevol om te bepalen of tekortkomingen specifiek zijn voor Chinese kruidengeneesmiddelen, of eerder een breder patroon weerspiegelen dat ook elders in de biomedische literatuur voorkomt.

Op basis van de geraadpleegde bronvermelding kon dit artikel geen exacte, geverifieerde cijfers overnemen over bijvoorbeeld het percentage reviews dat als ‘kritisch laag’ of ‘laag’ van kwaliteit werd gekwalificeerd, het precieze aantal geïncludeerde reviews, of de itemspecifieke scores — de volledige tekst bleek via de beschikbare bronnen niet raadpleegbaar. De bevindingen worden hieronder daarom kwalitatief weergegeven, zoals deze uit de bronvermelding naar voren komen.

De kern van de bevindingen van Zhang en collega’s is dat de methodologische kwaliteit van systematische reviews naar Chinese kruidengeneesmiddelen doorgaans te wensen overlaat. Dit oordeel wordt onderbouwd met specifieke tekortkomingen op onder meer het gebied van de risk-of-bias-beoordeling van de geïncludeerde primaire studies — veel reviews blijken deze beoordeling niet, onvolledig, of met een ongeschikte methode uit te voeren — en het naleven van erkende rapportagestandaarden voor systematische reviews, zoals PRISMA. Dit patroon van tekortkomingen sluit aan bij wat in vergelijkbare methodologische surveys binnen andere complementaire-zorgdisciplines is gevonden, waarbij veelvuldig wordt gerapporteerd dat systematische reviews binnen relatief jonge of snelgroeiende onderzoeksvelden achterblijven op vlakken als vooraf registratie van het reviewprotocol, transparante rapportage van financieringsbronnen en belangenverstrengeling, en een adequate beoordeling en weging van het risico op bias in de onderliggende primaire literatuur.

Een belangrijk kwalitatief punt dat uit de bronvermelding naar voren komt, is dat deze methodologische tekortkomingen zich voordoen ondanks dat individuele systematische reviews binnen dit veld regelmatig positieve, statistisch significante effecten van Chinese kruidengeneesmiddelen rapporteren. De survey van Zhang en collega’s expliciteert daarmee een spanning die kenmerkend is voor dit onderzoeksveld: de aanwezigheid van een groot aantal systematische reviews met schijnbaar gunstige conclusies zegt op zichzelf weinig over de betrouwbaarheid van die conclusies, wanneer de methodologische fundering van die reviews onvoldoende solide is. Dit sluit aan bij het bredere patroon dat ook in de overige, in dit corpus besproken overkoepelende evaluaties van TCM-onderzoek naar voren komt, waaronder de sterk uiteenlopende bevindingen per kruidenmiddel en toepassingsgebied die in de overview van reviews naar kruidengeneesmiddelen bij COVID-19 worden gesignaleerd³, en de nadruk op methodologische beperkingen van primaire studies — kleine steekproeven, onvoldoende blindering, publicatiebias — die ook in de systematische review van RCT’s naar kruidengeneesmiddelen bij kankergerelateerde vermoeidheid als interpretatiekader wordt gehanteerd⁴.

De belangrijkste sterkte van dit type methodologische survey is dat zij een noodzakelijke kritische laag toevoegt aan de interpretatie van klinisch bewijs, in een onderzoeksveld waar de omvang van gepubliceerde systematische reviews anders ten onrechte kan worden opgevat als bewijs van een solide evidentiebasis. Door systematisch, met een gevalideerd instrument, de methodologische kwaliteit van een breed corpus reviews te beoordelen — in plaats van zich te beperken tot een narratieve indruk — biedt zij een reproduceerbaar en generaliseerbaar beeld, en stelt zij clinici en onderzoekers in staat weloverwogen te bepalen hoeveel gewicht aan de conclusies van dit type literatuur moet worden toegekend.

Daarnaast heeft dit type onderzoek een belangrijke signaalfunctie: door systematisch te identificeren op welke domeinen — zoals risk-of-bias-beoordeling en naleving van rapportagestandaarden — reviews tekortschieten, biedt de survey concrete aanknopingspunten voor verbetering van toekomstige systematische reviews naar Chinese kruidengeneesmiddelen.

Een eerste beperking van dit artikel zelf is dat de volledige tekst van de besproken studie niet via de geraadpleegde bronnen kon worden geopend, waardoor concrete cijfers over het aantal geïncludeerde reviews, de verdeling van kwaliteitsscores en itemspecifieke bevindingen niet konden worden geverifieerd en dus niet zijn opgenomen. Deze beperking betreft de beschikbaarheid van bronmateriaal voor deze bespreking, niet noodzakelijkerwijs de studie van Zhang en collega’s zelf, maar dient wel expliciet te worden vermeld ten behoeve van de transparantie van dit artikel.

Voor methodologische surveys als zodanig gelden daarnaast enkele generieke beperkingen. Ten eerste is de kwaliteit van een survey afhankelijk van de mate waarin beoordelaars het instrument consistent toepassen; interbeoordelaarsbetrouwbaarheid wordt niet altijd systematisch gerapporteerd. Ten tweede beoordeelt een instrument als AMSTAR-2 primair de methodologische procedures van een review, en in mindere mate de inhoudelijke juistheid van de conclusies: een review kan formeel aan kwaliteitscriteria voldoen en toch een twijfelachtige conclusie bevatten, bijvoorbeeld wanneer onderliggende primaire studies van lage kwaliteit zijn maar dit correct wordt gerapporteerd. Ten derde kan een op een bepaald moment uitgevoerde survey een gedateerd beeld geven naarmate onderzoeksgroepen hun reviewmethodologie verbeteren. Tot slot is het mogelijk dat methodologische tekortkomingen in reviews deels een afspiegeling zijn van bredere kwaliteitsproblemen in de onderliggende primaire trialliteratuur — zoals beperkte blindeerbaarheid van kruidenpreparaten en publicatiebias — waardoor een deel van het probleem niet bij de reviewmethodologie zelf ligt, maar bij de kwaliteit van het materiaal waarmee reviewers moeten werken.

Binnen de discipline TCM / Foundations of Chinese Medicine vervult deze methodologische survey een kritische, corrigerende functie: zij plaatst kanttekeningen bij de betrouwbaarheid van de veelal positief klinkende systematische reviews binnen dit veld, en onderstreept daarmee dat de schijnbare omvang van het onderzoek naar Chinese kruidengeneesmiddelen niet zonder meer gelijkstaat aan overtuigend, methodologisch solide bewijs. Deze boodschap is relevant voor de interpretatie van vrijwel elke andere, meer indicatiespecifieke studie binnen dit corpus die zich baseert op systematische reviews of meta-analyses van Chinese kruidengeneesmiddelen: de conclusies van dergelijke reviews dienen steeds te worden gewogen tegen de achtergrond van de bevinding dat de methodologische kwaliteit van dit type literatuur gemiddeld genomen onvoldoende is.

Dit patroon wordt zichtbaar herbevestigd in andere, in dit corpus besproken overkoepelende evaluaties van het TCM-onderzoeksveld. De klinische evidentiekaart voor essentiële hypertensie laat zien dat de bewijskracht per interventie en uitkomstmaat sterk uiteenloopt, en dat een dergelijk overzicht primair inzicht biedt in de omvang van het bewijs, niet in een definitief oordeel over klinische effectiviteit². De overview van reviews naar kruidengeneesmiddelen bij COVID-19 illustreert bovendien hoe onderzoek dat onder tijdsdruk tot stand komt gepaard kan gaan met extra methodologische kwetsbaarheden³. Tegelijk laat de systematische review van RCT’s naar Chinese kruidengeneesmiddelen bij kankergerelateerde vermoeidheid zien dat ook een striktere selectie — uitsluitend gerandomiseerde trials — beperkingen als kleine steekproefomvang, onvoldoende blindering en publicatiebias niet wegneemt⁴.

Gezamenlijk bevestigen deze studies het beeld dat de methodologische survey van Zhang en collega’s schetst: de evidentiebasis voor Chinese kruidengeneesmiddelen is omvangrijk in kwantitatieve zin, maar wisselend en op onderdelen onvoldoende in kwalitatieve zin. Dit rechtvaardigt een consequent kritische leeshouding bij de interpretatie van individuele systematische reviews binnen dit vakgebied, ongeacht hoe overtuigend de gerapporteerde effectgroottes op het eerste gezicht lijken.

Voor clinici en complementaire zorgverleners die zich baseren op systematische reviews van Chinese kruidengeneesmiddelen, impliceren de bevindingen dat de conclusies van dergelijke reviews niet zonder meer als gezaghebbend bewijs mogen worden overgenomen. Aanbevolen wordt om bij het raadplegen van zo’n review expliciet te controleren of het protocol vooraf is geregistreerd, of een adequate risk-of-bias-beoordeling is uitgevoerd, en of de review voldoet aan rapportagestandaarden zoals PRISMA — bijvoorbeeld door te verifiëren of een AMSTAR-2-beoordeling wordt gerapporteerd.

Praktisch betekent dit ook dat zorgverleners en patiënten die Chinese kruidengeneesmiddelen overwegen, gebaat zijn bij een terughoudende, per-review kritische interpretatie, in plaats van te vertrouwen op de enkele aanwezigheid van een review met een positieve conclusie. Voor onderzoekers en tijdschriftredacties onderstrepen de bevindingen het belang van strengere naleving van kwaliteitsstandaarden, bijvoorbeeld door verplichte vooraf-registratie van reviewprotocollen (via PROSPERO) en redactionele toetsing aan AMSTAR-2- en PRISMA-criteria.

De methodologische survey van Zhang en collega’s laat zien dat de methodologische kwaliteit van systematische reviews naar Chinese kruidengeneesmiddelen doorgaans te wensen overlaat, met terugkerende tekortkomingen op het gebied van risk-of-bias-beoordeling van de geïncludeerde primaire studies en naleving van erkende rapportagestandaarden zoals PRISMA. Omdat de volledige tekst van de studie niet via de geraadpleegde bronnen kon worden geopend, is dit artikel noodzakelijkerwijs beschrijvend en kwalitatief van aard gebleven, zonder geconstrueerde cijfers; de kernboodschap van de studie — dat de kwantitatieve omvang van de literatuur over Chinese kruidengeneesmiddelen niet zonder meer gelijkstaat aan methodologisch solide bewijs — kon niettemin duidelijk worden onderbouwd en in bredere context worden geplaatst. Binnen de discipline TCM / Foundations of Chinese Medicine vervult deze studie daarmee een onmisbare, corrigerende functie ten opzichte van de vaak positief klinkende conclusies van individuele systematische reviews. Voor de klinische praktijk en voor toekomstig onderzoek rechtvaardigen de bevindingen een consequent kritische, methodologisch onderlegde leeshouding bij de interpretatie van systematische reviews binnen dit vakgebied, en een aanhoudende aandacht voor verbetering van de methodologische standaarden waarmee dergelijke reviews worden uitgevoerd en gerapporteerd.

1. Zhang, e.a. Methodological quality of systematic reviews on Chinese herbal medicine: a methodological survey. PMC8867833. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8867833/
2. Traditional Chinese Medicine for Essential Hypertension: A Clinical Evidence Map. PMC7765725. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7765725/
3. Herbal medicine for COVID-19: overview of systematic reviews and meta-analyses. PMID 35550224. https://pubmed.ncbi.nlm.nih.gov/35550224/
4. Chinese herbal medicine bij kankergerelateerde vermoeidheid: systematische review van RCT’s. PMID 37907925. https://pubmed.ncbi.nlm.nih.gov/37907925/