Een overzicht van 58 Cochrane-reviews naar Chinese kruidengeneesmiddelen

Een kritische bespreking van de paraplu-review van Hu, Zhang, Zhao, Zhang, Zhang en Shang (2011)

Binnen het domein Oosters, en specifiek binnen de discipline TCM / Foundations of Chinese Medicine, vormt de paraplu-review van Hu, Zhang, Zhao, Zhang, Zhang en Shang, gepubliceerd in 2011 in PLOS ONE onder de titel ‘Cochrane Systematic Reviews of Chinese Herbal Medicines: An Overview’, een centrale bron voor het inschatten van de stand van de wetenschappelijke kennis over Chinese kruidengeneesmiddelen als geheel. De auteurs identificeerden alle Cochrane-systematische reviews naar Chinese kruidengeneesmiddelen die tot en met nummer vijf van 2010 in de Cochrane Database of Systematic Reviews waren gepubliceerd — in totaal 58 reviews, verspreid over 44 uiteenlopende aandoeningen — en beoordeelden de methodologische kwaliteit van deze reviews met behulp van de Oxman-Guyatt Overview Quality Assessment Questionnaire (OQAQ). Van deze 58 reviews bevatten er zeven in het geheel geen bruikbare primaire studies; van de resterende 51 reviews concludeerde één review positief, suggereerden 27 (53%) een mogelijk gunstig effect dat evenwel beperkt werd door de povere kwaliteit of het geringe aantal onderliggende studies, en bleven 23 (45%) inconclusief. De gemiddelde OQAQ-kwaliteitsscore bedroeg 5,05 (95%-betrouwbaarheidsinterval 4,58-5,52) op een schaal van maximaal 7, en slechts 36% van de reviews betrok een deskundige op het gebied van de traditionele Chinese geneeskunde bij de uitvoering. Dit artikel werkt deze bevindingen uit, bespreekt de methodologische sterktes en beperkingen van dit type paraplu-review, en plaatst de resultaten binnen de bredere evidentiebasis voor Chinese kruidengeneesmiddelen.

Chinese kruidengeneesmiddelen behoren tot de meest wijdverbreide vormen van complementaire en alternatieve zorg wereldwijd en vormen een kernonderdeel van de traditionele Chinese geneeskunde (TCM). Binnen de ‘Gids Evidence Based Onderzoek Complementaire Zorg’ wordt deze studie ondergebracht bij de discipline TCM / Foundations of Chinese Medicine, in het domein Oosters: een discipline die uitgaat van een eigen diagnostisch en therapeutisch systeem, waarin kruidenformules doorgaans op maat worden samengesteld op basis van patroonherkenning (bian zheng lun zhi), in plaats van op basis van een enkelvoudige, gestandaardiseerde diagnose zoals gebruikelijk is in de reguliere geneeskunde.

Om de wetenschappelijke onderbouwing van Chinese kruidengeneesmiddelen te kunnen beoordelen, is het van belang niet alleen individuele studies of afzonderlijke systematische reviews te bezien, maar ook het grotere geheel: hoe consistent en hoe overtuigend is het bewijs over de volle breedte van dit vakgebied? Dit artikel bespreekt de paraplu-review (overview of reviews) van Hu en collega’s (2011), waarin alle op dat moment beschikbare Cochrane-systematische reviews naar Chinese kruidengeneesmiddelen werden geïnventariseerd en methodologisch beoordeeld¹. Omdat Cochrane-reviews gelden als een van de methodologisch strengste vormen van systematisch literatuuronderzoek, biedt een dergelijk overzicht een relatief betrouwbaar beeld van waar binnen de Chinese kruidengeneeskunde wel, en waar niet, overtuigend bewijs voor effectiviteit bestaat.

Deze studie is in dit corpus nauw verwant aan de eveneens besproken methodologische survey van Zhang en collega’s naar de kwaliteit van systematische reviews naar Chinese kruidengeneesmiddelen in het algemeen (niet beperkt tot Cochrane-reviews)², en aan indicatiespecifieke evidentiekaarten zoals die naar traditionele Chinese geneeskunde bij essentiële hypertensie³. Waar die studies zich richten op respectievelijk de bredere literatuur en een specifieke aandoening, biedt de hier besproken paraplu-review een breed, disciplineoverstijgend overzicht binnen het meest rigoureuze segment van de systematische-reviewliteratuur. Het doel van dit artikel is drieledig: het theoretisch kader van paraplu-reviews en van Chinese kruidengeneesmiddelen toelichten, de methodologie en resultaten van de besproken studie bespreken, en de bevindingen kritisch plaatsen binnen de bredere evidentiebasis, inclusief een weging van de sterktes en beperkingen die relevant zijn voor de klinische en wetenschappelijke interpretatie ervan.

Een paraplu-review, ook wel overview of reviews genoemd, is een systematische synthese van reeds bestaande systematische reviews binnen een bepaald vakgebied, in plaats van een synthese van individuele primaire studies. Dit type onderzoek biedt de mogelijkheid om patronen zichtbaar te maken in de kwaliteit, actualiteit en consistentie van bewijs over een geheel vakgebied heen, iets wat individuele reviews — die doorgaans slechts één aandoening of interventie behandelen — niet kunnen bieden. Voor een paraplu-review specifiek van Cochrane-reviews geldt bovendien dat zij voortbouwt op een basis van reviews die reeds zijn onderworpen aan strikte, vooraf geregistreerde protocollen, uitgebreide risk-of-bias-beoordeling en onafhankelijke redactionele toetsing binnen de Cochrane Collaboration, wat dit type overkoepelende analyse relatief betrouwbaar maakt in vergelijking met overzichten die reviews van wisselende herkomst en kwaliteit samenvatten.

Chinese kruidengeneesmiddelen worden binnen de TCM zelden als enkelvoudige interventie toegepast, maar doorgaans als formule (fang ji): een combinatie van meerdere kruiden, samengesteld op basis van het individuele patroon van disharmonie dat bij de patiënt wordt vastgesteld. Deze werkwijze staat op gespannen voet met de logica van gerandomiseerde trials en systematische reviews binnen de reguliere evidence-based geneeskunde, die doorgaans uitgaan van een gestandaardiseerde interventie bij een homogeen gedefinieerde patiëntengroep. Deze spanning tussen de geïndividualiseerde, patroongerichte praktijk van de TCM en de gestandaardiseerde onderzoeksmethodologie van de Cochrane Collaboration vormt een terugkerend methodologisch thema, ook in de hier besproken paraplu-review, en verklaart mede waarom auteurs van individuele Cochrane-reviews naar Chinese kruidengeneesmiddelen met regelmaat wijzen op heterogeniteit in de onderzochte interventies binnen één en dezelfde review.

Voor de beoordeling van de methodologische kwaliteit van de geïncludeerde reviews gebruikten Hu en collega’s de Oxman-Guyatt Overview Quality Assessment Questionnaire (OQAQ), een destijds veelgebruikt instrument dat onder meer de zoekstrategie, de bias-minimaliserende maatregelen bij studieselectie en data-extractie, en de wijze van resultaatsynthese van een systematische review beoordeelt. De OQAQ is inmiddels grotendeels vervangen door instrumenten als AMSTAR en AMSTAR-2, maar was ten tijde van deze publicatie een gangbaar en gevalideerd instrument voor dit doel.

De centrale onderzoeksvraag van Hu en collega’s (2011) luidde welke Cochrane-systematische reviews naar Chinese kruidengeneesmiddelen tot dan toe waren gepubliceerd, welke aandoeningen zij behandelden, wat hun methodologische kwaliteit was volgens de OQAQ, en tot welke conclusies zij kwamen over effectiviteit. Daarnaast onderzochten de auteurs in hoeverre TCM-deskundigen betrokken waren geweest bij de totstandkoming van deze reviews, en in hoeverre Chinese literatuurdatabases waren doorzocht — relevant, omdat een aanzienlijk deel van het onderzoek naar Chinese kruidengeneesmiddelen in Chinese vaktijdschriften wordt gepubliceerd die niet altijd in internationale databases zijn geïndexeerd. De studie werd uitgevoerd door onderzoekers verbonden aan onder meer het Tianjin University of Traditional Chinese Medicine en gepubliceerd in PLOS ONE¹.

De auteurs doorzochten de Cochrane Database of Systematic Reviews (tot en met uitgave 5 van 2010) systematisch met zoektermen die onder meer ‘Chinese’, ‘herb’, ’traditional’, ‘plant’ en ‘medic’ omvatten, om alle relevante reviews naar Chinese kruidengeneesmiddelen te identificeren. Reviews kwamen in aanmerking wanneer zij Chinese kruidengeneesmiddelen — al dan niet in combinatie met andere interventies — als primaire of secundaire interventie onderzochten, ongeacht de bestudeerde aandoening. Twee onafhankelijke beoordelaars screenden de gevonden reviews op geschiktheid en extraheerden de relevante gegevens, conform de gangbare werkwijze bij systematisch literatuuronderzoek.

In totaal werden 58 Cochrane-reviews naar Chinese kruidengeneesmiddelen geïncludeerd, verspreid over 44 verschillende ziektebeelden, met een zwaartepunt bij cerebrovasculaire en cardiovasculaire aandoeningen (31% van de reviews), gevolgd door respiratoire aandoeningen en gynaecologische klachten. Zeven reviews bevatten in het geheel geen bruikbare primaire studies (‘empty reviews’), doorgaans omdat de zoekstrategie geen studies opleverde die aan de vooraf gedefinieerde inclusiecriteria voldeden. De resterende 51 reviews bevatten een mediaan van negen geïncludeerde primaire studies, met in totaal 936 deelnemers.

De methodologische kwaliteit van elke geïncludeerde review werd beoordeeld met de OQAQ, een instrument dat onder meer scoort op de omvang en transparantie van de zoekstrategie, de bias-minimaliserende maatregelen bij studieselectie en data-extractie, de beoordeling van de kwaliteit van de geïncludeerde primaire studies, en de wijze van resultaatsynthese. Daarnaast registreerden de auteurs voor elke review of een TCM-deskundige betrokken was geweest, welk risk-of-bias-instrument was gebruikt, hoeveel Engelstalige en Chinese databases waren doorzocht, en in welk jaar de review voor het laatst was bijgewerkt.

Omdat het hier een paraplu-review betreft, werd geen nieuwe kwantitatieve meta-analyse van primaire trialdata uitgevoerd. In plaats daarvan werden de conclusies van elke geïncludeerde review gecategoriseerd (positief, mogelijk gunstig maar beperkt door studiekwaliteit of -aantal, dan wel inconclusief), en werden de OQAQ-scores, TCM-betrokkenheid, risk-of-bias-instrumenten en zoekstrategieën beschrijvend samengevat over de volle breedte van de 58 geïncludeerde reviews.

Van de 51 reviews met bruikbare primaire studies concludeerde slechts één review ondubbelzinnig positief over de effectiviteit van de onderzochte Chinese kruidengeneesmiddelen. Bij 27 reviews (53%) suggereerden de auteurs een mogelijk gunstig effect, maar werd deze conclusie expliciet gerelativeerd vanwege de povere methodologische kwaliteit of het geringe aantal van de onderliggende primaire studies. De overige 23 reviews (45%) bleven inconclusief. Dit betekent dat in de overgrote meerderheid van de gevallen — 50 van de 51 niet-lege reviews, oftewel 98% — geen overtuigend, ondubbelzinnig bewijs voor effectiviteit kon worden vastgesteld volgens de strengste standaarden van de Cochrane Collaboration.

Wat betreft de methodologische kwaliteit van de reviews zelf bedroeg de gemiddelde OQAQ-score 5,05 (95%-betrouwbaarheidsinterval 4,58-5,52) op een schaal die doorgaans loopt van 1 tot 7, wat wijst op een gemiddelde tot redelijke, maar niet uitmuntende kwaliteit. Van de 58 reviews betrok slechts 21 (36%) een deskundige op het gebied van de traditionele Chinese geneeskunde bij de uitvoering, wat de auteurs als een belangrijk aandachtspunt beschouwen: zonder TCM-expertise bestaat het risico dat interventies die vanuit TCM-perspectief wezenlijk verschillend zijn, ten onrechte als vergelijkbaar worden behandeld binnen een review. Voorts bleek ongeveer de helft van de reviews verouderd, met een laatste literatuuractualisatie van vóór 2008 — relevant, aangezien het onderzoeksveld van Chinese kruidengeneesmiddelen in de tussenliggende jaren fors was gegroeid, met name vanuit China zelf.

Op het niveau van de onderliggende primaire studies bleek de methodologische kwaliteit eveneens beperkt: gemiddeld paste slechts 16% van de primaire studies een adequate methode van randomisatiesequentiegeneratie toe, en slechts 7% hanteerde adequate allocatieverhulling (allocation concealment). Dit wijst op een aanzienlijk risico op vertekening (bias) binnen het onderliggende trialbewijs, ondanks de strenge selectiecriteria van de Cochrane Collaboration zelf.

Wat betreft de zoekstrategieën doorzocht 71% van de reviews ten minste drie Engelstalige elektronische databases, wat adequaat wordt geacht. Voor Chinese databases lag dit percentage aanzienlijk lager: slechts 10% doorzocht drie of meer Chinese databases, en tien reviews doorzochten in het geheel geen Chinese database, ondanks het feit dat een aanzienlijk deel van de klinische trials naar Chinese kruidengeneesmiddelen in Chinese vaktijdschriften wordt gepubliceerd — een potentiële bron van selectiebias. Wat betreft de beoordeling van het risico op bias binnen de primaire studies gebruikte 36% van de reviews het formele Cochrane risk-of-bias-instrument, terwijl andere reviews de Jadad-schaal of niet nader gespecificeerde checklists hanteerden, en 41 van de 58 reviews rapporteerden dat de studieselectie door ten minste twee onafhankelijke beoordelaars was uitgevoerd.

De auteurs concluderen dat, ondanks de over het algemeen hoge standaarden van de Cochrane Collaboration, bijna de helft van de geïncludeerde reviews tekortschoot op het gebied van TCM-expertise en actualiteit, dat sommige reviews verschillende kruidenformules op ongepaste wijze samenvoegden tot één interventie, en dat het merendeel onvoldoende Chinese literatuurdatabases doorzocht. Zij bevelen aan om reviewonderwerpen nauwer af te bakenen, interventies afzonderlijk te analyseren, verplichte betrokkenheid van TCM-deskundigen te waarborgen en systematisch Chinese databases te doorzoeken¹.

De belangrijkste sterkte van deze studie is de keuze om zich uitsluitend te richten op Cochrane-systematische reviews, waarmee wordt voortgebouwd op reeds methodologisch hoogwaardig literatuuronderzoek met vooraf geregistreerde protocollen en onafhankelijke redactionele toetsing. Dit maakt de bevindingen relatief betrouwbaar in vergelijking met overzichten die reviews van wisselende, niet-Cochrane herkomst samenvatten. Daarnaast is het gebruik van een gevalideerd, gestandaardiseerd beoordelingsinstrument (de OQAQ) door twee onafhankelijke beoordelaars een methodologisch sterk element, evenals de systematische registratie van aanvullende kenmerken zoals de betrokkenheid van TCM-deskundigen, het gebruikte risk-of-bias-instrument en de mate waarin Chinese databases werden doorzocht — kenmerken die in vergelijkbare paraplu-reviews vaak onderbelicht blijven.

Een tweede sterkte is de brede reikwijdte: door alle 58 op dat moment beschikbare Cochrane-reviews te includeren, ongeacht de onderzochte aandoening, biedt de studie een van de meest systematische en volledige pogingen om de stand van zaken binnen dit gehele onderzoeksveld in kaart te brengen. Dit maakt het mogelijk patronen zichtbaar te maken — zoals de systematisch beperkte betrokkenheid van TCM-expertise en het onvoldoende doorzoeken van Chinese databases — die bij bestudering van individuele reviews afzonderlijk niet aan het licht zouden komen.

De belangrijkste beperking van dit type overzicht is dat het, ondanks de hoge kwaliteit van de onderliggende Cochrane-reviews afzonderlijk, per definitie weinig ruimte biedt voor diepgaande bespreking van elke individuele indicatie of interventie. De conclusie dat 53% van de reviews een ‘mogelijk gunstig effect, beperkt door studiekwaliteit’ rapporteerde, zegt weinig over de specifieke aandoeningen of formules waarvoor dit gold; voor klinisch relevante, indicatiespecifieke conclusies moet worden teruggegrepen op de onderliggende individuele Cochrane-reviews.

Ten tweede is deze studie inmiddels sterk gedateerd: gepubliceerd in 2011 en gebaseerd op reviews tot en met medio 2010, terwijl het aantal Cochrane-reviews naar Chinese kruidengeneesmiddelen sindsdien is toegenomen en veel destijds geïncludeerde reviews zijn bijgewerkt of vervangen. Reeds ten tijde van de publicatie was ongeveer de helft van de geïncludeerde reviews verouderd (laatste actualisatie vóór 2008); dit probleem is vermoedelijk verder toegenomen naarmate deze paraplu-review zelf ouder wordt.

Ten derde blijft ook binnen de Cochrane-reviews de kwaliteit van de onderliggende primaire trials een belangrijke beperkende factor: met slechts 16% van de primaire studies met adequate randomisatiesequentiegeneratie en 7% met adequate allocatieverhulling, is het risico op vertekening aanzienlijk, ongeacht de strenge selectiecriteria van de Cochrane Collaboration zelf. Dit weerspiegelt bredere, bekende zorgen over de methodologische kwaliteit van klinische trials naar Chinese kruidengeneesmiddelen, veelal uitgevoerd in China, zoals ook naar voren komt in de eveneens in dit corpus besproken methodologische survey van Zhang en collega’s².

Ten vierde is de OQAQ inmiddels grotendeels vervangen door meer gedetailleerde instrumenten zoals AMSTAR-2, wat betekent dat een herhaling met een actueler instrument mogelijk tot een kritischer beoordeling zou leiden. Tot slot beperkt de studie zich uitdrukkelijk tot Cochrane-reviews, waardoor de bevindingen niet zonder meer generaliseerbaar zijn naar de bredere, kwalitatief meer wisselende literatuur van niet-Cochrane systematische reviews naar Chinese kruidengeneesmiddelen.

Binnen de discipline TCM / Foundations of Chinese Medicine vormt deze paraplu-review een van de meer gezaghebbende bronnen binnen de evidentiebasis voor Chinese kruidengeneesmiddelen, doordat zij voortbouwt op de methodologisch strengste vorm van systematische review en een breed, disciplineoverstijgend overzicht biedt. Zij vormt daarmee een waardevol tegenwicht tegen de bredere, kwalitatief wisselende literatuur op dit terrein, zoals die ook naar voren komt in de eveneens in dit corpus besproken methodologische survey van Zhang en collega’s, waarin vergelijkbare zorgen over methodologische kwaliteit en TCM-expertise worden gerapporteerd, zij het over een grotere en minder homogene verzameling reviews dan uitsluitend Cochrane-reviews².

De bevindingen sluiten bovendien aan bij het beeld dat naar voren komt uit indicatiespecifieke studies binnen dit corpus, zoals de klinische evidentiekaart van traditionele Chinese geneeskunde bij essentiële hypertensie³ en het overzicht van reviews naar kruidengeneesmiddelen bij COVID-19⁴: in beide gevallen wordt een patroon zichtbaar van talrijke, methodologisch wisselende studies met overwegend voorzichtig positieve tot inconclusieve conclusies, zelden begeleid door overtuigend, hoogkwalitatief bewijs. Dit patroon lijkt zich dwars door uiteenlopende indicaties en reviewtypen binnen de Chinese kruidengeneeskunde te herhalen, wat de bevindingen van Hu en collega’s een bredere geldigheid geeft dan alleen voor de 58 destijds beschikbare Cochrane-reviews.

Voor onderzoekers en zorgverleners binnen het domein Oosters betekent dit dat de wetenschappelijke onderbouwing van Chinese kruidengeneesmiddelen als geheel, ook binnen het meest rigoureuze segment van de systematische-reviewliteratuur, vooralsnog als voorzichtig en overwegend inconclusief moet worden gekwalificeerd, met uitzondering van een beperkt aantal specifieke indicaties en formules waarvoor overtuigender bewijs bestaat.

Voor de klinische praktijk van zorgverleners die werken binnen of doorverwijzen naar de traditionele Chinese geneeskunde, bieden deze bevindingen een genuanceerd beeld: voor een substantieel deel van de onderzochte aandoeningen (53% van de niet-lege reviews) bestaat een signaal van mogelijke effectiviteit, maar dit signaal wordt telkens gerelativeerd door beperkte studiekwaliteit of -aantal, terwijl bijna de helft van de reviews (45%) niet verder komt dan een inconclusieve uitspraak. Generieke claims over de effectiviteit van ‘Chinese kruidengeneesmiddelen’ als geheel zijn op basis van dit overzicht niet te onderbouwen; iedere claim dient te worden herleid tot de specifieke indicatie en onderliggende Cochrane-review waarop zij is gebaseerd.

Praktisch betekent dit dat zorgverleners en patiënten gebaat zijn bij transparante voorlichting over het voorlopige en indicatieafhankelijke karakter van de evidentiebasis, en bij raadpleging van de meest actuele, indicatiespecifieke Cochrane-review voor de betreffende aandoening. Daarnaast onderstrepen de bevindingen over de beperkte betrokkenheid van TCM-expertise binnen veel reviews het belang van samenwerking tussen TCM-deskundigen en methodologen bij toekomstig onderzoek.

Het overzicht van Hu en collega’s (2011) van 58 Cochrane-systematische reviews naar Chinese kruidengeneesmiddelen laat zien dat, ondanks de hoge methodologische standaarden van de Cochrane Collaboration, overtuigend bewijs voor effectiviteit zeldzaam is: slechts één van de 51 niet-lege reviews concludeerde eenduidig positief, terwijl 53% een mogelijk gunstig maar door studiekwaliteit beperkt effect rapporteerde en 45% inconclusief bleef. De gemiddelde kwaliteit van de reviews zelf was, gemeten met de OQAQ, redelijk maar niet uitmuntend, en werd verder beperkt door onvoldoende TCM-expertise bij bijna twee derde van de reviews, een gebrekkige doorzoeking van Chinese databases, en een aanzienlijk risico op vertekening binnen de onderliggende primaire trials.

Binnen de discipline TCM / Foundations of Chinese Medicine vormt deze paraplu-review daarmee een waardevol, gezaghebbend, maar inmiddels gedateerd overzichtswerk dat een voorzichtig en terughoudend beeld schetst van de evidentiebasis voor Chinese kruidengeneesmiddelen als geheel. Voor de klinische praktijk en voor toekomstig onderzoek rechtvaardigen de bevindingen een indicatiespecifieke, methodologisch kritische benadering boven generieke uitspraken over effectiviteit, alsook een pleidooi voor nauwere samenwerking tussen TCM-expertise en reviewmethodologie, actualisatie van bestaande reviews, en een consequentere doorzoeking van Chinese literatuurdatabases.

1. Hu J, Zhang J, Zhao W, Zhang Y, Zhang L, Shang H. Cochrane systematic reviews of Chinese herbal medicines: an overview. PLoS ONE. 2011;6(12):e28696. doi:10.1371/journal.pone.0028696. https://doi.org/10.1371/journal.pone.0028696
2. Zhang, e.a. Methodological quality of systematic reviews on Chinese herbal medicine: a methodological survey. PMC8867833. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8867833/
3. Traditional Chinese Medicine for Essential Hypertension: A Clinical Evidence Map. PMC7765725. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7765725/
4. Herbal medicine for COVID-19: overview of systematic reviews and meta-analyses. PMID 35550224. https://pubmed.ncbi.nlm.nih.gov/35550224/