Meta-analyse van placebogecontroleerde trials naar niet-geïndividualiseerde homeopathie

Kleine, statistisch significante gepoolde effecten met grote methodologische twijfels: een kritische bespreking van Mathie e.a. (2017)

Binnen het domein Natuurgeneeskunde, discipline Homeopathie, bespreekt dit artikel de systematische review met meta-analyse van Mathie en collega’s, gepubliceerd in 2017 in Systematic Reviews, naar gerandomiseerde, dubbelblinde, placebogecontroleerde trials (RCT’s) van niet-geïndividualiseerde homeopathische behandeling¹. Bij deze vorm van homeopathie krijgen alle deelnemers met een bepaalde aandoening hetzelfde vooraf vastgestelde middel, in tegenstelling tot de klassieke, geïndividualiseerde benadering waarbij het middel wordt afgestemd op het unieke symptomencomplex van de patiënt. De auteurs identificeerden 75 relevante RCT’s, waarvan 54 trials met extraheerbare data (in totaal ruim vijfduizend deelnemers) werden opgenomen in de hoofdmeta-analyse. Deze liet een klein, statistisch significant gepoold effect zien ten gunste van homeopathie ten opzichte van placebo, dat echter sterk afnam en zijn statistische significantie verloor zodra de analyse werd beperkt tot de drie trials die volgens de eigen kwaliteitscriteria van de auteurs als ‘betrouwbare evidentie’ met een laag risico op bias golden. Dit artikel plaatst deze bevindingen in hun methodologische context, bespreekt de sterktes en beperkingen van de gehanteerde review-methodologie, en weegt de resultaten af tegen de bredere, kritische evidentiebasis rond homeopathie, waaronder de invloedrijke analyse van Shang e.a. (2005) en het evidentie-overzicht van Ernst. Geconcludeerd wordt dat deze meta-analyse, ondanks een oppervlakkig gunstig gepoold resultaat, bij nadere methodologische toetsing geen overtuigend bewijs levert voor een specifiek effect van niet-geïndividualiseerde homeopathie boven placebo.

Homeopathie behoort tot de meest gebruikte, maar tegelijkertijd meest omstreden vormen van complementaire en alternatieve geneeskunde. De onderliggende principes — het ‘gelijkheidsbeginsel’ (similia similibus curentur) en het gebruik van extreem verdunde, gepotentieerde middelen die vaak geen aantoonbare moleculen van de oorspronkelijke stof meer bevatten — staan op gespannen voet met gangbare farmacologische en fysisch-chemische inzichten. Dit maakt systematische, methodologisch kritische evaluatie van het beschikbare trialbewijs van bijzonder belang voor zorgverleners en beleidsmakers die geïnformeerde uitspraken willen doen over de plaats van homeopathie binnen de zorg.

Binnen homeopathisch onderzoek wordt een onderscheid gemaakt tussen geïndividualiseerde homeopathie, waarbij de behandelaar op basis van een uitgebreide anamnese een middel op maat van de individuele patiënt kiest, en niet-geïndividualiseerde (ook wel ‘klinische’ of ‘formularium’-) homeopathie, waarbij alle patiënten met eenzelfde diagnose hetzelfde standaardmiddel krijgen. Dit artikel bespreekt in detail de systematische review met meta-analyse van niet-geïndividualiseerde homeopathie die Mathie en collega’s in 2017 publiceerden in het tijdschrift Systematic Reviews¹, en plaatst deze naast de eveneens in dit corpus besproken analyses van Shang e.a. (2005)² en het narratieve evidentie-overzicht van Ernst³, die beide over homeopathie in bredere zin gaan en tot vergelijkbare, kritische conclusies komen.

Het doel van dit artikel is drieledig: het theoretisch kader van homeopathie en van niet-geïndividualiseerde behandeling toelichten, de methodologie en resultaten van de meta-analyse van Mathie e.a. in detail bespreken, en de bevindingen kritisch plaatsen binnen de bredere, controversiële evidentiebasis rond homeopathie, inclusief een weging van sterktes en zwaktes die relevant zijn voor de klinische en beleidsmatige interpretatie.

Homeopathie is eind achttiende eeuw ontwikkeld door de Duitse arts Samuel Hahnemann, op basis van het gelijkheidsbeginsel: een stof die bij een gezond persoon in hoge dosering bepaalde symptomen veroorzaakt, zou in sterk verdunde vorm diezelfde symptomen bij een ziek persoon kunnen genezen. Homeopathische middelen worden bereid via herhaalde verdunning en ‘potentiëring’ (schudden of wrijven), waarbij hoge verdunningsgraden (bijvoorbeeld 30C, een verdunning van 10^60) gebruikelijk zijn. Bij dergelijke verdunningen is, volgens de wetten van de chemie (het getal van Avogadro), de kans dat ook maar één molecuul van de oorspronkelijke werkzame stof nog in het preparaat aanwezig is verwaarloosbaar klein. Dit vormt de kern van de wetenschappelijke controverse rond homeopathie: er bestaat, in tegenstelling tot bij reguliere farmacotherapie, geen algemeen aanvaard, biologisch plausibel werkingsmechanisme dat een specifiek farmacologisch effect van deze middelen zou kunnen verklaren.

Binnen de homeopathische praktijk wordt onderscheid gemaakt tussen geïndividualiseerde en niet-geïndividualiseerde behandeling. Niet-geïndividualiseerde homeopathie — het onderwerp van de hier besproken meta-analyse — sluit qua onderzoeksdesign nauwer aan bij het klassieke model van reguliere geneesmiddelenonderzoek, omdat alle deelnemers met eenzelfde aandoening hetzelfde middel (of placebo) ontvangen, wat blindering en randomisatie vereenvoudigt vergeleken met geïndividualiseerde protocollen waarin het middel per patiënt verschilt. Dit maakt deze onderzoeksvorm methodologisch beter te standaardiseren, wat mede verklaart waarom Mathie en collega’s dit subdomein als apart onderwerp van systematische review hebben gekozen, naast een parallelle review van geïndividualiseerde homeopathie.

Voorstanders wijzen soms op speculatieve verklaringsmodellen zoals veronderstelde ‘watergeheugen’-effecten, maar deze zijn tot op heden niet overtuigend experimenteel aangetoond en worden door de meerderheid van de wetenschappelijke gemeenschap niet als plausibel beschouwd. Tegen deze achtergrond is gedegen, methodologisch kritisch klinisch trialonderzoek extra belangrijk: alleen zorgvuldig uitgevoerde, goed geblindeerde en adequaat gerandomiseerde trials kunnen onderscheid maken tussen een eventueel specifiek effect van het middel en aspecifieke effecten zoals placebo, natuurlijk beloop van de aandoening en verwachtingseffecten.

De centrale onderzoeksvraag van Mathie en collega’s (2017) luidde of niet-geïndividualiseerde homeopathische behandeling, vergeleken met placebo, leidt tot een specifiek klinisch effect in gerandomiseerde, dubbelblinde, placebogecontroleerde trials, en of dit effect standhoudt wanneer de analyse wordt beperkt tot de methodologisch meest betrouwbare studies. Om deze vraag te beantwoorden voerden de auteurs een systematische review met meta-analyse uit, waarbij zij niet alleen de gepoolde effectgrootte over alle beschikbare trials berekenden, maar ook een gestructureerde beoordeling maakten van het risico op bias per trial, met als doel de invloed van methodologische kwaliteit op de gevonden effecten expliciet inzichtelijk te maken. De studie werd gepubliceerd in het peer-reviewed, open-access tijdschrift Systematic Reviews (BioMed Central), een tijdschrift dat zich specifiek richt op systematische reviews en methodologisch onderzoek naar evidentiesynthese¹.

De auteurs voerden een uitputtende, systematische literatuurzoekstrategie uit in meerdere elektronische databases, aangevuld met handmatig doorzoeken van referentielijsten en raadpleging van experts, om alle gepubliceerde en, waar mogelijk, ongepubliceerde gerandomiseerde, dubbelblinde, placebogecontroleerde trials van niet-geïndividualiseerde homeopathische behandeling bij mensen te identificeren. Inclusiecriteria waren onder meer: een gerandomiseerd, placebogecontroleerd design; dubbelblindering van zowel deelnemers als, waar relevant, beoordelaars; en het gebruik van een vooraf vastgesteld, niet op de individuele patiënt afgestemd homeopathisch middel. Trials naar geïndividualiseerde homeopathie, niet-placebogecontroleerde vergelijkingen (bijvoorbeeld met reguliere zorg) en dierstudies werden uitgesloten van deze specifieke review, aangezien deze in aparte publicaties van dezelfde onderzoeksgroep werden behandeld.

In totaal identificeerden de auteurs 75 in aanmerking komende RCT’s van niet-geïndividualiseerde homeopathie. Van deze 75 trials leverden 54 studies bruikbare, extraheerbare kwantitatieve data voor de hoofdmeta-analyse; de overige 21 trials werden vanwege onvoldoende of niet-extraheerbare uitkomstrapportage niet in de kwantitatieve synthese opgenomen. De 54 geïncludeerde trials betroffen samen circa 5.032 deelnemers en bestreken 48 verschillende aandoeningen, ondergebracht in circa vijftien bredere categorieën, uiteenlopend van luchtweginfecties tot pijnklachten en aan chemotherapie gerelateerde bijwerkingen. Deze grote klinische heterogeniteit — in aandoeningen, middelen en uitkomstmaten — is een belangrijk aandachtspunt bij de interpretatie van elk gepoold effect, verder besproken in paragraaf 6.

Een centraal en methodologisch onderscheidend kenmerk van deze review is de gedetailleerde, trial-voor-trial beoordeling van het risico op bias, uitgevoerd volgens een aangepast beoordelingskader geïnspireerd op de Cochrane-risico-op-bias-methodologie, aangevuld met een criterium voor ‘model validity’ (de mate waarin de trialopzet recht doet aan de homeopathische theorie en praktijk zelf). Trials werden ingedeeld in categorieën van laag, onzeker of hoog risico op bias. Van de 54 geanalyseerde trials werden uiteindelijk slechts drie geclassificeerd als trials met een combinatie van laag risico op bias én adequate model validity — door de auteurs aangeduid als trials met ‘betrouwbare evidentie’. Daartegenover stonden 49 trials met een hoog risico op bias en 23 trials met een onzeker risico. Deze scherpe kwaliteitshiërarchie — een handvol betrouwbare trials tegenover een grote meerderheid van methodologisch zwakke of onzekere studies — vormt de sleutel tot het begrijpen van de latere resultaten.

De primaire uitkomstmaat voor de kwantitatieve synthese was het gestandaardiseerde gemiddelde verschil (standardised mean difference, SMD) tussen homeopathie en placebo op de belangrijkste, per trial vooraf gedefinieerde klinische uitkomstmaat, samengevoegd met een random-effects model gezien de verwachte klinische en statistische heterogeniteit tussen de zeer uiteenlopende aandoeningen en middelen. Naast de hoofdanalyse over alle 54 trials met data voerden de auteurs vooraf geplande sensitiviteitsanalyses uit, waaronder een aparte pooling van uitsluitend de trials met ‘betrouwbare evidentie’, een correctie voor mogelijke publicatiebias (met formele schatting van het aantal ontbrekende, mogelijk ongepubliceerde studies) en de toepassing van het GRADE-instrument om de algehele zekerheid van het bewijs per uitkomst te beoordelen.

Over de volledige set van 54 trials met extraheerbare data vonden de auteurs een gepoold, statistisch significant effect ten gunste van niet-geïndividualiseerde homeopathie ten opzichte van placebo, met een gestandaardiseerd gemiddeld verschil van -0,33 (95%-betrouwbaarheidsinterval -0,44 tot -0,21). Dit komt overeen met een klein tot matig effect volgens de gangbare conventies voor interpretatie van SMD-waarden (rond 0,2 klein, rond 0,5 matig, rond 0,8 groot).

Toen de auteurs corrigeerden voor mogelijke publicatiebias — op basis van een formele schatting van circa elf mogelijk ontbrekende studies met naar verwachting minder gunstige uitkomsten — nam de gepoolde effectgrootte aanzienlijk af tot een SMD van -0,16 (95%-BI -0,31 tot -0,02): nog statistisch significant, maar duidelijk kleiner.

De meest informatieve en methodologisch zwaarwegende bevinding betreft echter de sensitiviteitsanalyse beperkt tot de drie trials met ‘betrouwbare evidentie’ (laag risico op bias en adequate model validity). In deze subgroep bedroeg de gepoolde SMD -0,18, met een 95%-betrouwbaarheidsinterval van -0,46 tot 0,09 — een interval dat de waarde nul (geen effect) omvat, en dus statistisch niet significant is. Met andere woorden: zodra de analyse werd beperkt tot de methodologisch sterkste beschikbare trials, verdween het statistisch significante voordeel van homeopathie boven placebo.

Op het niveau van afzonderlijke aandoeningen concludeerden de auteurs bovendien dat geen enkele van de 48 onderzochte klinische aandoeningen werd ondersteund door uitsluitend trials met ‘betrouwbare evidentie’; voor elke aandoening was het beschikbare bewijs afkomstig van, of afhankelijk van, trials met een hoog of onzeker risico op bias. De algehele kwaliteit van het bewijs werd volgens de GRADE-beoordeling door de auteurs zelf als laag gekwalificeerd. De auteurs concludeerden dan ook expliciet dat betrouwbare evidentie ontbreekt voor elke afzonderlijke klinische aandoening, en dat de meta-analyse van de betrouwbare evidentie (de drie best beoordeelde trials) er niet in slaagt de nulhypothese te verwerpen dat de uitkomsten van niet-geïndividualiseerde homeopathie niet te onderscheiden zijn van die van placebo¹.

Als aanvullende methodologische bevindingen rapporteerden de auteurs een hoge mate van klinische heterogeniteit tussen de geïncludeerde trials, een beperkt aandeel trials (ongeveer 21%) met een laag risico op uitval (attrition bias), en een beperkt gebruik van intention-to-treat-analyses (in slechts 21 van de 75 geïdentificeerde trials). Deze bevindingen onderstrepen dat de methodologische kwaliteit van het merendeel van het beschikbare trialbewijs naar niet-geïndividualiseerde homeopathie op meerdere fronten tekortschiet.

De belangrijkste methodologische sterkte van deze review is de systematische, transparante en uitgebreide zoekstrategie, gecombineerd met een expliciete, trial-voor-trial beoordeling van het risico op bias volgens een aangepast, voor homeopathie specifiek uitgewerkt beoordelingskader (inclusief het aanvullende criterium ‘model validity’). Deze gelaagde aanpak — waarbij niet alleen naar het gepoolde effect over alle trials wordt gekeken, maar ook expliciet de invloed van methodologische kwaliteit op dat effect wordt onderzocht via een vooraf geplande sensitiviteitsanalyse van de meest betrouwbare trials — is een aanzienlijke methodologische verbetering ten opzichte van eenvoudiger meta-analyses die alle trials ongeacht kwaliteit samen poolen.

Daarnaast verdient de correctie voor publicatiebias waardering: door expliciet het aantal mogelijk ontbrekende studies te schatten en de invloed daarvan op de gepoolde effectgrootte te kwantificeren, maken de auteurs een vaak onderbelicht knelpunt in complementaire-zorgonderzoek — de kans dat negatieve of neutrale trials minder snel worden gepubliceerd dan positieve — inzichtelijk en toetsbaar. Ook de toepassing van GRADE voor de beoordeling van de algehele bewijszekerheid en de transparante rapportage van het aantal en de kenmerken van uitgesloten trials dragen bij aan de navolgbaarheid en reproduceerbaarheid van de bevindingen.

Een belangrijke beperking is de aanzienlijke klinische heterogeniteit tussen de geïncludeerde trials: met 48 verschillende aandoeningen, uiteenlopende middelen en uiteenlopende primaire uitkomstmaten is het poolen van al deze trials tot één gepoolde effectgrootte methodologisch aanvechtbaar. Critici van dit type brede meta-analyse wijzen erop dat een dergelijke aanpak eerder iets zegt over de gemiddelde methodologische kwaliteit van een onderzoeksveld dan over de specifieke werkzaamheid bij een concrete aandoening.

Ten tweede is de basis voor de meest robuuste conclusie — de sensitiviteitsanalyse van ‘betrouwbare evidentie’ — uitermate smal: met slechts drie trials is de statistische power beperkt, wat betekent dat het brede betrouwbaarheidsinterval (-0,46 tot 0,09) zowel een klinisch relevant voordeel als een klinisch relevant nadeel niet met zekerheid uitsluit. ‘Betrouwbare evidentie ontbreekt’ moet daarom eerder worden gelezen als ‘onvoldoende betrouwbaar bewijs om een effect vast te stellen’ dan als definitief bewijs van afwezigheid van elk effect.

Ten derde blijft het probleem bestaan dat de 49 trials met hoog risico op bias en de 23 trials met onzeker risico gezamenlijk het gepoolde hoofdresultaat domineren, terwijl juist deze trials het meest kwetsbaar zijn voor vertekening door inadequate randomisatie, onvolledige blindering en selectieve uitkomstrapportage. Dat het gepoolde effect afneemt naarmate strengere criteria worden gehanteerd — van SMD -0,33 over alle trials, via -0,16 na correctie voor publicatiebias, tot een niet-significante -0,18 in de drie betrouwbaarste trials — geldt methodologisch als een klassieke aanwijzing dat (een deel van) het effect eerder aan bias dan aan een specifiek werkingsmechanisme moet worden toegeschreven.

Tot slot is het beperkte gebruik van intention-to-treat-analyses (in 21 van de 75 trials) en het geringe aandeel trials met laag risico op uitval (circa 21%) een aanvullende bron van mogelijke vertekening.

De bevindingen van Mathie en collega’s sluiten nauw aan bij een terugkerend patroon binnen het homeopathie-onderzoek: kleine, statistisch significante gepoolde effecten die bij nadere methodologische kritiek grotendeels verdwijnen of sterk afzwakken. Dit patroon wordt bevestigd door de eveneens in dit corpus besproken meta-epidemiologische analyse van Shang en collega’s (Lancet, 2005), waarin homeopathietrials direct werden vergeleken met qua onderwerp en kwaliteit gematchte trials uit de reguliere geneeskunde². Shang en collega’s concludeerden dat, wanneer de vergelijking werd beperkt tot de grotere en methodologisch hoogwaardigere trials, voor homeopathie geen overtuigend bewijs van een specifiek effect boven placebo overbleef, terwijl voor reguliere geneesmiddelen in vergelijkbare hoogwaardige trials wel een effect boven placebo aantoonbaar bleef — een bevinding die opmerkelijk goed aansluit bij het verdwijnen van het effect in de subgroep van ‘betrouwbare evidentie’ bij Mathie e.a.

Ook het narratieve evidentie-overzicht van Ernst, eveneens in dit corpus besproken, komt tot een vergelijkbare conclusie: op basis van de methodologisch sterkste beschikbare studies binnen het homeopathie-onderzoek als geheel is er geen overtuigend bewijs voor een specifiek effect van homeopathische middelen boven placebo³. Dat drie onafhankelijke, methodologisch uiteenlopende analyses tot in essentie dezelfde conclusie komen, versterkt het gewicht van deze bevinding, ook al verschillen de precieze methoden en de reikwijdte van elk van deze publicaties.

Van belang is dat de hier besproken review specifiek niet-geïndividualiseerde homeopathie betreft. Voorstanders wijzen er soms op dat juist geïndividualiseerde behandeling, dichter bij de klassieke homeopathische praktijk, mogelijk andere resultaten zou kunnen laten zien. Dezelfde onderzoeksgroep rond Mathie heeft echter ook een parallelle review van geïndividualiseerde homeopathie gepubliceerd, waarin een vergelijkbaar patroon werd gevonden: een klein gepoold effect over alle trials, dat eveneens afnam bij beperking tot de methodologisch sterkste trials. Dit relativeert het argument dat individualisatie op zichzelf tot fundamenteel andere, meer overtuigende bevindingen zou leiden.

Voor zorgverleners en beleidsmakers bieden deze resultaten weinig steun voor de claim dat niet-geïndividualiseerde homeopathische middelen een specifiek, boven placebo uitgaand klinisch effect hebben. Het gepoolde effect over alle beschikbare trials is weliswaar statistisch significant, maar klein en grotendeels toe te schrijven aan de grote meerderheid van methodologisch zwakke trials; zodra de analyse wordt beperkt tot de weinige trials van hoge methodologische kwaliteit, verdwijnt de statistische significantie.

Dit betekent niet noodzakelijkerwijs dat patiënten die baat melden bij homeopathische behandeling dit ten onrechte ervaren: placebo-effecten, de aandacht en tijd in een consult, het natuurlijke beloop van aandoeningen en niet-specifieke therapeutische factoren kunnen bijdragen aan een ervaren verbetering, ook zonder dat het middel zelf een specifiek farmacologisch effect heeft. Voor de praktijk impliceert dit dat zorgverleners transparant dienen te zijn over het ontbreken van overtuigend bewijs voor een specifiek werkingsmechanisme, terwijl erkend kan worden dat de bredere zorgcontext mogelijk wel bijdraagt aan ervaren baat.

Voor onderzoekers en financiers onderstrepen de bevindingen het belang van blijven investeren in methodologisch hoogwaardige, adequaat gepowerde trials met laag risico op bias, eerder dan in het uitbreiden van het aantal kleinschalige, methodologisch zwakke studies.

De systematische review met meta-analyse van Mathie en collega’s (2017) naar niet-geïndividualiseerde homeopathie laat over de volledige set van 54 geanalyseerde trials een klein, statistisch significant gepoold effect zien ten gunste van homeopathie ten opzichte van placebo (SMD -0,33), dat na correctie voor publicatiebias afneemt tot -0,16 en, in de sensitiviteitsanalyse beperkt tot de drie trials met de hoogste methodologische kwaliteit, niet langer statistisch significant is (SMD -0,18; 95%-BI -0,46 tot 0,09). Voor geen van de 48 onderzochte klinische aandoeningen was uitsluitend betrouwbare evidentie beschikbaar, en de algehele bewijskwaliteit werd volgens GRADE als laag beoordeeld.

Deze bevindingen sluiten aan bij een breder, terugkerend patroon binnen het homeopathie-onderzoek, dat ook naar voren komt in de meta-epidemiologische analyse van Shang en collega’s en het evidentie-overzicht van Ernst: kleine, gepoolde effecten die bij methodologisch strengere toetsing grotendeels verdwijnen, wat een aanwijzing vormt dat het waargenomen effect eerder aan vertekening en methodologische tekortkomingen dan aan een specifiek farmacologisch werkingsmechanisme van homeopathische middelen moet worden toegeschreven. Voor de klinische praktijk en het gezondheidszorgbeleid rechtvaardigt dit een terughoudende, kritische houding ten aanzien van claims over de specifieke effectiviteit van niet-geïndividualiseerde homeopathie, in afwachting van eventueel toekomstig, methodologisch hoogwaardig repliceeronderzoek dat vooralsnog grotendeels ontbreekt.

1. Mathie RT, e.a. Randomised, double-blind, placebo-controlled trials of non-individualised homeopathic treatment: systematic review and meta-analysis. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5366148/
2. Shang A, Huwiler-Muntener K, Nartey L, e.a. Are the clinical effects of homeopathy placebo effects? Comparative study of placebo-controlled trials of homoeopathy and allopathy. Lancet. 2005;366(9487):726-732. https://pubmed.ncbi.nlm.nih.gov/16125589/
3. Ernst E. Homeopathy: what does the “best” evidence tell us? https://pubmed.ncbi.nlm.nih.gov/20402610/