Dat wij kinderen en jongeren bij voorkeur een evidencebased behandeling geven, is zo langzamerhand wel bekend en gebeurt gelukkig ook steeds vaker. Maar is er enige vooruitgang in die effectiviteit te bespeuren? Leren we nog bij? Op gezette tijden worden naar deze vraag meta-analyses gedaan: een analyse van de effecten van een heleboel onderzoeken samengevoegd. Kortgeleden verscheen weer zo’n meta-analyse, van John Weisz en collega’s (2017). Zij deden een meta-analyse naar al het effectiviteitsonderzoek dat tussen 1963 en 2013 is gedaan: 443 onderzoeken, met 30.431 kinderen en jongeren, in vijftig jaar. Vier keer eerder was zo’n meta-analyse gedaan naar het effect van alle behandelingen bij alle soorten problemen van kinderen en jongeren (Casey & Berman, 1985; Kazdin e.a., 1990; Weisz e.a., 1987; Weisz e.a., 1995a). We zijn dus ruim twintig (!) jaar verder na de laatste. Het aantal onderzoeken (gerandomiseerde, gecontroleerde studies, RCT’s) is in die twintig jaar verdrievoudigd. Het werd dus hoog tijd, zou je zeggen. De belangrijkste vraag bij zo’n nieuwe meting is natuurlijk: is er vooruitgang geboekt in de behandeling van kinderen en jongeren? Hebben al die onderzoeksprojecten, boeken, artikelen, workshops, cursussen en symposia duidelijke effecten gesorteerd? Het eerste antwoord op deze vraag is een luid en duidelijk ‘nee’. De gemiddelde effectsize (ES) van alle behandelingen is 0,46, iets minder dan een matig effect. Vergeleken met de eerdere meta-analyses is het zelfs een achteruitgang. De effectsizes van die eerdere studies lagen tussen 0,54 en 0,88. Betekent dit dat we het per saldo slechter doen? Dat we met de resultaten van de laatste twintig jaar het gemiddelde naar beneden hebben gebracht? Die conclusie trekken Weisz en collega’s niet. Zij keken namelijk ook of het jaar waarin onderzoeken zijn gepubliceerd van invloed was op de effectiviteit. Dat bleek niet het geval. De effectiviteit van de behandelingen is niet afgenomen in de afgelopen jaren. De belangrijkste en naar hun mening de meest waarschijnlijke verklaring voor die lagere effectsize, is het feit dat de statistische analyses verbeterd zijn en daarmee meer realistisch zijn geworden. Dat is mooi, maar helaas leveren die verbeterde analyses lagere effectsizes op. Toen die verbeterde analyse werd toegepast bij een eerdere meta-analyse daalde de effectsize van 0,71 naar 0,54 (Weisz e.a., 1995b)!
Dat betekent dus dat we ons met die eerdere meta-analyses rijk hebben gerekend. Eerlijk gezegd een nogal schokkende mededeling, die indertijd geheel aan mij is voorbijgegaan!
De meta-analyse
