Vergissingen zijn menselijk

Klinische versus statistische voorspellingen: een oud debat met nieuwe technologie.

“Ik denk dat cognitieve therapie de beste keuze is; ik denk niet dat medicatie iets voor deze man gaat doen”. Een opmerking tijdens een multidisciplinair overleg over de nieuwe aanmeldingen. Mijn collega’s knikken bevestigend en de patiënt wordt op de wachtlijst gezet voor cognitieve therapie voor depressie. Volgende patiënt?

In de psychiatrie is het matchen van patiënten met de meest geschikte behandeling een alledaagse taak. Clinici voorspellen de slaagkansen van verschillende behandelopties en baseren zich op ervaring met vergelijkbare patiënten, de voorkeur van de patiënt, wetenschappelijk onderzoek en (inter)nationale richtlijnen (1, 2). Deze persoonsgerichte aanpak geeft enerzijds ruimte voor flexibiliteit, maar anderzijds zijn menselijke voorspellingen vatbaar voor denkfouten. 

Oorzaken van deze denkfouten zijn onder andere de complexiteit en onduidelijkheid van ongestructureerde klinische gesprekken (“hij noemde geen vitale kenmerken”), gebrek aan adequate feedback (“hoe is het deze patiënt uiteindelijk vergaan?”) en confirmation bias (voorkeur voor bevestiging) op basis van theoretische kaders, hypotheses en eerdere beslissingen van anderen (“mijn collega had het ook al over cognitieve therapie” of “dysfunctionele gedachten staan op de voorgrond”) (3, 4). 

Een manier om de impact van foutgevoelige klinische voorspellingen te verkleinen, is het gebruik van reproduceerbare algoritmen. De afgelopen jaren is er namelijk een toenemende belangstelling voor statistische predictiemodellen in de context van precisiepsychiatrie of gepersonaliseerde psychiatrie. De opkomst van geavanceerde statistische technieken (o.a. machine learning) en toegenomen data-beschikbaarheid (big data) dragen hieraan bij (5). Echter, de toepassing van statistische voorspellingen in de geestelijke gezondheidzorg (GGZ) is verre van een nieuw idee. In 1954 publiceerde psycholoog Paul Meehl een wereldberoemd “disturbing little book” waarin hij aantoonde dat statistische voorspellingen net zo nauwkeurig of nauwkeuriger waren dan klinische voorspellingen (6). Sindsdien heeft onderzoek consequent aangetoond dat statistische voorspellingen over diagnoses en prognoses in de GGZ en geneeskunde gemiddeld 10 tot 13% nauwkeuriger zijn dan klinische voorspellingen (zie twee meta-analyses: 4, 7). Ondanks dit bewijs is het gebruik van statistische voorspellingen in de GGZ beperkt gebleven en is er opmerkelijk weinig veranderd in de klinische besluitvormingsprocessen. 

Statistische voorspellingen hebben de potentie om behandelingen in de GGZ te verbeteren door behandelselectie te optimaliseren en te personaliseren. In de toekomst zou een statistische voorspelling voor, tijdens en na de therapie een instrument kunnen zijn waarmee de clinicus en de patiënt samen behandelbeslissingen nemen: een zogenaamd “platform voor shared decision-making”. De wetenschap maakt stappen om statistische predictiemodellen te verbeteren door validatie in andere onderzoekspopulaties (8) en prospectieve testen (9). Uitdagingen hierin zijn onder andere missende en rommelige data (5), relatief kleine onderzoek samples (10) en de variabiliteit aan nieuwe statistische methoden (11).  

Een mogelijk nog belangrijkere uitdaging is de implementatie van statistische predictie modellen: Hoe voorkomen we dat nieuwe technologische ontwikkelingen, net zoals decennia geleden (12), slechts het onderwerp van onderzoeksartikelen en congressen blijven? Het daadwerkelijk toepassen van statistische algoritmen heeft weinig kans van slagen als de eindgebruikers, i.e. de patiënten en de clinici, hier geen voorstander van zijn. In afwachting op gevalideerde predictiemodellen, zouden we dit op de werkvloer kunnen onderzoeken. Op de opmerking “Ik denk dat cognitieve therapie de beste keuze is; ik denk niet dat medicatie iets voor deze man gaat doen”; hadden collega’s ook de vraag kunnen stellen “waar baseer je die voorspelling op?” Een potentieel goed begin voor verandering is bewustwording en openheid over wat clinici niet weten. Onderwijs over statistiek en de foutgevoeligheid van menselijke voorspellingen zou een belangrijk onderdeel moeten zijn van de opleiding tot psychiater en nascholing (zie ook het voorjaarscongres NVVP 2020; 7).  Het signaleren van je eigen denkfouten en een bescheiden opstelling tijdens overleggen en patiënten gesprekken is een randvoorwaarde voor verandering. Systematische terugkoppeling over de impact van behandelbeslissingen is hierin essentieel maar ook feedback over behandeluitkomsten tijdens therapie is veelbelovend (13). 

Referenties

1. Delgadillo J, Gellatly J, Stephenson-Bellwood S. Decision making in stepped care: how do therapists decide whether to prolong treatment or not? Behavioural and cognitive psychotherapy. 2015;43(3):328-41.
2. Lorenzo-Luaces L, DeRubeis RJ, Bennett IM. Primary care physicians’ selection of low-intensity treatments for patients with depression. Fam Med. 2015;47(7):511-6.
3. Bell I, Mellor D. Clinical judgements: Research and practice. Australian Psychologist. 2009;44(2):112-21.
4. Grove WM, Zald DH, Lebow BS, Snitz BE, Nelson C. Clinical versus mechanical prediction: a meta-analysis. Psychological assessment. 2000;12(1):19.
5. Perna G, Grassi M, Caldirola D, Nemeroff C. The revolution of personalized psychiatry: will technology make it happen sooner? Psychological medicine. 2018;48(5):705-13.
6. Meehl PE. Clinical versus statistical prediction: A theoretical analysis and a review of the evidence. 1954.
7. Ægisdóttir S, White MJ, Spengler PM, Maugherman AS, Anderson LA, Cook RS, et al. The meta-analysis of clinical judgment project: Fifty-six years of accumulated research on clinical versus statistical prediction. The Counseling Psychologist. 2006;34(3):341-82.
8. Chekroud AM, Zotti RJ, Shehzad Z, Gueorguieva R, Johnson MK, Trivedi MH, et al. Cross-trial prediction of treatment outcome in depression: a machine learning approach. The Lancet Psychiatry. 2016;3(3):243-50.
9. Kingslake J, Dias R, Dawson GR, Simon J, Goodwin GM, Harmer CJ, et al. The effects of using the PReDicT Test to guide the antidepressant treatment of depressed patients: study protocol for a randomised controlled trial. Trials. 2017;18(1):558.
10. Luedtke A, Sadikova E, Kessler RC. Sample size requirements for multivariate models to predict between-patient differences in best treatments of major depressive disorder. Clinical Psychological Science. 2019;7(3):445-61.
11. Cohen ZD, DeRubeis RJ. Treatment selection in depression. Annual Review of Clinical Psychology. 2018;14:209-36.
12. Meehl PE. Causes and effects of my disturbing little book. Journal of personality assessment. 1986;50(3):370-5.
13. Knaup C, Koesters M, Schoefer D, Becker T, Puschner B. Effect of feedback of treatment outcome in specialist mental healthcare: meta-analysis. The British Journal of Psychiatry. 2009;195(1):15-22.