Actueel

Vind hier het meest recente nieuws en de laatste
events en tweets van Thijs

Hoe ‘waar’ is iets als het ‘evidence based’ is? Enkele reflecties

02 February 2014

Steeds meer duikt de term evidence based op: evidence based practice, evidence based medicine, evidence based social work, evidence based psychotherapy. En inmiddels wordt er bij diverse veranderkundige aanpakken en tools (in de brochure) eveneens vermeld dat zij ‘evidence based’ zijn: ‘bewezen!!’; ‘wetenschappelijk aangetoond dat ze écht werken’. Impliciet wordt daarbij en passant dan ook beweerd dat al de ándere methoden en tools die niet evidence based zijn kennelijk dus niet werken; niet waarmaken wat ze beloven en niet tot voorspelbare en beheersbare resultaten zullen leiden.

Prof. dr. Thijs Homan

 

Inleiding

Steeds meer duikt de term evidence based op: evidence based practice, evidence based medicine, evidence based social work, evidence based psychotherapy. En inmiddels wordt er bij diverse veranderkundige aanpakken en tools (in de brochure) eveneens vermeld dat zij ‘evidence based’ zijn: ‘bewezen!!’; ‘wetenschappelijk aangetoond dat ze écht werken’. Impliciet wordt daarbij en passant dan ook beweerd dat al de ándere methoden en tools die niet evidence based zijn kennelijk dus niet werken; niet waarmaken wat ze beloven en niet tot voorspelbare en beheersbare resultaten zullen leiden.

Op zich is er natuurlijk niets mee om met elkaar eens goed uit te zoeken wat de effecten zijn van de interventies en acties die men onderneemt. Integendeel. Maar interessant wordt het als deze lokale en context-specifieke bevindingen gegeneraliseerd worden naar ‘en dus is het altijd en overal zo’.  Klopt dit nou wel? In deze notitie enkele kritische beschouwingen over evidence based.

 

Evidence based

Laat ik beginnen met evidence based-zelf.

Volgens mij is dit vooral afkomstig uit de medische hoek. Daar houdt het in dat je als behandelaar alleen die dingen doet, voorschrijft etc. die gebaseerd zijn op ‘wetenschappelijk onderzoek’ en ‘dus’ waar.

Dit is daar volgens mij echt wijd en zijd een traditie. Kijk maar eens hoeveel onderzoek er gedaan moet worden voordat bepaalde medicijnen toegelaten worden op de markt. Maar ze doen het ook voor allerlei andere, meer sociale fenomenen, bijvoorbeeld over de vraag of teamgericht werken rondom ernstig zieke patiënten nou wel of niet werkt. Ik heb bijvoorbeeld een tijdje geleden een aantal onderzoeksvoorstellen hierover moeten beoordelen, en dan zie je inderdaad dat men ook allerlei gedragsmatige zaken (bijv. hoe vaak moet de huisarts overleggen met een specialist van een dementerende patiënt?) heel precies onderzoekt, om op basis daarvan algemeen geldige voorschriften te geven over wie wat hoe vaak moet doen.

Inmiddels is het ‘evidence based-denken’ natuurlijk wijd en zijd verspreid. De beslissing over de middelbare school-opleiding van kinderen wordt gebaseerd op Cito-scores; hoger onderwijs is alleen goed als het formeel onderzocht en geaccrediteerd is, beslissingen kun je alleen maar nemen als je ze ‘hard’ kan maken, een business plan is alleen financierbaar als je kan ‘bewijzen’ dat de voorspellingen die er in gedaan worden ‘waar’ zijn.

 

Het Modernisme als paradigma

Meer in het algemeen is ‘evidence based’ naar mijn mening vooral een expressie van een diep Modernistische opvatting over wat  ‘waar’ en ‘niet waar’ is. Bij het zogeheten Modernistische paradigma wordt er van uitgegaan dat de enige kennis die ‘waar’ is, kennis is die volgens bepaalde methoden en technieken (vragenlijsten, correlatieanalyses, betrouwbaarheid, steekproefgrootte etc.) gegeneerd is. Dit heet ook wel dat ‘wetenschappelijke’ kennis ‘geprivilegieerde’ – de enige ‘ware’ – kennis is. Waarbij er dan dus wordt aangenomen dat die kennis ‘beter’, ‘meer waar’ is dan kennis die op andere manieren is ontstaan (bijvoorbeeld phronesis: practical wisdom).

In het verlengde hiervan zijn modernistische ‘wetenschappers’ een soort übermenschen, omdat die het arsenaal aan ‘goedgekeurde’ methoden en technieken beheersen en als ‘neutrale’ onderzoekers met behulp van die methodes en technieken de ‘waarheid’ kunnen achterhalen. Die ‘waarheid’ is dan vaak echter mooier dan het werkelijk is, namelijk gebaseerd op een heel stelsel van conventies en afspraken. Een correlatie is bijvoorbeeld  ‘waar’ als de ‘p’ onder een bepaalde met elkaar afgesproken waarde ligt. Dat soort regels. Die regels klinken heel stoer, maar eigenlijk zijn het gewoon menselijke constructen. Het lijkt objectief maar dat is het feitelijk niet.

 

Een tweede diepgaand kenmerk van het Modernisme is het zogeheten dualisme (afkomstig o.a. van Descartes). Descartes’ belangrijkste one liner is ‘ik denk dus ik ben’. Wat daar niet staat is: ‘ik voel dus ik ben’. Descartes heeft namelijk (zie mijn boek Het Et-ceteraprincipe, eind tweede hoofdstuk) beweerd dat de mens ‘rationeel’  moet zijn; en zijn / haar denkproces niet moet laten ‘vervuilen’ door emoties of andere lichamelijke invloeden.  Nou exact dit denken zie je ook keurig een-op-een terug in definities van evidence based:  Een voorbeeld: Een evidence-based aanpak betekent “dat er geen beslissingen worden genomen op grond van een sterk geloof in iets, gebaseerd op wat in het verleden gedaan werd’.

 

Hier enigszins mee samenhangend is de lichte afkeer die de Modernisten hebben van de praktijk. Voorafgaande aan de opkomst van het  Modernisme (aldus Toulmin in Kosmopolis) was er sprake van de ontwikkeling van ‘praktijk-wetenschappen’ zoals Rechten en Medicijnen. Dat zijn onderzoeksterreinen die proberen concrete oplossingen te vinden voor de praktische problemen van de mensen-van-toen. De Modernisten keren zich in wezen af van die warrige, ‘slordige’ praktijk en proberen juist door onderzoek de ‘onderliggende’ voorspellende wetmatigheden te identificeren. Dat heet ook wel ‘cause hunting’: het zoeken van lineair causale verbanden. Daarbij is men vaak op zoek naar een soort ‘ideaalmodellen’. Modellen hoe het idealiter zou moeten gaan. Waarbij men ook wel weet dat er in de praktijk allerlei uitzonderingen en afwijkingen zijn. Maar die worden dan weggeredeneerd als ‘ruis’.

Op den duur wordt dan het ‘ideaalmodel’ verwisseld met de werkelijkheid. En als iemand dan zegt dat zijn of haar concrete ervaring toch heel anders is dan het mooie hardgekalkte en ‘bewezen’ model, dan is dat voor de Modernist in feite gerommel in de marge. Omdat de praktijkmens in feite – in de ogen van de modernist dan – zegt dat de ‘ruis’ belangrijker is dan het ‘ware’ en ‘bewezen’ model. En dan is er voor de Modernist nog maar een conclusie mogelijk: ‘dat is duidelijk geen wetenschapper’. Of, in lijn met het dualisme dat ik hierboven beschreef: ‘dat is een irrationeel iemand’. Wij als wetenschappers zijn namelijk rationeel; dus als je onze waarheid niet accepteert, dan ben jij dus irrationeel en heb jij een probleem….

 

Het postmoderne paradigma

Vanuit het Postmodernistische paradigma wordt hier kritisch en dus heel anders tegenaan gekeken. Daar staat centraal (zie o.a. Foucault) dat kennis alleen ‘kennis’ en ‘waarheid’ is als dat gecombineerd wordt met voldoende – zeg maar – ‘ondersteunende macht’. Of anders gezegd: de betekenis die je aan de realiteit geeft (de kennis over de realiteit die je als ‘waar’ aanneemt) staat in feite los van de materiele werkelijkheid. De betekenis die je ergens aan kan geven is dan, zo beschouwd, random. Ik sta bijvoorbeeld op het station te wachten en aan de overkant op het andere perron rent een man voorbij met een rode jas. Even later rent er weer een man voorbij met een rode jas. Wat is nu waar? Dat ze elkaar achterna zitten? Dat er een overval staat te gebeuren? Dat het een flash mob is? Roept u maar. De betekenis die je er aan geeft kan van alles zijn en is niet 100% ‘vastgespijkerd’ aan datgene dat je waarnemeningsorganen hebben ervaren.

Wat de Modernisten nu voor elkaar hebben gekregen (dus in samenhang met veel macht) is dat zij een soort imago hebben verworven, dat als zij met hun methoden iets beweren dat dat dan meer waar is dan elke andere betekenisgeving.

Maar als je de link tussen de materiele werkelijkheid en kennis / betekenisgeving als een machts-act ziet (ofwel als een zogeheten accomplishment;  iets dat je voor elkaar gebokst hebt) dan kijk je hier heel anders tegenaan. Dan is de wetenschappelijke bewering dat iets wetenschappelijk onderzocht en dus waar is hooguit éen waarheidsclaim;  en wel éen van de velen. Die dus moet concurreren met andere waarheidsclaims.

Dus stel dat een wetenschapper in een gesprek zegt: “dit is door mij onderzocht, bewezen en dus waar (evidence based)”. Jij als praktijkman reageert: “nou dat kun je wel roepen, maar mijn ervaring is toch heel anders. Wat ik zie is namelijk….”. Vervolgens ontstaat er een interactie. Waar jullie uiteindelijk op uitkomen is opnieuw een accomplishment: een ‘negotiated reality’ over wat er nou wel en niet ‘waar’ is. De Modernistische clou is dat zij bij dergelijke gesprekken er van uitgaan dat hun werkelijkheid / waarheid een geprivilegieerde waarheid is en dat ervaring, gevoel, intuïtie minder betrouwbaar en dus minder waar zijn.

 

De postmodernisten gaan dan nog verder. Zij stellen namelijk dat het claimen van de waarheid ‘omdat het wetenschappelijk bewezen is’ in feite dus een retorische onderhandelingstruc is, die over het algemeen behoorlijk succesvol is. Daarmee zetten de postmodernisten de ‘wetenschap’ dus niet op een geprivilegieerde plaats maar op een ‘symmetrische’ (zie hoofdstuk 3 van Het Et-cetera-principe) plaats. Een level playing field zoals dat tegenwoordig heet. En wat dan aan het eind van het gesprek als betekenis ‘emergeert’ is een product van interactie, waarin lokale machtsverhoudingen een zeer belangrijke rol spelen.

 

Dit als eerste verzameling met reacties op ‘evidence based’. Dat het dus een Modernistisch paradigma betreft waar je ook totaal anders tegenaan kan kijken.

 

Natuurkundige kennis transplanteren

Mijn tweede punt betreft de verwisseling van de natuurkundige, systemische werkelijkheid met de sociale werkelijkheid. De Modernistische wetenschapsparadigma’s zijn ontstaan in een tijd dat ‘onderzoek’ vooral betekende: ‘naar boven kijken: de hemel, de sterren, de zon, de planeten etc.’. Allengs is men (hetgeen natuurlijk buitengewoon knap was) allerlei wetmatigheden gaan ontdekken over hoe het heelal ‘werkt’. In verreweg de meeste gevallen kwam men uit op (wiskundige) modellen met lineaire causale relaties. En ook op modellen die tijdsonafhankelijk leken te zijn: ‘zo gaat het altijd’. En: ‘dit zijn de wetten van de natuur die vanaf de oerknal tot en met het einde der tijden gelden’.  Tijd- en contextloze wetmatigheden. Contextloos: de wetten van de zwaarte kracht (althans daar gaat men van uit) gelden zowel hier op aarde als op de maan als bij de verste sterrenstelsels aan de ‘rand’ van het heelal.

Het grote punt is nu dat men dit denken (lineaire causaliteiten en tijd- en contextloze wetmatigheden) een-op-een is gaan overplanten op de sociale wetenschappen. De psychologie voorop. Daarna de sociale psychologie. En ook fors de sociologie. En nu zeker ook de dominante onderzoeksscholen in de Managementwetenschappen.

Maar hier zit naar mijn mening een aantal fundamentele redeneerfouten in. Ten eerste is er bij mensen (laten we het daar maar even toe beperken) zeker niet altijd sprake van lineaire causale relaties. Een lineaire relatie is een proportionele relatie. Dus: als een grote verandering nodig is in een organisatie moet je een groot verandertraject opzetten. Bij een kleine volstaat een klein veranderdingetje. De praktijk wijst natuurlijk keer op keer op keer uit dat dit soort causale wetmatigheden helemaal niet op lijken te gaan. Een tweede punt van kritiek betreft de tijd- en contextloosheid van die wetmatigheden. Vindt men in een Modernistisch onderzoek eenmaal een ‘statistisch significante’ causale relatie (die overigens vaak alleen een correlatie is) dan wordt er verondersteld dat die relatie overal en altijd zo zal zijn. Dus in China, Frankrijk, Nederland en Cuba. En in de Middeleeuwen, nu en de toekomst. Ook dat wordt natuurlijk door de dagelijkse praktijk fors gelogenstraft.

Wat dit betekent is dat je voor de gedragswetenschappen eigenlijk een heel ander wetenschaps-paradigma zou moeten hanteren. Dat wordt her en der ook wel gedaan, maar tegelijkertijd worden al deze ‘alternatieve stemmen’ vervolgens enigszins weggedrukt omdat dat niet ‘mainstream’ is (lees: niet volgens de uitgangspunten van het Modernisme). Als je als praktijkmens dan nog tegen blijft sputteren, dan zegt de Modernist: kijk, wat ik zeg is gewoon bewezen (evidence based) en dus waar. Wat jij ervaart is hooguit ruis, is een uitzondering. Ons (ideaal-)model zegt hoe het ‘echt’ is.

 

Tweede punt van kritiek betreft dus de (wat mij betreft incorrecte aanname) dat je de Modernistisch natuurkundige wetenschapsfilosofie zomaar lock stock and barrel over kan planten naar de gedragswetenschappen.

 

Methode van onderzoek over veranderkundige interventies

De afgelopen decennia zijn er diverse onderzoeken gepubliceerd over de effectiviteit van bepaalde Veranderkundige interventies, waarbij dus ‘evidence based’ conclusies worden getrokken over de werkzaamheid en effectiviteit ervan. Een methodologische kritiek die je op dit type onderzoek kan geven is dat er naar mijn idee nooit sprake is van een standaard-BPR, Lean-traject of LSI, etc.. Daardoor kun je uitspraken over de effectiviteit van het ene traject niet zomaar overplanten op al de andere. Toch gebeurt dat soms (impliciet) wel.

Een volgend hieraan gelieerd punt van kritiek heeft te maken met het onderscheid on stage versus off stage gedrag. Veel veranderprojecten gaan gepaard met allerlei bijeenkomsten, sessies, trainingen, workshops die worden ingezet om de mensen in beweging te krijgen. Uitgangspunt bij dit onderscheid is dat je dergelijke bijeenkomsten zou kunnen beschouwen als gatherings to make sense (on stage): je zit met z’n allen bij elkaar, doet de voorgeschreven oefeningen en praat over die onderwerpen die op de agenda staan. En dat zal dan op een voorspelbare manier leiden tot een grotere veranderbereidheid, enthousiasme en commitment voor de verandering, het afnemen van de weerstand; – noem maar op. Maar tegelijkertijd is er natuurlijk ook sprake is van sensemaking about the gathering (off stage): datgene dat men wèrkelijk vindt, maar meestal niet plenair uit. Naar mijn idee (en eigenlijk ook wel overtuiging) is het niet zo dat datgene waar men on stage op uitkomt daarna per se ook de dagelijks ervaren realiteit is. Wat dit betreft ben ik behoorlijk gelouterd door mijn eigen ervaring: men doet braaf mee, vult de flipovers in etc. Maar bij de koffie-automaat blijkt dat er een totaal andere werkelijkheidsbeleving is dan dat men in de zaal laat zien.

Naar aanleiding daarvan ben ik de evaluatie- (en onderzoeks-)scores van deelnemers (en andere stakeholders) met een fikse korrel zout gaan nemen. Leuk voor de consultant, maar of het de echte betekeniswolken betreft: weet je gewoon niet. De vraag is dan nu: als iemand onderzoek doet bij een verandertraject dat men vaak ook zelf begeleidt (neem ik even aan), en het gaat over de effectiviteit van dat traject: wat is dan het meest vriendelijke en beleefde antwoord wat je als ‘change target’ aan  zo’n onderzoeker zou geven? En zal men vervolgens ‘in eigen kring’ precies op dezelfde manier over de effectiviteit van het verandertraject praten?

Met andere woorden: de evidence waarop de conclusies van het onderzoek wordt gebaseerd is in sommige gevallen vooral on stage-evidence en betreft niet de feitelijke betekenisgeving die men er in de dagelijkse werkpraktijk aan geeft.

 

Conclusie: evidence based of rhetorics based?

Vanuit de postmoderne optiek en ook vanuit de methodologische optiek zitten er dus nogal wat haken en ogen aan de claim dat iets ‘wetenschappelijk bewezen’ is; zeker als dat over zo’n polymorf verschijnsel als ‘organisatieverandertrajecten’ gaat. Tegelijkertijd is het gewoon zo dat onze hedendaagse Westerse maatschappij doordesemd is van het Modernistische (Neoliberale) denken. Waar je wat dat betreft ook rekening mee moet houden is dat het overgrote merendeel van de mensen geen clou heeft van al dit (in hun ogen) ‘gezwam’ over Modernisme en Postmodernisme Gelukkig maar, eigenlijk ;). Met als gevolg dat men zich erg snel laat meeslepen in de Modernistische discours.

Concreet: een opdrachtgever is op zoek naar een adviseur. Hij nodigt twee adviseurs uit. De ene zegt: “ik heb jaren ervaring en weet dat wat ik doe echt werkt’. De tweede zegt: “de werkwijze die ik hanteer, daar is wetenschappelijk van bewezen dat dat ook echt werkt”. In veel gevallen komt het tweede verhaal veel sterker en geloofwaardiger over. Uiteraard spelen tal van andere factoren ook een rol bij de uiteindelijke keuze van met welke adviseur men verder gaat (zoals persoonlijke klik etc.), maar je hebt toch duidelijk een forse streep voor als je zegt dat ‘de wetenschap’ heeft aangetoond dat jij gelijk hebt… De andere adviseur (die het dus van zijn ervaring moet hebben) heeft dan flink wat ‘goed te praten’.

Zo sterk werkt het Modernisme dus naar mijn idee nog steeds door. Zie in dit verband ook de grote adviesbureaus die als preferred supplier worden aangemerkt door overheidsorganisaties. Ook die adviesbureaus schermen met hoogleraren, onderzoek, wetenschap, relaties met universiteiten etc. Om (in feite meestal vooral symbolisch) maar aan te tonen hoe ‘evidence based’ men wel niet is… Met andere woorden: evidence based en wetenschap als de ultieme marketing tools

 

Thijs Homan