Onlangs verscheen dit filmpje op Dumpert.nl. Hierin figureert PVV-politica Lilian Helder die poogt in de Tweede Kamer te verdedigen dat het onderzoek waarin retrospectief wordt gekeken naar het nut van een taakstraf versus een vrijheidsstraf een niet valide manier van onderzoeken is. Helaas komt zij allerminst goed uit haar woorden en blijft ze hangen in eindeloos gehakkel “dat je persoon A niet met persoon B kunt vergelijken”. Dat ze later in haar betoog er ook nog eens appels, peren en koeien bijhaalt, doet haar betoog niet veel goeds. Maar dit betreft enkel de vorm waarin zij haar boodschap brengt. Een vorm die inderdaad te wensen overlaat. En daar wordt deze PVV-politica, toch geschoold in het recht, volledig op afgebrand. Het feit dat een PVV-politicus misschien ook nog wel eens de waarheid spreekt of iets zinnigs te melden heeft, zal ongetwijfeld een grote rol in deze onterechte hetze spelen.
Inmiddels rouleert het filmpje op internet op blogs en websites van serieuzere (kwaliteits)couranten zoals de NRC, waarin mevrouw Helder als een “domme PVV-miep” wordt afgeschilderd, al doen ze dat bij NRC in nettere bewoordingen. De PVV op deze manier in de hoek zetten is natuurlijk makkelijk scoren. Dat een serieuze krant voorbij gaat aan het feit dat mevrouw Helder wel degelijk een punt heeft valt toch een beetje tegen. Mevrouw Helder doelt in haar betoog namelijk op de slechte wijze waarop retrospectief onderzoek is uitgevoerd. En aan slecht uitgevoerd onderzoek mag je helemaal geen conclusies verbinden.
Randomized controlled trial
In de wetenschap is het de gouden standaard om een goede vergelijking te maken tussen twee zaken, wat kan variëren van het vergelijken van pil A met pil B tot het vergelijken van een taakstraf en een vrijheidsstraf, als je alle variabelen tot een absoluut minimum beperkt. Om dit te kunnen bereiken heeft het randomized controlled trial in het onderzoek de voorkeur om twee behandelingen, therapieën, methodes van aanpak en wat dies meer zij met elkaar te vergelijken. Om een taakstraf met een vrijheidsstraf te kunnen vergelijken is het noodzakelijk om twee groepen veroordeelden at random een taakstraf en een gevangenisstraf toe te wijzen, met een gelijkelijke verdeling (fify-fifty) van beider straffen. Vervolgens bekijkt de onderzoeker op een later punt hoe het de twee groepen is vergaan. Verder moeten de veroordeelden op alle punten overeenkomen: geslacht, leeftijd, afkomst, sociale omgeving, soort misdrijf et cetera et cetera. Dit laatste is al een ondoenlijke zaak. Een jongeman uit een klein dorp, die bij zijn ouders woont, en tijdens het uitgaan een andere jongen onder invloed van een lijntje coke op zijn gezicht slaat, is die wel vergelijkbaar met een stadsjongen, uit een eenoudergezin, die de nieuwe agressieve vriend van zijn moeder uit verdediging neerslaat? Theoretisch zouden ze op basis van misdrijf en leeftijd wel vergelijkbaar kunnen zijn en zo, in zojuist genoemde manier van onderzoeken, of een taakstraf of een vrijheidsstraf toebedeeld krijgen. Maar echt gelijk en verglijkbaar zijn ze niet.
Bovengenoemde wijze van onderzoeken in het strafrecht, de gerandomiseerde gecontroleerde trial, wordt bij mijn weten niet in het Nederlandse strafrecht uitgevoerd. Niet in het minst om de vele ethische bezwaren waar deze manier van onderzoek op stuit. Kunnen we, bij wijze van onderzoek, het lot van een veroordeelde overlaten aan de willekeur van het onderzoek? Dus rest het onderzoekers om het te doen met de gegevens die voorhanden zijn. Om vervolgens terug te kijken hoe het de gestraften vergaan is. Zo wordt er gekeken naar taakgestraften en hun levensverloop. Vielen ze terug in criminaliteit? Zo eveneens met degenen die van hun vrijheid beroofd werden.
Selectiebias
Die groepen zijn op voorhand, zelfs bij dezelfde soort misdrijf, niet gelijk. Maar ongelijke groepen zijn niet te vergelijken. Daarnaast speelt ook nog de selectie van wie een taak- en wie een vrijheidsstraf krijgt opgelegd een enorm belangrijke rol. Aangezien er geen onderzoekselement in het spel was bij het opleggen van de straf, heeft de rechter op basis van het individu gekozen voor ofwel een taak- ofwel een vrijheidsstraf. De kans is zeer groot dat de groep die een taakstraf krijgt, een groep is die geheel anders is dan zij die een vrijheidsstraf kregen. Mogelijkerwijs maatschappelijk stabieler, mogelijkerwijs nog nooit eerder in aanraking geweest met justitie, mogelijkerwijs een individu bij wie de rechter nog meer kans op maatschappelijk herstel ziet, etc. Kortom, bij het ‘selecteren’ van de groepen – wat onbewust optreedt door de keuzes die de rechters maken in hun strafzaken – ontstaan er twee totaal verschillende groepen veroordeelden. De groepen die al niet heel gelijk waren, worden nog ongelijker. In onderzoek noemen we dit selectiebias. Vervolgens wordt achteraf geprobeerd die twee groepen met elkaar te vergelijken. Maar door de initiële onvergelijkbaarheid van de groepen, aangevuld met een enorme berg ruis (de selectie-bias) die door de rechters wordt toegevoegd, is de vergelijking onmogelijk geworden.
Zo worden de appels met de peren vergeleken. En zolang de appels met de peren worden vergeleken, kunnen we geen enkele conclusie aan een onderzoek verbinden. En dat is waar mevrouw Helder van de PVV in haar betoog op doelt. Haar – helaas zwak geformuleerde betoog – getuigt dat zij juist wél kennis heeft van onderzoek en statistische methoden. Iets waar ze zelfs bij de kwaliteitskranten onvoldoende weet van lijken te hebben.
Angela Carper beweert geen criminoloog of strafrechtdeskundoloog te zijn, maar denkt wel met enige kennis van wetenschap en onderzoek iets zinnigs te kunnen zeggen over het betoog van PVV-politica Helder. Angela Carper is forensisch arts en verslavingsarts en schrijft over haar werkzaamheden op www.csidokter.nl
111 reacties op “PVV-Miep snapt statistiek wél”
Sorry, het reactieformulier is momenteel gesloten.
@crypto
Statistiek zegt iets over de kans op causualiteit.
Nee. Statistiek gaat over CORRELATIE. Verder NERGENS over.
Ik kan met statistisch onderzoek aantonen dat als het asfalt plakkerig is, het druk is op de cafe-terrassen.
Volgens de crypto’s van deze wereld is plakkerig asfalt dan de oorzaak van de terras-drukte.
Hoe meer onderzoeken die in de richting van causualiteit wijzen des te aannemelijker is het dat die causualiteit er is.
De voornoemde correlatie kan je ook met 100 onderzoeken aantonen, daarmee wordt het heus geen causaliteit, crypto!
En in het algemeen wordt (echte) wetenschap natuurlijk niet per consensus bepaald!
@Cryptocheilus
Jouw quote is uit het stukje reviews van eerdere onderzoeken en mijn quote direct daar onder is eigenlijk meer een verklaring waarom volgens de onderzoekers dat resultaat niet helemaal juist is en niet bevestigd wordt door experimental studies.
hun conclusie is dan ook:
In line with recent systematic
reviews, the results do not confirm the wide-spread assumption that short custodial
sanctions are harmful when compared to community service.
Waardeloos en onzin zeg ik nergens hoor over andere onderzoeken
overigens vind ik van dit onderzoek het stukje:
4.3 Social integration 10 years later according to tax payers’ records
vaag.
Moeilijk meetbaar begrip wordt aan getallen als scheidingspercentage en belastingaangifte gekoppeld, en dan zijn ook nog een hoop mensen na 10 jaar niet meer traceerbaar.
Hier valt denk ik wel een tegenargument te verzinnen.
Voor de rest heb ik het niet helemaal gelezen, krijg hier dan ook geen € 7.311,56 bruto per maand voor.
Wat de meeste nog steeds niet snappen is dat statistiek louter BESCHRIJVEND is.
Men kan met precies dezelfde resultaten uit het NL-onderzoek zeggen dat de rechters bij hun besluiten goed werk hebben verricht: er is namelijke een significante correlatie tussen degene die zij een taakstraf “waard” achten, cq een minder criminele inborst hadden, en de non-recidivisten!
De stilzwijgende premisse hierbij is dan dat recidive geheel dader-afhankelijk is en niet afhankelijk van de strafsoort.
En laat die premisse nou net worden bekrachtigd door het zwitserse onderzoek!
Derhalve is mijn uitleg van de statistische resultaten aannemelijker…
(Los van het feit dat zulks met gezond verstand al beredeneerd kan worden, natuurlijk…;)
@Crypto
Retrospectieve studies staan erg veel lager op de ladder van de ‘evidence‘. Dat weet iedereen in de wetenschappelijke wereld. Dat ze daarmee per definitie waardeloos zijn is onzin. Je moet er gewoon minder belang aan hechten.
Hm, je zou bijna zeggen dat retrospectieve studies dus niet geschikt zijn om iets “prima te meten”?
Ik meen dat iemand dat hier ooit beweerde….
As Walker et al. (1981) showed, however, it is simply impossible to control for all variables that predict court disposition as well as re-offending and that usually are unrecorded, such as drug-addiction, alcohol-related problem behavior, work record, and family climate. As they concluded, this type of systematic bias can only be overcome through experimental studies with a random assignment of subjects to different penal regimes.
Jahaaa!!!
Dus een groot deel van de sociologen ziet de meest evidente zaken over het hoofd, een iets kleiner deel toont met veel poeha die omissie aan en een nog kleiner deel gaat daar dan eindelijk wat mee doen…
Mkeee. Ik moet erg op mijn woorden passen zie ik.
@ Nico
I ken het principe van de cum hoc ergo propter hoc dwaling. Toch is de kans op causaliteit wel degelijk te onderzoeken en uit te drukken in statistiek. Statistiek zegt iets over de kans op causualiteit (@97). Ken uw klassiekers!
Je vermoeit me alweer (@104) met de verwijzing naar een uitspraak die ik niet in die context deed. In een Randomised Clinical Multicenter Trail zijn verschillende ziekenhuizen erg goed te vergelijken. Lees je eens in op de HSMR.
Ik denk niet dat we het fundamentaal oneens zijn Nico.
Grappig nietwaar? Dat zei ik ook al @97. We kunnen dus de conclusie van de onderzoekers aanvullen.
@ Goran
Achut. Goed. Omdat mijn reacties duurder zijn dan die van jou, hou ik het kort.
Maar wanneer je in de kamer zit, dan is alleen verstand van statistiek hebben niet voldoende! Daar gaat het toch om debatteren?
En mw Helder komt dan wel HEEL erg ongelukkig uit haar woorden. Ik geloof er dan ook helemaal niets van dat zij begrijpt waar het over gaat.
Een dappere poging van de auteur om het gefaal van mevrouw Helder recht te praten, maar helaas incorrect. Want als je naar de eerste 15 seconden luistert (wat de eerste vragensteller ook goed gedaan heeft), kun je opmaken dat een van de redenen waarom de PVV-miep geen (of minder) taakstraffen bepleit het terugdringen van recidive is. En als je groepen verschillend gestraften niet met elkaar kunt vergelijken (zoals zij beweert, en waar in principe inderdaad wat voor te zeggen is), is het voorstellen van deze maatregel dus per definitie ook onzinnig, omdat je niets kunt zeggen over de effectiviteit ervan. Oftewel: een dappere poging, maar het blijft gefaal van deze dame.
[...] wisten precies hoe het zat: Helder is dom en begrijpt niets van onderzoek. Zoals Angela Carper deze week op DeJaap al duidelijk maakte, is dit zeer de vraag: Helder’s woorden kunnen ook gezien worden [...]
Waar ik nieuwsgierig naar ben is welke variabelen als leeftijd, achtergrond, strafblad, gedrag in de rechtszaal etc. er meegenomen zijn in het onderzoek. Heeft iemand hier het gelezen?
Ik vond alleen dit elders:
Het betreft hier een onderzoek gepubliceerd in het Tijdschrift voor Criminologie, er zijn meer dan zeven duizend daders van achttien tot vijftig jaar gevolgd die in 1997 een werkstraf kregen opgelegd. Deze groep is acht jaar lang vergeleken met de ruim 3500 daders die in 1997 van de rechter een gevangenisstraf van maximaal zes maanden kregen.
de onderzoekers zélf in hun onderzoeksverslag: blz 346: ‘It is also important to note that in the end our results are not based on a random experiment whereby offenders were randomly assigned to either community service or imprisonment. Therefore, caution is warranted when interpreting these results in terms of causality. Studies using observational data always remain vulnerable to hidden bias resulting from unobserved variables. Conducting true experiments that introduce randomness in the sentencing decision thus remains desirable.’