Ontwricht Ploumen ontwikkelingshulp door onzichtbare output?

Ploumen slaat ezels

Ploumen slaat ezels

Op 29 september 2014 schreef minister Ploumen een brief aan de Tweede Kamer met het onderwerp ‘Voortgang prioritaire thema’s ontwikkelingssamenwerking’. Na enig speurwerk blijkt dat Ploumen bewijsvoering voor ontwikkelingshulp negeert als tool om output aan te tonen. Het ministerie stelt namelijk dat 2,5 miljoen mensen toegang hadden tot sanitaire voorzieningen en 2,1 miljoen mensen tot veilig drinkwater maar ze kunnen deze getallen niet hard maken. Kortom ze claimen maar wat. Er wordt voorts niets gezegd over de aanschaf van wat bonnetjes over €30 miljoen beweren. Tenslotte is er iets met 30.000 cacaoboeren en schaduwbomen: bestaan ze nou wel of niet? Wat is er aan hand? En zijn er ook lichtpuntjes? Ik nodig u uit om dit artikel te lezen. 

De vijf domeinen

Wat bevat een goede evaluatie? Vooraf moet ik twee dingen stellen. Ten eerste vormen de genoemde onderdelen één geheel en indien er één ontbreekt dan betreft het een incompleet pakket. Ten tweede heb ik alle genoemde domeinen nimmer bij elkaar in één evaluatie gezien.

Een projectassessment bestaat uit drie hoofdbestanddelen, te weten een kwalitatief deel, een kwantitatief deel en een boekhouding. Deze zijn op te splitsen in meerdere domeinen die ik gemakshalve nummer.

Het kwalitatieve onderzoek bevat beweringen, uitgewerkte interviews, peer reviews (I). Persoonlijk vind ik dit een nietszeggend gedeelte omdat het niets bewijst maar slechts ‘stelt’. Het betreft een illustratief niveau.

Het kwantitatieve onderzoek staaft datgene wat gezegd wordt in het kwalitatieve gedeelte (II), in het track record van de NGO (III) en in de output/outcome van een betreffende project (IV). De boekhouding betreft een samenvattend overzicht waaronder uitgewerkte details ten grondslag liggen (V). Indien een boekhouding überhaupt al openbaar is, dan is dat slechts een financieel overzicht van één A4’tje en de lezer kan hier eigenlijk niets mee.

De drie methodieken van onderzoek

Er zijn drie methodieken van onderzoek van belang, te weten ‘telling’, ‘trace the start’ en een ‘steekproef’.

Bij alle vijf genoemde domeinen is telling (A) van belang (meer weten over ‘telling’? lees: Grootschalige MFSII-evaluatie o.l.v. Wiebe Bijker beweert zonder te bewijzen). Met name de unique selling points uit het track record van een NGO worden nimmer onderzocht. Deze worden tot nu toe eigenlijk alleen maar zonder toezicht aangenomen en komen voornamelijk voort uit domein I. Een telling van domein IV is ook zeldzaam, maar een telling van wat aan bonnetjes wordt overlegd is eveneens uniek. Er is een professionele handel aan nepbonnetjes in ontwikkelingslanden en boekhouders zijn niet opgeleid om de hard en software achter de bonnetjes te zien, te fotograferen of anderszins vast te leggen. Kortom, op alle domeinen moet een telling plaatsvinden.

Wat ik met node in evaluaties mis zijn sporen naar het beginpunt. De afgelopen 25 jaar heb ik alleen maar evaluaties gelezen waarbij ik alles maar moet aannemen. Er zijn geen sporen voor de lezer achtergelaten die te controleren zijn. Statistiek, boekhouding, peer reviews: je moet alles maar aannemen wat in evaluaties, documenten en nota’s staat. Er zijn geen te controleren onderdelen die het kwantitatieve onderdeel zodoende bewaken. De stroom van projecten/gelden binnen ontwikkelingssamenwerking bestaan uit afgeschermde bunkers die rigide beheerd worden door ambtenaren. Alles wat daar uitkomt is ‘waar’ en er is geen zelfregulerend controlemechanisme zoals een vrije toegang van buitenaf. Indien je alles openbaar houdt dan faciliteer je een autonome kwaliteitszorg. Voorbeelden van sporen van de weg terug zijn duidelijke lijsten met name van mensen die voordeel (zorg, service, faciliteiten, etc) hebben gehad aan de hulp, gps-coördinaties van infrastructuur, contracten met onderaannemers, bewijslast achter bonnetjes. Als onderzoeker of journalist kan ik dan makkelijk het verhaal controleren (en dientengevolge soms bevestigen, soms tegenspreken). Hoe meer sporen naar het beginpunt terug te vinden zijn in een evaluatie, hoe betrouwbaarder de onderzoekers zich opstellen. Gemakshalve noem ik de techniek ‘trace the start’ (B).

De meeste evaluaties kiezen slechts één of twee van de genoemde domeinen (met name het kwalitatieve onderzoek is al 50 jaar hot) en werken deze in de breedte uit. Doordat deze documenten zijn geschreven aan de hand van een incompleet arrangement aan technieken, worden de onvolkomenheden eigenlijk alleen maar uitvergroot (zoals de 8000 pagina’s van Wiebe Bijker). De breedte van één domein is niet interessant omdat schaalvergroting de imperfectie van onderzoeGrafische weergavek (en dientengevolge de conclusies) uitvergroot in al zijn hoedanigheden. Een juiste strategie behelst steekproeven op alle genoemde domeinen. In mijn optiek is dit veel minder werk waarbij je ook meer bewijst. Ik zie het als een flat met meerdere verdiepingen waarbij je een kort bezoek brengt op alle verdiepingen en niet 8000 pagina’s rondzwerft op één verdieping. Of anders gezegd: Bijker verbleef slechts in de groene linkerbovenhoek van de grafische weergave en in mijn ogen is dat een ernstige denkfout. De basis van dit artikel betreft de kracht van het werken met een (grove) steekproef (C), bij voorkeur in verschillende domeinen.

Een mix van deze vijf domeinen en drie methodieken van onderzoek ga ik uittesten op de brief van Ploumen. U zult zien hoe makkelijk het is om resultaten met significante conclusies boven water te krijgen.

Mijn onderzoeksvragen n.a.v. de brief van Ploumen

In de brief van 29 september 2014 aan de Tweede Kamer met het onderwerp ‘Voortgang prioritaire thema’s ontwikkelingssamenwerking’ schrijft Ploumen: ‘De bereikte resultaten op de prioritaire thema’s stemmen positief. Om een aantal substantiële voorbeelden te noemen: 2,5 miljoen mensen kregen met Nederlandse steun toegang tot sanitaire voorzieningen en 2,1 miljoen mensen tot veilig drinkwater. Ruim 3 miljoen boer(inn)en hebben hun positie versterkt via organisatievorming, kennisoverdracht en verbeterde wet- en regelgeving. In vier partnerlanden werden 1,6 miljoen landrechten uitgegeven, waarvan een kwart aan boerinnen. Meer dan 2 miljoen mensen in ontwikkelingslanden hebben toegang gekregen tot hernieuwbare energie voor schoon koken en elektriciteit, wat veel winst oplevert voor vrouwen en arme huishoudens. Nederland heeft bijgedragen aan meer kennis onder jongeren over seksuele gezondheid, grotere beschikbaarheid van anticonceptie en aidsremmers en aan de daling in moedersterfte en sterfte aan hiv/aids.’

Het onderliggende document Voortgang prioritaire thema’s ontwikkelingssamenwerking 2013 (doc. A) telt 33 pagina’s en zit vol met teksten zoals hierboven is geciteerd. Het zijn verwoordingen van statistiek uit separate documenten die ‘bijlagen’ heten, te weten Resultaatfiches ambassades en themadirecties‘ (47 documenten) en ‘Landenfiches partnerlanden‘ (15 documenten). In het totaal 63 documenten. Om een juist beeld te vormen heb ik uit de eerstgenoemde bijlage Acra – Food security 2013 (doc. B) geopend en uit de tweede genoemde bijlage heb ik het document Afghanistan (doc. C) geopend. De reden voor deze keuze is simpel want ze staan alle twee bovenaan de lijst.

Uit de genoemde documenten neem ik als steekproef steeds één detail uit en deze zullen als thermometer dienen of de missie van Ploumen geslaagd is.

  • doc. A: ‘De belangrijkste bijdrage van Nederland aan de watersector betrof de voorzieningen die tot stand kwamen op het gebied van drinkwater, sanitatie en hygiëne: 2,5 miljoen mensen kregen met Nederlandse ondersteuning toegang tot sanitaire voorzieningen en 2,1 miljoen mensen tot veilig drinkwater.’ (pagina 2)
  • doc. B: ‘Total expenditure Embassy € 29,964,000.’
  • doc. C: ‘Number of farmers using recommended number of shade trees for cocoa production (…) Target 2015 = 30,000.’ (pagina 13)

Ik heb in een e-mail het ministerie gevraagd om antwoord te geven op de volgende vragen:

  • doc A: Hoe zijn deze getallen van 2,5 miljoen en 2,1 miljoen geteld en kan ik deze cijfers controleren?
  • doc B: Hoe kan ik de uitgaven van dit bedrag controleren, zijn de bonnetjes openbaar?
  • doc C: Heeft er een telling plaatsgevonden van deze 30.000 boeren, waar staan ze en kan ik ze zelf ook tellen?

Daarbij heb ik zelfs beroep gedaan op de WOB.

Ontvangen resultaten

Antwoord op doc A:

‘De genoemde aantallen voor drinkwater en sanitatie (WASH) worden geteld op basis van de jaarlijkse voortgangsrapportages van de uitvoerende organisaties. Bij de start van een WASH-activiteit worden met de uitvoerder afspraken gemaakt over monitoring en indicatoren. De definities en criteria van het Joint Monitoring Programme van WHO/UNICEF vormen hierbij het uitgangspunt.

Tevens controleert Nederland de duurzaamheid van de gecreëerde WASH-voorzieningen met een ‘sustainability check’. Hierbij wordt een aantal jaren na de aanleg het functioneren van de voorzieningen door een externe partij gecontroleerd.

Tot op heden is bij het bijhouden van de voortgang gebruik gemaakt van traditionele inhoudelijke rapportages in documentformaat. Vanaf 2016 zal het Ministerie voor nieuwe activiteiten aan organisaties verplichten om digitaal over de voortgang van de activiteit te rapporteren via de IATI Standard. Hierdoor zal voortgangsinformatie digitaal, openbaar, en meer actueel en gestructureerd beschikbaar worden. Hierdoor worden zowel uitgaven als resultaten nog beter te volgen voor onder andere donoren, ontvangende overheden en andere belangstellenden.’

Antwoord op doc B:

‘In de bijlage (deze heb ik niet geüpload maar geïnteresseerden kunnen deze, afhankelijk van hun motivatie, van mij krijgen) vindt u een gedetailleerde beschrijving van de uitgaven van de ambassade in Afghanistan. Uitgaven worden onderbouwd en voorzien van de nodige brondocumenten, welke gearchiveerd worden. Bonnetjes worden niet openbaar gemaakt. Ter aanvulling wijs ik u graag op het gegeven dat ministers jaarlijks verantwoording afleggen aan het parlement over hun uitgaven door middel van de jaarrekening. In de jaarrekening zijn alle uitgaven voor de bedrijfsvoering en de uitvoering van het beleid van het ministerie van BZ en BH en OS opgenomen. Deze wordt jaarlijks gecontroleerd door de auditdienst van het Rijk en door de Algemene Rekenkamer. De auditdienst voorziet de jaarrekeningen van het ministerie al jaren achtereen van een goedkeurende verklaring. In het kader van deze jaarrekeningcontrole worden ook de uitgaven van ambassade Kaboel regelmatig aan een controle door de interne auditdienst onderworpen. ‘

Antwoord op doc C:

‘Het getal 30.000 betrof aantal boeren dat een verbeterde landbouwmethode toepast (namelijk het gebruik van een aanbevolen hoeveelheid schaduwbomen). Het getal is een target: gestreefd wordt naar het behalen van dit aantal boeren dat de verbeterde methode gebruikt. Het betreffende programma van onze counterpart Solidaridad is in de loop van 2014 op gang gekomen waardoor de aanvankelijke ambitie om het aantal van 30.000 boeren al in 2015 te bereiken is bijgesteld naar 2017. In de resultatenrapportage van 2014, die waarschijnlijk deze week verschijnt, zal bekend worden gemaakt dat ondertussen 5680 boeren deze methode toepassen. Mocht u daar belangstelling voor hebben, dan zouden we u in contact kunnen brengen met de lokale counterpart zodat u ter plaatse kunt verifiëren.’

Wat valt op?

  • Op mijn eerste vraag wordt totaal geen antwoord gegeven
  • Er zijn bij geen van de drie antwoorden bewijzen geleverd, er is geen sprake van telling.
  • Een viertal termen vallen op, te weten het Joint Monitoring Programme, de IATI Standard, de auditdienst van het Rijk en de Algemene Rekenkamer. Het betreffen vier complexe controlemechanismen maar indien ik hun websites bezoek krijg ik geen grip op de inhoud, laat staan op de inhoud van mijn vragen. Het idee van de IATI Standard beschreef ik in 2006 al eens, maar dit terzijde (ik kom hier in een later stadium op terug). De statistiek op de website van IATI Standard is ver weggestopt en ik heb niet het idee dat een track record wordt onderzocht maar wel de output van projecten. Geen idee of de getallen ‘waar’ zijn. Het zijn slechts getallen, zeg maar statistiek. Hoe krijg je die uit het systeem als het verzonnen is? Hoe worden deze getallen bewezen?
  • Het ministerie biedt mij in de laatste zin een ‘trace the start’ aan alhoewel het geen harde betreft. Een harde ‘trace the start’ bewijst eerst en zegt waar ik het kan vinden. Een softe ‘trace the start’ beweert iets en zegt als het ware ‘zoek het op plaats X zelf maar uit’. Ik vind het gebaar erg positief.
  • Het ministerie doet, binnen zijn kunnen, zijn best om mij antwoord te geven. Ik besef maar al te goed dat ik geen makkelijke vragen stel, ook al zijn ze concreet.

Ambtelijke cultuur

Uit ervaring kan ik drie pijnpunten uit het ambtelijke cultuur van ontwikkelingssamenwerking aan u overleggen.

Tweeënhalf kilometer aan 'peer reviews'

Tweeënhalf kilometer aan ‘peer reviews’

(1) Ik heb zes domeinen beschreven en ik wil een knieval maken voor telling ten aanzien van domein III (track record) omdat het in de praktijk ongeveer op de volgende manier verloopt:

  • NGO ‘RabarberRabarber’ verzint track record ‘imaginary’, bij voorkeur iets dat je moeilijk kunt tellen zoals bewustwordingstrainingen;
  • Vervolgens legt NGO ‘RabarberRabarber’ het als een eitje binnen het ambtelijke ontwikkelingssysteem waarna ze wacht en hoopt op ontpoppen;
  • De Nederlandse ambassade neemt track record ‘imaginary’ over;
  • Het ministerie en/of de geldgevende organisatie nemen track record ‘imaginary’ over;
  • De media nemen track record ‘imaginary’ over;
  • Dan komt een journalist met twijfels, kritische vragen en zwaaiend met de WOB ten tonele;
  • Het ministerie (soms vertegenwoordigd door het IOB) of de geldgevende organisatie wendt zich niet tot NGO ‘RabarberRabarber’ maar tot een ambtelijke autoriteit, de ambassade;
  • De ambassade bevestigt wat in hun stukken staat;
  • Indien de ambassade of geldgevende organisatie uitzonderlijk gedrag vertonen door zich te wenden tot NGO ‘RabarberRabarber’ dan blijkt de bewijslast voor track record ‘imaginary’ plotseling verdwenen door een inbraak (alsof een inbreker interesse zou hebben in data) waardoor de eerst gevonden notitie in het document van de ambassade leidend wordt;
  • Alle betrokken ambtenaren (ambassade, ministerie, geldgevende organisatie) zijn heilig overtuigd over het bestaan en de waarheid van ‘imaginary’, gewoonweg omdat het op papier staat en ze vinden het vreemd dat een kritische journalist vragen stelt naar een oorsprong dat niet meer te traceren valt;
  • Deze zogenaamde bevestiging over track record ‘imaginary’ wordt teruggekoppeld naar de journalist;
  • Track record ‘imaginary’ verschijnt wederom in alle media;
  • De media en alle genoemde actoren vallen NGO ‘RabarberRabarber’ nimmer meer lastig over welke vorm van track record dan ook waardoor track record ‘imaginary’ van NGO ‘RabarberRabarber’ een totalitair idee is geworden;
  • NGO ‘RabarberRabarber’ krijgt de Nobelprijs van de Vrede.

Nergens in het hele proces heeft een telling plaatsgevonden over domein III. Deze opsomming is overigens op waarheid berust en niets is verzonnen. NGO ‘RabarberRabarber’ is meerdere keren geëvalueerd maar onderzoekers bleven bij wijze van spreken altijd op één of twee verdiepingen van het flatgebouw en waarbij domein III immer onaangeroerd bleef. Sterker nog, na kritische vragen over het track record, werd NGO ‘RabarberRabarber’ slechts kwalitatief onderzocht waarbij de onderzoekers vanuit de geldgevende organisatie uit Nederland de opdracht kregen om track record ‘imaginary’ doelbewust te omzeilen(*). Het is mij niet duidelijk of het Joint Monitoring Programme, de IATI Standard en de auditdienst dezelfde valkuilen hebben. Er is veel onduidelijk. 

 Ontwikkelingssamenwerking: fraai van buiten, een bunker van binnen

Ontwikkelingssamenwerking: fraai van buiten, een bunker van binnen

(2) Mijn kritieken hebben geregeld tot Kamervragen geleid en de antwoorden van de dienstdoende minister zijn allemaal te herleiden tot het niveau ‘ambtenaar/afdeling X zei Y dus Z is waar’. Tegenbewijzen, eventueel met ‘trace the start’, worden nimmer gegeven. Een minister zegt niet: ‘kijk, hier is het bewijs’. Een minister geeft zijn antwoord van horen zeggen uit de derde, vierde, vijfde hand (van iemand die ergens in de vierde bulletpoint van hierboven instroomt). De financiële rapportages van partnerorganisaties worden door onafhankelijke, internationale accountants beoordeeld en gecontroleerd. Indien de controle daartoe aanleiding geeft kunnen aanvullende maatregelen (financial stocktaking, of forensic audits) worden genomen. Bij zaken als fraude is er sprake van een ‘zero tolerance’-norm. Ik heb echter nimmer bewijzen gezien waarbij de echtheid van bonnetjes worden bewezen en van insiders weet ik dat het ook niet bestaat. Het is prima dat een minister zich beroept op uitspraken van een ambtenaar maar dan behoren deze bewijzen openbaar te zijn en daar is geen sprake van. Een ambtenaar ziet een ambtenaar als bewijs en die laatstgenoemde ambtenaar is nimmer een ambtenaar die bewijzen heeft door een telling over een track record of output. De ambtenaar die de minister adviseert beroept zich tot rapportage die niet of deels openbaar zijn. En zo komen we weer uit op de eerder genoemde afgeschermde bunkers die rigide beheerd worden door ambtenaren. Dit systeem maakt het makkelijk voor NGO’s zoals ‘RabarberRabarber’ om een track record te verzinnen en deze als eitjes in het systeem te deponeren.

IOB(3) Buitensporig is het feit dat het IOB slechts opdracht heeft om zich te richten op boekhoudkundige rapportages en totaal niet op een track record of output. Ze beweren overigens het tegenovergestelde maar in de praktijk werken ze anders. Ze hebben alleen interesse in een track record of output indien de financiën niet kloppen, maar dat is het probleem: die kloppen altijd. In 2009 zat mevrouw Van Asch van het IOB als getuige bij een gesprek tussen mij en een MFS waarin ik de output bekritiseerde van een project. Toen ik met haar naar buiten liep vroeg ik wat ze er mee ging doen maar ze had geen interesse in de output, als de boekhouding maar klopte. Ze adviseerde me om er maar een boek over te schrijven. Echter, in mijn optiek gaat het om de waarheid achter elk bonnetje en daar had ze geen oren naar. Vanuit de hoek van het IOB hoef je geen bijstand te verwachten.

Conclusies

1.  C o n c l u s i e s   o n d e r z o e k 

Terug naar minister Ploumen. Ik heb middels de WOB het volgende in de pocket:

  • één softe ‘trace the start';
  • nul ‘telling’ op output;
  • nul ‘telling’ op boekhouding, alleen een overzicht met getallen;
  • nul ‘telling’ op track record;
  • 63 documenten vol met, wat dientengevolge betiteld kan worden als, ‘imaginary’

Door deze opsomming kan ik nu het volgende concluderen:

  • conclusie 1: de steekproef toont aan dat er onvoldoende bestaansrecht is van alle beweerde output van de 63 documenten.
  • conclusie 2: de steekproef prognotiseert dat de kwaliteit van het gehele beleid van OS ernstige gebreken zullen vertonen.

Ik mis op alle fronten een telling op elk van de vijf domeinen waardoor ik als kritische onderzoeksjournalist afvraag wat ‘waar’ is.

Haar documenten bevatten geen sporen voor ‘trace the start’ waardoor ik als kritische onderzoeksjournalist afvraag hoe betrouwbaar de makers van de documenten zich opstellen. Via het ministerie ontvang ik wel een ticket voor ‘trace the start’ en wellicht is het handig om dit uit te vlooien.

Om de vragen te beantwoorden die ik gesteld heb bij doc A, B en C heb ik mager resultaat ontvangen. Mijn vraag bij doc A wordt beantwoord met het invliegen van instanties als het Joint Monitoring Programme en de IATI Standard, maar de vraag wordt niet opgelost. Dientengevolge moet ik stellen dat het ministerie niet kan aantonen of 2,5 miljoen mensen toegang hadden tot sanitaire voorzieningen en 2,1 miljoen mensen tot veilig drinkwater.

Er zijn voor doodgewone burgers geen bonnetjes te traceren over € 30 miljoen, laat staan of er bewijzen zijn over de aanschaf wat bonnetjes beweren. Ook hier worden gewichtige instanties ingevlogen, namelijk de auditdienst en de Algemene Rekenkamer. Termen als WASH, ‘sustainability check’, ‘goedkeurende verklaring’ en ‘jaarrekeningcontrole’ geven aan dat de zaken serieus genomen worden. Bonnetjes zullen achter de coulisse er best zijn maar ik wed dat er nul bewijs is of dat wat op de bonnetjes staat ook bestaat. Bonnetjes tellen vind ik niet interessant. Ik wil weten of dat wat op een bonnetjes staat ook bestaat. Daar hoor je nimmer iets over.

De schaduwbomen heb ik kennelijk verkeerd begrepen maar ze spreken over een target van 30.000 bomen in 2015. Het leek mij duidelijk. Het ministerie schrijft mij verder: ‘Het getal 30.000 betrof niet het aantal bomen, maar het aantal boeren dat een verbeterde landbouwmethode toepast (namelijk het gebruik van een aanbevolen hoeveelheid schaduwbomen).’ Ik weet nog steeds niet hoeveel bomen er nu zijn. Ik heb wel een antwoord maar geen uit de discipline telling. De kwetsbare opstelling van ‘trace the start’ vind ik uniek en daar spreekt betrouwbaarheid uit.

2.  C o n c l u s i e s   a m b t e l i j k e   c u l t u u r 

Ploumen kan natuurlijk alle kritiek met één zin van zich afwimpelen met een argument in format ‘ambtenaar/afdeling X zei Y dus bewering Z van Sluijter is niet waar’. Ik daag haar uit om te antwoorden in bewijzen met volledige openheid van zaken, met telling en met meer (harde) tickets naar ‘trace the start’. Slechts dan zal ik haar geloven want ambtenaar/afdeling X die Y zegt, en daarmee Ploumen adviseert, leest slechts op wat hij/zij op papier kan vinden.

Ploumen omhelst haar onzichtbaar vriendje

Ploumen omhelst haar onzichtbaar vriendje

Helaas moet ik besluiten dat Ploumen er niets van begrijpt. Ze heeft een prachtige carrière doorlopen maar haar CV laat voornamelijk zien dat ze in ivoren torens in Nederland en Londen heeft gewerkt (topdown). Indien je de werkwijze van mensen in het Zuiden echt wilt doorgronden dan moet je daar belangeloos geleefd hebben. Ploumen heeft haar riedeltje uit haar CV prima opgevoerd maar ze mist enige begrip en notie over hoe mensen in het Zuiden omgaan met ‘de waarheid’ vs imaginaire verzinsels (lees: Grootschalige MFSII-evaluatie o.l.v. Wiebe Bijker beweert zonder te bewijzen).

Wat ik tevens mis is het volgende. In het antwoord vanuit het ministerie zaten ingrediënten van goedheid, welwillendheid en betrouwbaarheid. Wat Ploumen en het ministerie niet door hebben is dat de weg van geld vragen en geld geven makkelijk gevonden wordt maar de weg naar ‘wat heb je met mijn geld gedaan?’ ingelijst wordt in termen als Joint Monitoring Programme, IATI Standard, auditdienst, Algemene Rekenkamer, WASH, sustainability check, goedkeurende verklaring en jaarrekeningcontrole. En daar komt de nog de ambtelijke term ‘eenduidige (standaard)indicatoren’ bij want in de genoemde brief aan de Tweede Kamer schrijft Ploumen:

‘Impactstudies (ex-post) kunnen door een zorgvuldige analyse aantonen in hoeverre de resultaten hebben geleid tot de gewenste veranderingen op lange termijn. Het vaststellen van de juiste indicatoren (die een goede aanwijzing geven en waarvoor betrouwbare gegevens bestaan) is werk in uitvoering. Internationale organisaties (VN, EU, New Deal for Engagement in Fragile States) zoeken naar praktische en eenduidige (standaard)indicatoren die voortgang in beeld kunnen brengen. Nederland wil hier zo veel mogelijk bij aansluiten zodat in partnerlanden geen parallelle monitoringssystemen ontstaan.’

Allemaal stoere taal, stoere begrippen…maar ik kom graag op voor de normale burgers die (A) hier niets van begrijpen en (B) dit hele verhaal als een enigma zien die ze moeten ontvouwen. En dan heb ik nog maar drie vragen gesteld. Het wordt veel te complex gemaakt en qua bewijslast heb ik intussen nog steeds niets in mijn handen.

vanaf het CS Amsterdam: 2376 meter hemelsbreed door het centrum

vanaf het CS Amsterdam: 2376 meter hemelsbreed door het centrum

3.  C o n c l u s i e s   t . a . v .   d i t   o n d e r z o e k

De thermometer van de steekproef heeft voldoende gewerkt zodat ik geen 8000 pagina’s à la Bijker nodig heb. Ik ben in circa 4000 woorden klaar (10 pagina’s) en ik heb hardere conclusies. Om deze verhouding illustratief te maken: indien je 10 pagina in de lengte legt dan komt je uit op nog geen drie meter terwijl je met 8000 pagina’s uitkomt op 2376 meter.

De techniek met de vijf domeinen en de drie methodieken van onderzoek laten zien dat je met relatief weinig werk veel boven tafel krijgt. Bovenal werkt de methode. Op deze manier zou ik ook NGO’s doorlichten en ik daag de overheid, onderzoeksinstanties en geldgevende organisaties uit om dezelfde daadkracht en transparantie te tonen.

Dit betreft een ‘eerste laag’-onderzoek, een onderzoek bij dé verantwoordelijke actor. Een ‘tweede laag’-onderzoek brengt mij tot analyse van de genoemde controle-instanties, meerdere ambtelijke termen, een NGO in Nederland en de handreiking naar de NGO in het Zuiden. Kortom, dan moet ik ze allemaal als een soort van hyperlink ontrafelen, bestuderen en bevragen (waarna ik weer genoodzaakt wordt tot een ‘derde laag’-onderzoek). Het is niet mijn doel geweest om alles uit te pluizen omdat de daadwerkelijke onderzoeksvragen mij niet interesseren. Mijn doel was om te kijken welke bewijskracht ik kon filteren bij een ‘eerste laag’-onderzoek en in hoeverre betrekkelijk eenvoudige vragen daarbij beantwoord konden worden. Ik kan stellen dat Minbuza 0% bewijzen heeft geleverd ten aanzien van mijn vragen. Ze hebben wel antwoorden op de vragen gegeven die weliswaar heel beredeneerd en politiek overkomen, maar ze sluiten totaal niet aan bij mijn onderzoeksvragen. Ik noem dat rabarbertaal, pure ruis die afleidt van de kern: de bewijslast. Minbuza moet die leveren, zonder doorverwijzing naar termen of instanties. In mijn optiek bestaat het anders niet. En ik heb beroep gedaan op de WOB dus meer dan dit is er niet. Dit is alle bewijslast dat Minbuza kan leveren ten aanzien van mijn vragen.

Tenslotte

Ik wil het ministerie bedanken voor hun medewerking. Wat ze aandragen zal juist (kunnen) zijn, ik heb daar geen grip op. Dat is helaas nu net het probleem. Ploumen doet er goed aan om er hapklare brokken van te maken voor de burger, met eenduidige bewijzen en niet met gemeende getallen. Indien je die vertaalslag voor de burgers niet kunt maken, verlies je geloofwaardigheid en draagkracht. Misschien zijn er in de ogen van velen geen onzichtbare vriendjes…prima…maar bewijs dat dan ook. Dit artikel toont aan dat de routekaart naar bewijslast binnen OS zo’n megalabyrint is, dat de ‘bewakers van de poort’ en de ‘houders van de sleutel’ de oplossing ook niet kunnen geven. Ploumen heeft nog veel werk te verzetten, maar ja…hier roepen de mensen al 50 jaar om.

Voorts zou ik graag een keer een onderzoek willen zien naar de echtheid van NGO’s in het Zuiden met keiharde telling. Maar ook de gemiddelde journalist spreek ik aan want statistiek wordt te makkelijk aanvaard. In het Zuiden rollen verzonnen tabellen te vaak uit vergaderingen en verschijnen vervolgens in allerlei flyers waardoor ze plotseling als waarheid worden aanvaard. Hoe vaker een imaginair verzinsel ergens wordt geciteerd (met name een citaat in het westen heeft een hoge geldigheid) hoe meer het gaat renderen en waarde krijgt totdat mensen het als een waarheid gaan zien. Als een ambtenaar het eenmaal ergens op papier heeft staan, krijgt je het niet meer uit het systeem.

Echter, als je een ezel vaak slaat wordt het geen paard. Zelfs niet met een Nobelprijs.

Portret 2AUTEUR:

Drs. H.R.J. Sluijter

(*) Na meerdere serieuze doodsbedreigingen vanuit NGO ‘RabarberRabarber’ zijn deze artikelen, die een tijdsbestek van 15 jaar bestreken, van de site gehaald. Minbuza weigerde overigens hier iets mee te doen.
NGO Rabarber