MOEC en DANIDA

Ooit heb ik het Primary Education Programme (PEP) van DANIDA mogen evalueren. Via het Tanzaniaanse Ministery of Education and Culture werd het programma uitgevoerd om de gebouwen, docenten en leermiddelen van basisscholen te verbeteren. De evaluatie had een kwalitatief en kwantitatief onderdeel (statistiek). Ik bezocht 20 basisscholen uit het PEP-programma en als controlegroep 20 nabijgelegen basisscholen die geen hulp via PEP kregen. Uit het kwalitatieve deel kwam het tegendeel uit vergeleken met het kwantitatieve onderzoek. Eigenlijk kon ik stellen dat mensen gepassioneerd spraken over verbeteringen maar toen ik ging kwantificeren zag ik een andere uitkomst. Uiteindelijk werd mijn onderzoek in de doofpot gestopt. Natuurlijk. Er kwam een vervolgevaluatie die wel helemaal kwalitatief was…en positief.

Ik zet voor u de kwantitatieve formules uiteen. Daarbij maakte ik onderscheid tussen ‘efficient’ en ‘effective transition rates’ van de groepen std. I tot IV. De basisschool in Tanzania duurt van std. I tot en met VII, maar in deze evaluatie is alleen naar de eerste vier leerjaren gekeken. Efficiënt is een meting met tijd, effectief met middelen. ‘Transition’ betekent ‘overgang’.

Efficient transition
De ‘efficient transition’ is een indicatie van de kinderen die de basisscholen afmaken in verhouding met de tijdsduur die kinderen daar voor nodig hadden. Laten we gemakshalve uitgaan dat 100 kinderen elk 300 dagen per jaar nodig hebben voor std. I tot IV. Samen hebben zij 120.000 dagen nodig. De coëfficiënt wordt dan:

120.000/120.000 = 1

Als er elk jaar 100 zittenblijvers zijn, dan wordt de coëfficiënt:

240.000/120.000 = 2 (minimale efficiëntie)

De coëfficiënt ligt, voor nu, dus tussen de 1 en 2 in.

Effective transition
De ‘effective transition’ is een indicatie hoeveel kinderen de basisschool hebben afgemaakt. Als ik dezelfde 100 kinderen en 300 dagen per leerjaar van std. I tot IV in acht neem, hebben zij tezamen120.000 dagen nodig. Bij nul dropouts (uitvallers) krijg je een coëfficiënt van:

120.000/120.000 = 1 (maximale efficiëntie)

Maar als 100 kinderen na de eerste lesdag allemaal uitvallen krijg je de volgende coëfficiënt:

100/120.000 ≈ 1 (minimale effectiviteit)

Equivalent
Om de ‘efficient transition’ en de ‘effective transition’ equivalent aan elkaar te maken is de volgende formule gebruikt:

1 – ( E2T – 1 )

E2T = efficient transition

Wanneer de ‘efficient transition’ bijvoorbeeld 1,750 is, dan krijg je als uitkomst:
1 – ( 1,750 – 1) = 0,250
Je krijgt dan voor beide waarden (de ‘efficient transition’ en de ‘effective transition’) een getal tussen de 0 en de 1, waarmee je correlaties kunt berekenen.

Total transition
Je kunt zelfs een gemiddelde ‘transition rate’ berekenen, waarbij de optelsom van de ‘efficient transition’ en de ‘effective transition’ gewoonweg door 2 gedeeld wordt.

Je krijgt dan:

E1T = effective transition
E2T = efficient transition

coëfficiënt = (E1T + E2T)/2

We hebben de formule 1 – ( E2T – 1 ) gezien en daarmee kunnen we de formule detailleren.

coëfficiënt = (E1T + 1 – ( E2T – 1))/2

Vervolgens gaan we E1T + E2T detailleren. Ik maak gebruik van de volgende codes:

m1: Minimum aantal dagen dat alle kinderen op school moeten zijn van std. I tot IV
m2: Minimum aantal dagen dat alle kinderen op school moeten zijn van std. I tot IV
r1: Reële aantal dagen: minimum aantal dagen dat alle kinderen op school moeten zijn van std. I tot IV, minus de dagen van absentie van de dropoutkinderen
r2: Reële aantal dagen: minimum aantal dagen dat alle kinderen op school moeten zijn van std. I tot IV, plus de extra dagen van de zittenblijvers.

De berekening van de coëfficiënt ziet er dan als volgt uit:

coëfficiënt =((r1/m1)+1-((r2/m2)-1))/2

Alle onderwijzer op de basisscholen van Tanzania houden zogenaamde ‘School Admission Registers’ bij. Daaruit kon ik vrij snel data halen. Het leidde tot 39 tabellen en grafieken die talrijk waren aan correlaties. Vervolgens nam ik een enquête af onder 248 onderwijzers verdeeld over dezelfde 40 scholen. De vragen waren zo opgebouwd dat ik er statistiek uit kon halen. Dit leidde tot 9 tabellen. Dergelijke data zijn minder hard dan harde data uit School Admission Registers.

Ranking
De ‘efficiënt transition’ is een getal tussen de 0 en de 1, waarbij 0 betekent dat alle leerlingen vier keer zijn blijven zitten. In de praktijk komt dit natuurlijk niet voor. Realistischer is dat een kind één keer blijft zitten. Het minimum coëfficiënt is dan 0,750. Voor een betere spreiding tussen de 0 en 1 kan ik de afname met het getal 4 vermenigvuldigen. Daar had ik niet voor gekozen.

Vervolgens heb ik waarden gekoppeld aan bepaalden scores, de zogenaamde ranking. De laagste coëfficiënt die ik vond voor de ‘effective’ en de ‘efficient transition’ betrof 0,800. Derhalve gaf ik de volgende ranking aan scores:
* 0,800 tot 0,900 zware onvoldoende
* 0,900 tot 0,990 onvoldoende tot gemiddeld
* > 0,990 voldoende

Onderwerpen
Tijdens mijn bezoek aan de 40 scholen kwam ik twee keer onaangekondigd. Bij één van die twee moesten de kinderen voordat ze ’s ochtends de klas binnen mochten komen, buiten in een rij wachten totdat iedereen aan de beurt was geweest om met een lange riet keihard op de handen geslagen te worden. Kinderen werden als wilde dieren getemd zodat ze zich zouden onderwerpen. Bij de andere van die twee scholen werd tijdens het interview met het schoolhoofd in een vertrek ernaast een kind totaal afgerammeld. Het leek wel op martelen. Het kind schreeuwde het uit. Misschien was dat wel de reden waarom PEP niet hielp. Je kunt docenten opleiden, nieuwe materialen kopen en mooie schoolgebouwen neerzetten, maar als je die cultuur er niet uithaalt, presteert geen enkel kind. Stel u zich voor als uw kind in Nederland op school door docenten bij regelmaat wordt afgerost; dat heeft toch een gigantische traumatische impact? Toen ik een professor, die samenwerkte met het Ministery of Education and Culture (MOEC), daarover vragen stelde, kreeg ik een agressieve aanmaning dat ik mij daar niet mee mocht bemoeien. Het was de cultuur van het land. Ik moest me richten op de inhoud van mijn opdracht. Ik eindigde mijn evaluatierapport met een oproep aan eenieder die het zou lezen om te stoppen met het slaan van kinderen. MOEC was daar niet blij mee. Jammer dan.

Ik wil aan u meegeven dat kwantificeren echt mogelijk is, ondanks weerstand van Nederlandse organisaties. Ik kan u vertellen dat de vervolgevaluatie die na mijn studie werd ondernomen niet alleen kwalitatief van aard was, maar ook dat er aan nul kinderen is gevraagd wat zij nu wilden. Personen met veel publicaties op hun naam, met veel titels, met een enorme reputaties, met ongekende bekendheid binnen die wereld en een met dosis CV gevuld met bekende VN-achtige organisaties komen in de vervolgevaluatie aan het woord. Men was positief over PEP en het onderwijs in Tanzania. Wat een theater. Tien jaar later is het onderwijs in Tanzania nog steeds een puinhoop. De docenten lynchen nog steeds hun kinderen. De mensen die in de vervolgevaluatie aan het woord zijn hebben allemaal een nog grotere carrièremove gemaakt. In mijn optiek liften ze over de ruggen van de kinderen naar de top van hun status. Soms denk ik wel eens: ontwikkelingssamenwerking is zo ziek, is er geen hulpprogramma voor ontwikkelingssamenwerking?

OLD SCHOOL

Dit artikel is ‘old school’ en is gepubliceerd tussen 2008 en 2010 via de oude site van NL-Aid of Updaid (de voorloper van NL-Aid).

AUTHOR: Drs. H.R.J. Sluijter
URL: www.NL-Aid.org
E-MAIL: info [at] www.NL-Aid.org

System thinking in quadrants

In order to measure aid organisations (bilateral, multilateral, donors, NGOs) I would like to present my personal quadrants.

Quadrant

The quadrants are divided by two axes. On one side I have put qualitative reports and on the other side quantitative reports. In my opinion; qualitative is the same as to inform and quantitative is the same as to determine. This is also known as a statistical research. Samples are collected and statistics are calculated from the samples so that one can make inferences or extrapolations from the sample to the population. Statisticians ussually work with SPSS.

On the other axis I have placed closed and open with each other. Closed means that aid organisations do not inform citizens about the progress of cooperation/assistance. Open means that aid organisations use media as a transport ship to inform citizens. This leads to four quadrants: qualitative-open, open-quantitative, quantitative-closed and closed-qualitative.

To get more differentiation in each quadrant, I halved each quadrant by sub-axes. The first is evidence vs no evidence. Evidence lies close to quantitative and open.

The second is focussed on public vs focussed on output. Some aid organisations want to look good on the public mass, others prefer to focus on the actual output. Thus, the pizza slices occur.

Pizza slices (see image at the top):

1. Information: Aid organisation that informs the public.
2. Support: Aid organisation who finds it important to create support.
3. Example: Aid organisation who finds it important to set an example for other aid organisations.
4. Opinion:: Aid organisation that wants to play the public opinion by providing performance data.
5. Focus: Aid organisation with high priority for proven output.
6. Effective: Aid organisation that only wants to prove to himself and to his stakeholders. There is no responsibility outwards.
7. Hide: Aid organisation that shows nothing and is closed to the public. Data is not publicly available. Evidence is difficult to obtain
8. Appearance: Aid organisation that occurs differently than reality.

Aid organisations like Doctors Without Borders, UNICEF and WWF regularly put articles on their site. Their object can be placed in the quadrants information and support. I can not find any evidence to confirm the content of these articles. Some aid organisations open a tangle of bureaucracy that need to be solved before receiving poor information. It is a discouragement and a sign of ignorance. Examples are the EU, the Dutch Ministry of Foreign Affairs and Development Cooperation.

In my view, Top right is the place for most Dutch aid organisation and Top left for most NGOs in the South. Unfortunately, too few aid organisations can be classified into the bottom left and right areas. In my view, aid organisations and NGOs need to make a shift to the bottom end of the circle.

Devil’s Triangle

One of the basic principles about Project Management is the concept of the Devil’s Triangle (read more on Wikipedia). There are three stakeholders on a triangle: time, cost, quality.

The basic question you need to ask is: which stakeholder is the most important target in your aid project?

Example 1: if one would choose quality for a certain project, you will loose stakeholder cost and time. In other words: it will take more time and financial investment.

Example 2: if one would choose quick results (time), the costs will go up and the quality will go down.

Example 3: projects with low cost will have lower quality and need more time to process.

Depending on the strategy, one can choose a spot in any place in the triangle areas: centered, left-aligned, midway between two corners, et cetera. Choose a far corner, and the other stakeholders will drop rapidly. Right in the middle of the triangle seems like a nice balance, but every stakeholder will partially lose.

There are variations on the Devil’s Triangle imaginable, like a devil-square or diamond. The fourth stakeholder could be focus, logistics or risk.

If within a project the support strategy is chosen (see quadrants), the importance of PR and creating support within a community becomes very important. The overhead increases. I mentioned Doctors Without Borders, UNICEF and WWF. They write all kinds of news articles, press releases and reports. They share nothing about proven output. I always doubt about their quality. Many aid organisations are master in politics. Of course, this is not wrong. At the political level processes may be fought, but some can not fail to exaggerate. The fourth stakeholder could also be replaced by politics.

Inductive logic

The German logician Carl Gustav Hempel illustrated inductive logic. Hempel describes the paradox in terms of the hypothesis:

• All ravens are black.

and

• If we find a white raven: not all ravens are black.

This is the basic principle of all science. We have to proof the white raven in a scientific way to invalidate the hypothesis (and make a new one). The culture of aid is a strange culture, rather obstinate. Assumtions are taken for granted in a qualitative way. They make black ravens out of it. This is where it goes wrong. You can say that a hypothesis, which should scientifically be proven, is simply dropped from the air. The main question is: who ever determined that all ravens are black? In other words: who ever determined a certain track record or output? How is this scientifically established? A good example is Hitler’s suicide.

‘His’ burned corpse appears to be of a woman leaving only vague testimony from eyewitnesses who stayed with Hitler until the very last end. These were the most fanatical Nazis, not the most reliable source. So, the determination of the black ravens in this story is not scientific but it will always be part of our history books.

Especially in aid culture, this logic is lost. I argue that the inductive logic should be expanded. One should always prove that all ravens are black and not just invent a hypothesis. In that case, Hitler committed no suicide and the authenticity of many development projects becomes visible.

What can we learn from this?

In the Netherlands the Freedom of Information Act (Wet Openbaarheid van Bestuur) only applies to governmental organizations, not for non-governmental bodies like donors (read: foundations). Also if a single foundation spend hundred of millions of tax money (like Oxfam Novib, between € 150-200 million annual). In my opinion, all foundations who receive one penny of our tax should open their files to everyone, because tax money is public ownership. Even if they also receive funding by entrepreneurs or individual. The Freedom of Information Act should apply to all governmental bodies, NGOs and donors/foundations to force them to the bottom of the quadrant.

It’s to easy for governments to hide behind the structure in which their Extension do not have to be open. This results in narrow reflection. It is susceptible to fraud and it only creates a good news show (slice appearance, information, support).

The Dutch government only has a booking relation with foundations. These foundations (donors) only have a booking relation with NGOs in the South. That’s about it. But false receipts and double funding are common…a pitfall. To avoid this, accounting should only be seen as an administrative process, not a means to statistics. An administrative approach is yet another showcase for bureaucracy. Administrative results are hidden from public, while statistics can easily be published. This would mean a total different slice in the above quandrant. I believe, that aid organisations lack a scientific approach and often are unable to explain the origins of their black ravens. One should ask themselves to which pizza slice of the quadrant and to which stakeholder of the Devil’s Triangle he/she belong to. We should ask questions, not only about the white raven but also about the black raven. If we choose wisely, we can change the culture of aid.

AUTHOR: Drs. H.R.J. Sluijter
URL: www.NL-Aid.org
E-MAIL: info [at] www.NL-Aid.org