1	Met welke data kunnen wij de kwaliteit van het Nederlands onderwijs meten? Jaap Dronkers Hoogleraar internationale vergelijking van onderwijsprestaties en ongelijkheid Homepage www.roa.unimaas.nl/cv/dronkers/dronkers.htm
2	Twee soorten kwaliteit van het onderwijs Technische kwaliteit Politieke kwaliteit Kwaliteit van school # kwaliteit van opleiding # kwaliteit van onderwijsstelsel. Technische kwaliteit # politieke kwaliteit
3	Technische kwaliteit van onderwijs Interne kwaliteit = het aandeel afgestudeerden van een bepaalde school, opleiding of onderwijsstelsel dat het diploma haalt, bepaalde kennis en vaardigheden bezit, etc. Externe kwaliteit = het aandeel afgestudeerden van een bepaalde school, opleiding of onderwijsstelsel dat meer kansen heeft bij het vinden en groeien in werk, bij het vinden en behouden van partner, gezondheid, etc. Effectiviteit / toegevoegde waarde = interne of externe kwaliteit waarbij rekening wordt gehouden met de instroomkenmerken van de leerlingen Efficiëntie = interne of externe kwaliteit waarbij rekening wordt gehouden met bestede financiële middelen. Tevredenheid ouders / leerlingen # kwaliteit.
4	Politieke kwaliteit van het onderwijs Normatieve kwaliteit = het aandeel afgestudeerden van een bepaalde school, opleiding of onderwijsstelsel dat bepaalde gewenste waarden en normen bezit. Emancipatie kwaliteit = de mate waarin een school, opleiding of onderwijsstelsel bijdraagt aan verkleining van de verschillen in onderwijssucces tussen kinderen uit een hoog en laag ouderlijk milieu. Integratie kwaliteit = de mate waarin een school, opleiding of onderwijsstelsel bijdraagt aan verkleining van de verschillen in onderwijssucces tussen kinderen van immigranten en inboorlingen. Top kwaliteit = de mate waarin een school, opleiding of onderwijsstelsel bijdraagt aan verhoging van de kennis en vaardigheden van het best presterende kwart van de leerlingen. Bodem kwaliteit = de mate waarin een school, opleiding of onderwijsstelsel bijdraagt aan verhoging van de kennis en vaardigheden van het slechtst presterende kwart van de leerlingen.
5	Drie soorten data verbonden met verschillende aspecten van kwaliteit Administratieve data = vooral interne technische kwaliteit, effectiviteit & efficiëntie van scholen. Internationale vergelijkende data = interne technische kwaliteit, efficiëntie en effectiviteit, en politieke kwaliteit van scholen & onderwijsstelsels. Nationale longitudinale data = vooral externe technische kwaliteit en effectiviteit, en politieke kwaliteit van scholen & opleidingen.
6	1. Administratieve data CITO data Inspectie data
7	Gebreken administratieve data Formele belemmeringen bij toegankelijkheid (Trouw-proces om de inspectie cijfers). Niet beschikbaarheid van gegevens over leerlingen: bv het constant blijven van CITO scores bij oplopend ouderlijk onderwijs. Gebrek systematiek: vergelijk kwaliteitskaarten van scholen uit de opeenvolgende jaren. Politieke invloed: onderscheid in rendement tussen onder- en bovenbouw door inspectie (overblijfsel van basisvorming). Geaggregeerde gegevens, geen individuele kenmerken.
8	Beoordeling gebruik administratieve data voor vaststelling van kwaliteit van Nederlandse onderwijs CITO data onbruikbaar, wegens geringe toegankelijkheid door derden & gebrek aan achtergrondkenmerken Inspectie data zijn bruikbaar, maar zijn moeilijk toegankelijk, in de tijd niet systematisch en fragmentarisch. Inspectierapporten moeten “teveel heren dienen” om bruikbaar te zijn.
9	De drie “Heren” bij de inspectiegegevens Ouders: “ruwe” slaag- & zittenblijf-percentages, gemiddeld eindexamencijfer, ordeproblemen = indicator voor ouders. Scholen (docenten en directies): toegevoegde waarde, dwz slaag- & zittenblijf-percentages, gemiddeld eindexamencijfer, ordeproblemen, gecorrigeerd voor schoolpopulatie & hoeveelheid en kwaliteit leerkrachten = schooleffectiviteit; indicator voor docenten en besturen Overheid (als bewaker van het algemeen belang): handhaving gelijk minimumniveau bij diploma over scholen en door de tijd, maar gecorrigeerd voor financiële input = systeemefficiëntie; indicator voor overheden.
10	Een voorstel tot herinrichting publicatie inspectiegegevens: ouders Inspectie dient maar één heer: direct ouders & leerlingen en daardoor indirect overheid. Inspectie waarschuwt rechtstreeks ouders als school onder publiek minimum scoort: te lage absolute Cito-toets (of te weinig deelnemende leerlingen) of te lage centrale eindexamencijfers. Publiceert haar al haar gegevens en rapporten op school en locatieniveau op internet, en rapporteert die direct aan ouders, overheden en media.
11	Een voorstel tot herinrichting publicatie inspectiegegevens: overheid Inspectie maakt geen ranglijsten (Netelenbos-erfenis), alleen lijsten van zwakke en slechte scholen en handelt op grond van die lijsten. Inspectie heeft het recht een school te sluiten of examenlicentie te ontnemen zonder tussenkomst van OC&W, maar uitsluitend op grond van scoren onder publiek minimum. Geen lang “verbetertraject”: kinderen kunnen hun school niet “overdoen” in dat verbetertraject. Inspectie bewaakt het niveau van de school- & de centrale examens & de CITO toets, zowel tussen scholen als over de tijd. Maar de inspectie gaat niet over het “hoe” van scholen. Centrale rekenkamer & wetenschappelijke instituten: relatie resultaten – geld.
12	Een voorstel tot herinrichting publicatie inspectiegegevens: docenten & scholen Kranten (Trouw, Elsevier) en onderwijsbladen (Onderwijsblad, Pedagogische Studiën) maken zelf ranglijsten van scholen. Verschillende varianten van effectiviteit / toegevoegde waarde & efficiëntie van scholen: mogelijkheden voor concurrerende aanpak door media (met en zonder toegevoegde waarde) en verschillende indicatoren (examenresultaten, snelheid, tevredenheid).
13	2. Internationaal vergelijkende data Internationale onderwijsstelsels vergelijkingen sinds jaren ’60: Torsen Husén; IEA; TIMSS; CIVED; PRILS; Tjeerd Plomp. Wisselende participatie van Nederland. Internationale vergelijkingen kregen politiek gewicht toen OECD in 2001 met PISA kwam. PISA meet mate van probleem oplossen, TIMMS geleerde kennis in onderwijs. PISA 2000, 2003, 2006 (15-jarigen) met taal, rekenen en natuurwetenschappen in alle OECD landen. Diploma’s zijn onbruikbaar om internationaal onderwijsprestaties te vergelijken: inhoud en niveau van diploma verschilt te veel tussen OECD landen.
14	Enkele problemen met de PISA data Dwarsdoorsnede op 15-jaar. Longitudinale data is onbetaalbaar en onuitvoerbaar. Politieke invloed op dataverzameling en beschikbaarstelling. Frankrijk: sinds 2003 geen schoolkenmerken; Australië & Canada: geen onderscheid openbaar/bijzondere scholen; Duitsland: geen onderscheid naar Länder & ontoegankelijkheid PISA plus-steekproef; Nederland, USA, Zweden, etc: geen geboorteland leerlingen en ouders; gezinsvorm (eenoudergezin) is verdwenen sinds PISA 2006. Onvoldoende wetenschappelijk toezicht op dataverzameling, bv alleen OC&W zonder overleg met wetenschappers. Politiek-correcte OECD rapporten, bv “Where immigrants succeed. Pisa 2003”: geen herkomstlandanalyse, verbod op analyse relatie beleid en onderwijsuitkomsten. Liegen met PISA data door bewindslieden, Netelenbos & Ritzen (Nederland scoort goed dankzij ons beleid), van der Hoeven (Nederlandse immigrantenleerlingen doen het goed), de cie. Dijsselbloem (PISA data zeggen weinig over de kwaliteit van Nederlands onderwijs).
15	Onjuiste bezwaren tegen PISA data De PISA scores komen tot stand door bedrog. Maar: bedriegen Finnen beter dan Italianen? Vergelijkbaar bedrogniveau. De uitkomsten voor taal zijn heel anders dan voor wiskunde. Maar: grote gezamenlijke variantie van de drie domeinen, en steeds vergelijkbare indicatoren voor kwaliteit. De hoge scores van Aziatische landen komt door hun autoritair onderwijsstelsel. Maar: Chinezen en Indiërs scoren ook hoog buiten Azië. De uitkomstverschillen tussen landen komen door de immigranten. Maar: te klein % immigranten kinderen en te grote verschillen tussen immigranten uit verschillende herkomstlanden.
16	Mogelijke verklaringen van hoge scores van Nederlandse onderwijs in internationale vergelijkingen Nederlands onderwijs heeft binnen Europa hoge plaatsen zowel in PISA als in TIMSS Geringe verschillen tussen scholen van het zelfde type in hun toerusting en resultaatvereisten Twee feitelijke centrale eindexamens: CITO toets basisonderwijs; centraal eindexamen Gematigde concurrentie om leerlingen, zonder grote financiële verschillen tussen scholen Geen afroming door privaatonderwijs, waardoor geringere verschillen in schoolcompositie tussen scholen van het zelfde type.
17	Toetsing van verklaringen van hoge Nederlandse scores in internationale vergelijkingen Vergelijking met behulp van PISA data van het Nederlandse voortgezet onderwijs met die van de buurlanden: Duitse deelstaten, Vlaanderen, Wallonië, Duitstalige Zwitserse kantons, Oostenrijk, Schotland, Denemarken & Zweden. Welke school- en onderwijsstelselkenmerken (onder controle van SES, etc) verklaren relatieve Nederlandse positie het best? Het gaat niet alleen om het gemiddelde scores, maar ook om de spreiding (de lagere scores van de “top” leerlingen, en de hogere scores van de “bodem” leerlingen, vgl. CPB rapport). Een afzonderlijke analyse voor de “inboorlingen” en immigranten (uitgesplitst naar herkomstland). Verklaringen van Nederlandse positie op deze afhankelijke variabelen mogen niet strijdig zijn.
18	Twee recente voorbeelden van de mogelijkheden van PISA data Onderwijsprestaties in onderwijsstelsels met middenschool, interne differentiatie of stratificatie, waarbij rekening wordt gehouden met schoolpopulatie en sociaal milieu (Dunne, 2010) Onderwijsprestaties van immigranten leerlingen, waarbij rekening wordt gehouden met (onderwijs)kenmerken van herkomst- en bestemmingslanden en sociaal milieu van de leerlingen (Heus, Dronkers & Levels, 2009).
19	Kenmerken van PISA data 500 = OECD gemiddelde op test voor taal, wiskunde of wetenschap; 100 = standaard deviatie; -13 = Nederland-Finland; - 32 = Nederland-HongKong; 26 = Nederland-Duitsland Onderwijsstelsel: sterk gestratificeerd (Nederland, Duitsland), gematigd gestratificeerd of interne differentiatie (België; USA), middenschool (Scandinavië). Sociaal milieu: combinatie van beroep en opleiding van de ouders & cultureel kapitaal in huishouden Schoolpopulatie: gemiddelde van het sociaal milieu van de ouders van de leerlingen op een school Land van herkomst: lengte van leerplicht Immigrant generatie: 2, 1.75, 1.5, 1.25
20	Voorbeeld 1 Onderwijsprestaties in onderwijsstelsels met middenschool-, interne differentiatie of stratificatie, waarbij rekening wordt gehouden met schoolpopulatie en sociaal milieu (Dunne, 2010)
21	PISA scores van leerlingen uit hoog-, midden- en laag milieu in scholen met verschillende SES-compositie in gestratificeerd onderwijsstelsel
22	PISA scores van leerlingen uit hoog-, midden- en laag milieu in scholen met verschillende SES-compositie in onderwijsstelsels met interne differentiatie
23	PISA scores van leerlingen uit hoog-, midden- en laag milieu in scholen met verschillende SES-compositie in middenschool onderwijsstelsel
24
25	Contourennota revisited Kemenade (PvdA): gelijk dat middenschoolstelsel minder ongelijke onderwijskansen geeft, maar ongelijk dat dit stelsel het kennisniveau van de bovenkant niet aantast en dat het effect van ouderlijk milieu sterker is op categoriale scholen. Someren-Downer (VVD): gelijk dat het midden-schoolstelsel “socialistische eenheidsworst” product, maar ongelijk met miskenning van voordeel middenschool voor matige middenklasleerlingen. Marcus Bakker (CPN): gelijk dat middenschool-stelsel arbeiderskinderen het voordeel van gymnasium ontzegt, maar ongelijk omdat het merendeel van de arbeiderskinderen wegens hun te lage schoolprestaties niet tot het gymnasium toegelaten kunnen worden.
26	Conclusies emancipatie kwaliteit onderwijsstelsel Emancipatie kwaliteit van middenschool-onderwijsstelsel & lage emancipatie kwaliteit van gestratificeerd onderwijsstelsel. Bodem kwaliteit van middenschoolonderwijsstelsel. Scholen binnen het middenschool- en interne differentiatie-onderwijsstelsel hebben een geringere emancipatie kwaliteit dan vergelijkbare scholen binnen het gestratificeerd onderwijsstelsel. Top kwaliteit van gestratificeerd onderwijsstelsel, ook voor kinderen van laaggeschoolde ouders
27	Voorbeeld 2 Onderwijsprestaties van immigranten leerlingen, waarbij rekening wordt gehouden met (onderwijs)kenmerken van herkomst- en bestemmingslanden en sociaal milieu van de leerlingen (Heus, Dronkers & Levels, 2009; Heus & Dronkers, 2009)
28	PISA score van immigranten kinderen en al dan niet gedifferentieerd voortgezet onderwijssysteem in bestemmingslanden
29	PISA scores van immigranten kinderen en de kwaliteit van het onderwijs in landen van herkomst
30	Het effect van ouderlijke economische en culturele status op PISA scores van immigranten leerlingen afkomstig uit landen met verschillende religies
31	Verklaringen voot religie herkomstland Drie mogelijke verklaringen van het Islam effect: Meer discriminatie van Moslims of een grotere gevoeligheid daarvoor; Negatieve selectie van gast-arbeiders; verklaring wordt niet gesteund door negatieve interactie Islam*ouderlijke opleiding; Islamitische religieuze waarden (eer; man-vrouw verhoudingen) zijn gedeeltelijk in strijd met succes in moderne samenlevingen. Mogelijke verklaringen van het effect van oosterse religie: Grotere waarde toegekend aan en inzet voor onderwijs. Neuro-psychologische voordelen van de Chinese taal (het leren van karakters) en getallen
32	Conclusie integratie kwaliteit onderwijsstelsels Integratie kwaliteit van gematigd gestratificeerd of interne differentiatie onderwijsstelsel. Integratie kwaliteit van middenschool-stelsel voor kinderen van hooggeschoolde immigranten, niet voor kinderen van laaggeschoolde immigranten. Integratie kwaliteit van leerplicht. Verschil tussen inboorlingen en immigranten wat betreft oorzaak onderwijsachterstand en betekenis van onderwijsstelsels daarbij.
33	3. Nationale longitudinale data Schoolloopbanen (vanaf eind ’60), basis (Prima, etc), voortgezet (VOCL, etc) Beroepsloopbanen van schoolverlaters (vanaf eind ’70): SIS (Schoolverlaters InformatieSysteem): WO-, HBO-, BVE- en VO-Monitor van schoolverlaters Levenslopen, gebaseerd op oude data en opnieuw opgezocht (Noord-Brabant cohort; Enschede cohort; VOCL leerlingen op de arbeidsmarkt) Medische quasi-geboortecohorten (Trials) Periodieke Peiling Onderwijs Nederland
34	Mogelijkheden longitudinale data voor kwaliteitsmeting onderwijs Externe kwaliteit & politieke kwaliteit van opleidingen Afronding van opleiding Succes in vervolgopleiding Overgang naar arbeidsmarkt Lange termijn succes op arbeidsmarkt Trouw- & scheidingskansen Gezondheid
35	Gebreken wetenschappelijke data voor kwaliteitsmeting onderwijs Breuken bij overgangen (basis-voortgezet; voortgezet-tertiair; onderwijs-arbeidsmarkt) waardoor minder bruikbaar. Verlies van drop-outs en verhuizers, waardoor foutieve uitkomsten: onderwijsnummer. Niet meer relevant na veranderingen in beleid. Scholen meestal niet bij name traceerbaar (belemmert kracht van de analyse). Vaak geen goede controle groepen voor analyse van school- en onderwijssysteem-effecten. Angst bij onderzoekers voor financieerders en opdrachtgevers & medewerking van scholen. Weinig binnenlands gebruikt om kwaliteit van Nederlands onderwijs te meten, uitzondering van der Werf.
36	De kwaliteit van het Nederlands voortgezet onderwijs Hoge interne kwaliteit, als gevolg van onderwijspacificatie van 1917-’20 (gelijkwaardige scholen, onderlinge concurrentie), de tussenstap van Mulo/MAVO/HAVO & Mammoetwet (cito-toets; scholengemeenschappen). Lage emancipatie kwaliteit, als gevolg van sterk gestratificeerd onderwijs, afschaf opstroom-mogelijkheden), behalve voor laag milieu leerlingen in havo&vwo. Lage integratie kwaliteit, als gevolg van sterk gestratificeerd onderwijs, meest voor hoog milieu leerlingen.