Carmel wil graag Evidence-informed aan haar koers werken. Als we in het onderwijs op Carmelscholen willen sturen op de leermotivatie, eigenaarschap en regie bij leerlingen (niet alleen in het voortgezet onderwijs maar voor een leven lang leren) dan blijkt uit onderzoek dat drie aspecten hierbij van belang zijn voor het verbeteren van de leerprestaties van leerlingen¹. Het stellen van doelen, het verzamelen van data hierover, en het analyseren en interpreteren van de data zodat er feedback ontstaat die gebruikt kan worden in het verbeteren van het onderwijs.
 

Het stellen van doelen 

Het stellen van heldere doelen is cruciaal in het onderwijs². Het stellen van doelen leidt vaak tot doelgericht gedrag (en tot een vermindering van activiteiten die niet bijdragen aan de te behalen doelen), het doen van meer moeite om de doelen te bereiken en het zoeken naar strategieën die bijdragen aan de te behalen doelen³. Deze doelen kunnen op verschillende niveaus opgesteld worden. Op het niveau van de klas en de leerling hebben we het hierbij vaak over leerdoelen en succescriteria. Op het niveau van het bestuur of de school kan het bijvoorbeeld gaan om bepaalde geaggregeerde prestatiedoelen⁴. Hierbij gaat het niet alleen om een focus op prestaties, maar ook om persoonlijke vorming en het ontwikkelen van talenten van elke leerling, bijvoorbeeld m.b.t. de vaardigheid van leerlingen om beredeneerd met verschillende soorten problemen te kunnen omgaan, reflecteren, zelfregulatie en regie bij leerlingen⁵. Daarnaast kan het ook nog gaan om de maatschappelijke vorming van leerlingen, bijvoorbeeld burgerschap, de toekomstige plek in de samenleving en de verantwoordelijkheid voor elkaar.

 

Vaak wordt er onderscheid gemaakt tussen drie typen doelen, doelen m.b.t.: verantwoording, schoolontwikkeling en instructie⁶. M.b.t. verantwoording gaat het bijvoorbeeld om het gebruiken van examenresultaten en interne evaluaties om te laten zien aan de inspectie en ouders hoe de school het doet. M.b.t. schoolontwikkeling kan het gaan om het gebruiken van data voor het ontwikkelen van beleid, curriculum en het plannen van professionele ontwikkeling van de staf⁷. M.b.t. instructie gaat het bijvoorbeeld om het gebruiken van data om leerdoelen te behalen, voortgang van leerlingen te meten en het geven van feedback aan leerlingen⁸.

 

Bij het opstellen van deze doelen spelen schoolleiders een belangrijke rol. Schoolleiders moeten ervoor zorgen dat de verschillende doelen van de verschillende betrokkenen (e.g., inspectie, bestuurders, ouders, leerlingen, docenten) met elkaar in balans zijn. Op basis van beleid kunnen schoolleiders doelen opstellen waar de school aan kan werken, schoolleiders kunnen ook bepaalde doelen prioriteren, en kunnen invloed uitoefenen op welke data wel en niet verzameld worden bij het werken aan deze doelen. Het is van belang dat doelen m.b.t. onderwijsverbetering gezamenlijk worden opgesteld en dat er dialoog is over deze doelen. De schoolleider heeft invloed op in welke mate en hoe er aan deze doelen gewerkt wordt. De attitude en het gedrag van de schoolleider is ook van invloed op de attitude en het gedrag van docenten, m.b.t. de betrokkenheid van docenten bij het opstellen van doelen, de bereidheid van docenten om aan deze doelen te werken, de bereidheid van docenten om data te gebruiken bij het werken aan de gestelde doelen en of docenten inzien dat het gebruiken van data belangrijk is voor het realiseren van onderwijsverbetering⁹.

 

Hoewel er soms spanning is m.b.t. verschillende typen doelen (en zeker als het gaat om verantwoording), moet er binnen iedere school aan deze drie doelen worden gewerkt¹⁰. Zoals Earl en Katz¹¹ stellen: “Accountability without improvement is empty rhetoric, and improvement without accountability is whimsical action without direction” (p. 12). Doelen moeten doordacht opgesteld worden, voordat er allerlei data worden verzameld binnen de school. Nog te vaak worden er allerlei verbeteringsprocessen in scholen opgestart al dan niet op basis van data, maar zonder heldere doelen. Ook worden veel data binnen scholen verzameld, simpelweg omdat deze data nu eenmaal al jaren verzameld worden. Deze data hadden misschien ooit eens een doel, maar aangezien de samenleving en scholen veranderen is het aan te raden om bij iedere vorm van data de vraag te stellen wat het doel is en waarom bepaalde dingen gemeten worden¹². Ook is het mogelijk dat bepaalde doelen belangrijk zijn geworden, waar nog geen of weinig data over beschikbaar zijn¹³, zoals burgerschap en verantwoordelijkheid voor elkaar, maar ook zelfregulatie en eigenaarschap van leerlingen over het eigen leren¹⁴. De opgestelde doelen bepalen welke data er (niet meer) verzameld moeten worden¹⁵.

 

Het verzamelen van data
 

Als de doelen eenmaal helder zijn kunnen er data worden verzameld m.b.t. het al dan niet behalen van de gestelde doelen. Het kan hier gaan om verschillende soorten data, bijvoorbeeld in de vorm van systematisch verzamelde gegevens (proefwerken, examens, vragenlijsten, observaties in de klas aan de hand van een observatieformulier)¹⁶. Deze data worden bijvoorbeeld gebruikt in datateams¹⁷, zoals deze al meer dan 10 jaar actief zijn binnen Carmel.

Data kunnen ook op een meer informele manier verzameld worden, bijvoorbeeld door middel van informele observaties tijdens een les en discussies in de klas. Deze data kunnen worden gebruikt in een proces van formatief toetsen¹⁸. Bij formatief toetsen gaat het erom dat er inzicht verkregen wordt in het leerproces van leerlingen en ook in de misconcepties van leerlingen. Het stellen van conceptuele vragen kan bijvoorbeeld helpen bij het verkrijgen van dit inzicht¹⁹. Ook door het houden van discussies met leerlingen (aan de hand van bepaalde antwoorden, ervaringen en/of feedback) in de klas kunnen er informeel data verzameld worden die inzicht geven in dit leerproces en misconcepties van leerlingen²⁰. Deze discussies geven inzicht in het denkproces van leerlingen, waar leerlingen moeite mee hebben en wat ze wel/niet begrijpen. Hierbij is het wel van belang dat docenten deze data onmiddellijk moeten kunnen interpreteren en hier ook snel op moeten reageren²¹.

Een derde vorm van data betreft bewijs uit onderzoek²². Tot slot kunnen ook de zogenoemde big data een rol spelen hierin²³. Het is belangrijk om verschillende soorten data te gebruiken voor het behalen van de gestelde doelen en niet alleen te focussen op cijfers²⁴.

Feedback

De verzamelde data moeten geanalyseerd en geïnterpreteerd worden, zodat de data leiden tot feedback die gebruikt kan worden²⁵. Deze data moeten gecombineerd worden met de expertise en (soms jarenlange) ervaring van de gebruiker om er zo betekenis aan te verlenen²⁶. Op basis van die data analyse en interpretatie ontstaat er informatie m.b.t het al dan niet bereiken van de gestelde doelen wat als feedback gebruikt kan worden. Hierbij kan het bijvoorbeeld gaan om de schoolleider die op basis van data werkt aan beleidsplannen en plannen voor de professionalisering van docenten, docenten die samen op basis van data een actieplan opstellen voor hun sectie, de docent die data gebruikt om de eigen instructie te verbeteren, de docent die leerlingen feedback geeft over de te behalen leerdoelen en succescriteria, of de leerling die op basis van zijn/haar eigen resultaten bepaalt wat de volgende stap in het leerproces moet zijn.

 

De ontvanger van de feedback kan deze dus gebruiken om te werken aan het behalen van de gestelde doelen. Uit meer dan 100 jaar onderzoek op het gebied van feedback weten we ook dat prestaties op welk gebied dan ook kunnen verbeteren op basis van feedback²⁷. Echter, uit onderzoek weten we tevens dat feedback niet altijd tot de gewenste effecten leidt. Uit een grootschalig onderzoek van Kluger en DeNisi (1996) naar de effecten van feedback bleek zelfs dat in 38% van de studies²⁸ die zij onderzochten feedback een negatief effect had op prestaties.

 

De effectiviteit van de feedback hangt weer af van verschillende factoren, zoals in hoeverre de ontvanger van de feedback (bijvoorbeeld de docent of student) deze begrijpt. Niet alle data zijn makkelijk te analyseren en te interpreteren²⁹. Ook de inhoud van de feedback is van belang, bijvoorbeeld m.b.t. de mate waarin deze suggesties tot verbetering bevat³⁰. In het onderzoek van Kluger en DeNisi bleek bijvoorbeeld dat in die 38% van de studies waarbij feedback een negatief effect had, de feedback geen concrete suggesties voor verbetering bevatte. In het onderwijs komt dit type feedback veel voor. Een cijfer op een proefwerk geeft bijvoorbeeld geen concrete suggesties voor verbetering³¹. Verder spelen de mate van feedback en de timing van de feedback ook nog een rol³².

 

Hoe de ontvangen feedback gebruikt wordt is ook weer afhankelijk van de vaardigheden van de gebruiker en ook van de houding/attitude van de gebruiker, zoals ook beschreven in het boek van Shirley Clarke³³. Ziet de gebruiker de feedback als waardevol, wil de gebruiker actief werken aan zijn/haar eigen leerproces en is de gebruiker in staat om de feedback correct te interpreteren³⁴ en om vervolgens op basis hiervan maatregelen te nemen die bijdragen aan de te behalen doelen³⁵. Als de docent de gebruiker is dan spelen ook nog evaluatie competenties, pedagogisch didactische vaardigheden (bijvoorbeeld hoe doceer je een specifieke vakinhoud, ben je op de hoogte van bepaalde veel voorkomende misconcepties bij leerlingen over je vakgebied) en algemene didactische vaardigheden (bijvoorbeeld orde houden, het structureren van een les, instructievaardigheden) een rol³⁶. Als de leerling de gebruiker is dan is het van belang dat de leerling zich actief betrokken voelt bij het onderwijsleerproces, dat de leerling voldoende ruimte binnen de gestelde kaders heeft³⁷ en goed op de hoogte is en zich eigenaar voelt van de gestelde leerdoelen en succescriteria³⁸.

 

De ontvangen feedback kan op verschillende manieren gebruikt worden. We zien vaak data op een effectieve manier gebruikt worden voor veranderingen m.b.t het curriculum (bijvoorbeeld werken aan een doorlopende leerlijn), instructie (bijvoorbeeld differentiatie) en assessment (bijvoorbeeld meer formatief toetsen i.p.v. vooral summatief³⁹. Uiteindelijk gaat het erom dat de feedback gebruikt wordt, zodat de gestelde doelen op bestuurs-, school-, klas- en leerlingniveau behaald worden.


Referenties
 

Aschbacher, P., & Alonzo, A. (2006). Examining the utility of elementary science notebooks for formative assessment purposes. Educational Assessment, 11(3-4), 179-203.

 

Birenbaum, M., Kimron, H., & Shilton, H. (2011). Nested contexts that shape assessment for learning: School-based professional learning community and classroom culture. Studies in Educational Evaluation, 37(1), 35-48.

 

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education), 21(1), 5.

 

Brown, C. D. (2015). Leading the use of research and evidence in schools. Institute of Education Press.

 

Clarke, S. (2019). Visible Learning: Feedback. Routledge.

 

Coburn, C. E. (2006). Framing the problem of reading instruction: Using frame analysis to uncover the microprocesses of policy implementation. American educational research journal, 43(3), 343-349.

 

Earl, L. M., & Katz, S. (Eds.). (2006). Leading schools in a data-rich world: Harnessing data for school improvement. Corwin Press.

 

Faber, J. M., Visscher, A. J., & en Data-analyse, M. (2014). Digitale leerlingvolgsystemen: Een review van de effecten op leerprestaties. Digital pupil monitoring systems: A review of effects on student achievement results.

 

Feldman, A., & Capobianco, B. M. (2008). Teacher learning of technology enhanced formative assessment. Journal of Science Education and Technology, 17(1), 82-99.

 

Fletcher, A., & Shaw, G. (2012). How does student-directed assessment affect learning? Using assessment as a learning process. International Journal of Multiple Research Approaches, 6(3), 245-263.

 

Gamlem, S. M., & Smith, K. (2013). Student perceptions of classroom feedback. Assessment in Education: Principles, Policy & Practice, 20(2), 150-169.

 

Gelderblom, G., Schildkamp, K., Pieters, J., & Ehren, M. (2016). Data-based decision making for instructional improvement in primary education. International journal of educational research, 80, 1-14.

 

Hargreaves, E. (2013). Inquiring into children’s experiences of teacher feedback: Reconceptualising assessment for learning. Oxford Review of Education, 39(2), 229-246.

 

Harris, L. R., & Brown, G. T. (2013). Opportunities and obstacles to consider when using peer-and self-assessment to improve student learning: Case studies into teachers' implementation. Teaching and Teacher Education, 36, 101-111.

 

Hattie, J., & Timperley, H. (2007). The power of feedback. Review of educational research, 77(1), 81-112.

 

Havnes, A., Smith, K., Dysthe, O., & Ludvigsen, K. (2012). Formative assessment and feedback: Making learning visible. Studies in Educational Evaluation, 38(1), 21-27.

 

Heitink, M. C., Van der Kleij, F. M., Veldkamp, B. P., Schildkamp, K., & Kippers, W. B. (2016). A systematic review of prerequisites for implementing assessment for learning in classroom practice. Educational research review, 17, 50-62.

 

Kippers, W. B., Wolterinck, C. H., Schildkamp, K., Poortman, C. L., & Visscher, A. J. (2018). Teachers' views on the use of assessment for learning and data-based decision making in classroom practice. Teaching and teacher education, 75, 199-213.

 

Kluger, A. N., & DeNisi, A. (1996). The effects of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological bulletin, 119(2), 254.

 

Lai, M. K., Wilson, A., McNaughton, S., & Hsiao, S. (2014). Improving achievement in secondary schools: Impact of a literacy project on reading comprehension and secondary school qualifications. Reading Research Quarterly, 49(3), 305-334.

 

Lee, H., Feldman, A., & Beatty, I. D. (2012). Factors that affect science and mathematics teachers’ initial implementation of technology-enhanced formative assessment using a classroom response system. Journal of Science Education and Technology, 21(5), 523-539.

 

Locke, E. A., & Latham, G. P. (2002). Building a practically useful theory of goal setting and task motivation: A 35-year odyssey. American psychologist, 57(9), 705.

 

Mandinach, E. B., & Gummer, E. S. (2013). A systemic view of implementing data literacy in educator preparation. Educational Researcher, 42(1), 30-37.

 

Mandinach, E. B., & Honey, M. (Eds.). (2008). Data-driven school improvement: Linking data and learning. Teachers College Press.

 

Marsh, J. A. (2012). Interventions promoting educators’ use of data: Research insights and gaps. Teachers College Record, 114(11), 1-48.

 

McNaughton, S., Lai, M. K., & Hsiao, S. (2012). Testing the effectiveness of an intervention model based on data use: A replication series across clusters of schools. School Effectiveness and School Improvement, 23(2), 203-228.

 

Newby, L., & Winterbottom, M. (2011). Can research homework provide a vehicle for assessment for learning in science lessons?. Educational Review, 63(3), 275-290.

 

Park, V., Daly, A. J., & Guerra, A. W. (2013). Strategic framing: How leaders craft the meaning of data use for equity and learning. Educational Policy, 27(4), 645-675.

 

Penuel, W. R., & Shepard, L. A. (2016). Assessment and teaching. Handbook of research on teaching, 5, 787-850.

 

Poortman, C. L., & Schildkamp, K. (2016). Solving student achievement problems with a data use intervention for teachers. Teaching and teacher education, 60, 425-433.

 

Reeves, T. D., Summers, K. H., & Grove, E. (2016). Examining the landscape of teacher learning for data use:The case of Illinois. Cogent Education, 3(1).

 

Schildkamp, K. (2019). Data-based decision-making for school improvement: Research insights and gaps. Educational research, 61(3), 257-273.

 

Schildkamp, K., & Poortman, C. (2015). Factors influencing the functioning of data teams. Teachers college record, 117(4), 1-42.

 

Schildkamp, K., Poortman, C., Luyten, H., & Ebbeler, J. (2017). Factors promoting and hindering data-based decision making in schools. School effectiveness and school improvement, 28(2), 242-258.

 

Schildkamp, K., Poortman, C. L., & Handelzalts, A. (2016). Data teams for school improvement. School effectiveness and school improvement, 27(2), 228-254.

 

Schildkamp, K., Karbautzki, L., & Vanhoof, J. (2014). Exploring data use practices around Europe: Identifying enablers and barriers. Studies in educational evaluation, 42, 15-24.

 

Schildkamp, K., Lai, M. K., & Earl, L. (Eds.). (2013). Data-based decision making in education: Challenges and opportunities (Vol. 17). Springer Science & Business Media.

 

Schildkamp, K., & Kuiper, W. (2010). Data-informed curriculum reform: Which data, what purposes, and promoting and hindering factors. Teaching and teacher education, 26(3), 482-496.

 

Shute, V. J. (2008). Focus on formative feedback. Review of educational research, 78(1), 153-189.

 

Staman, L., Visscher, A. J., & Luyten, H. (2014). The effects of professional development on the attitudes, knowledge and skills for data-driven decision making. Studies in Educational Evaluation, 42, 79-90.

 

Tulowitzki, P. (2016). Educational accountability around the globe. Challenges and Possibilities for School Leadership. In Educational Accountability: International perspectives on challenges and possibilities for school leadership, edited by J. Easly II and P. Tulowitzki, 233-238. London:Routledge 233.

 

Van der Kleij, F. M., Vermeulen, J. A., Schildkamp, K., & Eggen, T. J. (2015). Integrating data-based decision making, assessment for learning and diagnostic testing in formative assessment. Assessment in Education: Principles, Policy & Practice, 22(3), 324-343.

 

Van Geel, M., Keuning, T., Visscher, A. J., & Fox, J. P. (2016). Assessing the effects of a school-wide data-based decision-making intervention on student achievement growth in primary schools. American Educational Research Journal, 53(2), 360-394.

 

Vanlommel, K., Van Gasse, R., Vanhoof, J., & Van Petegem, P. (2017). Teachers’ decision-making: Data based or intuition driven?. International Journal of Educational Research, 83, 75-83.

 

Veldkamp, B., Schildkamp, K., Keijsers, M., Visscher, A., & de Jong, T. (2017). Verkenning data-gedreven onderwijsonderzoek in Nederland. [Report: Exploration of Big Data in Education in the Netherlands].

 

Visscher, A.J., & Coe, R. (Eds.) (2002). School Improvement through Performance Feedback. Lisse/Abingdon/Exton/Tokyo: Swets & Zeitlinger.

 

Visscher, A.J. (2020, online pre-publication). On the value of data-based decision making in education: the evidence from six intervention studies. Studies in Educational Evaluation.

 

Weick, K. E. (1995). Sensemaking in organizations (Vol. 3). Sage.

 

Wolterinck, C.H., Schildkamp, K., Visscher, A.J. (submitted). Formative Assessment: influence of teacher competences and the role of students.

 

Yin, H., Lu, G., & Wang, W. (2014). Unmasking the teaching quality of higher education: students’ course experience and approaches to learning in China. Assessment & Evaluation in Higher Education, 39(8), 949-970.