Námskrárstaðlar próf og ábyrgðarskylda Að vanda til námsmats

Námskrárstaðlar, próf og ábyrgðarskylda Að vanda til námsmats 17. október 2008 Rúnar Sigþórsson HA Not everything that can be counted counts, and not everything that counts can be counted (eignað Albert Einstein) © Rúnar Sigþórsson HA

Efni dagsins n Hugmyndirnar n Aðferðirnar n Álitamálin Byggt á 1. kafla Miller, Linn og Gronlund og efni úr doktorsritgerð RS © Rúnar Sigþórsson HA 2

Hugmyndafræðin © Rúnar Sigþórsson HA

Kröfur um breytingar n Pólitískar forsendur Ø Ø neytendastýring Ø hugmyndir um stöðlun, t. d. við mat á gæðum þjónustu Ø miðstýring og valddreifing – stofnanir / námskrá Ø n markaðshugmyndafræði ábyrgðarskylda – krafa um „accountability“ Efnahagslegar forsendur Ø harðnandi samkeppni á alþjóðavettvangi Ø hvers konar vinnuafl? Ø þverrandi bjargir – aukinn rekstrarkostnaður © Rúnar Sigþórsson HA 4

Kröfur um breytingar n Menntafræðilegar forsendur Ø upplýsingasamfélag nútímans Ø þjóðfélagsbreytingar Ø „inclusion“ – skólinn fyrir alla Ø hugmyndir um eðli og tilgang menntunar Ø frammistaða og samanburður á alþjóðavettvangi © Rúnar Sigþórsson HA 5

„The centralisation – decentralisation paradox“ n Viðleitni til að bæta menntakerfi heilla landa með miðstýrðum fyrirmælum um inntak náms, viðmiðum um árangur nemenda og samræmdu námsmati á sama tíma og valdi og ábyrgð á stjórnun og rekstri skóla er dreift til sveitarstjórna og einstakra skóla © Rúnar Sigþórsson HA 6

Samræmd próf n Afla upplýsinga um frammistöðu í menntakerfinu (e. barometer / document shortcomings skv. M, L. & G. ) n Hreyfiafl umbóta (e. lever of reform skv. M, L. & G. ) © Rúnar Sigþórsson HA 7

Hluti af stærra samhengi n Árangur (e. output) í ljósi aðfanga (e. input) Ø n Aukinn tilkostnaður hefur ekki skilað tilætluðum árangri Nýjar leiðir til umbóta: Ø Ø kerfi ábyrgðarskyldu þar sem kennarar, skólar og nemendur eru gerðir ábyrgir fyrir því að aðföngin sem þeir fá í hendurnar leiði til skilgreinds árangurs almennt orðuð yfirmarkmið (e. goals), námskrárstaðlar og mælingar á árangri til að bera saman við staðlana, opinber birting niðurstaðna og afleiðingar (jákvæðar (e. incentives) eða neikvæðar (e. sanctions)) fyrir nemendur, kennara og skóla (sjá t. d. Hanushek og Raymond (2002) © Rúnar Sigþórsson HA 8

Standards-based reform n Ítarleg samræmd markmiðssetning - námskrárstaðlar (e. standards) n (Stöðluð) samræmd próf n Hagsmunatengd ábyrgðarskylda (e. high-stakes accountability) n Nám (og um leið próf) fyrir alla nemendur (e. inclusion) Ø sbr. ECM og NCLB © Rúnar Sigþórsson HA 9

Hugtökin: Standards n Standardised curriculum eða standards-based education Ø Ø Content standards: Fyrirmæli stjórnvalda um samræmt inntak námskrár (hvað skuli kennt og hvenær) og hvaða þekkingu og færni nemendur eigi að hafa, t. d. í tiltekinni námsgrein á tilgreindum stað í skólagöngu sinni Performance standards: Fyrirmæli byggð á inntaksstöðlunum sem fela í sér samræmdar kröfur eða viðmið um fullnægjandi árangur How good is good enough (Miller, Linn og Gronlund) n Higher standards – raising the bar n Ísl: Markmið, viðmið, námskrárstaðlar © Rúnar Sigþórsson HA 10

Hugtökin: Testing n US: Standardized tests Ø stöðluð, samræmd próf n UK: National tests n Norðurlöndin Ø Ø Nationale test (DK) Ø Nasjonale prøvar (NO) Ø n Nationella prov (SE) Samræmd próf (ÍS) (Stöðluð) samræmd próf sem yfirheiti (RS, 2008) © Rúnar Sigþórsson HA lögð fyrir hóp sem svarar sömu prófatriðum á sama tíma og við sömu aðstæður, svör allra eru metin á samræmdan kvarða og niðurstöður eru túlkaðar með samanburði viðmiðunarhóp (t. d. árgang) sem tekið hefur sama prófið við sams konar aðstæður 11

„The seductive allure of data“ n Ódýr leið til „umbóta“ (miðað við aðrar, s. s. aukið kennslumagn, fækkun í bekkjum og umbætur í menntun og starfsþróun kennara) n Auðveld í framkvæmd – bírókratískt regluverk n Fljótlegt að koma á og breyta (t. d. innan kjörtímabils stjórnmálamanna) n Áþreifanlegar niðurstöður n Hægt að sýna fram á að prófatækni fleygi fram (sbr. t. d. rafræn próf) (Miller, Linn og Gronlund) © Rúnar Sigþórsson HA 12

Hugtökin: Accountability n Ábyrgð eða ábyrgðarskylda Ø Ø n kalla e-a til ábyrgðar eða láta e-a standa reikningsskil þess sem þeim hefur verið falið óhjákvæmilega tengd því að árangur sé mældur og borinn saman við sett viðmið einhver verður að axla ábyrgðina á því sem samanburður árangurs og viðmiða leiðir i ljós einhver verður að hafa vald til að fylgja því eftir Stjórntæki en umbótatæki? (Ahearn, 2000) © Rúnar Sigþórsson HA 13

Tvö mikilvæg svið ábyrgðarskyldu n Stjórnsýsluábyrgð (e. bureaucratic accountability) n Fagleg ábyrgð (e. professional accountability) (sjá t. d. Darling-Hammond , 2004) © Rúnar Sigþórsson HA 14

Skóli (og próf) fyrir alla n Krafa nútímans Ø T. d. eitt af áherslusviðum UNESCO, sjá: http: //portal. unesco. org/education/en/ev. php. URL_ID=48712&URL_DO=DO_TOPIC&URL_SECTION=201. html n Standards-based reform til að bæta menntun allra n Miklar væntingar (e. high expectations) til allra Ø n Minnihlutahópar, stéttir, fatlaðir nemendur, nemendur með námsörðugleika Framfarir í prófagerð - próf (aðlöguð) fyrir alla © Rúnar Sigþórsson HA 15

Framkvæmdin © Rúnar Sigþórsson HA

Bandaríkin n NCLB, sjá t. d. http: //www. ed. gov/nclb/landing. jhtml? src=pb Ø Markmið (content standards) Ø Viðmið um frammistöðu (performance standards) Ø Viðunandi framfarir milli ára (Adequate Yearly Progress – AYP) Ø Samræmd próf í ensku (reading and language arts) og stærðfræði árlega í 3. – 8. bekk og einu sinni í menntaskóla (e. high school) og í náttúrufræði þrisvar á skólagöngunni q Ø Ø 68 milljónir samræmdra prófa árlega Jákvæðar og neikvæðar afleiðinguar (e. incentives / sanctions) Fjöldi könnunarprófa „benchmark tests“ á vegum skóla sjá RS, 2008, 2. kafli © Rúnar Sigþórsson HA 17

England og Wales n n Every child matters, sjá t. d. http: //www. everychildmatters. gov. uk Lög frá 1988 – lokaáfangi 20 ára þróunar Ø Ø Ø n n Mjög miðstýrð aðalnámskrá (National Curriculum) Ýmiss konar kröfur til skóla um þróunarstarf Nýtt kerfi úttekta (e. inspections) Samræmd próf við lok stiga (e. key stages) lok 2. , 6. og 9. námsár Sérstök lokapróf við lok skyldunámsins (11. námsár) GCSE (General Certificate of Secondary Education) Mjög sýnileg hagsmunatengd ábyrgðarskylda Miðstýrðasta menntakerfi í Evrópu (Alexander, 2001) sjá RS, 2008, 2. kafli © Rúnar Sigþórsson HA 18

Norðurlönd n Kunnuglegt baksvið og áherslur umbótaviðleitni n Noregur, sjá: http: //www. regjeringen. no/nb/dep/kd/tema/andre/Kunnsk apsloeftet. html? id=1411 n Danmörk sjá: http: //www. evaluering. uvm. dk/templates/velkomst_layout. jsf Ø Nýjar aðalnámskrár með skýrari markmiðssetningu q q Ø mål for kompetanse (NO) nationale mål (DK) Samræmt gæðamat – aukin áhersla á samræmd próf © Rúnar Sigþórsson HA sjá RS, 2008, 2. kafli 19

Norðurlönd n Svíþjóð, sjá: http: //www. skolverket. se/sb/d/276 Ø n Óbreytt aðalnámskrá en verið að fjölga samræmdum prófum í 3. , 5. , og 9. bekk Lille Island sjá RS, 2008, 2. kafli © Rúnar Sigþórsson HA 20

Umdeildar leiðir að viðurkenndum markmiðum © Rúnar Sigþórsson HA

Hugmyndin í hnotskurn Með því að skilgreina nógu nákvæmlega markmið um inntak náms og viðmið um árangur nemenda má bæta árangur, tryggja jöfnuð, sjá til þess að allir nemendur hljóti sambærilega menntun og meta afrakstur skólastarfs á sambærilegan hátt. Til þess má nota opinber, stöðluð próf, samin í samræmi við próffræðilegar kröfur um réttmæti og áreiðanleika, bera niðurstöðurnar saman við markmið og viðmið og krefja skóla og kennara reikningsskila gagnvart því hvort árangurinn er sá sem ætlast er til. Með því á að finna skóla, kennara og stjórnendur sem skila lélegum árangri, umbuna fyrir góðan árangur en beita viðurlögum fyrir slakan árangur. Einnig á að styrkja sjálfsmynd skóla sem ná góðum árangri og auka um leið væntingar og kröfur til, nemenda, kennara og stjórnenda um að bæta sig RS, 2008, bls, 23 © Rúnar Sigþórsson HA 22

Gagnrýni út frá þekkingu á skólaþróun Ein af þeim niðurstöðum „Change agent“ rannsóknarinnar sem nánast er orðin alkunna er að það er ákaflega erfitt að ætla að láta stefnu breyta starfsháttum, einkum stefnu eins stjórnsýslustigs um annað. Þvert ofan í þau beinu tengsl sem menn hafa gefið sér að væru milli stefnu og framkvæmdar leiddi rannsóknin í ljós að eðli, umfang og hraði breytinga á hverjum stað ræðst fyrst og fremst af staðbundnum þáttum sem eru að mestu leyti utan seilingar þeirra stjórnvalda sem móta stefnuna Mc. Laughlin, 1989 © Rúnar Sigþórsson HA 23

Pólítík vs. menntunarfræði n Ábyrgðarskylda sem stjórntæki eða umbótatæki Ø (Hagsmunatengd) stjórnsýsluábyrgð (e. high-stakes bureaucratic accountability) Ø Ø n Fagleg ábyrgð (e. professional accountability) Ábyrgðarskylda og starfsþróun Víðtæk og oft harkaleg gagnrýni frá fræðasamfélaginu Ø Deilur milli pólitíkusa og fræðimanna (Hanushek og Raymond, 2002; Ravitch, 2002) Sjá t. d. gagnrýni AEA: http: //www. eval. org/hst 3. htm © Rúnar Sigþórsson HA 24

Hærri meðaltöl = bætt menntun? n Fátt handfast sem styður að 50 ára saga samræmdra prófa í BNA hafi í raun og veru bætt menntun, þrátt fyrir hækkandi meðaltalsárangur n Árangur án innistæðu: Hægt að keyra upp meðaltalsárangur án þess að bætt nám liggi að baki (sjá t. d. Linn, 2000) © Rúnar Sigþórsson HA 25

Gagnrýni á form prófanna n Fjölvalspróf einhæft mælitæki Ø Ø Mæla einfalda þekkingu Henta illa til að meta árangur á mörgum mikilvægum sviðum námskrár n Byggjast á þeirri hugmynd að það sé hægt að taka alla þekkingu sundur í búta n Gera oft miklar kröfur um lesskilning n Mörg atriði á knöppum tíma – hvorki ígrundun né lausnaleit (sjá t. d. Popham, 2003; Resnick og Resnick, 1992) © Rúnar Sigþórsson HA 26

Réttmæti n Takmarkanir fjölvalsprófa grafa undan inntaksréttmæti (e. content validity) og hugtaksréttmæti (e. construct validity) Ø Ø n Hversu dæmigert úrtak úr námskrá prófa samræmd próf Hvaða ályktanir eru dregnar af niðurstöðunum Hvað segja niðurstöður prófa okkur í raun og veru Ø „The whole person fallacy“ (Miller, Linn og Gronlund) © Rúnar Sigþórsson HA 27

Próf og nemendur n Vaxandi vísbendingar um aukið brottfall úr skólum, fjölgun aðgreinandi sérúrræða og versnandi stöðu minnihlutahópa Ø Vaxandi fjölda nemenda er t. d. seinkað í námi q Ýmsar rannsóknir benda til neikvæðra afleiðinga þess n Prófkvíði n Flokka og merkja nemendur n Brjóta niður sjálfstraust gagnvart námi n Skaða námsáhuga n Námsmenning þar sem einkunnir skipta meira máli en nám n Árangur á samræmdum prófum og kynjamunur © Rúnar Sigþórsson HA Darling-Hammond, 2004 Miller, Linn og Gronlund 28

Próf og meðferð niðurstaðna n Próf eru samt ekki endilega vond í sjálfu sér Ø Ø En samband þeirra við hagsmunatengda ábyrgðarskyldu grefur undan réttmæti þeirra Próf þarf ekki að vera vont í sjálfu sér þótt dregnar séu vitlausar ályktanir af niðurstöðum þess eða niðurstöðurnar notaðar á annan hátt óskynsamlega n Muna að gera greinarmun á kostum og göllum prófanna sjálfra annars vegar og þess hvernig farið er með niðurstöður þeirra og þær túlkaðar hins vegar n Hvaða afleiðingar hefur það að prófa ekki? Miller, Linn og Gronlund © Rúnar Sigþórsson HA 29

Samantekt n Hugmyndir, aðferðir og álitamál varðandi (stöðluð) samræmd próf n Próf sem hluti af stærra samhengi umbótaviðleitni (standards-based reform) Ø hugtökin „standards“ og „accountability“ n Standards-based reform í nokkrum löndum n Álitamál © Rúnar Sigþórsson HA 30

Nokkrar heimildir n n n n Ahearn, E. M. (2000). Educational accountability: A synthesis of the literature and review of a balanced model of accountability [Final report]. Sótt 3. desember 2007 af http: //www. eric. ed. gov/ERICDocs/data/ericdocs 2 sql/content_storage_01/0000019 b/80/16/22/9 f. pdf Alexander, R. J. (2001). Culture and pedagogy: International comparisons in primary education. Oxford: Blackwell. Darling-Hammond, L. (2004). Standards, accountability, and school reform. Teachers College Record, 106, 1047– 1895. Sótt 20. september 2007 af http: //www. blackwellsynergy. com/links/doi/10. 1111/j. 1467 -9620. 2004. 00372. x/pdf Hanushek, E. A. og Raymond, M. E. (2002). Sorting out accountability systems. Í W. M. Evers og H. J. Walberg (ritstjórar), School accountability: An assessment by the Koret Task Force on K– 12 education (bls. 75– 104). Hoover Institution: Stanford University. Mc. Laughlin, M. W. (1989). The RAND change agent study ten years later: Macro perspectives and micro realities. Grein með erindi á AERA ráðstefnu í San Fransisco í apríl 1989. Sótt 24. september 2007 af http: //www. eric. ed. gov/ERICDocs/data/ericdocs 2 sql/content_storage_01/0000019 b/80/23/ce/e 0. pdf Popham, W. J. (2003). Test better, teach better: The instructional role of assessment. Alexandria: ASCD Ravitch, D. (2002). Testing and accountability historically considered. Í W. M. Evers og H. J. Walberg (ritstjórar), School accountability: An assessment by the Koret Task Force on K– 12 education (bls. 9 – 21). Hoover Institution: Stanford University Resnick, L. B. og Resnick, D. P. (1992). Assessing the thinking curriculum: New tools for educational reform. Í B. B. Gifford og M. C. O’Connor (ritstjórar), Changing assessments: Alternative views of aptitude, achievement and instruction (bls. 37– 76). Boston: Kluwer Academic Publishers. © Rúnar Sigþórsson HA 31