Learning Analytics og Big Data

Learning Analytics og Big Data - et kritisk perspektiv Thomas Ryberg Professor Inst. for kommunikation, AAU ryberg@hum. aau. dk @tryberg - twitter

Agenda • Kort om mig – hvorfor dette oplæg, hvad er mit bias – Ikke maskinstormer – networked learning og læring og sociale medier (leder projekt om PBL og Analytics) – Handler egentlig generelt om #edtech – Hvorfor kritik? Hvorfor Big Data og Learning Analytics? Ikke kritik af konkrete initiativer men mere af forestillinger! – Polemisk og kritisk oplæg – men bølgen er der og vi skal diskutere den kritisk (mens vi kan) – Kritisk pessimist – Tror på, at teknologi kan understøtte læring. Men bange for, at teknologi ikke vil blive brugt til at understøtte læring, men derimod at understøtte politiskadministrative mål…hvad var argumentet for de nationale tests?

#EDTECH UDDANNELSESTEKNOLOGI

Stor afstand mellem: Stærke stemmer der taler om nært forestående, radikale forandringer – Game-changers, DISRUPTION, paradigme-skifte, 2. 0, med på vognen De faktiske kvalitative forandringer teknologi har medført inden for uddannelse og den faktiske udviklingshastighed Samme tog kører til perronen uden at være vidende om, at det har været der før og er kørt i ring

#EDTECH er BIG BUSINESS Full of: Men også potentiale…

“There must be an industrial revolution in education in which educational science and the ingenuity of educational technology combine to modernize the grossly inefficient and clumsy procedures of conventional education. ” 1924 - Sidney Pressey, , inventor of the Automatic Teacher, the first electronic device used in schools The motion picture is destined to revolutionize our educational system and. . . in a few years it will supplant largely, if not entirely, the use of textbooks. —Thomas Edison, 1922

Prof. C. C. Clark of New York University conducting a class from his home (1935) “The scene will be a commonplace one tomorrow, without a doubt, when television will be as indispensable to our every day home life as the radio program receiver is today. ” (The April 1935 issue of Short Wave Craft magazine) Source: http: //www. smithsonianmag. com/history/predictions-for-educational-tv-in-the-1930 s-107574983

1954 Umiddelbar feedback, selv-drevet læring, adaptiv læring – ofte hørt ifht nye læringsteknologier - også learning analytics – det er ikke så nyt…. http: //www. idealearninggroup. com/blog/history-of-elearning-e-is-for-evolutionary

#edtech historien ikke en lige linie men en strid mellem perspektiver / pædagogiske idealer (Weller, 2007) Broadcast perspektiv • Gøre indhold og ressourcer tilgængelig for flest muligt – on demand • Selv-drevet, individualiseret • Genbrug, skalerbart, kosteffektivt (reducere underviserens rolle) • Learning objects, Open Educational resources • Også: kontrol, standardisering, institutionalisering, industrialisering • “The broadcast view can be found in higher education and national policies and it is also common in corporate training” (Jones & Dirckinck-Holmfeld, 2009) Diskussions-perspektiv • Viden som skabt gennem dialog, samarbejde og kommunikation • Gensidig forpligtethed – relationer ml studerende og undervisere • Grupper, intimitet, relationer, samarbejde og koordination – tidsafhængig • Internationalt et ‘randperspektiv’ Jones, C. , & Dirckinck-Holmfeld, L. (2009). Analysing Networked Learning Practices. In L. Dirckinck-Holmfeld, C. Jones, & B. Lindström (Eds. ), Analysing Networked Learning Practices in Higher Education and Continuing Professional Development (pp. 10– 27). Rotterdam: Sense Publishers. Weller, M. (2007). Virtual learning environments  effective development and use. London: Routledge.

LEARNING ANALYTICS OG BIG DATA

Learning analytics • “Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimising learning and the environments in which it occurs” https: //en. wikipedia. org/wiki/Learning_analytics • Educational data mining, academic analytics, learner modelling – ældre tradition • Læs mere om LA på: solaresearch. org – SOLAR – society for learning analytics research

Hvorfor kritik • Big Data, Learning Analytics ligger i krydsfeltet mellem forskning og Big Business – Big Data og Learning Analytics er i øjeblikket buzz-words – Det betyder ikke de er meningsløse, tomme eller uinteressante – men det betyder vi skal være varsomme • Der er brug for at vi er kritiske i #edtech! Vi har alt for høje forventninger ifht hvad der realistisk sker • Når man lige ser systemerne – tænker man ‘Wauv – neat!’ • Der er noget særlig persuasivt og tillokkende ved Big Data, Learning Analytics og visualisering af data – det bekymrer mig! Vigtigt at være kritisk

Seeing is believing: The effect of brain images on judgments of scientific reasoning • Mc. Cabe, D. P. , & Castel, A. D. (2008). Seeing is believing: The effect of brain images on judgments of scientific reasoning. Cognition, 107(1), 343– 352. http: //doi. org/10. 1016/j. cognition. 2 007. 017

Tænkt eksempel på ‘student dashboard’ Men…hvordan skal vi afkode det? Hvilke forståelser ligger under? White paper: Open Learning Analytics: an integrated & modularized platform http: //solaresearch. org/Open. Learning. Analytics. pdf

• Vi må være forsigtige i at antage, at fordi noget er mere visuelt interessant, at det også: – A: Er mere sandt og bedre reflekterer/repræsenterer en kompleks underliggende virkelighed – B: Folk kan læse data og agere på det på meningsfuld og god vis

Big Data ændrer definitionen af viden? • De værktøjer vi får i hånden ændrer vores tilgang til og forståelse af ”verden” – Tid (kronometer) – måler ikke noget, men strukturerer meget af vores samfund og forståelse – Fødselstal, scanninger, diagnoser – producerer viden men også ‘angst’ og nye foki – Billeder og scans som persuasive fx. ”personlighedstests”, læringsedderkopper

Big Data ændrer definitionen af viden? • Ændrer hvad vi forstår som ‘videnskabelighed’, ‘data’, sandhed, nytte osv. – Hvid-kittel knæfaldet – ‘pure data driven research’ – men videnskab mere end det – Nem adgang til bestemte typer af data producerer bestemte fortolkninger og måder at se verden på – Læring et menneskeligt fænomen (erfaringer, følelser, meningsfylder, politik, idealer) – alt det hvorom ‘science’ does not always speak…det rodede • Dashboards med data – nye måder at producere bestemte subjekter – ”de bliver hvad vi måler” – Kan man ‘måle’ en kompetence? Ligesom temperatur?

Claims to objectivity and accuracy are misleading • • As a large mass of raw information, Big Data is not self-explanatory. And yet the specific methodologies for interpreting the data are open to all sorts of philosophical debate. Can the data represent an ‘objective truth’ or is any interpretation necessarily biased by some subjective filter or the way that data is ‘cleaned? ’. (2010, p. 13) (boyd & Crawford) Forestiling om kvantitativ forskning som mere objektiv og videnskabelig – blottet for subjektivitet og fortolkning – “data taler for sig selv” Men analyse er fortolkning – “making sense of data” Data ‘er’ ikke derude – data produceres (craftes) – de vælges, (ud)renses (data. Too often, Big Data enables the practice of apophenia: seeing patterns where none wrangling) og andre bestemmer hvilke data actually exist, simply because enormous quantities of data can offer connections that der ér tilgængelige (fx. API) radiate in all directions (boyd & Crawford) Vi “måler” ikke bare noget – vi konstruerer https: //pushingheboundaries. wordpress. com/2017/09/03/learingin-moocs-the-undemocratisation-of-learning/

Database pædagogikker (Williamson) • • • every child has a ‘digital tutor’ that is responsive to Adaptive learning systems (som their interests, their prior conceptions and achievement and the potential for ‘intelligent online man har arbejdet med siden platforms that can use data gathered from learners to 70’erne!!!!!) become smart enough to predict, and then appropriately assist and assess, that learner’s Skræddersyet, individuel læring progression to mastering the concept being taught “Læser”, modellerer, forudser, (Williamson) tilretter sig til eleven The aim of some learning analytics Automatiseret management & developments is to create automated pedagogic systems, or what might be governance termed database pedagogies. These Men måler og vejer eller database pedagogies can include automated messages which provide brief and simple producerer metrics bestemte nudges or fully automated intelligent tutoring subjekter? systems: the automatic production of Hvilke forståelser af pædagogik, personalized pedagogies (Williamson) læring og individer er i spil – database devices are based on the logic that the subject is hvilke forståelser træder i made up of unique combinations of distributed forgrund – hvilke i baggrund? transactional metrics that reveal who they are and their capacities, problems and needs. An individual is not simply a child or youth, but rather a combination of needs and services. (Citation in Williamson)

Forskellige pædagogiske forståelser

2 hovedparadigmer inden for uddannelsestænkning • Angelsaksisk curriculumtænkning (John Biggs) • Kontinental (Skandinavisk tænkning) didaktisk tænkning (Wolfgang Klafki) Venligst udlånt af Ulla Konnerup, AAU

Klafki • • • Dannelse Personlige, faglige kompetencer Selvstændighed og kritisk tænkning i forhold tilegnelse af et videns- og kompetencefelt “Yde eleverne hjælp til at udvikle deres medbestemmelse og solidaritetsevne” “Sammenhængen mellem undervisning og læring forstås som interaktionsproces” Klafki, Wolfgang (2001). Dannelsesteori og didaktik. Århus: Klim. Klafki, Wolfgang (1983). Kategorial dannelse og kritisk-konstruktiv pædagogik. Udvalgte artikler og indledning ved Sven Erik Nordenbo. Nyt Nordisk Forlag Arnold Busck. Wolfgang Klafki, (Hg. ). (1988). Verführung Distanzierung Ernüchterung. Kindheit und Jugend im Nationalsozialismus. Autobiographisches aus erziehungswissenschaftlicher Sicht. Wienheim und Basel: Beltz Verlag . Venligst udlånt af Ulla Konnerup, AAU

Angelsaksiske tænkning • Ingen ækvivalent begreb til dannelse • Curriculum tænkning, der bygger på teori om instruktion og undervisningsforskning På forhånd intenderede læringsmål, der ved hjælp af effektiv undervisning tilstræber et fastlagt og måleligt læringsindhold hos den studerende, hvor effektivitet udmønter sig som et syn på forståelse som en opadgående lineær bevægelse (Wiberg 2011) Venligst udlånt af Ulla Konnerup, AAU

Meget forskellig tænkning om lærerens rolle • Westbury (1998) - curriculum

Meget forskellig tænkning om lærerens rolle • Westbury (1998) - didaktik Personalised learning?

Meget #Ed. Tech er funderet i curriculum traditation og er i virkeligheden: • Man kan udskifte maskinen med TV, video, AI etc. men mange af drømmene er de samme – en effektiv indlæring af centralt defineret indhold, hvor lærerens rolle minimeres

Spørgsmålet… • Hvilke typer af pædagogik ligger implicit i nogle af ideerne om Learning Analytics? • Og lidt provokerende: – Learning analytics besvarer en masse spørgsmål, som ingen uddannelsesforskere nogensinde stillede – Hvis problemer er det egentlig LA addresserer – underviseres? Studerendes?

MINE BEKYMRINGER

Forståelser af læring • Hvad hvis læring ikke er tilegnelse af det eksisterende, men opdagelse og skabelse af det nye? • Hvordan måler vi hvad der ikke eksisterer/er skabt endnu? • Måle det vi forstår så lidt om – kreativitet, forandringsprocesser, følelser, gruppedynamik? – ”Communication, collaboration, problem solving” er det nye sort • Er læring en lineær proces fra en begyndelse til en ende? En fastsat diagram over udvikling – et ‘skill-tree’? – Læringsmålsstyring – hvem definerer målene • ”Teaching to the PISA test”

Forståelse af læring og bevidsthed • • Kan vi dekomponeres til et antal tællelige enheder, som aggregeret på forskellige vis kan kaldes kompetencer eller dannelse? F. eks. Learning dispositions Enhederne er ord, begreber, teori, abstraktioner, akademiske distinktioner som er med til at producere og konstruere forståelser af hvad vi er – de er ikke en 1: 1 model af virkeligheden (den er for kompleks) Det tror jeg vi glemmer en gang imellem i vores fascination af data og visualiseringer og begreber Kan vi sige noget om folks personlighed ved at stikke et termometer i røven af dem? database devices are based on the logic that the subject is made up of unique combinations of distributed transactional metrics that reveal who they are and their capacities, problems and needs. An individual is not simply a child or youth, but rather a combination of needs and services. (Citation in Williamson)

Tænkt eksempel på ‘student dashboard’ Er ‘resiliens’ nu en ting? Det er det ved at blive White paper: Open Learning Analytics: an integrated & modularized platform http: //solaresearch. org/Open. Learning. Analytics. pdf

Pædagogisk værktøj eller administrativ-politisk styring • Systemer bliver solgt som nye værktøjer til medarbejderne – som noget der skal hjælpe dem i deres praksis (de varme hænder). – Patientjournaler, research repositories, skoleportaler – Argumenterne tager udgangspunkt i praksis…men glider det over til at løse ledelesens og administrationens problemer med at levere tal til andre? – Min bekymring er, at vi starter i argumenterne om læring og praksis, men at vi ender med kontrol, administration, dokumentation – ledere der skal aflevere tal til andre ledere, administrative håndtryk til kvalitetsikring

Nye systemer som lærerne ikke kan bruge…. • 20 års IKT-pædagogisk forskning: – Investér i udviklingen af underviserne…politikere: Yeeeaaah Ipads (den uhellige tre-uenighed) • Måske tænke i en it-pædagogisk filosofi, der hedder: reduce, reuse, recycle i stedet • Hvis det er svært for undervisere at benytte eksisterende IT på en pædagogisk god måde, løser vi så det problem ved at tilføje dashboards, der kræver en Ph. D i data science? – Sundhedsmålinger, trivsel etc. til lærerne fra STIL? Hvordan skal det analyseres og fortolkes – Tal og dashboards giver altså ikke sig selv – Er data bedre end lærernes dømmekraft? – Bekymring: Det vi kan måle kommer i fokus og bliver det vi fokuserer på.

Opsummerende • • • Learning Analytics og Big Data er ikke bare neutrale værktøjer, data og systemer – de indeholder bestemte forståelser og måder at se verden på. De skaber også bestemte subjekter, praksisser, rationaliteter og idealer Hvilke syn på læring og pædagogik følger med værktøjerne og metoderne – hvilke implicitte pædagogikker er indskrevet i kildekoden Hvilke kompetencer kræver det at forstå og afkode de data vi producerer – forstår vi faktisk, hvad vi opererer på? Specielle pædagogikker der understøttes af denne tænkning? Hvem får indflydelse på udvikling og implementering af systemerne? Lærere eller administration?

Lidt opsamling fra dagen • Effektiv, sjovere læring, eleverne synes det er sjovt – chocolate covered broccoli? • Skal læreprocesser være som at følge en ruteplan/GPS eller skal det være at lære at orientere sig på et kort (og havne i tjørnekrat) • Er det mere training analytics vi snakker om? ”Taksonomisk ligger meget af learning analytics på de lavere niveauer” – Ord er ikke ligegyldige – helt enig med Rasmus i at det meste af det vi ser er ‘academic analytics’ eller ‘educational behavior analytics’ og mere til adminstration end det er læring – Fint med frafaldsanalyser – men det har intet med læring at gøre – Det er helt fair, men så skal vi måske ikke kalde det ‘learning analytics’.

Hvilke spørgsmål bør vi stille • Læring eller data først? Hvad er vores forståelse/ideal omkring læring (læring som identitet, transformativ? ) – Kan vi måle det? Hvad er begrænsningerne? – Hvilke data har vi adgang til? Hvilke har vi ikke? – Data-driven eller problem-driven – løser vi et problem/har et spørgsmål eller har vi nogle data, der leder efter ét – Hvad er det vi vil forstå – er analytics svaret? • Et par vigtige spørgsmål at reflektere over – – – Hvem måler hvem – og med hvilket formål? Hvem bestemmer målene? Lærere? Staten? Elever? Er man målt eller måler? Hvem ejer data, hvem ejer retten til at bestemme mening og analyse? Hvem har kompetencerne til at læse målingerne? Hvem bliver ‘bemyndiget’, hvem bliver ‘marginaliseret’?

Referencer • • boyd, danah, & Crawford, K. (2012). Critical Questions for Big Data. Information, Communication & Society, 15(5), 662– 679. http: //doi. org/10. 1080/1369118 X. 2012. 678878 Bygholm, A. , & Nyvang, T. (2013). IKT-støttet læring og kvalitet – erfaringer fra uddannelserne i Humanistisk Informatik på Aalborg Universitet. In Y. Nordkvelle, T. Fossland, & G. Netteland (Eds. ), Kvalitet i fleksibel høyere utdanning – nordiske perspektiver. Akademika Forlag. Dalsgaard, C. (2006). Social software: E-learning beyond learning management systems. European Journal of Open, Distance and E-Learning. Retrieved from http: //www. eurodl. org/materials/contrib/2006/Christian_Dalsgaard. htm Jones, C. , & Dirckinck-Holmfeld, L. (2009). Analysing Networked Learning Practices. In L. Dirckinck-Holmfeld, C. Jones, & B. Lindström (Eds. ), Analysing Networked Learning Practices in Higher Education and Continuing Professional Development (pp. 10– 27). Rotterdam: Sense Publishers. Westbury, I. (1998). Didaktik and Curriculum Studies. In B. Gundem & S. Hopmann (Eds. ), Didaktik and or curriculum  an international dialogue (pp. 47– 78). New York: P. Lang. Weller, M. (2007). Virtual learning environments  effective development and use. London: Routledge. Williamson, B. (2014). Policy networks, database pedagogies, and the new spaces of algorithmic governance in education. In S. Bayne, C. Jones, M. de Laat, T. Ryberg, & C. Sinclair (Eds. ), Proceedings of the Ninth International Networked Learning Conference (pp. 547– 554).

Learning Analytics og Big Data — et kritisk