Dato: 05.06.2020
Kunnskapsdepartementet ved statsråd Henrik Asheim,
Høringssvar fra ledere av seks Sentre for Fremragende Utdanning - bioCEED (UIB), CELL (UIO), Matric (UiA), Excited (NTNU), CCSE (UIO), iEarth (UIB), vedrørende Ny lov om universiteter og høyskoler.
Vi takker for mulighet til å komme med innspill på forslaget til ny UH-lov. Våre innspill bygger på våre erfaringer som sentre for fremragende utdanning (SFU), der vi har gått i bresjen for utvikling, innføring og evaluering av studentaktive undervisningsformer i et bredt spekter av fagfelt og institusjoner. Gjennom seks år har vi høstet SFU-erfaringer fra matematikk og ingeniørfag via biologi geologi til juss; fra disiplin- og profesjonsutdanninger; og fra de store brede storbyuniversitetene til mindre og mer spesialiserte institusjoner.
Våre kommentarer og innspill knytter seg til særskilt kapittel 8 Undervisning, vurdering, sensur, klage og utstedelse av vitnemål, drøftet i NOU 2020:3 kap 21. Undervisning, vurdering, sensur, klage på eksamen og utstedelse av vitnemål, og baserer seg på erfaringer og kunnskap fra vår fartstid som Sentre for fremragende utdanning (SFU) ved en rekke universiteter og høyskoler. Som SFU-er har vi også et bredt kontaktnett innenfor miljøer med tung pedagogisk og undervisningsfaglig kompetanse og erfaring i inn- og utland, og vi oppsummerer også det vi mener er viktige innspill fra disse.
1. Grunnleggende forutsetninger:
a) Loven må legge god og kunnskapsbasert pedagogisk praksis til grunn. Loven er sterkt førende for vår undervisnings- og vurderingspraksis og bør derfor forvente og aktivt bidra til å fremme og støtte opp om kunnskapsbasert og god pedagogisk praksis. Vi mener derfor det er viktig at loven tar inn over seg, og bruker, en språkbruk som basert på moderne pedagogikk, heller enn at god pedagogikk kan ‘lures inn bakveien’ slik høringsdokumentet legger opp til (se spesielt punktet om ‘underveisvurdering’ nedenfor).
b) Loven må fremme riktig og effektiv ressursbruk i sektoren. Loven, og de praksiser den vil kreve og legge opp til, vil være svært førende for hvordan høyere utdanningsinstitusjoner skal forvalte sine ressurser. Det er viktig at lovteksten og språkbruken dytter denne ressursbruken i retning av praksiser og tiltak med dokumentert effekt på læring og undervisningskvalitet. Altså at den legger til rette for og understøtter at også læringsmetodene (undervisning og vurdering) i høyere utdanning skal være kunnskapsbaserte (se spesielt diskusjon av konsekvenser av to sensorer nedenfor).
c) Loven må bygge videre på tidligere og pågående utviklingsprosesser. En del viktige og grundig omtalte temaer og problemstillinger fra andre styrende dokumenter (f.eks. St.meld 16 Kultur for kvalitet 2016-2017) virker ikke å være brukt i arbeidet med ny lov. Våre anbefalinger peker på slike koblinger, og er et forsøk på å legge til rette for større samsvar mellom språkbruk, lov og praksis (se spesielt omtale av meningsskapende samsvar og bruk av snevre og utdaterte begreper som ‘forelesning’, ‘eksamen’ mm). Videre noterer vi i Kap. 21 en manglende bruk av pedagogisk forskning og kunnskap om studentenes læring – både fra Norge og en rekke andre land.
d) Loven må sikre studentenes rettigheter, men også deres interesser. Loven må også avveie positive effekter av å sikre studentenes rettigheter mot (uintenderte) negative effekter i det sterke studentrettigheter kan være til hinder for (eller virke som et disinsentiv mot) studentaktive undervisning og vurderingspraksiser med dokumentert god effekt på læringsutbytte. Vi noterer at rettsikkerhet og rettferdig vurdering skal og bør sikres både materielt, og gjennom gode og åpne prosesser for kvalitetssikring.
2. Overordna kommentar med konsekvenser for flere paragrafer: Loven må legge til rette for meningsskapende samsvar mellom læring og vurdering
Meningsskapende samsvar mellom undervisning og vurdering er et mål og en ambisjon for moderne høyere utdanning (Biggs & Tang ,2011; Kunnskapsdepartementet, 2016). Målet med meningsskapende samsvar er å oppheve skillet mellom undervisning og vurdering, slik at læringsaktiviteter og vurdering i samspill bidrar til studentenes læringsutbytte. Gjennom fagets læringsaktiviteter opparbeider studentene kunnskaper, kompetanser, og ferdigheter som beskrevet i læringsutbyttebeskrivelsen, og demonstrerer samtidig at de behersker dem. Vurderingen blir en naturlig del av læringen. Forskning viser at meningsskapende samsvar fremmer læring og motivasjon hos studentene, og kan øke vurderingens reliabilitet (Biggs 1999, Biggs & Tang 2011, McMahon & Thakore 2006, Morris 2008, Moulding 2010, Taylor & Canfield 2007 m.fl). På bakgrunn av dette idealet bekymrer vi oss over følgende formulering i underkapittel 21.4.2.1 ‘Underveisvurdering og eksamen’:
Utvalget mener det skal være rom for å ha andre vurderingsformer enn tradisjonelle eksamener. Etter utvalgets oppfatning er ikke gjeldende universitets- og høyskolelov til hinder for dette. Utvalget vil presisere at institusjonene har mulighet til å tilby varierte lærings- og vurderingsformer, slik som «underveisvurdering». Denne vurderingsformen skal ikke telle med i den endelige karakteren som fremkommer på vitnemålet, men har til hensikt å fremme studentenes læring. Denne vurderingen kan heller ikke påklages (NOU 2020:3, s. 198, (NOU 2020:3, s. 198, vår utheving).
Komiteens definisjon av underveisvurdering er helt ikke tydelig. Det defineres både på en materiell måte («formativ vurdering», s. 196) og en formell måte («ikke tellende og kan ikke påklages», s. 197). Det skaper litt forvirring siden en del formativ vurdering kan telles som sluttvurdering under dagens lovverk (1). Men det som er klart fra rapporten er at utvalget er mot at loven skal mykes opp så at en større del og mangfold av underveisvurdering kan telles i den endelige karakteren (eller som en separat karakter). Istedenfor anbefaler utvalget en rekke tiltak som vil gjøre dagens restriktive politikk enda mer restriktiv.
Denne tilnærmingen strider mot selve ideen bak meningsskapende samsvar. NOUen går videre igjennom høringsinnspill fra UHR, NHO, og Christian Jørgensen (UiB) som alle ønsker eksplisitt åpning for bruk av et bredere spekter av vurderingsformer, noe som vil muliggjøre reell formativ vurdering og meningsskapende samsvar. Utvalget konkluderer allikevel:
Etter utvalgets vurdering er det vanskelig å se hvilke lovendringer som kan bøte på utfordringen UHR peker på når det skriver at «lovens fokus på forelesninger og krav om offentlighet har liten relevans», og at den nye loven heller bør «oppfordre til undervisnings- og læringsformer som i større grad krever aktiv deltakelse fra studentene». Utvalget ser det som mest hensiktsmessig med en rammelov som ikke stiller detaljerte krav til institusjonene, blant annet til hvordan institusjonen legger opp undervisningen. (ibid, vår utheving)
Dette siste er vi helt enige i, men i motsetning til utvalget konkluderer vi med at dette fordrer en endring av loven, der spesielt rammene rundt vurdering (aka ‘eksamen’, se nedenfor) må mykes opp for å gi institusjonene større autonomi - ikke strammes inn, slik lovforslaget legger opp til. En rammelov også for valg av vurdering, slik utvalget argumenterer for valg av undervisning, ville jo nettopp gitt institusjonene frihet til å velge ikke bare undervisningsformer, men også vurderingsformer tilpasset faget og læringsutbyttene. Det foreliggende forslaget er imidlertid ikke en slik oppmyking, man faktisk en betydelig innsnevring av mulighetsrommet rundt vurdering, med store konsekvenser for meningsskapende samsvar, underveisvurdering og ressursbruk. Det er spesielt (endringene i) §8-7, og i noen grad §8-6 som skaper problemer her:
- §8-6 er relativt åpen på hvordan “eksamen” skal gjennomføres, noe som gir et mulighetsrom, men skiller ut “muntlig eksamen” fra andre eksamener, noe som får en del konsekvenser senere. “Praktisk eksamen” burde også vært omtalt her, da prøving av mange aktuelle faglige ferdigheter ikke lar seg kategorisere som ‘muntlig’ eller ‘skriftlig’. Når det gjelder konsekvenser for sensur med mer bør hovedregel være at praktisk prøve følger reglene for muntlig eksamen – det er for eksempel vanskelig å se for seg at en reell ny sensur vil være mulig for vurdering av et bakverk eller annen gjennomføring av en faglig metode.
- §8-7 her burde man i tillegg hatt et punkt om “praktisk prøve eller demonstrasjon av en kunnskap, kompetanse, eller ferdighet” (som ikke er det same som “praksisstudier” eventuelt presisere eller utvide punkt c ut over ‘prestasjon’)
- I §8-7 er det spesielt skjerpede krav til sensorbruk vi er kritiske til. Obligatorisk bruk av to sensorer for alle typer vurdering (og ved klage, §8-10) på høyere og lavere nivå vil i praksis føre til en stor dreining av faglig og administrativ ressursbruk fra undervisningen og læringsarbeidet til vurdering. En rasjonell institusjon eller underviser vil under et slikt regime ikke prioritere meningsskapende samsvar mellom undervisning og vurdering, noe som vil gi økte kostander til vurdering og klagebehandling, men heller enkle og operasjonaliserbare eksamensformer.
- Forslagene til endring i sensurreglene i §8-7 og §8-10 gjør det altså i realiteten mye mer krevende enn i dag å bruke reell, tellende underveisvurdering og meningsskapende samsvar som en del av læringsarbeidet.
- Som et alternativ foreslår vi styrking av programsensorrollen (beskrevet i §8-6), noe som gir mulighet til sensur og kvalitetskontroll ikke av den enkelte students prestasjon, men av samsvar mellom læringsutbyttebeskrivelser, læringsaktiviteter, og vurderingskriterier. Ren feilsensur ivaretas allerede av klageretten (§8-10).
I NOUen blir altså reellt tellende underveisvurdering effektivt parkert, mens vurderingen antyder at eventuell ren ‘formativ underveisvurdering’ kan skje som en del av obligatoriske arbeidskrav som ikke skal telle mot karakter. Dette har flere negative konsekvenser:
- Viktig læringsarbeid der man har mulighet til å få tilbakemelding blir utelatt fra vurderingen (eller plassert i en "må være godkjent"-kategori). Studentene skjønner imidlertid godt forskjellen mellom det som teller og ikke teller – de er både strategiske og smarte – og det er godt dokumentert gjennom forskning at vurderingen er styrende for studentenes valg av læringsstrategi (se f.eks. Raaheim 2019; Biggs & Tang 2011)
- Summativ slutteksamen vil nok en gang fremstå som "den enkleste og mest ryddige" løsningen, og vurderingsformer med tilbakemelding og reell tellende underveisvurdering (som brukt rett gir dokumentert bedre læring, se ovenfor) kan tilsynelatende være mindre "lovlige" og føre til problem ved klage etc. Vi risikerer en reversering tilbake mot mer bruk av tradisjonell eksamen, bort fra vurdering som kan inkludere vurdering av praktiske og ferdighetsbaserte læringsutbytter (kategoriene ferdigheter og generell kompetanse).
- Mulighetene for constructive alignment /meningskapende samsvar (CA) blir vanskeliggjort av at man ikke kan integrere undervisning og (tellende) formativ vurdering. Faktisk kan man si at dette strid mot hele grunntanken i CA – som nettopp går ut på at undervisning og vurdering ikke er, og ikke bør være, to forskjellige og separerte aktiviteter, men være tett integrert!
- Dette er til hinder for internasjonalt pedagogisk utviklings- og forskningssamarbeid – dersom Norge velger en annen vei enn utviklingen vi ser internasjonalt vil det vanskeliggjøre samarbeid om utvikling av emner, program og læringsressurser, og forskning på disse. I utlandet ser man nå i økende grad at det benyttes bl.a. underveisvurdering, med-studentvurdering mellom studentene, og muligheten til å opparbeide seg forskjellige typer ’poeng’ gjennom studentaktive læringsaktiviteter.
Lovendringsforslaget berører ikke underveisvurdering - så her er det mer mangel på inkludering av dette som del av vurderingen som er problemet dersom utvalgets beskrivelse av underveisvurdering blir lagt til grunn. Problemstillingen med underveisvurdering, obligatoriske arbeidskrav og sluttvurdering har vi kjent på lenge, men her velger man å ikke adressere det utover en diskusjon i NOUen, med en konklusjon om at underveisvurdering ikke skal være tellende i endelig karakter (NOU 2020:3, s. 198). Vi ønsker en formulering som åpner for at ulike former for skriftlig, muntlig, og praktisk underveisvurdering av kunnskap, ferdigheter, og generell kompetanse skal kunne telle mot den endelige karakteren.
Se for øvrig Utvalgets omtale av obligatoriske arbeidskrav, s198, der de synes å åpne for at enkelte arbeidskrav kan “innregnes i karakter” (21.4.2.2, s. 198): (...)Utvalget mener at det ikke er adgang til å klage på obligatoriske arbeidskrav som ikke teller med i den endelige karakteren, i motsetning til arbeidskrav som enten er en del av eksamen, eller som inngår på vitnemålet eller innregnes i en karakter som fremgår av vitnemålet for det aktuelle studiet. (...)
Et konkret eksempel på hvordan innstramminger (to sensorer) og manglende omtale (underveisvurdering) kan hindre god praksis er beskrevet av MN-UiBs Pedagogiske Akademi (meritterte undervisere) i deres uttalelse til UiB i forbindelse med høringen:
Pedagogisk litteratur og teori påpeker positive effekter av underveisvurdering med tilbakemelding (formativ vurdering) og dette fremheves flere steder i NOU 2020:3. Flere studentaktive arbeidsformer innebærer at studentene får poengmessig uttelling for arbeider underveis, hvor disse poengene teller med når karakter skal fastsettes. Dessverre vil kravet om to sensorer gjøre slik bruk av poeng i tilknytning til formativ vurdering betraktelig vanskeligere. (...) Team-based learning er en veletablert metodikk som forutsetter at poeng gis på flere små tester underveis og at disse teller litt mot karakteren. Det er praktisk umulig å ha med sensor på mange undervisningstimer i løpet av semesteret for å gjennomføre dette, så team-based learning blir i praksis forbudt eller man må undervise en særnorsk, vingestekket variant. (...)
Vi bekymrer oss for at forslaget om to sensorer vil føre til nye og sterke insentiver som vil fremme vurdering lavt i Blooms kognitive taksonomi. Jo høyere kognitive egenskaper man tester, jo vanskeligere er det å gi et fullt overblikk over innhold og diskusjoner som har funnet sted i undervisningen, og slik gi en sensor utenfra all informasjon som er nødvendig for å gjenkjenne studentenes selvstendige og kreative bidrag. Antagelig vil en direkte eller indirekte effekt bli at eksamensoppgaver formuleres slik at de to sensorene lett blir enige, det vil si tettere på fakta og lenger unna kritisk analyse og kreativitet.
Generelt ser vi i sektoren en økende diversitet i vurdering og mer bruk av flere vurderingselementer med tilbakemelding og dette er en positiv utvikling vi er redd kravet om to sensorer vil stanse eller reversere. Vi er bekymret for at mange undervisere vil velge å redusere antall vurderingselementer når alt må gjennomgås sammen med en ekstern sensor. Dette vil hindre en ønsket utvikling i retning av flere og mer varierte vurderingselementer innenfor emnene. (...)
3. Andre kommentarer
Offentlige forelesninger (§ 8-2)
Paragrafen er overflødig og stemmer ikke med virkeligheten og undervisningens form og undervisernes rolle i moderne høyere utdanning. Vi mener at åpen undervisning på lik linje med åpen forskning er viktige prinsipper og en del av utviklingen mot en ‘åpen vitenskap’ tilgjengelig for alle som gjerne kunne omtales i loven. Men «offentlige forelesninger» fremstår som tilbakeskuende og snevert, og gjenspeiler ikke dagens praksis.
Gjennomføring av eksamen (§ 8-6)
Læringsutbyttebeskrivelsene er førende for hva studentene skal bli vurdert på. Loven må sørge for at alle de tre kategoriene (kunnskap, ferdigheter og generell kompetanse) kan forventes å bli vurdert. Vi mener at generell kompetanse må inkluderes og nevnes eksplisitt, for å styrke denne kategoriens synlighet – generelle kompetanser er viktige, men blir ofte stemoderlig behandlet både i undervisning og vurdering. For å sikre god vurderingspraksis som kan prøve studentene i alle tre kategorier av læringsutbytter, må loven åpne for variasjon og kombinasjon av ulike vurderingsformer (f.eks. ulike former for underveisvurdering, praktisk prøve, muntlig prøve, med mere).
Ordningen med ekstern programsensor (forankret i §8-6, første ledd) er viktig, og kan gjerne styrkes og kobles til eller gjøres valgbar mot bruk av eksamenssensor (§8-7). Gjennom program- og emne-sensur kan institusjonene bruke sensorer mer helhetlig til å vurdere og kvalitetssikre innhold og samsvar i undervisning, undervisningsformer, og vurderingsopplegg opp mot læringsutbyttebeskrivelsen. En større autonomi rundt bruk av sensorer vil kunne tillate institusjonene å ta i bruk sensorene og deres ressurser på en mer helhetlig måte, tilpasset faglige og lokale behov. Programsensur kan dermed utvikles fra en ren kontrollfunksjon til også å være en utviklings- og studiekvalitetsstøtte. Studentenes rettssikkerhet ivaretas gjennom klageordningen (med to sensorer), gjennom å tydeliggjøre at vurderingen skal være kriteriebasert, og gjennom at kriterier og kriteriebruk nivelleres og kommuniseres eksplisitt og åpent gjennom sensorveiledningen.
Gjennomføring av førstegangssensur (§ 8-7): Krav om to sensorer ved alle eksamener og prøver samt gjeldende bestemmelse om sensorveiledning (se NOU kap. 21.5.2.3.2 og kap 21.5.2.2, Gjennomføring av førstegangssensur § 8-7)
Et gjennomgående krav om to sensorer ved all førstegangssensur vil medføre økt ressursbruk, og vil kunne føre til at undervisningsressursene blir lagt på sensurering heller enn læring (undervisningsopplegg og underveisvurdering). Det kan gi en vridning vekk fra den store variasjonen i mer aktive undervisnings- og vurderingsformer som allerede er i bruk og tar i liten grad innover seg behovet for videre innovasjon og utvikling av utdanningen. Gjennomgående krav om to sensorer er sammenlignbart med den gamle ordningen med krav om ekstern sensor. Denne ordningen er dokumentert ikke å øke reliabiliteten ved vurderingene (se f.eks. Raaheim, 2000; Rasch & Eriksen, 2009). Vi risikerer altså en ordning som krever økte ressurser, men som i praksis ikke øker studentenes rettsikkerhet, eller bidrar til større grad av «vitenskapelighet» i vurderingene.
Det er også viktig å påpeke at kravet om økt bruk av ekstern sensor er lite realistisk av praktiske grunner. Ved flere universiteter og høyskoler består studieprogrammer av spesialisert emner, der det allerede problemer med å finne nok kvalifiserte eksterne sensorer eller å få fagfolk til å prioritere denne typen arbeid. Lovforslaget antar en nærmest ubegrenset tilgang til eksterne sensorer – noe som ikke samsvarer med virkeligheten eller ressurstilgangen i sektoren.
I forslaget til ny UH-lov er kravet om to sensorer begrunnet med at dette vil bidra til færre klager over tid. Dersom studentene vet hva de skal lære (læringsutbyttebeskrivelser), hvordan de vil bli vurdert og hva som er forventet (vurderingskriterier) og får tilbakemelding på egen prestasjon (begrunnelse) vil studentene får vurdering for læring, og kunne gjøre en egenvurdering. Dette vil også være ressurskrevende, men vil være en investering i studentens læring og bidra til meningsskapende samsvar av læringsutbytter, undervisning og vurdering. Det er god grunn til å tro at det også vil redusere antallet klager.
Sensorveiledning som er tilgjengelig for studentene bør videreføres, men det er vanskelig å begrunne hvorfor den først skal være tilgjengelig etter at karakter er satt. Kriterier og standarder for vurdering bør være tilgjengelig for studentene (evt. i form av vurderingskriterier nevnt over) for å støtte deres læringsarbeid. Kriteriebasert vurdering er et krav (2) og styrker vurderingens pålitelighet (Gynnild, 2013). Sensorveiledninger som er fasiter, bør være unntaket – ikke regelen, og evt. fanges opp av unntaksbestemmelser for disse eller institusjonell autonomi til å gjøre unntak.
Gjennomføring av førstegangssensur (§ 8-7): En tredje karakterskala
Vi støtter innføring av tretrinns karakterskala, i tillegg til dagens to andre karakterskalaer. Men det må tydelig fremgå av vitnemål/karakterutskrift hvilken skala som benyttes for hver vurdering, slik at det ikke oppstår forvirring mellom to-trinns og tre-trinns skala (som for mange studenter vil kunne være i bruk på ulike emner i løpet av en grad), dersom man velger å bruke samme begrep bestått. Videre, når det i større grad oppmuntres og legges til rette for bruk av andre vurderingsuttrykk enn den tradisjonelle karakterskalaen A-F er det problematisk hvis ikke dette vurderingsuttrykket vektes inn i det tellende karaktersnittet. Det bør tydeliggjøres i lovverket at institusjonene må ta høyde for vekting av de ulike skalaene i tellende karaktersnitt for opptak til høyere gradsutdanning.
Gjennomføring av førstegangssensur (§ 8-7): Fjerning av blind sensur (kap 21.6.2.2)
Sektoren har vært preget av en overdreven tro på at blind sensur bidrar til kvalitet i vurderingen, og vi mener det er positivt at kravet om blind sensur fjernes.
Avsluttende kommentar
Vi påpeker at vi er opptatt av at studentenes rettssikkerhet og interesser i god undervisning og rettferdig vurdering må ivaretas på en helhetlig måte. Viktige komponenter i dette er meningsskapende samsvar mellom læringsutbyttebeskrivelser, læringsaktiviteter, og vurderingskriterier; gode sensorveiledninger som bidrar til at kriterier og kriteriebruk nivelleres og kommuniseres eksplisitt og åpent; kriteriebasert vurdering; og klageordningen (med to sensorer).
Med vennlig hilsen
Vigdis Vandvik og Oddfrid Førland
SFU bioCEED – Senter for fremragende utdanning i biologi
Guttorm Sindre
SFU Excited – Centre for Excellent IT Education
Thomas Gjesteland
SFU Matric – Centre for Research, Innovation and Coordination of Mathematics Teaching
Anders Malthe-Sørenssen
SFU CCSE – Center for Computing in Science Education
Jostein Bakke
SFU iEARTH - Centre for Integrated Earth Science Education
Malcom Langford og Johanne M.R. Larsen
SFU CELL - Centre on Experiential Legal Learning
Referanser
Biggs, J. (1999). What the Student Does: Teaching for enhanced learning. Higher Education Research & Development, 18(1), 57-75.
Biggs, J. og Tang, C. (2011) Teaching for quality learning at university. New York: McGraw-Hill Open University Press
Gynnild, V. (2013). "Kriteriebasert vurdering" - hva innebærer det i praksis? Uniped [elektronisk Ressurs] : Tidsskrift for Universitets- Og Høgskolepedagogikk, 36(1), 26-41.
Kunnskapdepartementet. (2016). Kultur for kvalitet i høyere utdanning.(Meld. St. nr 16 2016-2017)
McMahon, T. and Thakore, H. (2006). Achieving constructive alignment: putting outcomes first, The Quality of Higher Education, 3: 10-19
Morris, M.M. (2008). Evaluating university teaching and learning in an outcome-based model: replanting Bloom.Doctoral dissertation, University of Wollongong
Moulding, N.T. (2010). Intelligent design: student perceptions of teaching and learning in large social work classes. Higher Education Research and Development, 29,2: 151-65
Raaheim, A. (2000). En studie av inter-bedømmer reliabilitet ved eksamen på psykologi grunnfag. Tidsskrift for Norsk Psykologforening, 37, 203-213.
Raaheim, A. (2019). Eksamensrevolusjonen : Råd og tips om eksamen og alternative vurderingsformer (2. utgave. ed.). Oslo: Gyldendal
Rasch, Bjørn Erik & Eriksen, Sara Kristine (2009). En eller to sensorer? Et eksperiment i sosial interaksjon. Tidsskrift for samfunnsforskning, 50(3), s 293- 316
Taylor, R. And Canfield, P. (2007). Learning to be a scholarly teaching faculty: cultural change through shared leadership, in A. Brew and J. Sachs (eds) The transformed University: Scholarship of Teaching and Learning in Action. Sydney: Sydney University Press.
(1) Komiteen anerkjenner denne (s. 196) men tar ikke inn over seg konsekvenser av sine to forskjellige definisjoner for både lovtolkning og tolkningen av sine konklusjoner.
(2) jf Retningslinjer for bruk at det nasjonale karaktersystemet https://www.regjeringen.no/no/dokumenter/retningslinjer-for-bruk-at-det-nasjonale/id91189/