Oulun ammattikorkeakoulu
ePooki 25/2019

Opinnäytetöiden arviointikriteerien vaikutus arvioinnissa

10.5.2019 ::

Metatiedot

Nimeke: Opinnäytetöiden arviointikriteerien vaikutus arvioinnissa

Tekijä: Hanhela Pentti

Aihe, asiasanat: ammattikorkeakoulut, arviointi, opinnäytteet

Tiivistelmä: Ammattikorkeakoulun opinnäytetyöt arvioidaan tavoitteista muodostettujen kriteerien perusteella. Oulun ammattikorkeakoulun arviointiohjeissa arvosanoja ei kuvattu yksityiskohtaisesti vuosina 2003–2009. Vuonna 2010 otettiin käyttöön opinnäytetöiden arviointiohje, jossa numeerinen arviointi kuvattiin tarkasti. Tässä tutkimuksessa verrattiin näiden kahden ajanjakson 2003–2009 ja 2010–2012 opinnäytetöistä annettuja arvosanoja keskenään ja tutkittiin millainen merkitys erilaisilla arviointiohjeilla on opinnäytetöiden arviointiin Oulun ammattikorkeakoulun yhdessä yksikössä. Tulosten mukaan arviointikriteerien tarkkuudella ei ole tilastollisesti merkittävää vaikutusta opinnäytetöistä annettuihin arvosanoihin. Opettajat ovat antaneet koko ajan samanlaisia arvosanoja.

Julkaisija: Oulun ammattikorkeakoulu, Oamk

Aikamääre: Julkaistu 2019-05-10

Pysyvä osoite: http://urn.fi/urn:nbn:fi-fe2019050214000

Kieli: suomi

Suhde: http://urn.fi/URN:ISSN:1798-2022, ePooki - Oulun ammattikorkeakoulun tutkimus- ja kehitystyön julkaisut

Oikeudet: CC BY-NC-ND 4.0

Näin viittaat tähän julkaisuun

Hanhela, P. 2019. Opinnäytetöiden arviointikriteerien vaikutus arvioinnissa. ePooki. Oulun ammattikorkeakoulun tutkimus- ja kehitystyön julkaisut 25. Hakupäivä 19.7.2019. http://urn.fi/urn:nbn:fi-fe2019050214000.

Ammattikorkeakoulun opinnäytetöiden arviointi perustuu asetettuihin tavoitteisiin ja niistä muodostettuihin arviointikriteereihin. Mikä vaikutus arviointiohjeiden yksityiskohtaisuudella on annettuihin arvosanoihin?

Kuva: Shutterstock

KUVA: Rawpixel.com/Shutterstock.com

Johdanto

Tässä tutkimuksessa vertailtiin Oulun ammattikorkeakoulun (Oamk) yhden yksikön opinnäytetöiden arviointia kahdella eri kaudella. Vuosina 2003–2009 Oamkissa oli käytössä hyvin suppea arviointiohje, jossa oli opinnäytetöiden arviointikohteet, mutta arvosanoja ei kuvattu Oulun seudun ammattikorkeakoulu. 2000. Ohjeet opinnäytetyöstä ja kypsyysnäytteestä. Oulu. (liite 1. Ohjeet opinnäytetyöstä ja kypsyysnäytteestä 2000). Vuosina 2010–2012 arviointi tapahtui yksityiskohtaisten arviointikriteerien avulla (liite 2. Oamk. Opinto-opas, opinnäytetyön arviointi). Tutkimuksessa selvitettiin, vaikuttaako arviointikriteerien tarkkuus annettuihin arvosanoihin. 

Tyypillisesti ammattikorkeakoulun opinnäytetyöt ovat kehittämistehtäviä, joiden laajuus on 15 opintopistettä. Kehittämistehtävässä sovelletaan olemassa olevaa, tutkimuksen tuloksena tai käytännön kokemuksen kautta saatua tietoa käytäntöön. Uutta tietoa käytetään uusien tuotteiden, palveluiden, tuotantoprosessien tai menetelmien aikaansaamiseksi tai olemassa olevien olennaiseksi parantamiseksi. Opinnäytetyö on aina raportoitu kirjallisesti Hirsjärvi, S., Remes, P. & Sajavaara, P. 2016. Tutki ja kirjoita. 15. uud. p. Helsinki: Tammi..

Suosituksissa ammattikorkeakoulun opinnäytetöitä ohjaaville opettajille todetaan: "Arviointiin vaikuttavat tekijät ovat opinnäytetyön tekijän tiedossa opinnäytetyöskentelyn alusta lähtien. Opinnäytetyön tekijä tietää arvioinnin periaatteet, arviointikriteerit ja arviointimenettelyn. Arvioinnin tulee olla kehittävää ja näyttöön perustuvaa" Oulun seudun ammattikorkeakoulu. 2006. Opinnäytetyön laadun tekijät ammattikorkeakoulussa. Suosituksia opinnäytetyötä ohjaaville. Hakupäivä 16.4.2019. http://www.oamk.fi/opinnaytehanke/docs/opinnaytetyon_laadun_tekijat.pdf. Myös valtakunnallinen Thesis-opinnäytetyökilpailu lisäsi ammattikorkeakoulujen opinnäytetöiden arviointiosaamista Oulun seudun ammattikorkeakoulu. 2012. Thesis 20 vuotta. Hakupäivä 16.4. 2019. http://www.oamk.fi/thesis/juhlajulkaisu/?sivu=1.

Oamkin opinnäytetyön ohjeissa kerrotaan, että opiskelija itsearvioi työtään koko opinnäytetyöprosessin ajan ja saa palautetta ohjaavalta opettajalta, toimeksiantajalta ja seminaareissa myös vertaisarvioijilta. Opinnäytetyön lopullisen arvosanan antavat kuitenkin ammattikorkeakoulun opettajat Oulun ammattikorkeakoulu. 2019. Opinto-opas, opinnäytetyön arviointi. Hakupäivä 16.4.2019. http://www.oamk.fi/opinto-opas/oj_arviointi_opinnayte_amk.php.

Hyväksytty opinnäytetyö vastaa opiskelijan koulutusohjelman tavoitteita, opinnäytetyöstä annettuja ohjeita ja eettisiä periaatteita. Opinnäytetyö arvioidaan numeerisella asteikolla 0–5 aiheen valinnan ja suunnittelun, toteuttamisen, kirjallisen raportoinnin ja prosessin arviointikriteerien perusteella huomioiden opinnäytetyön luonne. Arvosana muodostuu kokonaisuudesta ja kuvaa koko prosessin laatua. Oulun ammattikorkeakoulu. 2019. Opinto-opas, opinnäytetyön arviointi. Hakupäivä 16.4.2019. http://www.oamk.fi/opinto-opas/oj_arviointi_opinnayte_amk.php Lopullista arvosanaa antaessaan opettajat eivät ole laskeneet keskiarvoja eri osa-alueiden pohjalta, koska osa-alueiden painoarvoja ei ole määritetty. Opettajan työ perustuu arvoihin ja ammattieettisiin periaatteisiin, joiden merkitys korostuu arvioinnissa Oaj. 2019. Opettajan arvot ja eettiset periaatteet. Hakupäivä 16.4.2019. https://www.oaj.fi/arjessa/opetustyon-eettiset-periaatteet/opettajan-arvot-ja-eettiset-periaatteet/ Ammattikorkeakoulujen rehtorineuvosto Arene ry. 2018. Ammattikorkeakoulujen opinnäytetöiden eettiset suositukset. Hakupäivä 16.4.2019. http://www.arene.fi/wp-content/uploads/Raportit/2018/arene_ammattikorkeakoulujen-opinnaytetoiden-eettiset-suositukset.pdf?_t=1526903222. Jokaisella opinnäytetyöllä oli tutkitussa yksikössä vähintään kaksi arvioijaa, joista yksi oli aina työn ohjaaja. Arvosana muotoutui opettajien ja opiskelijoiden yhteisten ohjaustilanteiden, seminaarien ja loppuarvioinnin aikana. Siten arvosana ei tullut tavallisesti opiskelijalle yllätyksenä. Yleensä opiskelijat myös halusivat jatkaa työtään mahdollisimman hyvään lopputulokseen ja arvosanaan saadun palautteen avulla. Onnistunut arviointi tukeekin opiskelijoiden elinikäistä oppimista Virtanen, V., Postareff, L. & Hailikari, T. 2015. "Millainen arviointi tukee elinikäistä oppimista?" Yliopistopedagogiikka 1. Hakupäivä 16.4.2019. https://lehti.yliopistopedagogiikka.fi/2015/03/27/millainen-arviointi-tukee-elinikaista-oppimista/

Kirjoittaja oli itse mukana vuosina 2003–2012 tutkitun yksikön opinnäytetöiden arvioinnissa ja keräsi tässä tutkimuksessa mukana olevan aineiston. Tulosten tarkastelussa on hyödynnetty omia havaintoja.

Aineisto ja menetelmät

Tutkimuksessa on mukana Oamkin yhden yksikön opinnäytetyöt kymmenen vuoden ajalta vuosilta 2003–2012. Tutkimukseen mukaan otettiin yhteensä 360 opinnäytetyötä, joista löytyi kattavat arviointimerkinnät. Kaikkein puutteellisimmin kirjatut arvioinnit jätettiin tutkimuksesta pois (taulukko 1). Aineisto käsiteltiin SPSS-analyysiohjelmiston avulla.

Oulun ammattikorkeakoulun opinnäytetöiden arviointikriteerit vaihtuivat vuonna 2010. Vanhojen arviointikriteerien mukaan arvioituja opinnäytetöitä vuosilta 2003–2009 tutkimuksessa on mukana 243 ja uusien kriteerien mukaan arvioituja 117 vuosilta 2010–2012 (taulukko 1).

TAULUKKO 1. Opinnäytetöiden määrä ja arvosanojen keskiarvo vuosittain

 

Kappaletta

Keskiarvo

Keskihajonta

Tutkimuksesta hylättyjä,
puutteelliset tiedot

2003 24 3.46 1.25 6
2004 36 4.06 0.83 8
2005 36 4.22 0.76 1
2006 35 3.97 1.04 0
2007 23 4.04 0.71 0
2008 49 3.92 0.98 2
2009 40 4.05 0.88 1
2010 31 4.03 0.87 2
2011 41 3.93  0.93 0
2012 45 4.00 1.04 0

Arvioinnissa oli mukana yhteensä 31 opettajaa. Heistä kahdeksan oli lisensiaatteja tai tohtoreita, 21:llä oli ylempi korkeakoulututkinto ja kahdella alempi korkeakoulututkinto. Ohjaavista opettajista 54 % oli pedagogisesti päteviä jo ennen tutkimusjaksoa ja loput 46 % pätevöityivät tutkimusjakson aikana. Opettajia ei haastateltu tämän tutkimuksen yhteydessä.

Tulosten tarkastelu

Opinnäytetöiden ohjaus kertyi osittain samoille ohjaajille. Yksi opettaja ohjasi noin 20 % töistä, kolme ohjasi kukin noin 10 %, kaksi molemmat noin 5 % ja loput 25 opettajaa ohjasivat yhteensä noin 40 % töistä. Eniten ohjaaville tuli paljon arviointikokemusta. Opiskelijat tekivät opinnäytetöitään keskimäärin 390 päivää aiheen hyväksymisestä työn arviointiin. Tekijöitä oli yhteensä 429, joista noin 80 % teki työnsä yksin ja loput paritöinä.

Opettajat ja opiskelijat antoivat hyvin samankaltaisia arvosanoja opinnäytetöistä koko tutkimusajan 2003–2012 (taulukko 2). Vanhojen kriteerien aikana opiskelijoiden itselleen antamien arvosanojen keskiarvo oli hieman korkeampi (4.15, keskihajonta 0.737) verrattuna uusien kriteerien aikana annettuihin (4.02, keskihajonta 0.812). Tilastollisesti merkittäviä eroja ei kuitenkaan löytynyt kumpienkaan arviointikriteerien aikana opettajien ja opiskelijoiden arviointien välillä.

TAULUKKO 2. Opettajien antamien arvosanojen keskiarvot osa-alueittain. Opiskelijoiden itselleen antama arvosana oikealla

2003–2009

Keskiarvo

N

Keskihajonta

Opiskelijoiden itsearvio

Aiheen valinta 4.48 227 0.743  
Opinnäytetyön suunnitelma 3.76 227 1.047  
Opinnäytetyön lähtökohdat 4.12 224 0.837  
Kehittämistehtävä 4.13 227 0.871  
Kehittämistehtävän suorittaminen 3.82 227 1.079  
Tulokset ja päätelmät 3.79 228 1.046  
Pohdinta 3.85 226 0.919  
Ohjaus- ja palautekeskustelut 4.14 228 0.919  
Raportti 3.80 228 0.959  
Arvosana 3.95 246 0.951 4.15
2010–2012
Aiheen valinta ja suunnittelu 4.31 94 0.766  
Toteuttaminen 3.83 94 1.012  
Kirjallinen raportointi 3.92 102 0.941  
Prosessi 3.97 94 1.092  
Arvosana 4.06 110 0.921 4.02
Opettajien antamien arvosanojen keskiarvot 2003–2012 3.98 360 0.942  

Kumpanakin kautena yli 90 % opinnäytetöistä oli hankkeistettuja; töillä oli toimeksiantaja tai yhteistyötaho. Vanhojen kriteerien aikana toimeksiantajilta pyydettiin arvosana työstä, mutta uusien kriteerien aikana tätä ei enää pyydetty. Oamkin opinnäytetöiden uusia arviointikriteerejä ei ole esitelty toimeksiantajille systemaattisesti eikä heillä siten katsottu olevan valmiuksia antaa arvosanoja. Molempien arviointikriteerien kausilla yli 90 % toimeksiantajista oli sitä mieltä, että opinnäytetöistä oli heille hyötyä ja yli 70 % koki, että asetetut tavoitteet saavutettiin ja yhteistyö koulun kanssa oli sujuvaa. Toimeksiantajille osoitetut palautelomakkeet poikkesivat eri kausina toisistaan, siksi toimeksiantajien antamaa palautetta ei vertailtu.

Opettajien tutkinnolla tai pätevyydellä ei itsessään ollut tilastollista merkittävyyttä arvosanojen annossa tai eri arviointikausien välillä. Kaikkien opinnäytetöiden keskiarvo oli vanhojen kriteerien aikana 3.95 (keskihajonta 0.951) ja uusien arviointikriteerien aikana 4,06. (0.921). Kaikkien opinnäytetöiden lopullisten arvosanojen keskiarvo oli 3.98 (0.942). Kohtalaisen korkea keskiarvo johtuu kirjoittajan havaintojen mukaan suurelta osin opiskelijoiden halusta jatkaa opinnäytetyöprosessia niin kauan, että arvosana tyydytti heitä. Opettajakohtaisten keskiarvojen vaihteluväli oli 3.00–4.38. Keskiarvon 3 antaneet kolme opettajaa olivat kukin arvioineet vain 1–2 työtä.

Opettajat antoivat arvosanan kolme uusien arviointikriteerien aikana hiukan harvemmin ja arvosanaa viisi hiukan useammin (kuvio 1). Kiitettävä arvosana ehkä rohjettiin antaa hiukan helpommin, kun se voitiin perustella julkisten kriteerien avulla. Annetuista arvosanoista yli 40 % oli arvosanaa 4 molempina kausina. Se oli selvästi yleisin arvosana molempina kausina. Opettajat antoivat parhaat arvosanat aiheen valinnasta molempina kausina, ja keskihajonta oli siinä pienintä (taulukko 2). Aiheen valintaan ja hyväksyntään opettajat vaikuttivat itse ratkaisevasti. Tilastollisesti merkittävää eroa ei kuitenkaan havaittu opettajien antamien arvosanojen välillä verrattaessa vuosien 2003–2009 vanhojen, suppeitten arviointikriteerien aikaa vuosiin 2010–2012, jolloin oli voimassa tarkat ja yksityiskohtaiset arviointikriteerit (p=0.324). 

Arvosanajakauma vuosina 2003-2009 ja 2010-2012

KUVIO 1. Arvosanajakauma vuosina 2003–2009 ja 2010–2012

Johtopäätöksenä voidaan todeta, että arviointikriteerien tarkkuudella ei näyttänyt olevan tilastollista merkittävyyttä arvosanojen muodostumisessa. Opettajat osaavat arvioida opinnäytetöitä tasalaatuisesti oman koulutuksensa ja työkokemuksensa pohjalta. Keskeisenä syynä arvioinnin tasaisuuteen lienee oppilaitoksen työyhteisön keskustelukulttuuri niin opettajien kesken kuin opiskelijoiden kanssa ohjaustilanteissa ja seminaareissa. Arviointiprosessi pohjautui kuitenkin aina julkisiin arviointikriteereihin, suppeisiin tai yksityiskohtaisiin, ja arvosana muodostui opinnäytetyöprosessin kuluessa. Arvioinnin taustalla ovat koko ajan myös opettajan arvot ja eettiset periaatteet.

Lähteet

    Kommentit

    blog comments powered by Disqus