Hae sivustolta

Kokemuksia oppimisanalytiikasta – IntelliBoard Moodle-ympäristössä

Oppimisanalytiikkaratkaisuja tutkittaessa lähdettiin tavoittelemaan toimivaa digitaalista ratkaisua osaksi verkko-oppimisympäristöä sekä datan laajamittaista hyödyntämistä opetuksessa, ohjauksessa ja opiskelun tukemisessa. Voisiko valmis oppimisanalytiikkatuote vastata kysymyksiin analytiikan käytöstä opetuksessa sekä oppimisessa ja tarjota valmiita ratkaisuja? Olisiko jopa mahdollista ennustaa opiskelijoiden opintomenestystä? Artikkelissa kuvataan IntelliBoardin käyttöönottoon liittyvän prosessin keskeisiä tekijöitä ja tuodaan esille siihen liittyviä näkökulmia ja käyttökokemuksia Oulun ammattikorkeakoulussa.

1 Taustaa ja tavoitteet

Yhtenä lupauksena Apoa-hankkeella (Oppimisanalytiikka – avain parempaan oppimiseen AMKeissa) on ollut käytössä olevien digitaalisten ympäristöjen kehittäminen oppimisanalytiikan näkökulmasta. Oppimisanalytiikan digitaalisten ympäristöjen pilotointi on ollut yksi hankkeen osakokonaisuuksista. Tässä tapauksessa oppimisanalytiikka rajataan koskemaan opintojaksoilta kerättävän datan käsittelyä ja hyödyntämistä.

Jo hankkeen alkuvaiheessa päätettiin jonkin tunnetun Moodleen sopivan oppimisanalytiikka-laajennuksen testauksesta. IntelliBoardiin päädyttiin, koska siitä oli saatavilla paljon tietoa sekä dokumentaatiota. Yhteistyön syntyminen palveluntarjoajien kanssa oli helppoa ja se myös jatkui hyvin koko pilotin ajan. IntelliBoardin laajuus ja monipuolisuus yllätti ja nosti esiin uusia mahdollisuuksia koko Oulun ammattikorkeakoulua (Oamk) ajatellen. 

Lähtökohdat ja tavoitteet oppimisanalytiikkaratkaisun käyttöönotolle saatiin opettajille ja opiskelijoille suunnatuista työpajoista, joissa kartoitettiin oppimisanalytiikan käyttäjien tarpeita. Opettajat halusivat monipuolisesti oikea-aikaista tietoa opetuksen ja ohjauksen tueksi. Myös tiedon visualisointi esimerkiksi opintojen seuraamisessa koettiin tärkeänä. Kurttila, J. & Aalto, M. 2020. Oppimisprosessin seuraaminen ja visualisointi. Teoksessa S. Hartikainen, M. Koskinen & S. Aksovaara (toim.) Kohti oppimista tukevaa oppimisanalytiikkaa ammattikorkeakouluissa, 22–29. Jyväskylän ammattikorkeakoulu. Hakupäivä 6.5.2020. http://urn.fi/URN:ISBN:978-951-830-547-0

Pilotin avulla lähdettiin tutkimaan, miten oppimisanalytiikkaan kehitetty valmis analytiikkaratkaisu toimii ja mitä se tarjoaa opetuksen ja ohjauksen sekä opiskelun tueksi. Tämän lisäksi koulutuspäälliköiden kanssa käytiin keskustelua heidän tarpeistaan laajemman tilannekuvan saamiseksi esimerkiksi tutkinto-ohjelman tilanteesta. 

2 IntelliBoardin käyttöönotto

Oamkilla on käytössä Moodle-pohjainen Open LMS verkko-oppimisympäristö, joka toimitetaan SaaS-palveluna (Software as a Service). Pilotin aloittamisen aikaan Open LMS oli Blackboardin tuote. Learning Technologies Group (LTG) osti Open LMS ympäristön maaliskuussa 2020. Tällä muutoksella ei ollut vaikutusta pilotointiin. Käyttöönottoa helpotti IntelliBoardin integrointivalmius Open LMS-ympäristöön, kuten muihinkin Moodle-pohjaisiin ympäristöihin. IntelliBoard ja Blackboard tarjosivat kaikille Open LMS SaaS -palvelun piirissä oleville asiakkaille IntelliBoardin tarjoaman oppimisanalytiikkapalvelun.

IntelliBoard tarjosi teknisiä ja pedagogisia koulutuksia heti alusta alkaen ja otimme ne mielellämme vastaan. Käyttöönottoa tukivat myös webinaarit, IntelliBoardin tukisivusto sekä video-ohjeet. Kouluttajan kanssa käytiin läpi koko järjestelmän perusteet ja app.intelliboard.netin keskeisimmät ominaisuudet. Ensimmäiset demot tehtiin yhdessä IntelliBoardin henkilöstön kanssa ja tässä vaiheessa hyödynnettiin IntelliBoard for Moodle live demo site -sivustoa, jolla kuka tahansa voi testata itse toimintoja hallinnoijan, opettajan tai opiskelijan rooleilla. Huomasimme kuitenkin, että asiantuntijan opastamana demoympäristö ja IntelliBoardin ominaisuudet aukenivat paremmin.

Käyttöönotto eteni palveluun tutustumisen jälkeen asennukseen ja testaamiseen. IntelliBoardin yhdistäminen Moodleen onnistui vaivattomasti ja nopeasti yhdessä ympäristön palvelun tarjoajan kanssa. Ensin asennettiin IntelliBoardin laajennus (plugin) Moodleen ja tämän jälkeen yhdistettiin Moodle ja IntelliBoard tunnus. Tässä vaiheessa pitää olla IntelliBoard tilaus tehtynä, koska yhdistäminen ei onnistu ilman rekisteröityä tunnusta. Myös tilauksen taso tulee miettiä etukäteen. Mikäli esimerkiksi halutaan tarjota opiskelijoillekin analytiikkanäkymä Moodlessa, tulee käytössä olla vähintään taso 4. Tässä pilotissa oli käytössä taso 7. Työkalu tarvittavan tason määrittelyyn löytyy esimerkiksi osoitteesta https://IntelliBoard.net/pricing. 

Asennusten jälkeen alkoi testaus ja joitakin toiminnallisuuksia jouduttiin korjaamaan kuntoon. Tässä palveluntarjoaja toimi nopeasti ja joustavasti ja toteutti myös toiveita uusista ominaisuuksista. Samalla Moodlen ylläpitopuolella määriteltiin muun muassa, miten eri käyttäjien (opiskelija ja opettaja) näkymät (Dashboard) rakentuu. Käyttöönotossa lähdetään tarkastelemaan loppukäyttäjien näkymiä Moodlessa ja samalla ylläpidon toimesta otetaan käyttöön app.intelliboard.net -ympäristö, jossa määritellään muun muassa eri raporttien tai monitorointinäkymien hyödyntämistä verkko-oppimisympäristön puolella (kuva 1).

 

KUVA 1. Vasemmalla Moodlen Reports -näkymä opettajan silmin ja oikealla näkymä app.intelliboard.net -ympäristöstä, kun nuo kaksi raporttia on napsautettu näkymään opettajan Instructor Dashboardissa (kuva avautuu isommaksi klikkaamalla)

 

3 Analyysit ja raportit

IntelliBoard hyödyntää Moodlen keräämää lokidataa ja tekee sen pohjalta reaaliaikaisia raportteja ja visualisointeja. Ohjelmisto ei siis itse kerää dataa tai käytä tekoälyä, joka voisi ennustaa esimerkiksi opintomenestystä. Raporttien ja analyysien yhteenvetojen pohjalta voidaan kuitenkin tunnistaa opiskelijat, joilla saattaa olla haasteita ja jotka ovat putoamisvaarassa.

IntelliBoardia ohjataan ja konfiguroidaan selainpohjaisella käyttöliittymällä organisaation ylläpitäjähenkilöiden toimesta osoitteessa app.intelliboard.net. Ympäristössä voidaan esimerkiksi ajaa monipuolisia monitorointeja ja raportointeja, mutta lisäksi siellä voidaan myös määritellä, mitä raporttityyppejä halutaan tarjota opettajien käyttöön verkko-oppimisympäristön (esimerkiksi Moodlen) sisällä. Tämä on tärkeää siksi, että jos raporttityyppejä on tarjolla paljon, ne näyttäytyvät vaikeasti hahmoteltavana ryppäänä ja jäävät mahdollisesti kokonaan käyttämättä. 

IntelliBoardin tarjoamat raporttityypit, joita on yhteensä 139 kappaletta, on ryhmitelty neljään isompaan kokonaisuuteen, joiden alla on vielä alaosioita: 

1. User Reports

1. All Users (sisältää 18 raporttityyppiä)
2. By Instructor Role (11 raporttityyppiä)
3. By Learner Role (3 raporttityyppiä)

2. Course Reports

1. All Course Usage (16 raporttityyppiä)
2. Course Grades (4 raporttityyppiä)
3. Course Outcomes (3 raporttityyppiä)
4. Enrollment + Revenue (6 raporttityyppiä)

3. Activity Reports

1. All Activities (10 raporttityyppiä)
2. Assignment (2 raporttityyppiä)
3. Attendance (2 raporttityyppiä)
4. Badge (1 raporttityyppi)
5. Big Blue Button (1 raporttityyppiä)
6. Blackboard Collaborate (7 raporttityyppiä)
7. Certificate (2 raporttityyppiä)
8. Chat (2 raporttityyppiä)
9. Checklist (1 raporttityyppi)
10. Feedback (2 raporttityyppiä)
11. Forum (6 raporttityyppiä)
12. Lesson (1 raporttityyppi)
13. Moodle Message (0 raporttityyppiä)
14. PoodLL (3 raporttityyppiä)
15. Questionnaire (3 raporttityyppiä)
16. Quiz (13 raporttityyppiä)
17. Resource (3 raporttityyppiä)
18. SCORM (3 raporttityyppiä)
19. Survey (1 raporttityyppi)
20. Wiki (2 raporttityyppiä)

4. Extras

1. Custom Reports (7 raporttityyppiä)
2. Competency Reports (5 raporttityyppiä)
3. IntelliCart (1 raporttityyppi)

Raporttityyppien suuresta määrästä johtuen kokonaisuutta alettiin hahmottaa kirjoittamalla auki niiden kuvaukset. Raporttityypit kerättiin taulukkoon ja yksi kerrallaan selvitettiin niiden funktio (kuva 2). 

 

KUVA 2. IntelliBoardin raporttityypit käytiin läpi ja kirjoitettiin kuvaus niiden keskeisistä ominaisuuksista. Lisäksi merkittiin rastilla sellaiset, jotka voisi ajatella laittavansa tarjolle Moodleen. Osa raporttityypeistä oli sellaisia, että niiden vieminen oppimisalustalle oli estetty. Niihin pääsee käsiksi vain IntelliBoardin omassa käyttöliittymässä (app.intelliboard.net), jonne on pääsy vain oppilaitoksen määrätyillä henkilöillä (kuva avautuu isommaksi klikkaamalla)

 

Tämän jälkeen oli päätettävä, mitä raporttityypeistä jätetään tarjolle Moodle-ympäristöön. Siinä lähdettiin liikkeelle hankkeessa esiin nousseista tavoitteista: 

• Keskeyttämisen ennakointi: Voiko IntelliBoardin raporttinäkymillä ennakoida keskeyttämistä?
• Esteiden varhainen havaitseminen: Nostaako joku IntelliBoardin raportti esiin opiskelun esteitä?
• Opiskelijan oma havainnointi opiskelusta: Miten IntelliBoard tukee opiskelijan itseohjautumista?

Keskeyttämisen ennakointiin ja esteiden havaitsemiseen löysimme seuraavia, mielestämme parhaiten toimivia raporttityyppejä: 

• Activity Status Detail: Näyttää suorituksen tilanteen, sitoutuneisuuden ja pistemäärän.
• Course Inactivity: Näyttää kurssialustan ei-aktiiviset opiskelijat. Voi valita aikavälin, milloin viimeksi kirjauduttu. Jos aikaa ei valita, näyttää ne, jotka eivät ole tehneet mitään.
• Engaged/Not Engaged Totals By Course: Näkymä osallistujien määrään ja aktiviteettien suorittamiseen. Huom. adminsivulla täältä pääsee seuraavaan raporttiin klikkaamalla osallistujamääriä. Tämä ei alun perin ollut saatavilla näkymään Moodlen puolella, mutta pyynnöstämme IntelliBoard avasi tämän laitettavaksi saataville myös Moodleen. 
• Engaged/Not Engaged Totals By Course Details: Näkymä osallistujien määrään ja aktiviteettien suorittamiseen. Huomioitava, että admin-sivulla tähän päästään klikkaamalla edellisessä raportissa osallistujamääriä. Tämäkin pyydettiin saatavaksi myös Moodlen puolelle, koska oli alun perin sieltä piilotettujen joukossa. 
• Inactive Users in Course(s): Näyttää ei-aktiiviset opiskelijat kurssialustalla halutulla aikavälillä. Moodlen raportissa näkee esimerkiksi opiskelijan suoritusten pysähtymisen (vihreät pallot), mutta ei näe paljonko siitä on aikaa.
• Learner Compared To Course Average: Opiskelijan vertaaminen kurssin keskiarvotietoihin. Tämänkin näkyvyysasetus oli ensin pyynnöstämme kehittäjätiimillä harkittavana. 
• Learner Success and Progress: Näyttää opiskelijan etenemisen kurssilla. Voidaan suodattaa mm. arvosanan mukaan. Tätä raporttia käytetään tunnistamaan vaarassa olevat oppijat.
• Engaged/Not Engaged Totals by Course (Details): Näyttää ne, jotka ovat aloittaneet (tehneet vähintään 1 aktiviteetin) ja ne, jotka eivät ole tehneet vielä yhtään aktiviteettia.

Opiskelijoiden ajankäytön seuraamiseen valittiin seuraavat kaksi:

• User Access Analytic: Hyvä visualisointi. Näyttää milloin kurssilla työskennellään päivittäin ja eri vuorokauden aikoihin.
• Learner Success and Progress: Näyttää käyntimäärät ja käytetyn ajan. Huomioitava, että aika on suuntaa antava, koska opiskelua tapahtuu paljon myös Moodlen ulkopuolella. Voidaan suodattaa muun muassa arvosanan mukaan. Tätä raporttia käytetään myös tunnistamaan putoamisvaarassa olevat oppijat. 

Lisäksi huomattiin, että tietynlaisilla opintojaksoilla arkityötä helpottaa Needs Grading -raportti, joka näyttää opettajalle ne aktiviteetit, jotka opiskelija on palauttanut, mutta joita ei ole vielä arvioitu. Tässä tapauksessa tarjolle laitettiin vain yhdeksän erityyppistä raporttia, joiden katsottiin voivan auttaa opettajia selkeästi ja tehokkaasti.

4 Oppimisanalytiikan käyttäjien näkökulmat

IntelliBoard tarjoaa informaatiota opettajille, opiskelijoille, oppimisympäristön ylläpitäjille ja organisaation johdolle. Opettajille ja opiskelijoille tieto jaetaan käytännössä verkko-oppimisympäristön kautta, organisaation johdolle app.IntelliBoard.net -alustalla. 

Opiskelijan näkymissä opiskelija saa tietoa omasta edistymisestään myös suhteessa muihin. Opettajilla on käytettävissään perusnäkymien lisäksi myös raportit. Johto pystyy näkemään tapahtumia laajemmin kaikkien organisaation kurssialustojen ja tapahtumien kautta. 

Oppimisympäristön kurssipohjilla pitäisi tehdä määrätyt toimenpiteet, jotta analytiikkatyökalut alkaisivat saada tarkoituksenmukaista dataa käsitelläkseen, jonka avulla voidaan visualisoida opiskelijan opintopolkua ja kertoa opettajalle opiskelijoiden etenemisestä. Seuraavien vaatimusten tulisi toteutua:

1. Kurssipohjalla on riittävä määrä seurattavia oppimistapahtumia (esimerkiksi Moodlen aktiviteetit ja aineistot)
2. Suoritusten seuranta on päällä (Completion tracking)
3. Suoritusten seuranta on päällä halutuissa aktiviteeteissa
4. On päätetty mitkä aktiviteetit (esimerkiksi tehtävän palautukset) arvioidaan ja minkälaista asteikkoa niissä käytetään
5. Kurssin suoritus on päällä ja siellä on määritelty suorituksen vaatimukset (Course completion) 

Nuo mainitut viisi kohtaa olisi tärkeää hoitaa kuntoon heti kurssialustan luomisen jälkeen ja ennen kurssin alkamista. Luvuissa "Opettajat näkymät" ja "Opiskelijan näkymät" esitellään näkymiä myös virhetilanteista, jotka johtuvat noiden (tai jonkin niistä) laiminlyönnistä. 

Kurssin suoritus -kohta tulee näkyviin asetusten päävalikkoon vasta, kun kurssin asetuksissa on käyty laittamassa suoritusten seuranta päälle (kuva 3). 

 

KUVA 3. Ruutukaappaus tilanteesta, kun kurssin suoritus on päällä ja suorituksen vaatimukset on määritelty (kuva avautuu isommaksi klikkaamalla)

 

4.1 Opettajan näkymät

Opettajalle rakentuu oma analytiikkanäkymä (Instructor Dashboard), joka koostuu raporteista ja kuvaajista, joilla opettaja saa reaaliaikaista tietoa kurssien etenemisestä ja opiskelijoiden toiminnasta. Yksi merkittävä ero Moodlen omiin työkaluihin on se, että IntelliBoardissa opettaja saa heti yhdessä näkymässä käsityksen kaikista vetämistään kursseista. Siitä hän voi sitten lähteä syventämään tarkastelua kohti haluamaansa kurssia, josta voi sitten jatkaa edelleen yksittäisiin tehtäviin tai yksittäisten opiskelijoiden tekemisiin, tekemättä jättämisiin ja arviointeihin. (Kuva 4.)

 

KUVA 4. Kuvassa on näkymä, kun Open LMS:ään (Moodleen) ollaan juuri kirjauduttu sisään. Oikeassa yläkulmassa opettaja näkee linkit sekä opiskelijan että opettajan kojelautaan (dashboard) (kuva avautuu isommaksi klikkaamalla)

 

Opettaja kirjautuu Moodleen ja valitsee oikeassa yläkulmassa Instructor Dashboard. Tällöin avautuu sivu, joka koostuu kolmesta välilehdestä: Dashboard, Courses ja Reports (kuva 5). 

 

KUVA 5. Meidän Moodlessamme Reports-valikkoon opettajalle on laitettu tarjolle yhdeksän erilaista raporttityyppiä, jotka määritellään app.intelliboard.net -alustalla (kuva avautuu isommaksi klikkaamalla)

 

Välilehdillä on tietyillä oletusarvoilla luotuja yhteenvetonäkymiä, mutta arvoja voi myös muuttaa tarpeen mukaan esimerkiksi valitsemalla haluttu aikaväli. Yhteenvetoja on paljon ja niitä pääsee usein myös syventämään valitsemalla päänäkymän alta lisänäkymiä. 

Opettaja saa omalta Dashboardiltaan tietoa esimerkiksi opiskelijoita kiinnostavista sisällöistä, aktiviteetteihin käytetystä ajasta ja opiskelijoiden sitoutumisesta (kts. Kurttila, J. 2019. Oppimisanalytiikkadatan hyödyntäminen digiohjaaja cMOOCilla. ePooki asiantuntijablogi 12.12.2019. Oulun ammattikorkeakoulu.  Hakupäivä 2.10.2020. http://urn.fi/urn:nbn:fi-fe2019121247811). 

Courses-välilehdeltä voi haluamansa opintojakson osalta edetä tutkimaan yksittäisten opiskelijoiden tilanteita kyseisellä opintojaksolla Learners-painikkeen kautta (kuva 6), ja siitä vielä edelleen kulloisenkin opiskelijan tilannetta Grades-painikkeen kautta kunkin opintojakson tehtävän kohdalla (kuvat 7 ja 8). Tai vaihtoehtoisesti niin, että lähteekin opiskelijoiden sijaan katsomaan tilanteita oppimisaktiviteettien näkökulmasta (kuva 9): missä määrin kutakin opintojakson tehtävää on jo tehty? 

 

KUVA 6. Courses-välilehti näyttää kurssitietoja, kuten opiskelijoiden määrän, kuinka moni on saanut vaaditut tehtävät jo valmiiksi sekä keskimääräisen työskentelyajan kurssilla (kuva avautuu isommaksi klikkaamalla)

 

KUVA 7. Courses -> Learners -sivu. Tiia-opettaja on aukaissut Courses-välilehdeltä Learners-näkymän, jossa näkyy esimerkiksi yhteenveto Peetu-opiskelijan tilanteesta (palautettujen tehtävien määrän, kurssivierailujen määrän, käytetyn ajan ja onko kurssin suoritus kesken, vai onko kurssin kaikki vaaditut tehtävät saatu jo valmiiksi). Peetu on suorittanut kurssin vaaditut tehtävät loppuun 14.5.2020 (kuva avautuu isommaksi klikkaamalla)

 

KUVA 8. Courses -> Learners -> Grades -sivu. Tiia-opettaja on avannut Learners-näkymästä Peetun Grades-sivun ja näkee sieltä tehtävien palautusajat, arvioinnin (prosenttimäärän maksimipisteistä), tehtävän avaamiskerrat ja käytetyn ajan (kuva avautuu isommaksi klikkaamalla)

 

KUVA 9. Courses -> Activities -sivu. Tiia-opettaja on avannut Courses-välilehdeltä Activities-näkymän, jossa näkyy yhteenveto kurssin aktiviteeteista ja aineistoista (moniko on saanut valmiiksi, arviointien keskiarvo, avaamisten määrä ja käytetty aika) (kuva avautuu isommaksi klikkaamalla)

 

Kuten aiemmin todettiin, jätettiin raportteihin tarjolle vain yhdeksän erityyppistä raporttia auttamaan esimerkiksi keskeyttämisen ennakoinnissa. Kuvassa 10 näkyy, mihin viikon- ja vuorokaudenaikaan opiskelijat opiskelevat verkkoympäristössä. Yksi käytetyimmistä raporteista meillä on ollut Learner Success and Progress Kurttila, J. 2020. Oppimisen analytiikkaa – Intelliboardin Learner Success and Progress. ePooki asiantuntijablogi 18.6.2020. Oulun ammattikorkeakoulu. Hakupäivä 2.10.2010. http://urn.fi/urn:nbn:fi-fe2020061844941 Aalto, M. 2020. Oppimisanalytiikka ohjaa opiskelijaa ja auttaa opettajaa. ePooki asiantuntijablogi 17.6.2020. Oulun ammattikorkeakoulu. http://urn.fi/urn:nbn:fi-fe2020061744748.

 

KUVA 10. Raportti User Access Analytic näyttää valittujen roolien aktiivisuuden eri viikonpäivinä ja vuorokaudenaikoina. Rooliksi voi valita minkä tahansa Moodlen roolin, esimerkiksi opiskelijan tai opettajan (kuva avautuu isommaksi klikkaamalla)

 

4.2 Opiskelijan näkymät

IntelliBoard tarjoaa opiskelijoille oman kojelaudan, joka sisältää kolme välilehteä: Dashboard, Courses ja Grades. Dashboard sisältää yleisnäkymän kaikkiin meneillä oleviin opintojaksoihin ja lähestymässä oleviin tehtävänpalautuksiin. Courses-näkymä esittää näkymän kurssialustoista ja niiden tilasta korttimaisena visualisointina. Grade-näkymässä opiskelija näkee etenemisensä kullakin kurssialustalla, suoritettujen aktiviteettien määrän sekä arviointien määrän. (Kuva 11.)

 

KUVA 11. Kuvassa on näkymä, kun Open LMS:ään (Moodleen) on juuri kirjauduttu sisään. Oikeassa yläkulmassa opiskelija näkee linkin opiskelijan kojelautaan (dashboard) (kuva avautuu isommaksi klikkaamalla)

 

Opiskelija kirjautuu Moodleen ja valitsee oikeassa yläkulmassa Instructor Dashboard. Tällöin avautuu sivu, joka koostuu kolmesta välilehdestä: Dashboard, Courses ja Grades (kuvat 12, 13 ja 14). 

 

KUVA 12. Kokonaisnäkymä Peetu-opiskelijalle avautuvasta sivusta, kun hän on painanut Learner Dashboard-linkkiä. Näkymän yläosassa opiskelija voi verrata omaa edistymistään muihin (arviointikertymä). Kuvan keskiosassa Peetu saa yhdellä silmäyksellä käsityksen etenemisestään kaikilla opintojaksoillaan. Oikeassa reunassa hän näkee myös kaikki oppimisaktiviteetit ja niiden tilan. Suorittamatta olevaan aktiviteettiin (punaisella merkitty) hän pääsee suoraan sitä klikkaamalla ja voi alkaa työstää sitä siitä suoraan (kuva avautuu isommaksi klikkaamalla)

 

KUVA 13. Tässä kuvassa Peetu-opiskelija on Dasboardissa valinnut Courses-näkymän, jossa hän saa visualisoidun näkymän kaikkien kolmen opintojaksonsa tilanteesta. Opintojakso 3 on hämmentävä, koska arvioinnissa hän näyttäisi saaneen täydet 100 % kaikista arviointipisteistä, mutta Completion-kohta näyttää, että hän ei ole suorittanut ainuttakaan tehtävää. Todellisuudessa hän on tehnyt ne kaikki. Virhe johtuu siitä, että opintojaksolla 3 Tiia-opettaja ei ole laittanut suoritusten seurantaa päälle (kuva avautuu isommaksi klikkaamalla)

 

KUVA 14. Grades-näkymässä näkyy aikatietoja ja tietoja kurssin arvioinnista. Taas Opintojakso 3 tiedot ovat hämmentäviä, koska progress-palkin mukaan tilanne näyttäisi hyvältä, mutta Completed Activities näyttää täysin päinvastaista (0/5). Course Completion Status ilmoittaa, ettei kurssin suorittamisen määrityksiä ei ole tehty (kts. kuva 3). Todellisuudessa siis kurssi oli täysin loppuun asti suoritettu ja kaikki tehtävät tehty (kuva avautuu isommaksi klikkaamalla)

 

Opiskelijoiden kokemukset

Opiskelijoiden kokemuksia oppimisanalytiikasta kerättiin 15 opintopisteen opintojaksolta, joka toteutettiin useammalla Moodle-alustalla. Eri osioille oli omat alustansa. Kaikilla alustoilla ei etenemisen seuranta ollut päällä. Opiskelijoita opastettiin Moodlen ja IntelliBoardin työkalujen käyttöön opintojakson alussa hyvin kevyesti. Opintojakson lopussa opiskelijoille suoritettiin Webropol-kysely, jossa kartoitettiin opiskelijoiden kokemuksia Moodlen ja IntelliBoardin välineiden käytöstä sekä opiskelijoiden toiveita siitä, millaista muuta seurantatietoa he halusivat. Heiltä kysyttiin myös, kuinka tärkeänä he pitävät tiettyjä oppimistehtäviin ja niiden ajoituksiin liittyvien tietojen saatavuutta. 

Kyselyyn vastasi 18 opiskelijaa. Kaikki kyselyyn vastanneet opiskelijat olivat käyttäneen Moodlen työkaluja, mutta vastanneista vain kolme oli käyttänyt IntelliBoardia opintojen etenemisen seurantaan. Otanta on siis suppea, eikä siitä välttämättä voida vetää kovin suoria johtopäätöksiä.

Seurantatietojen tärkeys opiskelijoille

Opiskelijoilta kysyttiin, kuinka tärkeinä he pitivät seurantatietoja opintojen suunnittelun ja seurannan näkökulmasta. Vastausten skaala oli "Ei ollenkaan tärkeä" – "Erittäin tärkeä". 

Opintojakson aikana tapahtuvassa omien opintojen seurannassa opiskelijat pitivät erittäin tärkeinä seuraavia seikkoja:

• Näen/tiedän mitä oppimistehtäviä olen suorittanut ja mitä on vielä suorittamatta (ka. 4.89)
• Tiedän etukäteen oppimistehtävien/harjoitustöiden/tenttien eräpäivät (ka. 4.83)
• Saan palautetta tehtävistäni (ka. 4.67)
• Opintojakson kaikki tehtävät ovat nähtävillä/tiedossa jo opintojakson alussa (ka. 4.50)

Tärkeänä pidettiin myös sitä, että nähdään suurin piirtein (vaikkapa prosenttiosuutena) millainen osuus opintojaksosta on suoritettu (ka. 4.11).

Moodle

Moodlea ja IntelliBoardia koskevissa kysymyksissä kysyttiin, kuinka hyvin työkalut palvelivat opiskelijaa. Vastausten skaala oli "Ei ollenkaan" – "Erittäin hyvin". 

Moodle-alustan rakennetta kuvaava otsikointi (kuva 15), jossa näkyy montako tehtävää tai suoritetta kuhunkin osioon kuuluu ja montako niistä opiskelija on suorittanut, auttoi opiskelijoiden mielestä parhaiten hahmottamaan, miten hän on edennyt opintojaksolla. Vastausten keskiarvo tässä oli 4.67. Edistymistä kuvaavaa prosenttilukua (kuva 16) ja suoritusmittaria (kuva 17) ei pidetty kovinkaan hyvinä hahmottamaan opintojaksolla etenemistä. Edistymistä kuvaava prosenttiluvun vastausten keskiarvo oli 3.33 ja suoritusmittarin 3.11.

 

KUVA 15. Kokonaiskuva Moodle-alustan rakenteesta, tehtävistä ja tehtävien suorittamisesta (kuva avautuu isommaksi klikkaamalla)

 

KUVA 16. Yleiskuva edistymisestä Moodle-alustalla (Yleiskuva edistymisestä opintojaksolla. Miten hyvin tämä näkymä auttaa sinua hahmottamaan, miten olet edennyt opintojaksolla? (kuva avautuu isommaksi klikkaamalla)

 

KUVA 17. Kokonaiskuva oppimistehtävien suorittamisesta Moodle-alustalla (Moodle-alusta -> Kurssin koontinäyttö -> Suoritusmittari) (kuva avautuu isommaksi klikkaamalla)

 

Oppimistehtävien määräaikojen seurantaan liittyviä työkaluja Moodlessa ovat kalenteri (kuva 18) ja tulevat tapahtumat (kuva 19). Opiskelijoiden vastausten mukaan tulevat tapahtumat -toiminto auttaa hahmottamaan hieman paremmin, mihin mennessä oppimistehtävät tulisi palauttaa (ka. 4.22). Kalenteri-toiminnon kohdalla keskiarvo oli 3.72.

 

KUVA 18. Tiedot oppimistehtävien määräajoista (Tiedot oppimistehtävien määräajoista. Miten hyvin tämä näkymä auttaa sinua hahmottamaan, mihin mennessä oppimistehtävät tulisi palauttaa? (kuva avautuu isommaksi klikkaamalla)

 

KUVA 19. Oppimistehtävien aikataulut (Oppimistehtävien aikataulut. Miten hyvin tämä näkymä auttaa sinua hahmottamaan, mihin mennessä oppimistehtävät tulisi palauttaa? (kuva avautuu isommaksi klikkaamalla)

 

IntelliBoard

Myös IntelliBoardin työkaluista opiskelijoiden mielipiteitä kysyttiin raporteista, joilla opiskelija voi seurata omaa edistymistään opintojaksolla tai raportista, jolla voi seurata mitä oppimistehtäviä tai testejä hänen pitää tehdä ja milloin. Opintojaksolla etenemisen seurannassa käytettiin raportteja Courses (kuva 20) ja Course progress (kuva 21). Näitä raportteja ei koettu yhtä hyviksi, kun Moodlen opintojen etenemisen seurantaan liittyviä raportteja. Molempien raporttien kohdalla opiskelijoiden vastausten keskiarvo oli 2.56. IntelliBoardia koskevia vastauksia analysoitaessa on kuitenkin huomioitava vastaajien vähäinen määrä.

 

KUVA 20. Courses, yhteenveto Moodle-alustasta (Moodle-etusivu -> Learner Dashboard ->Courses) (kuva avautuu isommaksi klikkaamalla)

 

KUVA 21. Course progress, yhteenveto kaikista Moodle-alustoista (Moodle-etusivu -> Learner Dashboard -> Course progress) (kuva avautuu isommaksi klikkaamalla)

 

IntelliBoardin Dashboard-välilehdellä olevaa raporttia ei koettu aivan Moodlen veroiseksi tavaksi saada yhteenvetoa opintojakson tehtävistä ja niiden määräajoista (kuva 22). Vastausten keskiarvo oli 3.06. Opiskelijan kokemukseen mahdollisesti vaikutti se, että hänen näkymässään näkyi myös Moodle-alustoja, joilla seurantatyökalut eivät olleet päällä.

 

KUVA 22. Yhteenveto Moodle-alustan tehtävistä/testeistä ja niiden määräajoista (Moodle-etusivu -> Learner Dashboard -> Dashboard-välilehti) (kuva avautuu isommaksi klikkaamalla)

 

Mitä muuta opiskelijat halusivat?

Opiskelijoilta kysyttiin, mitä muuta tietoa opiskelijat halusivat opintojen etenemisestä kuin tässä kyselyssä esitetyt asiat. Opiskelijat halusivat tietää, miten he ovat edenneet suhteessa muihin opiskelijoihin. He toivoivat myös suuntaa antavien arvosanarajojen näkymistä seurannassa. Myös kalenterinäkymää pidemmälle aikajaksolle toivottiin sekä myös henkilökohtaista palautetta: 

Warning: Declaration of Concrete5_Model_FileAttributeKey::getList() should be compatible with Concrete5_Model_AttributeKey::getList($akCategoryHandle, $filters = Array) in /opt/www/docs/epooki/concrete/core/models/attribute/categories/file.php on line 102

Warning: Declaration of Concrete5_Model_FileAttributeKey::add($at, $args, $pkg = false) should be compatible with Concrete5_Model_AttributeKey::add($akCategoryHandle, $type, $args, $pkg = false) in /opt/www/docs/epooki/concrete/core/models/attribute/categories/file.php on line 161

Yhteenveto

Opiskelijoiden mielestä Moodlen työkalut näyttäisivät palvelevan IntelliBoardin työkaluja paremmin. Tähän on kuitenkin syytä todeta, että Moodle ja sen työkalut olivat opiskelijoille entuudestaan tuttuja. IntelliBoardin työkaluja ei esitelty opiskelijoille opintojakson alussa, vaan ne tulivat tutuiksi vasta kyselylomakkeessa. IntelliBoardista opiskelija voi nähdä myös oman edistymisensä suhteessa muihin opiskelijoihin. Tätä tietoa kaivattiin, mutta opiskelijat eivät olleet sitä löytäneet, koska vain muutama oli käyttänyt IntelliBoardin työkaluja, eikä kyselyssä olleessa kuvassa näkynyt tuota tietoa.

Opiskelijat on syytä kouluttaa opintojen etenemisen seurantaan liittyvien työkalujen käyttöön heti opintojen alussa. Jos halutaan, että opiskelijat saavat näistä työkaluista mahdollisimman suuren hyödyn, on myös opettajien tiedostettava omien valintojensa vaikutukset opiskelijan näkymään. Jos esimerkiksi samaa Moodle-alustaa käytetään useammassa toteutuksessa, ei opiskelijan suhteellinen etenemä muihin opiskelijoihin verrattuna kerro totuutta. IntelliBoard kokoaa opiskelijalle näkymän koko opintopolun edistymisestä. Kyselyyn vastanneilla vain osassa Moodle-alustoista opintojen seuranta oli päällä, joten kokonaiskuva opinnoista jäi opiskelijoille vajaaksi.

4.3 Johdon näkökulma

Edellisissä käyttäjäkuvauksissa kuvattiin sitä, miten IntelliBoard on rakentanut erilliset näkymät (dashboardit) opiskelijalle ja opettajalle. Varsinaista omaa käyttöliittymää tai näkymää ei ole rakennettu hallinnon näkökulmasta, mutta erilaisia raportteja voidaan koostaa ja muokata eri tarpeisiin app.intelliboard.net-sivuston puolella. Hallinnon näkökulmassa tarkastelemme analytiikan näkymiä esimerkiksi tutkinto-ohjelmien koulutuspäälliköiden näkökulmasta sekä yksikön johtajan tarpeista käsin. 

Kuvassa 23 havainnollistetaan sitä, että koulutuspäällikölle, tutkintovastaavalle tai yksikönjohtajalle tulisi saada tietoa useilta eri opintojaksoilta (kurssipohjilta). Sama tarve on ollut myös esimerkiksi opettajatuutorilla, joka ei välttämättä opeta kurssipohjilla, joissa tuutoroitava ryhmä opiskelee. Viinikka, S. 2020. Tuutoropettajan toiveet ja haasteet opintojen etenemisen seurannassa. ePooki asiantuntijablogi 11.6.2020. Oulun ammattikorkeakoulu. Hakupäivä 2.10.2010. http://urn.fi/urn:nbn:fi-fe2020061142748

KUVA 23. Opettajien pitää laittaa tiettyjä toimintoja ja asetuksia kurssipohjille päälle, jotta opintojaksoilta kerätty data olisi laadukasta ja käyttökelpoista myös muulle organisaatiolle Kurttila, J. & Aalto, M. 2020. Oppimisanalytiikan pilotteja. Millä datalla on merkitystä oppimistulosten laadun kannalta opiskelijoille, opettajille, ohjaajille, organisaatiolle? ePooki asiantuntijablogi 8.6.2020. Oulun ammattikorkeakoulu. Hakupäivä 2.10.2010. http://urn.fi/urn:nbn:fi-fe2020060841012. Opiskelijat ja opettajat näkevät omista käyttöliittymänäkymistään reaaliaikaisen tiedon opintojaksojen tilanteesta. Laajemmat koosteet useiden eri opintojaksojen tilanteesta (eri kurssipohjilta) täytyy koostaa app.intelliboard.net -sivuston kautta (kuva avautuu isommaksi klikkaamalla)

 

Myös oppimisanalytiikan pilotit ovat käsitelleet opiskelijoiden, opettajien sekä ohjaajien näkökulmia. Organisaation ja hallinnon näkökulmana on ollut tässä vaiheessa tarkastella oppimisanalytiikkaa kokonaisessa tutkinto-ohjelmassa sekä sen vaikutuksista yksikköön. Kurttila, J. & Aalto, M. 2020. Oppimisanalytiikan pilotteja. Millä datalla on merkitystä oppimistulosten laadun kannalta opiskelijoille, opettajille, ohjaajille, organisaatiolle? ePooki asiantuntijablogi 8.6.2020. Oulun ammattikorkeakoulu. Hakupäivä 2.10.2010. http://urn.fi/urn:nbn:fi-fe2020060841012

App.intelliboard.net-sivustossa (kuva 24) voi tarkastella koulutusorganisaation verkko-oppimisympäristön kokonaistilannetta. Sivusto koostaa tiedon esimerkiksi käyttäjämäärien kehittymisestä tietyllä aikavälillä, käyttäjämäärät viikonpäivien ja vuorokauden aikojen mukaan, päivittäisen aktiivisuuden tai viikkokohtaisen aktiivisuuden. Tällä tiedolla saa hyvän tilannekuvan verkko-oppimisalustan tilanteesta, jonka avulla esimerkiksi johto voi muodostaa näkemyksen päätöksenteon tueksi ja seurata tehtyjen päätösten vaikuttavuutta.

 

KUVA 24. App.itelliboard.net koostama tilannetieto verkko-oppimisympäristöstä (tässä tapauksessa Moodle-pohjainen Open LMS-ympäristö) (kuva avautuu isommaksi klikkaamalla)

 

Aikaisemmin Analyysit ja raportit-kappaleessa mainitut raportit ovat luonnollisesti myös saatavilla johdon käyttöön. Verkko-oppimisympäristössä opettajalle näkyvissä olevien raporttien lisäksi saatavilla on kaikki mahdolliset raportit, joiden avulla voi muodostaa kuvan esimerkiksi käyttäjistä ja kursseista (User Reports, Course Reports, Activity Reports).

Verkko-oppimisympäristön tiedot voi visualisoida myös Power BI:ssa ja julkaista johdon käyttöön (kuva 25). Tähän IntelliBoard tarjoaa valmiin mallin, jota voi muokata.

 

KUVA 25. Power BI kooste ja visualisointi. Kuvassa näkyy esimerkiksi ympäristön käyttäjämäärien muutokset tietyllä aikavälillä sekä kurssien aktiivisuustietoa (kuva avautuu isommaksi klikkaamalla)

 

4.4 Ylläpidon ja ympäristön kehittäjien näkökulmia

Verkko-oppimisympäristöjä kehitetään muun muassa pedagogisista ja teknisistä lähtökohdista. Mukana kehittämistyössä koulutusorganisaatiossa on tyypillisesti esimerkiksi verkkopedagogit, tietohallinto sekä sovelluksen ja järjestelmän tekninen ylläpito. Näille toimijoille IntelliBoard tarjoaa tietoa app.intelliboard.net-sivuston koonneissa. Ympäristön tilannetiedon perusteella voidaan esimerkiksi tarkastella käyttötilastoja sekä käyttäjämääriä, verkko-oppimisympäristön aktiviteettien käyttöasteita tai opiskelijoiden ohjelmistojen ja laitteiden käytön tietoturvaa. 

App.intelliboard.net-sivustolla voi rakentaa myös omia monitorointinäkymiä (kuva 26). Näiden monitorinäkymien tiedon voi asettaa näkyville oppimisympäristön puolelle esimerkiksi Moodlen Instructor Dashboardille. Näihin näkymiin voi ottaa mukaan monenlaisia yhteenvetoja, jotka voi tarvittaessa myös koostaa pdf-tiedostoksi tai lähettää halutuille henkilöille sähköpostilla. 

 

KUVA 26. Monitorointinäkymiin voi kerätä haluttuja tietoja ja nämä näkymät saa tallennettua omaan Monitors-valikkoon (kuva avautuu isommaksi klikkaamalla)

 

Jos esimerkiksi halutaan seurata opiskelijoiden mobiililaitteiden käyttöä verkko-oppimisympäristössä, sille voidaan tallentaa oma monitorointi-ikkuna, josta tilastoja voi jatkossa käydä tarkistamassa. Kuvassa 27 näkyy, että Moodle Mobilen (ilmainen sovellus mobiililaitteisiin) käyttö on vielä vähäistä verrattuna selaimen käyttöön. 

 

KUVA 27. Monitorointinäkymä koostaa Moodle Mobilella kirjautumiset verrattuna selaimilla kirjautumisiin halutulla aikavälillä (kuva avautuu isommaksi klikkaamalla)

 

Verkko-opiskelu lisääntyy ja tämä vaatii myös verkko-oppimisen tekniseltä infrastruktuurilta sekä pedagogiselta kehittämiseltä paljon. Verkko-oppimisympäristö on opiskelijoiden, opettajien ja ohjaajien käytössä ympäri vuoden kaikkina vuorokauden aikoina ja se on paikasta ja päätelaitteesta riippumaton. Intelliboard antaa ajantasaista tietoa, jota voi hyödyntää kehitystyössä ja päätöksiä sekä valintoja tehtäessä.

5 Johtopäätökset

IntelliBoard ei varsinaisesti tee ennusteita eikä käytä tekoälyä, eikä näin vastaa kysymykseen opiskelijoiden opintomenestyksen ennustamisesta. Erilaiset raportit auttavat kuitenkin opettajaa ohjauksen oikea-aikaisessa interventiossa. Tällainen raportti on esimerkiksi Learner success and progress, jolla voi tehdä tulkintoja putoamisvaarassa olevista opiskelijoista. Tämä tulkinta jää kuitenkin opettajan tehtäväksi. Tulkinnan pohjalta tehty ohjaustoimenpide ei ole automatisoitua eikä profiloivaa.

Tietoa opiskelijoiden edistymisestä tai sitoutumisesta saadaan, kun huomioidaan esimerkiksi Moodlessa perusasiat kuntoon kaikilla kurssitoteutuksilla. Suositus olisi, että kaikilla kurssipohjilla olisi päällä suoritusten seuranta siihen liittyvine toimenpiteineen ja kursseilla riittävä määrä aktiviteettejä, joiden avulla voidaan visualisoida opiskelijan etenemistä. Näitä asioita kannattaa koulutusorganisaatiossa viedä yhdessä eteenpäin huomioimalla esimerkiksi verkkototeutusten laatukriteerit Varonen, M. & Hohenthal, T. 2017. Verkkototeutusten laatukriteerit. eAMK-hanke. Haettu 13.10.2020. https://www.eamk.fi/fi/campusonline/laatukriteerit/.

Kuten aiemmin todettiin, verkko-oppimisympäristöjä kehitetään muun muassa pedagogisista ja teknisistä lähtökohdista. Yhteistyö esimerkiksi verkkopedagogien, ohjelmiston ylläpitäjän ja tietohallinnon kanssa on analytiikkaratkaisujen käyttöönoton onnistumisen kannalta välttämätöntä. Tässä kokeilussa huomattiin, että pilotointiin tarvitaan riittävän pitkä aika, koska testaus, pedagogiset näkökulmat sekä tekninen käyttöönotto luovat vasta perustan oppimisympäristöihin kertyneen datan laajamittaiseen käyttöön.

Opiskelijat ovat koko prosessin keskeisin kohde, joten heidänkin näkökulmien ja tarpeiden esilletuominen oppimisanalytiikan hyödyntäjinä haluttiin nostaa esille. IntelliBoardin käyttöönotossa hyödynnettiin opiskelijatyöpajoissa esiin tulleita tarpeita ja tarkasteltiin, miten opiskelijoiden opintopolku rakentuu analytiikan avulla verkko-oppimisympäristöön. Opiskelijat osallistuivat myös valtakunnalliseen evaluointiin ja heiltä kysyttiin analytiikkatyökalujen hyödyistä yksittäisillä opintojaksoilla. IntelliBoard vie opiskelijoiden opintopolun rakentumista askeleen eteenpäin ja selkeyttää sekä menestyvien että tukea tarvitsevienkin opiskelua. 

IntelliBoardin pilotoinnin aikana tarkasteltiin myös Moodlen omien raportointi- ja seurantatyökalujen riittävyyttä. Niistä on ehdottomasti hyötyä ja ne kannattaakin ottaa käyttöön opintojaksoja suunniteltaessa. Moodlen omat työkalut antavat hyvän käsityksen yksittäisen opintojakson etenemisestä, mutta tässä pilotissa lähdettiin tarkastelemaan laajemman näkymän rakentumista kaikilta Moodlen kurssipohjilta. Tällaiset näkymät IntelliBoard kokoaa automaattisesti opiskelijalle ja opettajalle.

Lähteet

Uusimmat artikkelit