Mitä osaa, milloin osaa? – ylioppilaskoekertojen vertaistaminen preliminäärikokeiden avulla

Kirjoittaja: 

Visajaani Salonen, projektisuunnittelija Helsingin yliopiston koulutuksen arviointikeskus/väitöskirjatutkija
Photo by wu yi on Unsplash.

 

Ylioppilaskokeisiin liittyy maaginen verho, jonka ympärillä on jo ennen Twitteriä pikkulinnut viserrelleet kahvikuppien ääressä omia näkemyksiään. Hyvin yleinen käen kukunta liittyy ylioppilaskokeiden keskinäiseen vertautuvuuteen ja vaikeustasoon. Kellokäyrä alkujaan ja SYK ovat väistämättä sovittaneet osan ongelmista, mutta eivät ole poistaneet jäljelle jäävää väittelyä munasta ja kanasta. Helsingin yliopistolle tehtävässä väitöskirjatutkimuksessani tulenkin sorkkimaan tätä kenttää vähitellen yleistyvällä työkalulla eli Item response theory (IRT) -mallinnuksella. Tämä mallinnus lähtee liikkeelle tehtäväkohtaisesta vaikeustasosta, erottelevuudesta ja arvaamisen mahdollisuudesta. Näin mallinnettujen tehtävien osalta saadaan muodostettua arvio kokeen suorittajan osaamisen tasosta. Tärkeää tässä mallintamisessa on, että eri kokeiden välille luodaan linkki, joka tässä tapauksessa on yhteiset tehtävät.

Item response theory pähkinänkuoressa

IRT: n tarkoituksena on muun muassa luoda puitteet sen arvioimiseksi, kuinka hyvin (tarkasti ja osaamistasoja erottelevasti) arvioinnit toimivat ja kuinka hyvin yksittäiset kysymykset toimivat. IRT:n yleisimpiä sovelluksia käytetään koulutuksen arvioinnissa, lähinnä osaamista kartoittavien mittareiden/kokeiden kehittämiseen ja suunnitteluun, testien kysymyspankkien muodostamiseen ja ylläpitämiseen sekä erilaisten kokeiden vertaistamiseen. IRT-malleja kutsutaan usein myös piilevien ominaisuuksien malleiksi (Latent Trait Theory). Termiä latentti käytetään korostamaan, että erilliset vastaukset tuottavat epäsuorasti havaittavia eli hypoteettisia piirteitä, rakenteita tai attribuutteja, mutta jotka on johdettava kerätyistä vastauksista.

Mallinnuksen jälkeen suoritetaan tilastolliset tutkimukset taustamuuttujien ja niiden yhdistelmien kautta (Metsämuuronen 2008, 2009). Klassisiin psykometrian teorioihin verrattuna IRT pystyy erottamaan testin ja vastaajien ominaisuudet toisistaan. Tällöin mittavirheen käsite voi olla eri jokaisella vastaajien osaamisentasolla eikä vastaajien tarvitse tehdä jokaista osiota.

Miten preliminäärikokeet liittyvät tutkimukseeni?

Preliminäärikokeet syksyllä 2018 tulevat toimimaan väitöskirjatutkimukseni eri aineistojen yhdistämiskokeena. Tästä syystä syksyllä 2018 järjestetään sekä lyhyen että pitkän matematiikan preliminäärikokeet. Näissä kokeissa luodaan linkki valittuihin ylioppilaskokeisiin sekä Kansallisen koulutuksen arvioinnin keskuksen (KARVI) pitkittäistutkimuksen (Metsämuuronen 2017, Metsämuuronen & Tuohilampi 2017, Metsämuuronen & Salonen 2017) että 2015 yhdeksännen luokan osaamisarvioinnin (Julin & Rautopuro 2016) välille. KARVI:n osaamistasomittaukset ovat mallintamisessa mukana, koska nämä tutkimukset ovat laajat kansalliset arvioinnit sekä toimivat hyvänä vertailupohjana miettiessä toisen asteen vaikutuksia ylioppilaskoekirjoituksissa menestymiseen ja yhdeksännen luokan menestymisen vaikutusta tulevaan menestykseen. KARVI:n pitkittäistutkimuksessa on käytetty eri vuosien mittauksien välillä IRT-mallinnusta, jolloin aineiston laajentaminen on tälle pohjalle luonnollista.

Miten preliminäärikokeiden käyttö aineistojen yhdistämiskokeena eroaa normaalista preliminäärikokeesta?

Koska kokeeseen yhdistetään tehtäviä valituista kokeista, preliminäärikokeesta tulee useampivaiheinen. Koe tulee sisältämään perinteisen preliminäärikokeen sekä siihen kytköksissä olevat erilliset osiot, jotka voidaan toteuttaa kertauskurssilla tai sopivassa välissä ennen perinteisen muotoista preliminäärikoetta. Erilliset osiot suunnitellaan tukemaan varsinaiseen kokeeseen valmistautumista. Tulokset tulee poikkeuksellisesti raportoida tehtäväkohtaisten pisteiden tasolla kaikista tehtävistä osioista. Tehtäväkohtaiset pisteet ovat avainasemassa mallintamisen kannalta. Raportoinnin jälkeen opettaja saa koosteen oppilaiden suorituksesta eriteltynä osa-alueiden tuloksiin ja kokonaistulokseen. Mallinnusprosessin jälkeen opettajalle toimitetaan pyydettäessä myös koulukohtaiset tulokset, joita voi hyödyntää omassa oppilaan arvioinnissa. Raportoinnissa kerätään opiskelijasta sukupuoleen liittyvä tieto, mutta henkilötunnisteita ei tarvita. Opettaja voi luoda oman tunnisteen, jonka avulla opiskelijoiden tulokset on mallintamisen jälkeen mahdollista hänen tunnistaa tietylle opiskelijalle. Tutkijana minulle tieto on täten opettajan anonymisoimaa.

Miksi tämä tiedonkeruu on tärkeää?

Tämä tutkimus tulee muodostamaan kansallisesti hyvin laajan aineiston, jonka pohjalta on mahdollisuus arvioida opiskelijaan ja tutkintorakenteeseen liittyviä ilmiöitä. Koska ylioppilaskoe tulee muuttumaan sähköiseksi, muutoksen vaikutuksiin on syytä olla olemassa myös laaja monipuolinen aineisto vertailupohjana. Samalla myös pystytään tutkimaan IRT-mallinnuksen mahdollisuuksia ylioppilaskokeiden kehittämisen näkökulmasta, kun ylioppilaskokeiden tulokset ovat saamassa suurempaa merkitystä yliopistojen ja ammattikorkeakoulujen opiskelijavalinnoissa. Tästä syystä syksyn preliminääreillä tulee olemaan yhteiskunnallisesti merkittävämpi rooli edeltäjiinsä verrattuna ja vaikutus ylioppilaskokeiden ympärillä käytävään keskusteluun. Keskustelua ovat käyneet mm. Mehtäläinen & Välijärvi (2013) ja Kupiainen & Marjanen & Quakrim-Soivio (2018).

Lähteet

Julin S. & Rautopuro J. (2016). Läksyt tekijäänsä neuvovat. Perusopetuksen matematiikan oppimistulosten arviointi 9. vuosiluokalla 2015. Karvi. Julkaisut 20:2016.

Kupiainen S. & Marjanen J. & Quakrim-Soivio N (2018). Ylioppilas valintojen pyörteissä. Hansaprint Oy, Turenki.

Mehtäläinen J. & Välijärvi J. (2013) Ylioppilaskokeiden arvosanojen vertailtavuus eri aineissa vuosina 2007 – 2011.

Metsämuuronen J. (2008) Monitasomallinuksen perusteet ihmistieteissä. Metodologia-sarja 11. International Methelp Oy. Jyväskylä: Gummeruksen kirjapaino Oy.

Metsämuuronen J. (2017). Oppia ikä kaikki – Matemaattinen osaaminen toisen asteen koulutuksen lopulla 2015. Karvi. Julkaisut 1:2017.

Metsämuuronen J. & Tuohilampi L. (2017) Matemaattisen osaamisen piirteitä lukiokoulutuksen lopussa 2015. Karvi 3:2017.

Metsämuuronen J. & Salonen V. (2017) Matemaattisen osaamisen piirteitä ammatillisen koulutuksen lopussa 2015 ja pitkän ajan muutoksia. Karvi 2:2017.

 

[Julkaistu: Dimensio 3/2018]

 

 


MFKA tuottaa preliminäärikokeet matematiikkaan, fysiikkaan ja kemiaan.

http://www.mfka.fi/kokeet-ja-pisteytysohjeet/preliminaarikokeet/

Lisää eDimensiossa

Dimensio 5/2018 , 24. lokakuu 2018 - 9:13
Millennium-palkinto Suomeen , 7. syyskuu 2018 - 10:21
Dimensio 4/2018 , 23. elokuu 2018 - 9:00
MAOL olemme me , 6. toukokuu 2018 - 15:16
Vuoden 2018 opettaja: Stadionilla jyrää , 6. toukokuu 2018 - 15:00
Dimensio 3/2018 , 6. toukokuu 2018 - 14:52
Luovuus, koulu ja matematiikka , 10. maaliskuu 2018 - 14:37
Teknologiateollisuus tutuksi , 10. maaliskuu 2018 - 12:16
Dimensio 2/2018 , 10. maaliskuu 2018 - 11:03
Faces of Women in Mathematics , 10. maaliskuu 2018 - 10:00
Luovuus matematiikassa , 11. helmikuu 2018 - 10:21
Kuka saa tuntea matematiikan ilon? , 11. helmikuu 2018 - 9:31
Analogiamalli sähköoppiin , 3. helmikuu 2018 - 9:30
Helsingin kerho 90 vuotta , 3. helmikuu 2018 - 9:20
Dimensio 1/2018 , 3. helmikuu 2018 - 9:00
Vuoden 2017 opettaja: Vesi, wasser, eau, voda , 19. marraskuu 2017 - 9:57
Dimensio 6/2017 , 19. marraskuu 2017 - 9:01
Opettaja artikkelin kirjoittajana , 16. marraskuu 2017 - 9:36
Dimensio 5/2017 , 29. lokakuu 2017 - 9:16
Mihin matematiikkaa tarvitaan , 16. elokuu 2017 - 9:00
Laskukone vauvan aivoissa , 16. elokuu 2017 - 9:00
Dimensio 4/2017 , 16. elokuu 2017 - 1:00
Dimensio 3/2017 , 23. huhtikuu 2017 - 9:00
Eurajoen vesitornin Foucault’n heiluri , 22. huhtikuu 2017 - 9:00
Historiaa, fysiikkaa ja fysiikan historiaa , 2. huhtikuu 2017 - 9:00
Dimensio 2/2017 , 31. maaliskuu 2017 - 9:00
Erään matematiikan vihaajan tunnustuksia , 2. helmikuu 2017 - 9:00
Dimensio 1/2017 , 26. tammikuu 2017 - 9:00