Jatkuvalla arvioinnilla enemmän osaamista kandidaattivaiheen massakurssilla

Tuomas Paloposki, vanhempi yliopistonlehtori, Aalto-yliopiston insinööritieteiden korkeakoulu
tuomas.paloposki@elisanet.fi

Viivi Virtanen, tutkijayliopettaja, HAMK Edu -tutkimusyksikkö, Hämeen ammattikorkeakoulu
viivi.virtanen@hamk.fi

Maria Clavert, työelämäprofessori, Aalto-yliopiston insinööritieteiden korkeakoulu
maria.clavert@aalto.fi

Tässä artikkelissa tarkastellaan lopputentin korvaamista jatkuvaan arviointiin perustuvilla kotilaskuilla insinööritieteiden kandidaattivaiheen massakurssilla. Jatkuvalla arvioinnilla pyrittiin vahvistamaan opiskelijoiden sitoutumista opiskeluun kurssilla. Arviointikäytäntöä muutettiin vaiheittain useamman vuoden aikana. Kurssin suorittaminen kotilaskuilla lopputentin sijaan vaikutti positiivisesti läpäisyprosenttiin ja arvosanajakaumaan. Lisäksi opiskelijapalautteen perusteella jatkuva arviointi tuki kurssin osaamistavoitteiden saavuttamista. Tulokset puoltavat jatkuvan arvioinnin vahvistamista ja lopputentin aseman kriittistä tarkastelua insinööritieteiden opetuksessa.

Mikä sai kiinnostumaan jatkuvasta arvioinnista?

Massakurssien haasteena on usein opiskelijoiden heikko sitoutuminen opiskeluun (Hall, Palmer, Ferguson & Jones, 2007; Hornby & Osman, 2014). Havaitsimme tämän haasteen myös toisen vuoden termodynamiikan kurssilla: suuri osa 300 insinööriopiskelijasta on keskeyttänyt kurssin, ja kurssilla jatkaneistakin suuri osa on suorittanut sen vasta uusintatenteillä. Yleisesti varsinkin uusintatenttitulokset ovat olleet keskimäärin heikkoja, ja vain pieni osa opiskelijoista on saanut kiitettävän arvosanan kurssista.

Lähdimme etsimään ratkaisuja kurssin haasteisiin arviointikäytäntöjen kehittämisestä, sillä arviointi ohjaa vahvasti opiskeluprosessia (Biggs & Tang, 2011; Hodgson & Pang, 2012). Opetus-oppimisprosessiin integroidun, jatkuvaan palautteenantoon perustuvan arvioinnin käytöstä on saatu lupaavia tuloksia oppimisen tukemiseen insinööritieteissäkin (Myllymäki 2013; Tuunila & Pulkkinen, 2015), ja sen on todettu parantavan opiskelijoiden oppimistuloksia merkittävästi (Hernández, 2012; Lindberg-Sand & Olsson, 2008). Jatkuvan arvioinnin avulla opiskelija ja opettaja saavat palautetta oppimisesta jo kurssin aikana (Hernández, 2012). Tieto omasta edistymisestä vahvistaa opiskelijoiden sitoutumista työskentelyyn kurssin aikana ja ehkäisee kurssin keskeyttämistä (Hall ym., 2007). Aiempien tutkimusten valossa lähdimme pohtimaan, voisiko kurssin arviointi perustua pelkästään kurssin aikaisiin kotilaskuihin ja voisiko lopputentistä luopua kokonaan.

Jatkuvaan arviointiin liittyvistä mahdollisuuksista huolimatta sen käyttöön on insinööritieteissä tyypillisesti yhdistetty lopputentti (esim. Cano, 2011; Hall ym., 2007; Sanz-Pérez, 2019; Simate & Woollacott, 2017; Tormos, Climent, Ormeda & Arnau, 2014). Lopputentti on esitetty jopa laadunvarmistuksen edellyttämänä välttämättömyytenä (Boud ym., 2010; Hall ym., 2007). Mahdollisuutta toteuttaa arviointi kokonaan ilman lopputenttiä ei esitetä lainkaan esimerkiksi matematiikan, luonnontieteiden ja tekniikan opetuksen käsikirjassa (Felder & Brent, 2016). Olemme itse aiemmin toteuttaneet jatkuvaa arviointia ilman lopputenttiä maisterivaiheen opetuksessa (Clavert & Paloposki, 2015).

Asetimme arviointikäytäntöjen kehittämisen tavoitteiksi keskeyttämisprosentin pienentämisen, uusintatenttisuoritusten vähentämisen ja oppimisen laadun parantamisen insinööritieteiden massakurssilla. Käytäntöjä kehitettiin asteittain useamman vuoden ajan. Nykyisin lopputentistä on luovuttu kokonaan, ja opiskelijat voivat seurata edistymistään viikoittain palautettavien kotilaskujen suorittamiseen perustuvalla arvioinnilla.

Toteutuspaikka

Kehittäminen toteutettiin Aalto-yliopiston insinööritieteiden korkeakoulun kandidaattiohjelman Termodynamiikka ja lämmönsiirto -kurssilla, jolle osallistuu vuosittain noin 300 opiskelijaa. Viiden opintopisteen laajuinen ja 12 viikon mittainen kurssi järjestetään vuosittain syyslukukaudella. Osaamistavoitteena on termodynamiikan perusteorian ja lämmönsiirto-opin alkeiden ymmärtäminen. Kurssi on pakollinen energia- ja ympäristötekniikan sekä kone- ja rakennustekniikan opiskelijoille, jotka mallilukujärjestyksen mukaan suorittavat kurssin toisena opiskeluvuonnaan. Lisäksi kurssille osallistuu vuosittain muutamia opiskelijoita Aalto-yliopiston muiden korkeakoulujen kandidaattiohjelmista sekä toisinaan myös muista suomalaisista yliopistoista ja Avoimesta yliopistosta.

Kurssin opetushenkilökunta koostuu vastuuopettajasta, pääassistentista ja 5–10 tuntiassistentista. Pääassistentti on tyypillisesti kokenut opettaja, kun taas tuntiassistentit ovat vaihtelevasti opettajakunnan jäseniä, jatko-opiskelijoita ja pidemmälle edistyneitä perusopiskelijoita.

Opetusmuotona ovat viikoittaiset luennot sekä laskutuvat, jotka tarjoavat opiskelijoille mahdollisuuden soveltaa luennolla käsiteltyjä asioita käytäntöön.

Arviointikäytäntöjen kehitys vuosina 2014–2017

Oppimisen arviointi kurssilla perustui pääasiassa lopputenttiin vuoteen 2014 saakka.

Lisäksi opiskelijat voivat ansaita lisäpisteitä viikoittaisilla kotilaskuilla. Kotilaskujen painoarvo loppuarvosanassa oli enimmillään 25 prosenttia. Tarkka painoarvo määritettiin vasta lopputentin arvostelun jälkeen. Kurssin keskeyttäjiä, hylätyn suorituksen uusijoita ja arvosanan korottajia varten järjestettiin vuosittain kahdesta kolmeen uusintatenttimahdollisuutta.

Arviointikäytäntöjä kehitettiin neljän vuoden ajanjaksolla 2014–2017. Taulukossa 1 esitetään loppuarvosanan muodostuminen kunakin vuonna. Kehitystyön lähtökohtana oli parantaa opiskelijoiden sitoutumista opetukseen. Vuosi 2014 muodostaa vertailuvuoden sen jälkeen tehtyjen muutosten vaikutuksille.

Tavoitteiksi asetettiin kurssin keskeyttämisprosentin pienentäminen, uusintatenttisuoritusten vähentäminen ja oppimisen laadun parantaminen. Tavoitteiden saavuttamiseksi arviointiin tehtiin kolme muutosta vuonna 2015: viikoittaisten kotilaskujen painoarvon lisääminen (taulukko 1), lopputentin korvaaminen kahdella välikokeella (taulukko 1) ja pisterajojen ilmoittaminen opiskelijoille jo ennen kurssin alkua. Muutosten ansiosta opiskelijat pystyivät arvioimaan omaa suoritustasoaan suhteessa eri arvosanojen pisterajoihin kurssin aikana. Lisäksi opiskelijoille annettavassa ohjeistuksessa kehotettiin tekemään yhteistyötä kotilaskujen ratkaisemisessa. Yhteistyö oli mahdollista myös vertailuvuonna 2014, mutta tällöin sitä ei mainittu ohjeistuksessa.

Edellä kuvatut muutokset jatkuivat vuoden 2016 kurssitoteutuksessa, ja vuonna 2017 arvostelu muutettiin kokonaan kotilaskuihin pohjautuvaksi (taulukko 1). Kotilaskuihin perustuva arviointi mahdollisti muun muassa tiedonhakua ja löydetyn tiedon kriittistä arviointia sisältävät, työelämän todellisia ongelmia vastaavat tehtävät. Kotilaskut pyrittiin arvioimaan ja palaute antamaan viikon kuluttua tehtävien palautuksesta. Kahdella kotilaskukierroksella opiskelijoita kehotettiin muodostamaan ryhmiä tehtävän ratkaisemiseksi. Ryhmätyökotilaskuihin liittyvät laskutupatilaisuudet järjestettiin Aalto-yliopiston Design Factoryllä (Clavert & Laakso, 2013), jonka tilat on suunniteltu tukemaan ryhmätyöskentelyä perinteistä luentosaliympäristöä paremmin. Jälkimmäiseen ryhmätyökotilaskuun liittyi myös voimalaitoksen havaintomallin valmistaminen joko piirtämällä tai rakentamalla kolmiulotteinen malli.

Kehittämisen tulokset                                  

Lopputentin korvaaminen viikoittaisilla kotitehtävillä lisäsi opiskelijoiden sitoutumista kurssiin. Tämä näkyi korkeampana läpäisyprosenttina, arvosanajakauman muutoksena kohti parempia arvosanoja ja myönteisinä kommentteina opiskelijapalautteessa. Läpäisyprosentin ja arvosanajakautuman muutoksia havainnollistetaan kuvioissa 1 ja 2. Havaitut muutokset olivat tilastollisesti merkitseviä.

Kuviossa 1 on eritelty ne opiskelijat, jotka suorittivat kurssin tavoiteaikataulussa, ja ne opiskelijat, jotka suorittivat kurssin myöhemmin uusintatentillä. Uusintatenttimahdollisuus oli käytössä vuosina 2014–2016, mutta siitä luovuttiin vuonna 2017 tenteistä ja välikokeista luopumisen yhteydessä.

Kuviosta 2 havaitaan, että korkeimman arvosanan saavuttaneiden opiskelijoiden osuus kurssilla kasvoi selvästi jatkuvan arvioinnin lisääntyessä vuodesta 2015 alkaen. Samalla arvosanojen 3 ja 4 lukumäärät laskivat, samoin ilman suoritusta jääneiden (arvosana 0) lukumäärä laski hieman. Voidaan arvioida, että jatkuva arviointi rohkaisi opiskelijoita asettamaan omat tavoitteensa aiempaa kunnianhimoisemmin.

Opiskelijoiden kokemukset kurssipalautteen valossa

Kurssin suorittaminen viikoittaisina laskuharjoituksina lopputentin sijaan sai opiskelijoilta merkittävästi enemmän myönteistä kuin kielteistä palautetta. Opiskelijat kertoivat anonyymisti, kuinka arviointikäytäntö lisäsi opiskelumotivaatiota, ja korostivat erityisesti jatkuvan arvioinnin vaikutusta kuormittavuuden kokemuksen vähentymiseen kurssilla, kuten seuraava lainaus osoittaa:

Mielestäni lopputentittömyys on kannustanut aivan uudella tavalla keskittymään jokaiseen laskariin, ja olen mielelläni jakanut loppusyksyn perinteisen tenttipaineen jokaiselle viikolle syksyllä. Arvostan toteutusta tosi paljon! (Opiskelija, 2017)

Ehdotuksia arviointikäytäntöjen kehittämiselle insinööritieteissä

Kehitystyöstä saamamme kokemuksen mukaan jatkuvaa arviointia kannattaa käyttää insinööritieteiden massaopetuksessa, sillä se tukee opiskelijoiden oppimista. Havaitsimme myös, että ilman lopputenttiä toteutettavassa jatkuvassa arvioinnissa opiskelijoilla on mahdollisuus saavuttaa henkilökohtainen arvosanatavoitteensa jo ennen kurssin päättymistä. Tämä saattaa selittää sen, että opiskelijoiden aktiivisuus väheni lukukauden loppupuolella, jolloin samaan aikaan suoritettavien, erityisesti lopputentillä arvioitavien kurssien kuormitus lisääntyi voimakkaasti. Opiskelijoiden on mielekkäämpää kohdistaa rajallinen opiskeluaikansa kokonaan lopputentin varassa suoritettaviin kursseihin kuin pyrkiä parantamaan jatkuvaan arviointiin perustuvasta kurssista saatavaa arvosanaa.

Ehdotammekin, että yksinomaan kurssin loppuun sijoittuvaa summatiivista arviointia vähennettäisiin myös massaopetuksessa ja että arviointiperusteet ilmoitetaan opiskelijoille jo ennen kurssin alkua. Tällöin opiskelijat voivat keskittyä opiskeluun tasaisesti koko kurssin ajan ja peilata edistymistään arvosanatavoitteisiinsa. Suosittelemme jatkuvan arviointitavan lisäämistä myös siksi, että se vastaa työelämässä tapahtuvaa arviointia paremmin kuin pelkkään tiedon toistamiseen keskittyvä lopputentti.

Lähteet

Biggs, J. & Tang, C. (2011). Teaching for quality learning at university: What the student does (4. painos). SRHE and Open University Press Imprint. Maidenhead: Open University Press.

Boud, D. and associates. (2010). Assessment 2020: Seven propositions for assessment reform in higher education. Sydney: Australian Learning and Teaching Council. Saatavilla https://www.uts.edu.au/sites/default/files/Assessment-2020_propositions_final.pdf

Cano, M.-D. (2011). Students’ involvement in continuous assessment methodologies: A case study for a distributed information systems course. IEEE Transactions on Education, 54(3), 442–451. Saatavilla https://doi.org/10.1109/TE.2010.2073708

Clavert, M. A & Laakso, M. S. (2013). Implementing design-based learning in engineering education: Case Aalto University Design Factory. Proceedings of the 41st SEFI Annual Conference 2013, “Engineering Education Fast Forward 1973 > 2013”, Belgium. Saatavilla https://www.sefi.be/wp-content/uploads/2017/10/39.pdf

Clavert, M., & Paloposki, T. (2015). Implementing design-based learning in teaching of combustion and gasification technology. International Journal of Engineering Education, 31(4), 1021–1032.

Felder, R. M. & Brent, R. (2016). Teaching and learning STEM: A practical guide. San Francisco: Jossey-Bass.

Hall, W., Palmer, S., Ferguson, C. & Jones, J. T. (2007). Delivery and assessment strategies to improve on- and off-campus student performance in structural mechanics. International Journal of Mechanical Engineering Education, 35(4), 272–284. Saatavilla https://doi.org/10.7227/IJMEE.35.4.2

Hernández, R. (2012). Does continuous assessment in higher education support student learning? Higher Education, 64(4), 489–502. Saatavilla https://doi.org/10.1007/s10734-012-9506-7

Hodgson, P. & Pang, M. Y. C. (2012). Effective formative e-assessment of student learning: A study on a statistics course. Assessment & Evaluation in Higher Education, 37(2),215–225. Saatavilla https://doi.org/10.1080/02602938.2010.523818

Hornby, D. J. & Osman, R. (2014). Massification in higher education: Large classes and student learning. Higher Education, 67(6), 711–719. Saatavilla https://doi.org/10.1007/s10734-014-9733-1

Lindberg-Sand, Å. & Olsson, T. (2008). Sustainable assessment? Critical features of the assessment process in a modularised engineering programme. International Journal of Educational Research, 47(3), 165–174. Saatavilla https://doi.org/10.1016/j.ijer.2008.01.004

Myllymäki, S. (2013). Incorporation of continuous student assessment into lectures in engineering education. European Journal of Engineering Education, 38(4), 385–393. Saatavilla https://doi.org/10.1080/03043797.2013.780010

Sanz-Pérez, E. S. (2019). Students’ performance and perceptions on continuous assessment: Redefining a chemical engineering subject in the European higher education area. Education for Chemical Engineers, 28, 13–24. Saatavilla https://doi.org/10.1016/j.ece.2019.01.004

Simate, G. & Woollacott, L. C. (2017). An investigation into the impact of changes in assessment practice in a mass transfer course. Teoksessa B. Collier-Reed (Ed.), Proceedings of the 4th Biennial Conference of the South African Society for Engineering Education (s. 273–283). Saatavilla https://open.uct.ac.za/bitstream/handle/11427/27592/Prince_4th%20Biennial%20SASEE%20Conference_2017.pdf?sequence=1#page=280

Tormos, M., Climent, H., Olmeda, P. & Arnau, F. (2014). Use of new methodologies for students’ assessment in large groups in engineering education. Multidisciplinary Journal for Education, Social and Technological Sciences, 1(1), 121–134. Saatavilla https://doi.org/10.4995/muse.2014.2198

Tuunila, R. & Pulkkinen, M. (2015). Effect of continuous assessment on learning outcomes on two chemical engineering courses: Case study. European Journal of Engineering Education, 40(6), 671–682. Saatavilla https://doi.org/10.1080/03043797.2014.1001819