Keitä opetamme ja mitä he oppivat? Käsite- ja asennetestit kemian peruskurssien opetuksen arvioinnin ja kehittämisen työkaluina
Tiina Kiviniemi & Piia Nuora
tiina.t.kiviniemi@jyu.fi, piia.nuora@jyu.fi
Jotta opetusta voidaan tehokkaasti kehittää, tulisi tuntea sekä opiskelijoiden lähtötaso että opiskelijoiden ajattelussa tapahtuvat muutokset kurssin aikana. Jyväskylän yliopiston kemian laitoksella selvitettiin näitä asioita kahdella testillä, joista toinen mittasi kemian käsitteiden ymmärtämistä ja toinen opiskelijoiden käsityksiä ja asenteita kemian oppimiseen liittyen. Kokeilu toteutettiin syksyllä 2016 kahdella ensimmäisellä kemian perusopintojen kurssilla siten, että opiskelijat testattiin ensimmäisen kurssin alussa ja toisen kurssin lopussa. Tässä artikkelissa esitellään testituloksia opiskelijoiden ajattelusta sekä siinä tapahtuneista muutoksista kurssien aikana ja pohditaan näiden testien käyttämistä kurssien opetuksen kehittämisessä.
Johdanto
Opetuksen kehittäminen on tärkeä osa yliopisto-opetusta. Se, mihin kurssien kehittäminen ja sen arviointi perustuu, voi kuitenkin vaihdella paljon. Moni luottaa opiskelijoiden antamaan kurssipalautteeseen, mutta se ei kerro kurssin oppimistuloksista (Henderson, Turpen, Dancy & Chapman, 2014). Myöskään kurssiarvosanojen muutos ei välttämättä kerro siitä, mitä opiskelijat ovat todella oppineet (Crouch & Mazur, 2001; Mazur, 2009; McDermott, 2001), ja esimerkiksi koetehtävissä menestyminen voi kertoa enemmän teknisen tehtävien suorittamisen oppimisesta käsitteellisen muutoksen sijaan (McDermott, 2001). Mikäli halutaan systemaattisesti seurata opetuksen kehittämisen vaikutusta, olisi hyvä olla käytössä mittari tai useampia, joilla voitaisiin nähdä kurssin aikana tapahtuvat muutokset (Henderson ym., 2014). Jyväskylän yliopiston kemian laitos pääsi vuonna 2016 testaamaan kemian käsitteistön osaamista mittaavaa testiä. Lisäksi testattiin toista, kemian oppimiseen liittyviä käsityksiä mittaavaa testiä. Tässä artikkelissa esittelemme näiden testien käytöstä saatuja tuloksia syksyn 2016 kemian perusopintojen kursseilla.
Käytetyt testit ja kyselyjen toteuttaminen
Kemian käsitteiden ymmärtämistä testattiin Norjan teknillisessä yliopistossa (NTNU) kehitetyllä Chemistry Concept Inventory (CCI) -testillä (Eggen, Jacobsen, Hafskjold, & Persson, 2017), joka perustuu sekä aikaisempiin kemian käsitetesteihin (Krause, Birk, Bauer & Pavelich, 2004; Mulford & Robinson, 2002) että NTNU:n yleisen kemian kurssien sisältöihin. Testi koostuu neljästäkymmenestä kemian käsitteitä kartoittavasta monivalintakysymyksestä. Koska yleisen kemian sisällöt ovat NTNU:ssa ja Jyväskylän yliopiston kemian laitoksella lähes samanlaiset ja tarkoituksena oli myös selvittää CCI-testin toimivuutta toisessa yliopistossa (Kiviniemi, Eggen, Hafskjold, Jacobsen & Persson, 2017), testi otettiin suomentamisen jälkeen käyttöön sellaisenaan. Tulokset analysoitiin NTNU:ssa laaditulla Excel-lomakkeella.
Kemian oppimiseen ja opiskeluun liittyviä asenteita mitattiin Coloradon yliopistossa kehitetyn Colorado Learning Attitudes about Science Survey -testin kemian versiolla (CLASS-Chem), jota on käytetty kansainvälisesti opiskelijoiden asenteiden ja niiden muutosten tutkimiseen (Adams, Wieman, Perkins & Barbera, 2008; Heredia & Lewis, 2012) sekä kemian kurssien kehittämiseen (Schaller ym., 2015; Winkelmann ym., 2015). Testin väitteet liittyvät kemian oppimiseen ja ymmärtämiseen ja niihin vastataan Likert-asteikolla. CLASS-testi otettiin käyttöön sellaisenaan suomennettuna, ja analyysissä käytettiin Coloradon yliopiston tarjoamaa Excel-analyysilomaketta (CLASS web page.).
Sekä CCI- että CLASS-testi toteutettiin syksyllä 2016 kemian perusopintojen kahden ensimmäisen kurssin, Kemian perusteet 1 (KEMP111) ja Kemian perusteet 2 (KEMP112) yhteydessä. Kyselyyn vastattiin kurssien Moodle-oppimisympäristössä, esitestinä ensimmäisen kurssin (KEMP111) ensimmäisellä viikolla ja lopputestinä toisen kurssin (KEMP112) viimeisellä kurssiviikolla. Testit toteutettiin osana kurssien harjoitustehtäviä siten, että niihin vastaaminen oli osa tehtävien suoritusta, mutta vastaukset eivät vaikuttaneet tehtävistä saataviin pisteisiin. Opiskelijoilla oli testejä tehdessään mahdollisuus kieltää vastaustensa käyttäminen tutkimukseen. Lopputestin vastauslinkki välitettiin myös sellaisille KEMP111-kurssin opiskelijoille, jotka eivät osallistuneet KEMP112-kurssille. Käyttökelpoisia vastaussarjoja, joissa opiskelija oli vastannut sekä esi- että lopputestiin ja antanut luvan tietojensa käyttöön, saatiin lopulta tutkimukseen mukaan 52.
Tuloksia
Testitulosten avulla pyritään tunnistamaan kemian opiskeluun ja opettamiseen liittyviä piirteitä sekä selvittämään kurssien aikana tapahtuvia muutoksia opiskelijoiden osaamisessa ja asenteissa. Molempien testien todettiin pystyvän erottelemaan opiskelijat toisistaan ja niiden sisäinen reliabiliteetti oli hyvä, vaikka osa CCI-tehtävistä oli esitestissä hieman vaikeita (Kiviniemi, Eggen, Hafskjold, Jacobsen & Persson, 2017).
CCI-käsitetestin kokonaistulokset osoittivat, että suurin osa opiskelijoista paransi käsitteiden osaamistaan kurssin aikana (kuva 1). Esitestissä heikompien opiskelijoiden lopputestituloksissa oli suurempaa vaihtelua kuin jo esitestissä hyvin pärjänneillä opiskelijoilla. Toisaalta osa opiskelijoista, joilla on vahva tausta kemian opinnoista, saattaa täyttää kurssien osaamistavoitteet jo esitestiä tehdessään.
Kuva 1. CCI-testin esi- ja lopputestin tuloksien vertailu. Yksittäinen piste kuvaa tietyn opiskelijan tuloksia. Yhtenäinen suora osoittaa kohtaa, jossa esi- ja lopputestin tulokset ovat samat, suoran yläpuolella olevissa pisteissä lopputestin tulos on parempi kuin esitestissä
CCI-testin tuloksia verrattiin myös KEMP111-kurssin arvosanaan (kuva 2). Lopputestin tulokset näyttävät korreloivan kurssiarvosanan kanssa voimakkaammin kuin esitestin tulokset. Suoraa korrelaatiota ei esitestin ja kurssiarvosanan välillä havaita, mikä havainnollistaa sitä, ettei heikompikaan kemian osaamistausta estä kurssilla menestymistä. Toisaalta myös heikolla lopputestituloksella on saatu hyviä arvosanoja kurssista, mikä osoittaa, että kurssin loppukoe ja CCI-testi eivät mittaa täysin samanlaista kemian osaamista. Kurssiarviointi perustuukin tällä hetkellä enemmän perinteisiin kemian tehtäviin (laskut ja rakennemääritykset), kun taas CCI mittaa selvemmin kemian käsitteiden ymmärtämistä.
Kuva 2. CCI-testin esi- ja lopputestin tuloksien vertailu KEMP111-kurssin arvosanaan. Lopputestin tulokset korreloivat selvemmin kurssiarvosanan kanssa kuin esitestin tulokset
CLASS-asennetestin analyysissä opiskelijoiden vastauksia verrattiin kemian asiantuntijoiden samassa testissä antamiin vastauksiin eri kategorioissa, eli kuinka suuri osa opiskelijoista vastasi samoin kuin asiantuntijat (kuva 3) (Adams ym., 2008). Tulokset olivat jo esitestissä melko positiivisia: opiskelijat vastaavat usein kysymyksiin keskimäärin samalla tavalla kuin kemian asiantuntijat (kuva 3). Asiantuntijamaisten vastausten osuudet ovat samaa luokkaa tai suurempia kuin aikaisemmin julkaistuissa kemian CLASS-testeissä (Adams ym., 2008; Schaller ym., 2015).
Kuva 3. CLASS-testin esi- ja lopputestin vastausprosenttien keskiarvojen vertailu eri kategorioissa. Opiskelijoiden asiantuntija-tyypin vastauksissa ei tapahdu merkittävää muutosta kurssien aikana. Jo esitestissä asiantuntijamaisten vastausten osuus on suuri. Virherajat kuvaavat keskiarvon keskivirhettä
Verrattaessa CLASS-testin esi- ja lopputestien tuloksia (kuva 3) huomataan, että opiskelijoiden käsitykset kemian oppimisesta eivät merkitsevästi muutu kurssien aikana. Pieni muutos noviisimaisemmaksi on tyypillisempää, lukuun ottamatta ”atomi- ja molekyylitason näkökulma kemiaan” -kategoriaa, jossa vastaukset muuttuvat asiantuntijan suuntaan. Selvän muutoksen puuttuminen on kuitenkin aiemmista tutkimuksista poikkeava tulos, koska tyypillisesti CLASS-vastaukset muuttuvat ensimmäisten kurssien aikana noviisimaisemmiksi erityisesti ongelmanratkaisukategorioissa (Adams ym., 2008; Perkins ym., 2007; Schaller ym., 2015). Jyväskylässä havaittu lievä tai merkityksetön muutos asenteissa voidaan siis nähdä myönteisenä tuloksena.
Jyväskylän yliopistossa merkittävä osa KEMP111-kurssin opiskelijoista ei jatka kemian opintojaan. Tämä johtuu todennäköisesti siitä, että osalle sivuaineopiskelijoista vain KEMP111-kurssi on pakollinen. CLASS-esitestin tuloksien vertailu kemian opintoja pidemmälle jatkavien ja vain yhden kemian kurssin opiskelevien välillä paljastaa selkeän eron näiden ryhmien välillä (kuva 4). Kemian toiselle kurssille jatkavien opiskelijoiden asenteet ovat jo ensimmäisen kurssin alussa merkittävästi asiantuntijamaisempia kuin vain yhden kurssin opiskelevien. Erityisen suuri ero nähdään ongelmanratkaisuun liittyvissä kategorioissa, joissa kemiaa vain yhden kurssin opiskelevien asenteet ovat merkittävästi noviisimaisempia. Myös henkilökohtainen kiinnostus kemiaa kohtaan on vain yhden kurssin opiskelevilla jo kurssin alussa selvästi heikompi. KEMP111-kurssilla on siis kaksi asenteiden suhteen erilaista opiskelijaryhmää. Tämä näkyy myös kurssin opiskelijapalautteessa: osa opiskelijoista pitää kurssia vaikeana ja epärelevanttina, kun taas toisten mielestä kurssi on helppo ja mielenkiintoinen.
Kuva 4. CLASS-testin esitestin tuloksien keskiarvojen vertailu kemian opintoja jatkavien ja vain yhden kemian kurssin opiskelevien välillä. Kemian opintoja jatkavat erottuvat selvemmällä asiantuntijavastausprofiililla, erityisesti ongelmanratkaisuun liittyvien käsitysten osalta. Virherajat kuvaavat keskiarvon keskivirhettä
Johtopäätökset
CCI-käsitetestin todettiin pääosin sopivan Jyväskylän yliopiston kemian perusteiden kursseilla käytettäväksi, vaikka jotkin kysymykset olivatkin esitestissä hiukan vaikeita. Esitestin vaikeus kertoo siitä, että kurssilla on lähdettävä liikkeelle hyvin perustasolta. Kemian käsitteiden osaaminen vahvistuu suurimmalla osalla kurssin opiskelijoista, mutta muutos on usein melko pieni. Toisaalta heikompikaan osaamistausta ei estä kurssilla pärjäämistä. Opetuksessa voitaisiin kuitenkin panostaa lisää käsitteiden ymmärtämistä tukeviin opetusmuotoihin (Crouch & Mazur, 2001; McDermott, 2001; DeHaan, 2005), joiden on havaittu myös tukevan CLASS-testillä mitatun asiantuntijamaisen ajattelutavan kehittymistä (Madsen, McKagan & Sayre, 2015). Kurssin lähiopetuksen ennakkotehtäviä muutetaan nyt suuntaan, joka korostaa käsitteiden ymmärrystä tehtävien teknisen suorittamisen sijaan. Kurssilla on jo ollut tarjolla vapaaehtoista lisäohjausta pienryhmissä, mutta ohjauksiin hakeutumista voitaisiin tehostaa esimerkiksi antamalla opiskelijalle välitön palaute esitestistä. Myös kurssin osaamistavoitteita ja niiden mittaamiseen käytettyjä arviointimenetelmiä voi olla syytä tarkastella kriittisesti käsitteellisen oppimisen kannalta, koska huomattiin, että CCI-lopputesti ja kurssiarvosana eivät korreloi kovinkaan selvästi keskenään.
Kemian oppimiseen liittyviä asenteita mittaavan CLASS-testin perusteella kemian peruskurssien opiskelijoiden asenteet ovat Jyväskylässä kemian opiskelun kannalta suotuisampia kuin monessa kansainvälisessä tutkimuksessa. Opiskelijoiden käsitykset eivät suuresti muutu kurssien aikana, ja opiskelijoiden luottamus ongelmanratkaisukykyynsä ei heikkene, mikä eroaa muista CLASS-testiä käyttäneistä tutkimuksista. (Adams ym., 2008; Perkins ym., 2007; Schaller ym., 2015) Kuitenkin kemiaa vain yhden kurssin opiskelevien asenteet olivat jo esitestissä selvästi noviisimaisempia kuin niiden, jotka jatkoivat kemian opiskelua. Tämän joukon motivoimiseen ja kemian opiskelun merkityksellisyyden korostamiseen voisi olla tarvetta etenkin ensimmäisellä kurssilla. Yksi ratkaisu voisi olla opiskelijoiden ongelmanratkaisukyvyn ja siihen liittyvän itseluottamuksen tukeminen, koska kemian opiskelun yhteen kurssiin jättävät erosivat jatkavista erityisesti näiltä osin.
Testien käyttöä on tarkoitus jatkaa, jolloin saamme kattavampaa tietoa opiskelijoiden osaamisesta ja asenteista kursseilla. Lisäksi voimme testien avulla seurata kurssin opetuksen kehittämisen vaikutusta sekä oppimistuloksiin että opiskelijoiden asenteisiin. Jyväskylän yliopiston kemian laitos on myös mukana CCI-testin kehitysprojektissa.
Tiina Kiviniemi työskentelee yliopistonopettajana ja Piia Nuora tutkijatohtorina Jyväskylän yliopiston kemian laitoksella.
LÄHTEET
Adams, W. K., Wieman, C. E., Perkins, K. K. & Barbera, J. (2008). Modifying and validating the colorado learning attitudes about science survey for use in chemistry. Journal of Chemical Education, 85 (10), 1435.
CLASS web page. Colorado learning attitudes about science survey. Luettu 30.1.2017, http://www.colorado.edu/sei/class/
Crouch, C. H. & Mazur, E. (2001). Peer instruction: Ten years of experience and results. American Journal of Physics, 69 (9), 970–977.
DeHaan, R. L. (2005). The impending revolution in undergraduate science education. Journal of Science Education and Technology, 14 (2), 253–269.
Eggen, P., Jacobsen, E. E., Hafskjold, B. & Persson, J. (2017). Development of an inventory for alternative conceptions among students in chemistry. LUMAT: International Journal on Math, Science and Technology Education, 5 (1), 1–11.
Henderson, C., Turpen, C., Dancy, M. & Chapman, T. (2014). Assessment of teaching effectiveness: Lack of alignment between instructors, institutions, and research recommendations. Physical Review Special Topics – Physics Education Research, 10 (1), 010106.
Heredia, K. & Lewis, J. E. (2012). A psychometric evaluation of the colorado learning attitudes about science survey for use in chemistry. Journal of Chemical Education, 89 (4), 436–441.
Kiviniemi, T., Eggen, P., Hafskjold, B., Jacobsen, E. & Persson, J. (2017). Development of a chemistry concept inventory for general chemistry students at Norwegian and Finnish universities. Esitetty 9.6.2017, The Nordic Research Symposium on Science Education. Konferenssijulkaisu lähetetty.
Krause, S. J., Birk, J. P., Bauer, R. & Pavelich, M. J. (2004). Development, testing, and application of a chemistry concept inventory. Savannah, GA: 34th ASEE/IEEE Frontiers in Education Conference.
Madsen, A., McKagan, S. B. & Sayre, E. C. (2015). How physics instruction impacts students’ beliefs about learning physics: A meta-analysis of 24 studies. Physical Review Special Topics. Physics Education Research, 11 (1), 010115.
Mazur, E. (2009). Farewell, lecture? Science, 323 (5910), 50–51.
McDermott, L. C. (2001). Oersted medal lecture 2001: “Physics education Research – The key to student learning”. American Journal of Physics, 69 (11), 1127–1137.
Mulford, D. R. & Robinson, W. R. (2002). An inventory for alternate conceptions among first-semester general chemistry students. Journal of Chemical Education, 79 (6), 739.
Perkins, K. K., Barbera, J., Adams, W. K., Wieman, C. E., McCullough, L., Hsu, L. & Heron, P. (2007). Chemistry vs. physics: A comparison of how biology majors view each discipline. American Institute of Physics.
Schaller, C. P., Graham, K. J., Johnson, B. J., Jakubowski, H. V., McKenna, A. G., McIntee, E. J., Jones, T. N., Fazal, M. A. & Peterson, A. A. (2015). Chemical structure and properties: A modified atoms-first, one-semester introductory chemistry course. Journal of Chemical Education, 92 (2), 237–246.
Winkelmann, K., Baloga, M., Marcinkowski, T., Giannoulis, C., Anquandah, G. & Cohen, P. (2015). Improving students’ inquiry skills and self-efficacy through research-inspired modules in the general chemistry laboratory. Journal of Chemical Education, 92 (2), 247–255.
Yliopistopedagogiikka 