Oppimispäiväkirja erityisopettajaopiskelijoiden oppimisen tukena kvantitatiivisella tutkimusmenetelmäkurssilla
2011 • Vuosikerta 18 • Numero 1 • Sivut 6–16
Minna Kyttälä
Vaikka kvantitatiivisten tutkimusmenetelmien opettamiseen kulutetaan vuosittain paljon resursseja, opiskelijoiden oppimistulokset eivät ole toivotunlaisia. Koska opinnot koetaan ahdistaviksi, tylsiksi tai irrallisiksi muista opinnoista, monet opiskelevat pintasuuntautuneesti ja pyrkivät ainoastaan selviytymään kurssista. Tämä artikkeli pohjautuu oppimis- ja arviointivälinekokeiluun, jossa pyrittiin oppimispäiväkirjatyöskentelyn ohjeistusta kehittämällä ohjaamaan opiskelijoita omaksumaan kvantitatiivisia tutkimusmenetelmiä omakohtaisemmin ja aktiivisemmin. Analysoidut oppimispäiväkirjat (N=14) tukevat käsitystä siitä, että ohjeistusta kehittämällä voidaan ohjata entistä useampia opiskelijoita ottamaan ymmärtämiseen pyrkivä ote kvantitatiivisten tutkimusmenetelmien oppimisesta.
Avainsanat: tutkimusmenetelmät, oppiminen, oppimispäiväkirja
Tutkimusmenetelmäopetuksen keskeiset ongelmat
Vaikka tutkimusmenetelmien opettamiseen kulutetaan lukuvuosittain paljon resursseja, opiskelijoiden oppimistulokset eivät ole toivotunlaisia (Atjonen, 2008; Blalock, 1987; Garfield & Ahlgren, 1988; Rautopuro, 2010; Rautopuro, Väisänen & Malin, 2007). Heikot oppimistulokset ovat erityisesti kvantitatiivisten menetelmäkurssien ongelma. Opiskelijat suorittavat menetelmäkurssit hyväksytysti mutta eivät kurssin jälkeen välttämättä hallitse edes keskeisimpiä peruskäsitteitä (Garfield & Ahlgren, 1988; Rautopuro ym., 2007). Ongelmaa voidaan tarkastella sekä opiskelijan että yliopiston näkökulmasta. Yksi yliopiston päätehtävistä on tukea opiskelijoita ymmärtämään, käsittelemään ja tuottamaan tutkittua tietoa, ja näitä taitoja tarvitaan työelämässä myös yliopiston ulkopuolella. Koska tutkimusmenetelmäopetukseen käytetään paljon opetusresursseja, olisi suotavaa, että opetuksen avulla pystyttäisiin saavuttamaan edes osa tavoitteista. Varsin suuri osa opiskelijoista ei kuitenkaan näe tutkimusmenetelmien opiskelua tulevan työuran kannalta tärkeänä (Murtonen, Olkinuora, Tynjälä & Lehtinen, 2008). Osa kokee niiden opiskelun suorastaan pelottavana tai vastenmielisenä. Kvantitatiivisiin tutkimusmenetelmäopintoihin liittyvä ”tilastoahdistus” on erittäin yleistä ihmistieteellisillä aloilla (Gresham, 2007; Onwuegbuzie & Wilson, 2003).
Opiskelijan näkökulmasta kvantitatiivisten tutkimusmenetelmien opiskelua saattaa vaikeuttaa motivaation puute (miksi näitä pitää oppia?) tai ahdistus (en osaa matematiikkaa, en siis voi oppia tutkimusmenetelmiä) (Murtonen & Titterton, 2004). Motivaation puute ja ahdistus aiheutuvat todennäköisesti siitä, että opiskeltava aihe on vaikea erityisesti ihmistieteellisten alojen opiskelijoille, joilla voi olla aiheesta heikot tai vääristyneet pohjatiedot (Lehtinen, 2007). Opiskelijat, jotka eivät ole alkuaan halunneet hakeutua matemaattisille aloille, saattavat kokea kvantitatiivisiin tutkimusmenetelmiin sisältyvät tilastolliset analyysit ja päättelyt liian matemaattisiksi. Motivaation puute saattaa olla seurausta myös siitä, miten tutkimusmenetelmiä opetetaan. Menetelmäopinnot tarjotaan perinteisesti ihmistieteellisillä aloilla muista opinnoista erillisinä, mikä saattaa antaa sen kuvan, että tutkimus ei liity muihin opintoihin ja että tutkimusmenetelmiä tarvitsevat vain ne, jotka haluavat tutkijoiksi. Rautopuro ja muut (2007) kritisoivat perinteistä kvantitatiivisiin tutkimusmenetelmiin liittyvää tilastotieteen opetusta liian tekniseksi. Keskeisten käsitteiden ymmärtämisen sijaan opetuksessa painottuvat laskusääntöjen ja muiden teknisten asioiden hallinta. Murtosen ja Lehtisen (2003) mukaan opiskelijat myös kokevat menetelmäopetuksen pintapuoliseksi. Osasyynä tähän on vähäiseen opintopistemäärään ympätty laaja sisältö, joka ei mahdollista syventymistä aiheeseen. Tämä aiheuttaa myös sen, että opiskelijoille jää menetelmistä keittokirjamainen kuva. Tällöin kokonaiskuva siitä, mitä tutkimus itse asiassa on, jää epäselväksi.
Motivaation puute, ahdistus tai opintojen kokeminen epäolennaisiksi ohjaavat opiskelijoita pintasuuntautuneeseen opiskelustrategiaan, jossa päätavoitteeksi muodostuu kurssista selviäminen (Bereiter & Scardamalia, 1989) eikä niinkään asioiden aktiivinen ymmärtäminen ja kokonaiskuvan muodostaminen. Kokonaiskuvan muodostuminen, uuden tiedon rakentaminen jo olemassa olevan tiedon varaan ja opittavan asian omakohtainen ymmärtäminen ovat kuitenkin modernin oppimiskäsityksen ydintavoitteita (ks. esim. Entwistle & Smith, 2002; Mayer, 1999). Tavoitteena ei siten tutkimusmenetelmäopinnoissakaan saisi olla yksittäisten asiasisältöjen mekaaninen ulkoa oppiminen vaan opiskeltavan tiedon aktiivinen käsittely ja omaksuminen. Opiskelijoita on kuitenkin haastavaa houkutella innostumaan sisällöistä, jotka ovat ahdistavia ja vaikeita.
Oppimispäiväkirja – mahdollisuus ongelmien ratkaisuun?
Arviointi on välttämätön osa tehokasta opettamista ja oppimista. Arviointimenetelmien tulisi olla opintojakson tavoitteiden ja opetus- ja oppimismenetelmien mukaisia (Biggs, 1999). Niiden pitäisi siis tukea oppimistavoitteiden saavuttamista. Paitsi että arviointimenetelmät mittaavat opiskelijoiden suoriutumista, ne myös suuntaavat opiskelijoiden oppimista (Dochy & McDowell, 1997; Gijbels & Dochy, 2006). Perinteinen tenttiarviointi suuntaa opiskelijoita opiskelemaan pintasuuntautuneesti ja ohjaa heitä opettelemaan ulkoa valmiita lauserakenteita ymmärtämisen sijaan. Arviointimenetelmiä monipuolistamalla voidaan ohjata opiskelijoiden oppimisprosessia enemmän ymmärtämistä tukevaksi. Esimerkiksi erilaiset oppimispäiväkirjat ja -portfoliot ohjaavat opiskelijoita parhaimmillaan rakentamaan kokonaiskäsitystä ja reflektoimaan omaa oppimisprosessia (Chambers & Wickersham, 2007; Chamoso & Cáceres, 2009; Dochy & McDowell, 1997; Nückles, Hübner & Renkl, 2009). Ne eivät pelkästään paranna näkyviä oppimistuloksia vaan saattavat edistää metakognitiivisten taitojen (McCrindle & Christensen, 1995) ja oppimisen itsesäätelyn kehittymistä (Lo, 2010; Nückles ym., 2009). Tällaisten oppimis- ja arviointivälineiden on todettu soveltuvan myös tutkimusmenetelmäkursseille (Kyttälä, 2010; Sciutto, 2002).
Oppimispäiväkirja muodostuu aktiivisen kirjoittamisprosessin tuloksena. Sen tavoitteena ei ole vain opintojaksolla esiteltyjen sisältöjen tallentaminen kirjalliseen muotoon vaan käsiteltyjen sisältöjen analysointi ja pohdinta. Oppimispäiväkirjan kirjoittaminen on siis eräänlainen reflektioprosessi. Levanderin (2002) mukaan reflektio on tyypillisimmillään ”(– –) oppimisen ja kokemuksen arvioivaa työstämistä kirjoittamalla.” Vaikka reflektio ei toimintana, menetelmänä tai tuloksena rajoitu kirjallisiin tuotoksiin, se muodostaa oppimispäiväkirjatyöskentelyn ytimen. Reflektointia voi tapahtua eri tasoilla, ja tason mukaan se tuottaa erityyppistä tietoa reflektoijalle (Levander, 2002). Esimerkiksi analyyttisellä tasolla kirjoittaja jäsentää aiemmin kuulemiaan sisältöjä palauttamalla niitä mieleensä ja kuvailemalla niitä. Arvioivalla tasolla hän alkaa nivoa uutta tietoa aiemmin oppimaansa ja ymmärtää uuden tiedon merkityksen suhteessa laajempiin kokonaisuuksiin. Vasta tällä tasolla voidaan puhua reflektiivisen oppimisprosessin käynnistymisestä (Boyd & Fales, 1983). Oppimispäiväkirja tai -portfolio toimiikin parhaiten silloin, kun se saa opiskelijat kirjoittamaan muutakin kuin faktaluetteloita. Vaikka jo kirjoittamisen on todettu edistävän oppimista (Bangert-Drowns, Hurley & Wilkinson, 2004; Klein, 1999; Tynjälä, 1998), tehokas ohjeistus ja oikeat kysymykset näyttäisivät edesauttavan aktiivista oppimista.
Bereiter ja Scardamalia (1987) erottavat toisistaan tietoa toistavan kirjoittamisstrategian ja tietoa muokkaavan kirjoittamisstrategian. Opiskelijoiden tenttivastaukset muistuttavat usein toistamalla kirjoitettua tekstiä, johon on listattu mielessä olevat tiedonpalaset prosessoimatta tietoa. Toistava kirjoittaminen on usein seurausta pintasuuntautuneesta opiskelustrategiasta, jonka mukaan opiskelija pyrkii suoriutumaan kurssista tai sen osavaatimuksista hyväksytysti ja jossa oppimistavoitteena on yksittäisten faktojen muistaminen (Entwistle, 1995; McCrindle & Christensen, 1995). Tietoa muokkaavan strategian mukaan kirjoittaminen taas on ongelmanratkaisuprosessi, jossa tieto jäsentyy ja muokkautuu kirjoittamisprosessin kuluessa. Tämän voi katsoa edustavan syväsuuntautunutta opiskelustrategiaa, jossa päämääränä on opittavan aineksen omakohtainen ymmärtäminen ja johon liittyy oleellisesti aktiivinen tiedonkäsittely. Vaikka jako syvä- ja pintasuuntautuneeseen oppimisstrategiaan on turhan yksinkertainen eikä se tuo esiin lähestymistapojen hienovaraisempia eroja (Vermunt, 1998), syväsuuntautuneella oppimisstrategialla tarkoitetaan kaikkia niitä lähestymistapoja, joissa pyritään aktiivisesti suhteuttamaan uutta tietoa aiemmin omaksuttuun tietoon ja rakentamaan kokonaiskuvaa (Entwistle, 1997). Yleisesti tätä voidaan luonnehtia käsitteellä ymmärtävä oppiminen.
On kuitenkin muistettava, että pelkkä oppimispäiväkirjatyöskentely ei riitä edistämään syväsuuntautunutta oppimista, vaan opiskelijoita on myös ohjeistettava riittävästi (Kyttälä, 2010; Levander, 2002; Lo, 2010). Pelkkä kirjoittaminen ei takaa ymmärtämistä. Oleellista on se, miten opiskelijat omaksuvat ja käsittävät annetun tehtävän (Entwistle, 1995). Asettamalla oikeanlaisia kysymyksiä opettaja voi ohjata opiskelijoita käyttämään tietoa muokkaavaa kirjoittamisstrategiaa eli tuottamaan muutakin kuin asialuetteloita ja pohtimaan ilmiöiden merkitystä sellaisenaan ja osana laajempaa kokonaisuutta (Mayer, 1999). Erilaisilla kognitiivisilla ja metakognitiivisilla vihjeillä voidaan johdatella opiskelijoita käyttämään sellaisia opiskelustrategioita, joita he eivät oma-aloitteisesti käyttäisi (Nückles ym., 2009). Koska oppimispäiväkirjan pitäisi olla aktiivinen kirjoittamisprosessi eikä vain kirjallinen lopputuotos, myös ohjeiden pitäisi tukea kirjoittamisprosessia riittävästi (ks. esim. Hayes & Flower, 1986). On todettu, että mitä enemmän kirjoittamistehtävä aktivoi opiskelijoita prosessoimaan tietoa, sitä paremmin he oppivat (Applebee, 1984). Tämä ”parempi oppiminen” ei viittaa kvantitatiivisiin eroihin oppimistuloksissa vaan pikemminkin siihen, että oppimisprosessin tuloksena opiskelija sisäistää asiat paremmin ja että ymmärryksen lisäksi myös ajattelutaidot kehittyvät.
Tehtävän mekaaninen ohjeistaminen ei riitä takaamaan onnistunutta oppimispäiväkirjatyöskentelyä. Opiskelijat pitää myös vakuuttaa siitä, että työskentelystä on hyötyä (Baeten, Dochy & Struyven, 2008). Heidät on siis motivoitava työskentelemään. Syväsuuntautuneeseen oppimisstrategiaan liitetään usein sisäinen motivaatio (Gijbels, Segers & Struyf, 2008), joka viittaa siihen, että opiskelija haluaa oppia oppimisen vuoksi, ei saadakseen tietyn arvosanan tai palkinnon. Sisäisen motivaation löytäminen on kuitenkin vaikeaa silloin, jos opiskelija ei pidä opintojakson sisältöjä itselleen tarpeellisina. Tällöin pelkkä oppimispäiväkirjasta saatava ulkoinen hyöty (hyvä arvosana) voi vakuuttaa opiskelijat siitä, että kannattaa työskennellä ahkerasti.
Tutkimuksen lähtökohdat
Tämän oppimispäiväkirjakokeiluun perustuvan tutkimuksen lähtökohdat olivat hyvin käytännönläheiset. Muiden tutkijoiden tapaan havaitsin käytännön opetustyössä, että opiskelijat eivät opi kvantitatiivisilla menetelmäkursseilla riittävästi. Vaikka käytin kursseilla vaihtelevia opetusmenetelmiä erilaisista paritehtävistä pienryhmätyöskentelyyn ohjatakseni opiskelijoita aktiivisemmiksi tutkimusmenetelmien oppimisessa, opiskelijat opiskelivat tenttiä varten. Pintasuuntautunut lähestymistapa näkyi tenttivastauksissa, joissa opiskelijat tukeutuivat sanatarkasti kirjatekstiin siitä huolimatta, että tehtävänannossa saatettiin kehottaa selittämään asiat omin sanoin. Tämä toistava kirjoittamisstrategia eli kirjatekstiin tai luennoitsijan sanamuotoihin takertuminen on erittäin yleistä tilastotieteen opinnoissa (Blalock, 1987), jotka muodostavat yhden keskeisen osan kvantitatiivisten tutkimusmenetelmien sisällöistä. Opiskelijat opettelevat ilmaisutapoja ulkoa sen sijaan, että he pyrkisivät todella ymmärtämään, mitä kurssilla käsitellään. Usein heillä on itselläänkin virheellinen käsitys siitä, mitä he tosiasiassa osaavat. Berthold, Nückles ja Renkl (2007) nimittävät tätä ymmärtämisen illuusioksi.
Koska perinteinen tenttiarviointi ei ohjannut opiskelijoita saavuttamaan kurssin tavoitteita vaan lähinnä pintasuuntautuneesti selviytymään tentistä, kurssin arviointimenetelmiä oli kehitettävä. Ensimmäisen oppimispäiväkirjakokeilun toteutin syksyllä 2008 (Kyttälä, 2010). Kokeilun tulokset osoittivat, että oppimispäiväkirja soveltuu kvantitatiivisten tutkimusmenetelmien ja tilastoanalyysien oppimisvälineeksi. Hyvät oppimispäiväkirjat osoittivat, että kurssin asiasisällöistä on mahdollista kirjoittaa päiväkirjanomaista, reflektoivaa, omaa oppimista ja omia ongelmakohtia käsittelevää tekstiä. Opiskelijat myös kokivat oppimispäiväkirjan kirjoittamisen edistäneen omaa oppimistaan. Oppimispäiväkirja ei kuitenkaan taannut, että ymmärtävää oppimista tapahtuu. Vaikka päiväkirjaohjeissa painotettiin sitä, että uutta tietoa pitäisi peilata suhteessa aiemmin omaksuttuun tietoon, hieman yli puolet kurssilla laadituista oppimispäiväkirjoista oli mekaanisia luetteloita käsitellyistä asioista. Nämä oppimisluettelot ovat esimerkki toistavasta kirjoittamisstrategiasta (ks. Bereiter & Scardamalia, 1987). Luetteloiden perusteella oli mahdotonta arvioida todellista ymmärtämistä. On myös epätodennäköistä, että luennoitsijan ilmaisujen tai tekstikatkelmien kopioiminen olisi kovin voimakkaasti edistänyt oppimista ja syvällistä asioiden ymmärtämistä tai kokonaiskuvan syntymistä (ks. esim. Kathpalia & Heah, 2008).
Ensimmäinen oppimispäiväkirjakokeilu (Kyttälä, 2010) osoitti ensinnäkin siis, että merkittävä osa opiskelijoista kaipaa voimakkaampaa ohjausta päiväkirjan kirjoittamisessa, ainakin silloin, kun on kyse tutkimusmenetelmäopinnoista. Toiseksi on mahdollista, että oppimispäiväkirjan merkitys arvosanaa määriteltäessä ei ensimmäisessä oppimispäiväkirjakokeilussa ollut riittävän suuri. Tutkimukset ovat osoittaneet, että arviointimenetelmät ohjaavat voimakkaasti opiskelijoiden oppimisstrategioiden valintaa (Dochy & McDowell, 1997; Gijbels & Dochy, 2006). Jos arviointimenetelmän painoarvo ei ole tarpeeksi suuri, opiskelijoilla ei ole motivaatiota työskennellä ahkerasti. Tämä koskee erityisesti niitä opiskelijoita, joiden oppimista ohjaa pääasiassa ulkoinen motivaatio. Seuraavassa oppimispäiväkirjakokeilussa kehitin ohjeistuksia ja käytäntöjä, jotka ohjaisivat opiskelijoita kirjoittamaan oppimispäiväkirjaa aktiivisemmin tavoitteenaan ymmärtäminen.
Tutkimusta ohjannut pääkysymys on:
Voidaanko oppimispäiväkirjaohjeistusta ja -ohjausta muokkaamalla houkutella aiempaa useampia opiskelijoita omaksumaan syväsuuntautunut, ymmärrystä tavoitteleva opiskelustrategia?
Menetelmät
Kurssin osallistujat
Erityispedagogiikan aineopintojen kvantitatiivisia tutkimusmenetelmiä käsittelevälle opintojaksolle osallistui yhteensä 14 erityisopettajaopiskelijaa. Jakson laajuus oli neljä opintopistettä (4 op). Osallistujien keski-ikä oli 38 vuotta, 6 kuukautta. Yli 40-vuotiaita opiskelijoita oli kuusi. Kaikki kurssin opiskelijat olivat naisia, mikä on tyypillistä erityispedagogiikan opintojaksoilla. Kaikki opiskelijat suorittivat erillisiä erityisopettajaopintoja, joihin päästäkseen opiskelijalla on oltava vähintään kahden vuoden työkokemus ja valmis tutkinto, joka antaa lastentarhanopettajan, luokanopettajan tai aineenopettajan kelpoisuuden. Kaikki kurssin opiskelijat olivat siis suorittaneet vähintään aiempaan tutkintoonsa kuuluneet menetelmäopinnot, mutta niiden suorittamisesta saattoi olla useita vuosia.
Opiskelijarakenne ja opetusmuodot olivat toiseen oppimispäiväkirjakokeiluun osallistuneella kurssilla hyvin samanlaiset kuin ensimmäisessä kokeilussa (taulukko 1). Laajuudeltaan molemmat kurssit olivat neljä opintopistettä, ja ne sisälsivät 35 tuntia kontaktiopetusta. Suurin osa opiskelijoista sekä ensimmäisessä (N=13, 68 %; Kyttälä, 2010) että toisessa ryhmässä (N=8, 57 %) oli 25–40-vuotiaita. Molemmilla kursseilla arvioitiin tenttisuoritusta ja oppimispäiväkirjaa. Opiskelijan oli myös mahdollista saada henkilökohtaista suullista palautetta sekä tenttisuorituksesta että oppimispäiväkirjasta kurssin jälkeen.
Taulukko 1. Kurssien opiskelijarakenne sekä opetus- ja arviointimuodot
Opiskelijat vastasivat kurssin aluksi muutamiin avoimiin kysymyksiin, jotka koskivat muun muassa tulevien menetelmäopintojen koettua tärkeyttä ja suhtautumista opintoihin kurssin alkuvaiheessa. Vastauksista voidaan todeta ensinnäkin, että kaikki opiskelijat (N=14) kokivat menetelmäkurssin tärkeäksi tulevaa proseminaarityötä varten. Neljä opiskelijaa mainitsi tarvitsevansa tutkimusten lukutaitoa todennäköisesti myöhemmin erityisopettajan tehtävissä. Kaksi opiskelijaa suhtautui kielteisesti alkaviin opintoihin. Toista opinnot eivät kiinnostaneet juuri lainkaan, ja toinen koki voimakasta ahdistusta, joka perustui aiempiin kokemuksiin tutkimusmenetelmien opiskelusta. Kaikkiaan kolme opiskelijaa toi esiin pelon, ahdistuksen tai epävarmuuden kurssin alkaessa (N=3).
”Opinnot eivät erityisesti kiinnosta minua.” (Opiskelija A)
”Ihan kammottavalta. Kvant. ja kval. menetelmät ovat edellisestä kerrasta vielä muistissa ja siitä jäi minulle olo etten ymmärtänyt mitä luin tai opin?!” (Opiskelija B)
Suurin osa opiskelijoista suhtautui kuitenkin myönteisesti (N=10) ja mainitsi joko innostuksen tai mahdollisuuden oppia menetelmiä, joita ei ollut aiemmin oppinut.
”Toivon kurssin innostavan minua aiheeseen aikaisempaa enemmän. Tulin kurssille avoimin mielin valmiina oppimaan uutta!” (Opiskelija C)
Oppimispäiväkirja osana menetelmäkurssia
Oppimispäiväkirja oli yksi pakollisista suorituksista kurssilla. Sen lisäksi opiskelijat tekivät erilaisia ryhmä- ja paritehtäviä sekä kurssin lopuksi numeerisesti (1–5) arvioitavan paritentin. Aiemmasta oppimispäiväkirjakokeilusta (Kyttälä, 2010) poiketen (ks. taulukko 2) oppimispäiväkirjan arvosana muodosti puolet koko kurssin arvosanasta. Sen painoarvo oli näin suurempi kuin ensimmäisessä päiväkirjakokeilussa, jossa oppimispäiväkirjalla oli mahdollista korottaa tentin arvosanaa mutta heikompi päiväkirja ei laskenut kurssin kokonaisarvosanaa. Paritentin arvosana muodosti toisen puolen kokonaisarvosanasta. Kerroin tämän opiskelijoille heti oppimispäiväkirjatehtävää antaessani ja esittelin heille myös oppimispäiväkirjan arviointikriteerit. Tärkeimpinä kriteereinä painotin sitä, että opittua tietoa sovelletaan aiemmin opittuun tai omiin kokemuksiin ja että käsittelytapa on kriittinen. Lisäksi painotin, että päiväkirjassa tulisi problematisoida sekä sisältöjä että omaa oppimista. Aiemmasta ohjeistuksesta poiketen korostin sitä, että asiat ilmaistaan päiväkirjassa omin sanoin ja että omin sanoin selittäminen edistää asioiden ymmärtämistä. Kurssin aikana opiskelijat tekivät myös paritehtäviä, joissa he harjoittelivat ilmaisemaan aihealueen käsitteitä omin sanoin.
Taulukko 2. Ohjeistuksen kehittäminen
Molemmissa kokeiluissa oppimispäiväkirjatyöskentelyyn annettiin kurssin aluksi seuraavat ohjeet:
-
Kirjoita päiväkirjaa jokaisen luennon tai harjoituskerran jälkeen (myöhemmin on vaikea muistaa).
-
Vastaa jokaisen kerran jälkeen ainakin seuraaviin kysymyksiin:
- Mikä oli kerran pääsisältö/pääsisällöt?
- Mihin laajempaan kokonaisuuteen käsitellyt asiat liittyvät?
- Mitä opin?
- Oliko kaikki kertausta vai opinko uutta?
- Miten oppimani asiat liittyvät aiemmin oppimaani?
- Tuliko ahaa-elämyksiä?
- Mitä jäi vielä epäselväksi?
- Mikä oli kerran pääsisältö/pääsisällöt?
Ohjeistus kerrattiin kahdesti kurssin kuluessa sekä viimeisellä kerralla ennen oppimispäiväkirjan palauttamista. Aiemmassa oppimispäiväkirjakokeilussa tyydyin muistuttamaan opiskelijoita silloin tällöin oppimispäiväkirjan kirjoittamisesta, mutta en alkuohjeistuksen jälkeen toistanut ohjailevia kysymyksiä.
Opiskelijat palauttivat oppimispäiväkirjansa sähköisesti kurssin ensimmäiseen tenttipäivään mennessä. Nämä oppimispäiväkirjat (N=14) muodostavat tämän tutkimuksen aineiston. Jokainen päiväkirja sisältää yhteensä 14 opetuskerran kuvauksen. Jos opiskelija joutui olemaan poissa joltakin opetuskerralta, hän perehtyi itsenäisesti päivän teemoihin ja kirjoitti päiväkirjaa oman oppimisensa mukaan.
Aineiston analyysi
Oppimispäiväkirjat analysoitiin laadullisella sisällönanalyysillä (Tuomi & Sarajärvi, 2009). Analyysi eteni opiskelijoiden opetuskertojen kuvausten laadullisesta sisällönanalyysistä kohti aineiston kvantifiointia. Analysoin aluksi yksittäiset opetuskertojen kuvaukset ja luokittelin ne sisällön mukaan joko luettelomaisiksi (toistava strategia; Bereiter & Scardamalia, 1987) tai pohdiskeleviksi (muokkaava strategia; Bereiter & Scardamalia, 1987). Koska analyysin lähtökohtana oli valmis, teoriaan perustuva luokittelurunko, tutkimus edustaa teorialähtöistä lähestymistapaa (ks. Tuomi & Sarajärvi, 2009). Vertailun mahdollistamiseksi luokitteluperusteet olivat samat kuin ensimmäisessä oppimispäiväkirjakokeilussa (Kyttälä, 2010). Opetuskerran kuvaus luokiteltiin luettelomaiseksi, jos siinä tyydyttiin vain luettelemaan käsiteltyjä asioita. Pohdiskelevaksi kuvaus luokiteltiin, jos tekstistä voitiin erottaa katkelmia, joissa analysoitiin omaa oppimista, käsiteltyä aihetta, epäselviksi jääneitä asioita tai mahdollisesti näitä kaikkia. Katkelmien lukumäärää yksittäisessä opetuskerran kuvauksessa ei eritelty. Ne päiväkirjat, joissa 14:stä opetuskerran kuvauksesta korkeintaan kolmessa oli problematisoitu käsiteltyä aihetta, omaa oppimista tai omia oppimisen ongelmia, luokiteltiin oppimisluetteloiksi. Päiväkirjat, joissa aiheita oli kuvattu hyvin niukasti ja pohdiskelematta (1–3 virkettä/opetuskerta), luokiteltiin minimisuorituksiksi, joissa selkeänä päämääränä oli ainoastaan suoriutua pakollisesta tehtävästä.
Millaisia oppimispäiväkirjoja opiskelijat tuottivat?
Palautetut oppimispäiväkirjat voidaan jakaa kahteen luokkaan: niihin, joissa käsiteltyjä asioita ja omaa oppimista tai oppimisessa koettuja vaikeuksia pohdittiin syvällisemmin (hyvät oppimispäiväkirjat, N=12), ja niihin, joissa tekstiä oli paljon mutta pinnallisessa luettelomuodossa (oppimisluettelot, N=2). Minimisuorituksia ei ollut lainkaan.
Suurin osa opiskelijoista oli siis ansiokkaasti analysoinut sisältöjä, omaa oppimistaan ja epäselviksi jääneitä asioita, mikä osoittaa aiemman oppimispäiväkirjakokeilun tapaan, että myös kvantitatiivisten menetelmien sisällöt soveltuvat oppimispäiväkirjamuotoiseen opiskeluun. Hyvissä oppimispäiväkirjoissa käytettiin tietoa muokkaavaa kirjoittamisstrategiaa, jossa tieto jäsentyy ja muokkautuu kirjoittamisprosessin kuluessa (Bereiter & Scardamalia, 1987). Niissä oli siis selkeä reflektiivinen ote.
”Etenkin mittareiden löytäminen tuotti ongelmia, sillä oli vaikea määritellä, mitkä tutkimuksessa huomioiduista taustatekijöistä saattoi määritellä mittariksi. Kyselylomake oli helppo löytää yhtenä mittarina, mutta mietin pitkään, onko esimerkiksi Breuer-Weuffen-testi myös mittari. Kyllähän se kuitenkin luokitteli oppilaita eri tasoryhmiin.” (Opiskelija D)
”Eli jos analysoidaan esim. välimatka-asteikollista aineistoa, voidaan käyttää parametrisiä menetelmiä, koska arvojen etäisyydet toisistaan on tiedossa. Ja tällöin niille voidaan antaa tiettyjä parametrejä esim. keskiarvo. Toki olen osannut nämä asiat jo aiemminkin lukea muistiinpanoistani, mutta nyt vasta ymmärrän kuinka ne kaikki liittyvät toisiinsa.” (Opiskelija E)
”Vähän jäi epäselväksi myös erilaiset taidot muuttujina: voiko jokin taito olla riippumaton muuttuja ja vastaavasti riippuva muuttuja? Ja miten tutkija voi niihin vaikuttaa interventioilla vai voiko vaikuttaa? Lause: ”muutos riippuvassa muuttujassa on vaikutus” saa minut sekaisin: eihän tutkija voinut vaikuttaa riippuvaan muuttujaan, miten se siis voi muuttua? Vai tarkoittako se, että tehty interventio voi vaikuttaa myös riippuvaan muuttujaan? Ja se, että tutkija ei voisi vaikuttaa riippuvaan muuttujaan, tarkoittaa vain lähtötilannetta?” (Opiskelija E)
Molemmissa oppimispäiväkirjakokeiluissa (Kyttälä, 2010) hyvien oppimispäiväkirjojen kirjoittajat mainitsivat hyötyneensä päiväkirjan kirjoittamisesta. Kirjoittaminen pakotti kertaamaan päivän sisällöt ja auttoi jäsentämään asioita. Näitä opiskelijoiden henkilökohtaisia oppimiskokemuksia ei pidä väheksyä (ks. Tynjälä, 1998). Kun tavoitteena on konstruktivismin ihanteiden mukaisesti omaksua tietoa omakohtaisesti ja saada aikaan käsitteellinen muutos, yksilön omat kokemukset oppimisprosessista ja sen tuloksista ovat tärkeitä tiedonlähteitä.
”Myös opiskelutekniikalla on suuri merkitys: Oppimispäiväkirja on toiminut hyvin luennon jälkeen mieleen painamisen apuna.” (Opiskelija F)
”Kvantitatiivisten tutkimusmenetelmäopintojen oppimisessa on ollut suureksi avuksi ja hyödyksi oman oppimispäiväkirjan kirjoittaminen. Oppimispäiväkirjan kirjoittamisen kautta on ollut pakko miettiä läpi käytyjä aiheita syvällisesti ymmärtäen ja tätä kautta on sitten tapahtunut mielestäni oppimista ja kehittymistä ja ulkoa pänttäämiseltä on säästytty.” (Opiskelija G)
”Tämä oppimispäiväkirjakin on aivan loistava keksintö. Tässä näitä asioita tulee ajateltua ja palauteltua mieleen. Muuten näitä ei varmasti tulisi kerrattua aina päivän jälkeen.” (Opiskelija H)
Oppimispäiväkirjoista vain kaksi kuului oppimisluettelojen luokkaan. Niissä raportoitiin sujuvasti ja kattavastikin kertojen pääsisällöt, mutta sisällöistä ei kirjoitettu omin sanoin, vaan luentomuistiinpanojen tapaan käytettiin luennoitsijan tai tutkimusmenetelmäteosten sanavalintoja ja ilmauksia.
”Tutkimuksen eteneminen alkaa tutkimuksen suunnittelusta, edeten aineiston keräämiseen, analysointiin ja tulosten raportointiin. Tutkimus etenee suunnittelun avulla. Aluksi rajataan viitekehys ja tutustutaan kirjallisuuteen. Tämän jälkeen tapahtuu ongelman määrittely ja rajaaminen sekä tutkimusasetelman rajaaminen. Ajankäytössä tulee huomioida, että tutkimuslupa-asiat voivat viedä paljon aikaa.” (Opiskelija I)
Oppimisluettelot sisälsivät paljon asiaa, mutta ne eivät kuvanneet opiskelijan oppimisprosessia eivätkä viitanneet syväsuuntautuneeseen oppimiseen. Ne kertovat pikemminkin alkeellisen toistostrategian käytöstä (Bereiter & Scardamalia, 1987; Weinstein & Mayer, 1986), joka saattaa tenttitilanteessa toimia mutta ei auta opiskelijaa etenemään syvemmälle. Kuten johdannossa mainitsin, toistostrategia liitetään usein oppimiskäsitykseen, jonka mukaan oppiminen on yksityiskohtien ulkoa oppimista (McCrindle & Christensen, 1995). Toistostrategiaa jossain kontekstissa käyttävä opiskelija ei kuitenkaan välttämättä aina turvaudu siihen; opiskelija saattaa käyttää toistostrategiaa, koska pitää sitä tietyssä tilanteessa parhaana tai tehokkaimpana vaihtoehtona (Wilson & Fowler, 2005). Joskus opiskelijat saattavat valita toistostrategian, vaikka ymmärtäisivät, ettei se ole paras vaihtoehto (McCrindle & Christensen, 1995). Kvantitatiivisissa tutkimusmenetelmäopinnoissa tähän saattaa vaikuttaa tilastoahdistus tai motivaation puute. Tässä aineistossa kuitenkin toinen oppimisluettelon kirjoittajista suhtautui kurssin alussa myönteisesti opintoihin (ks. sitaatti, opiskelija C) eikä päiväkirjatekstikään viittaa siihen, että motivaatio olisi kurssin kuluessa laskenut tai että opiskelija olisi ahdistunut. Toisenkaan oppimisluettelon kirjoittajan tausta ei anna olettaa, että hän olisi ollut erityisen ahdistunut kurssin matemaattisista sisällöistä.
”(– –) olen pitänyt koulu- ja opiskeluaikoina matematiikasta ja tilastotieteestäkin sain hyvät arvosanat.” (Opiskelija I)
Nämä kaksi opiskelijaa olivat myös kirjoittaneet paljon tekstiä, mikä viittaa siihen, että he olivat ainakin jossain määrin motivoituneita kirjoittamaan oppimispäiväkirjaa. Tämä saa pohtimaan, oliko oppimispäiväkirja oppimis- ja suoritusmenetelmänä opiskelijoille niin vieras, että he olisivat tarvinneet enemmän ohjausta irrottautuakseen toistostrategiasta. Toisaalta syväsuuntautuneeseen oppimisstrategiaan liitetään usein sisäinen motivaatio (Gijbels ym., 2008), joka viittaa siihen, että opiskelija haluaa oppia oppimisen vuoksi eikä saadakseen tietyn arvosanan tai palkinnon. Ulkoinen motivaatio puolestaan voi ohjata opiskelijaa ottamaan pintasuuntautuneemman lähestymistavan, jota myös näiden kahden opiskelijan toistava kirjoittamisstrategia edustaa. Ulkoisesti motivoitunut opiskelija saattaa tuottaa paljon tekstiä saavuttaakseen mahdollisimman hyvän arvosanan, vaikka ei aidosti sitoudu oppimisprosessiin.
On myös huomattava, että ne kaksi opiskelijaa, jotka kurssin alussa suhtautuivat kielteisesti alkavaan kurssiin ja sen sisältöihin, päätyivät lopulta kirjoittamaan hyvän oppimispäiväkirjan. Saattaa olla, että oppimispäiväkirja henkilökohtaisena ja esimerkiksi esseetä vapaampana kirjallisena tuotoksena tarjoaa mahdollisuuden ylittää kielteiset asenteet. Päiväkirjassa saa olla kriittinen sisältöjä kohtaan, saa kyseenalaistaa, ihmetellä, spekuloida ja tuoda esiin omia tunnetiloja, jolloin se ehkä tarjoaa enemmän tilaa sisäiselle motivaatiolle. Toisaalta ennakkoasenteet eivät muutenkaan aina ennusta suoriutumista menetelmäopinnoissa (Papanastasiou, 2007).
Lopputulos viittaa siihen, että oppimispäiväkirjan kirjoittaminen kannattaa ohjeistaa huolellisesti. Aiemmassa oppimispäiväkirjakokeilussa (N=19) hyviä oppimispäiväkirjoja oli vain hieman alle puolet (42 %), kun taas nyt niitä oli valtaosa (86 %). Tutkimusasetelma ei ole kokeellinen eikä siten mahdollista lukuisten väliin tulevien tekijöiden kontrollointia. Vaikuttaa kuitenkin siltä, että ohjeistamalla oppimispäiväkirja huolellisesti voidaan saavuttaa suotuisampi oppimiskonteksti, joka houkuttelee myös akateemisesti vähemmän orientoituneita opiskelijoita ottamaan vastuuta omasta oppimisprosessistaan (ks. Biggs, 1999). Nyt entistä useampi opiskelija innostui reflektoimaan omaa oppimistaan ja konstruoimaan tietoa aktiivisemmin.
Pohdinta
Oppimispäiväkirjakokeilun tulokset osoittavat, että oppimispäiväkirja soveltuu kvantitatiivisten tutkimusmenetelmien ja tilastoanalyysien oppimisvälineeksi. Hyvät oppimispäiväkirjat osoittavat, että strukturoidusta aineksesta on mahdollista kirjoittaa päiväkirjanomaista, reflektoivaa, omaa oppimista ja omia ongelmakohtia käsittelevää tekstiä. Oppimispäiväkirjakokeilujen tulosten vertailu viittaa kuitenkin siihen, että prosessin onnistumisessa olennaista on riittävä ohjeistus ja ohjaaminen kurssin kuluessa. Näin voidaan tasoittaa eroja akateemisten ja ei-akateemisten opiskelijoiden välillä (ks. Biggs, 1999) ja houkutella entistä useampia opiskelijoita omaksumaan kvantitatiiviset tutkimusmenetelmät.
Tutkimus tukee kuitenkin myös aiempia tuloksia siitä, että päiväkirja- tai portfoliotyöskentely ei välttämättä edistä ymmärryksen syntymistä (Baeten ym., 2008; Kyttälä, 2010). Oppimispäiväkirja ei siis edistä kaikkien opiskelijoiden oppimista. Aiempaa tehokkaammasta ohjeistuksesta huolimatta pieni osa opiskelijoista turvautui edelleen toistostrategiaan. Toistostrategiaan turvautuminen saattaa olla seurausta ainakin 1) ahdistuksesta, 2) motivaation puutteesta tai 3) siitä, että asiat vain tuntuvat liian vaikeilta omaksuttaviksi. Tilastoahdistuksen on havaittu olevan yhteydessä välttämisstrategiaan (Rodarte-Luna & Sherry, 2008), mikä saattaa näkyä oppimispäiväkirjoissa siten, että opiskelija välttää tiedon henkilökohtaista prosessointia ja tyytyy toistamaan muiden tekstejä. Myös motivaation puute (nämä asiat eivät kiinnosta minua, eikä niistä ole minulle hyötyä) saattaa näkyä niin, että opiskelija välttää vaativan tiedon prosessointia. Toisaalta tässä aineistossa oppimisluetteloita tuottaneet opiskelijat kirjoittivat paljon tekstiä, mikä ei viittaa täydelliseen motivaation puuttumiseen. On myös mahdollista, että kurssilla käsitellyt asiat ovat ohjeistuksesta ja harjoittelusta huolimatta joillekin opiskelijoille niin vaikeita tai oppimispäiväkirja niin vieras oppimismenetelmä, että he tarvitsisivat vielä tehokkaampaa ohjausta pystyäkseen irtautumaan kirjatekstistä.
Vaikka toistostrategian käyttö liitetään oppimiskäsitykseen, jonka mukaan oppiminen on yksityiskohtien ulkoa oppimista, ja monimutkaisempien strategioiden käyttö taas konstruktivistiseen eli reflektointia ja asioiden omakohtaista konstruointia korostavaan oppimiskäsitykseen (McCrindle & Christensen, 1995), uskoisin, että toistostrategian tällä kurssilla valinneet saattavat toisessa kontekstissa pystyä käyttämään vaativampia strategioita. On osoitettu, että opiskelijat pystyvät vaihtamaan strategiaa (Wilson & Fowler, 2005) ja kulloisenkin strategian valintaan vaikuttaa moni tekijä. Tutkiakseni strategian valintaa tarkemmin analysoin jatkossa samojen opiskelijoiden eri konteksteissa tuottamia oppimispäiväkirjoja.
Vaikka vertailuasetelma ensimmäisen ja toisen oppimispäiväkirjakokeilun välillä ei täytä kokeellisen tutkimuksen kriteerejä, kahden kokeilun vertailu samantyyppisellä kurssilla tukee käsitystä siitä, että tehokkaalla ohjauksella on mahdollista houkutella useampia opiskelijoita tulkitsemaan tietoa aktiivisemmin (ymmärryksen syntyminen) ja reflektoimaan omaa oppimista. Näin oppimispäiväkirja ei suosi vain niin sanottuja akateemisia opiskelijoita, jotka muutenkin suoriutuvat erilaisista sisällöistä ja eri olosuhteissa hyvin (ks. esim. Papanastasiou, 2007). Toisaalta on kuitenkin huomattava, että vaikka kurssit olivat samantyyppisiä, niissä oli myös eroja, jotka saattavat vaikuttaa tuloksiin. Aiemmasta oppimispäiväkirjakokeilusta (Kyttälä, 2010) poiketen tällä kerralla oppimispäiväkirjan arvosana muodosti puolet koko kurssin arvosanasta. Sen merkitys oli näin suurempi kuin ensimmäisessä päiväkirjakokeilussa, jossa oppimispäiväkirjalla oli mahdollista korottaa tentin arvosanaa mutta heikompi päiväkirja ei laskenut sitä. On siis mahdollista, että pelkästään tämä innosti opiskelijoita oppimispäiväkirjan kirjoittamiseen ja että tämän vuoksi minimisuorituksia ei ollut lainkaan. Koska tutkimuksissa on osoitettu arviointimenetelmien suuntaavan opiskelijoiden oppimista (Dochy & McDowell, 1997; Gijbels & Dochy, 2006), on todennäköistä, että arviointimenetelmän vaikutus kokonaisarvosanaan ohjaa opiskelijoiden työskentelyä.
Oppimispäiväkirjamenetelmän vaikutusten näkökulmasta ei liene merkitystä, tuottaako toivotut tulokset päiväkirjan painoarvo vai työskentelyn hyvä ohjeistus. Todennäköisesti molemmat vaikuttavat myönteisesti useimpien opiskelijoiden työskentelyyn. Jotta työskentely edistäisi oppimista, tärkeää oppimispäiväkirjassa on reflektiivisyys. Ainakin niin sanotuilla ei-akateemisilla opiskelijoilla riittävä ohjaus varmistaa sen, että opiskelutaidoista huolimatta mahdollisimman monella on tilaisuus oppia tehokkaasti ja täyttää oppimispäiväkirjalle asetetut kriteerit. Tämän oppimispäiväkirjakokeilun perusteella voidaan todeta, että riittävästi ohjeistettuna oppimispäiväkirja näyttäisi tukevan varsinaisten kurssitavoitteiden saavuttamista, koska sen avulla tavoitteet saavutetaan osittain vahingossa. Tämä ei tarkoita sitä, että kaikki kurssin opiskelijat oppisivat kaiken, mutta se tarkoittaa sitä, että entistä useampi oppii laadukkaammin. Tällä laadukkaammalla oppimisella viittaan Applebeen (1984) tavoin siihen, että oppimisprosessin tuloksena opiskelija sisäistää asiat paremmin, enkä niinkään kvantitatiivisiin eroihin oppimistuloksissa. Tämän lisäksi oppimispäiväkirja tarjoaa myös opettajalle monipuolisemman mahdollisuuden arvioida opiskelijoiden osaamista.
Kirjoittaja toimii erityispedagogiikan yliopistonlehtorina Turun yliopiston kasvatustieteiden laitoksella.
LÄHTEET
Applebee, A. N. (1984). Writing and reasoning. Written Communication, 10, 334–370.
Atjonen, P. (2008). Kasvatusalan opiskelijoiden tutkimusmetodiset perustiedot puntarissa. Kasvatus, 39, 176–186.
Baeten, M., Dochy, F. & Struyven, K. (2008). Students’ approaches to learning and assessment preferences in a portfolio-based learning environment. Instructional Science, 36, 359–374.
Bangert-Drowns, R. L., Hurley, M. M. & Wilkinson, B. (2004). The effects of school-based writing-to-learn interventions on academic achievement: A meta-analysis. Review of Educational Research, 74, 29–58.
Bereiter, C. & Scardamalia, M. (1987). The Psychology of Written Composition. New Jersey: Erlbaum.
Bereiter, C. & Scardamalia, M. (1989). Intentional learning as a goal of instruction. Teoksessa L. B. Resnick (toim.), Knowing, Learning, and Instruction. Essays in Honor of Robert Glaser. New Jersey: LEA.
Berthold, K., Nückles, M. & Renkl, A. (2007). Do learning protocols support learning strategies and outcomes? The role of cognitive and metacognitive prompts. Learning and Instruction, 17, 564–577.
Biggs, J. (1999). What the student does: Teaching for enhanced learning. Higher Education Research and Development, 18, 57–75.
Blalock, H. Jr. (1987). Some general goals in teaching statistics. Teaching Sociology, 15 (2), 164–172.
Boyd, E. M. & Fales, A. W. (1983). Reflective learning: Key to learning from experience. Journal of Humanistic Psychology, 23 (2), 99–117.
Chambers, S. M. & Wickersham, L. E. (2007). The electronic portfolio journey: A year later. Education, 127, 351–360.
Chamoso, J. M. & Cáceres, M. J. (2009). Analysis of the reflections of student-teachers of mathematics when working with learning portfolios in Spanish university classrooms. Teaching and Teacher Education, 25, 198–206.
Dochy, F. & McDowell, L. (1997). Assessment as a tool for learning. Studies in Educational Evaluation, 23, 279–298.
Entwistle, N. (1995). Frameworks for understanding as experienced in essay writing and in preparing for examinations. Educational Psychologist, 30, 47–54.
Entwistle, N. (1997). Reconstituting approaches to learning: A response to Webb. Higher Education, 33, 213–218.
Entwistle, N. & Smith, C. (2002). Personal understanding and target understanding: Mapping influences on the outcomes of learning. British Journal of Educational Psychology, 72 (3), 321.
Garfield, J. & Ahlgren, A. (1988). Difficulties in learning basic consepts in probability and statistics: Implications for research. Journal for Research in Mathematics Education, 19, 44–63.
Gijbels, D. & Dochy, F. (2006). Students’ assessment preferences and approaches to learning: can formative assessment make a difference? Educational Studies, 32 (4), 399–409.
Gijbels, D., Segers, M. & Struyf, E. (2008). Constructivist learning environments and the (im)possibility to change students’ perceptions of assessment demands and approaches to learning. Instructional Science, 36 (5/6), 431–443.
Gresham, G. (2007). A study of mathematics anxiety in pre-service teachers. Early Childhood Education Journal, 35, 181–188.
Hayes, J. R. & Flower, L. S. (1986). Writing Research and the Writer. American Psychologist, 41, 1106–1113.
Kathpalia, S. S. & Heah, C. (2008). Reflective writing: Insights into what lies beneath. Regional Language Centre Journal, 39, 300–317.
Klein, P. D. (1999). Reopening inquiry into cognitive processes in writing-to-learn. Educational Psychology Review, 11, 203–270.
Kyttälä, M. (2010). Oppimispäiväkirja kvantitatiivisen tutkimusmenetelmäkurssin oppimis- ja arviointivälineenä. Kasvatus, 41, 263–273.
Lehtinen, E. (2007). Methodology learning from the point of view of learning sciences. Teoksessa M. Murtonen, J. Rautopuro & P. Väisänen (toim.), Learning and Teaching of Research Methods at University. Helsinki: Suomen kasvatustieteellinen seura.
Levander, L. (2002). Reflektio yliopisto-opettajan työssä. Teoksessa S. Lindblom-Ylänne & A. Nevgi (toim.), Yliopisto- ja korkeakouluopettajan käsikirja. Helsinki: WSOY.
Lo, Y. (2010). Implementing reflective portfolios for promoting autonomous learning among EFL college students in Taiwan. Language Teaching Research, 14 (1), 77–95.
McCrindle, A. R. & Christensen, C. A. (1995). The impact of learning journals on
metacognitive and cognitive processes and learning performance. Learning and Instruction, 5, 167–185.
Mayer, R. E. (1999). Designing instruction for constructivist learning. Teoksessa C. M. Reigeluth (toim.), Instructional-Design Theories and Models. Vol II. A New Paradigm of Instructional Theory. New Jersey: LEA.
Murtonen, M. & Lehtinen, E. (2003). Difficulties experienced by education and
sociology students in quantitative methods courses. Studies in Higher Education, 28, 171–185.
Murtonen, M., Olkinuora, E., Tynjälä, P. & Lehtinen, E. (2008). ”Do I need research skills in working life?”: University students’ motivation and difficulties in quantitative methods courses. Higher Education, 56, 599–612.
Murtonen, M. & Titterton, N. (2004). Earlier mathematics achievement and success in university studies in relation to experienced difficulties in quantitative methods courses. Nordic Studies in Mathematics Education, 9 (4), 3–13.
Nückles, M., Hübner, S. & Renkl, A. (2009). Enhancing self-regulated learning by writing learning protocols. Learning and Instruction, 19, 259–271.
Onwuegbuzie, A. & Wilson, V. (2003). Statistics Anxiety: nature, etiology, antecedents, effects, and treatments – a comprehensive review of the literature. Teaching in Higher Education, 8, 195–209.
Papanastasiou, E. C. (2007). Research methods attitudes, anxiety, and achievement – making predictions. Teoksessa M. Murtonen, J. Rautopuro & P. Väisänen (toim.), Learning and Teaching of Research Methods at University. Helsinki: Suomen kasvatustieteellinen seura.
Rautopuro, J. (2010). Sisyfoksen kivi? Tilastollisten menetelmien opetus ja oppiminen kasvatustieteissä. Jyväskylän yliopisto. Koulutuksen tutkimuslaitos. Tutkimuksia 27.
Rautopuro, J., Väisänen, P. & Malin, A. (2007). From misunderstanding to misapplication? Difficulties encountered by Finnish students of education in learning quantitative research methods. Teoksessa M. Murtonen, J. Rautopuro & P. Väisänen (toim.), Learning and Teaching of Research Methods at University. Helsinki: Suomen kasvatustieteellinen seura.
Rodarte-Luna, B. & Sherry, A. (2008). Sex differences in the relation between statistics anxiety and cognitive/learning strategies. Contemporary Educational Psychology, 33, 327–344.
Sciutto, M. J. (2002). The methods and statistics portfolio: A resource for the introductory course and beyond. Teaching of Psychology, 29, 213–215.
Tuomi, J. & Sarajärvi, A. (2009). Laadullinen tutkimus ja sisällönanalyysi. Helsinki: Tammi.
Tynjälä, P. (1998). Writing as a tool for constructive learning: Students’ learning experiences during an experiment. Higher Education, 36, 209–230.
Vermunt, J. D. (1998). The regulation of constructive learning processes. British Journal of Educational Psychology, 68, 149–171.
Weinstein, C. E. & Mayer, R. E. (1986). The teaching of learning strategies. Teoksessa M. C. Wittrock (toim.), Handbook of Research on Teaching (3. painos). New York: Macmillan.
Wilson, K. & Fowler, J. (2005). Assessing the impact of learning environments on students’ approaches to learning: comparing conventional and action learning designs. Assessment & Evaluation in Higher Education, 30 (1), 87–101.