Opiskelijoiden verkko-oppimisympäristössä antamat vertaispalautteet tarkastelussa: mitä opittavaa tieteellisen kirjoittamisen ohjaamiselle?

Sirpa Tapola-Tuohikumpu, yliopistonopettaja, sirpa.tapola-tuohikumpu@jyu.fi
Sanna Uotinen, yliopistonopettaja, sanna.uotinen@jyu.fi
Auli Talamo, yliopistonopettaja, auli.talamo@jyu.fi
Minna Nykopp, yliopistonopettaja, minna.e.nykopp@jyu.fi

Jyväskylän yliopiston avoin yliopisto
PL 35, 40014 Jyväskylän yliopisto

 

Jyväskylän yliopiston avoimessa yliopistossa on useamman vuoden ajan kehitetty vertaisarviointia ja sen ohjausta osana verkko-opetusta. Olemme jatkaneet vertaispalautetoiminnan kehittämistä tutkimalla, millaista opiskelijoiden kirjoittama vertaispalaute sisällöllisesti on. Kirjoituksessa kuvaamme avoimen yliopiston opiskelijoiden antamien kirjallisten vertaispalautteiden sisältöä ja palautteen muotoa kahdella aineopintotasoisella verkkokurssilla, joissa harjoitellaan tieteellistä kirjoittamista. Pohdimme myös, miten opettajat voisivat ohjata opiskelijoita monipuoliseen palautteenantoon. Luokittelimme opiskelijoiden palautteet evaluaatioihin, muutosehdotuksiin, kysymyksiin ja kommentteihin. Opiskelijat kirjoittivat toisilleen runsaimmin myönteistä arviota. Sen sijaan muutosehdotuksia, kysymyksiä ja kielteistä arviota kirjoitettiin selkeästi vähemmän. Opiskelijoiden antamien palautteiden sisältö ja laajuus vaihtelivat paljon, vaikka opiskelijoilla oli käytössään valmis kysymyslista. Opiskelijat toivat palautteissaan esille myös oman epävarmuutensa palautteenantajina. Opettajan tulisikin rohkaista ja ohjata opiskelijoita vertaisarviointiin.

Opiskelijoiden vertaispalaute

Vertaisarvioinnista tai -palautteesta puhutaan silloin, kun opiskelijat arvioivat toisten opiskelijoiden työtä. Vertaisarviointi on prosessi, jossa vertaiset määrittävät toistensa työn tasoa ja laatua. Arviointi voi sisältää vertaispalautteen. (Falchikov, 1995; Topping, Smith, Swanson & Elliot, 2000.) Vertaispalautteella pyritään kehittämään opiskelijan taitoja antaa ja vastaanottaa palautetta sekä kykyä hahmottaa omaa oppimistaan prosessina (Boud & Molloy, 2013).

Vertaispalautetyöskentelyllä on todettu olevan monia etuja, ja sen käyttö on runsasta erityisesti verkko-opiskelussa kirjoitettujen tekstien arvioinnissa (Tenório, Bittencourt, Isotani & Silva, 2016). Kun opiskelija antaa palautetta vertaiselleen, hän samalla vahvistaa ja kehittää omaa osaamistaan kirjoittajana. Opiskelijat näyttävät hyötyvän vertaisarvioinnista eniten silloin, kun he ovat sekä arvioinnin antajia että vastaanottajia. (Cho & Cho, 2011; Cho & MacArtur, 2011; McCarthy, 2017; Nicol, Thomson & Breslin, 2014.)

Opiskelijoille on tyypillistä antaa myönteistä palautetta vertaisilleen. Reinholz (2018) havaitsi, että opiskelijat antoivat vertaisilleen myönteistä palautetta siitäkin huolimatta, että heitä ohjeistettiin esittämään kysymyksiä ja kritiikkiä. Vaikka opiskelija voi kokea hankalaksi tai epämieluisaksi antaa opiskelijatoverilleen kriittistä palautetta (Atjonen, 2007, 87; McCarthy, 2017; Quakrim-Soivio, 2016, 88), on oppimisen kannalta tärkeää kuulla myös muutosehdotuksia omasta työstä (Ekström, 2009, 37). Opettajan onkin tärkeä ohjata opiskelijoita ja sanoittaa vertaisarvioinnin merkitys oppimiselle (Uotinen, Tapola-Tuohikumpu, Talamo, Nummi & Kautto-Knape, 2018).

Kokeilun toteuttaminen

Tavoitteenamme oli selvittää, millaista kirjallista palautetta avoimen yliopiston opiskelijat antavat opintojakson aikana toisilleen teksteistä, joissa harjoitellaan tieteellistä kirjoittamista.  Keräsimme aineiston kahdelta aineopintotasoiselta kurssilta (erityispedagogiikka ja sosiaalityö). Kurssit toteutettiin syksyllä 2017 verkkokursseina Moodle-oppimisympäristössä. Toinen kurssi oli kokonaan verkkokurssi, jossa opiskelijat tunsivat toisensa vain verkon kautta ja toiseen kurssiin sisältyi myös lähiopetusta. Kokeiluun osallistui yhteensä 23 opiskelijaa, joille annettiin numerotunnisteet (O1–O23).  Kurssin aikana opiskelijat antoivat palautetta toisilleen keskeneräisistä teksteistä. Opiskelijat saivat opettajalta kysymyksiä, jotka ohjasivat palautteen antoa. Vertaispalautteen tarkoituksena oli auttaa tekstin kirjoittajaa kehittämään työtänsä ennen sen lopullista palauttamista. Aineistoa kertyi yhteensä 45 sivua fonttikoolla 12 ja rivivälillä 1,5.

Aineiston luokittelussa käytimme apuna ATLAS.ti 7.0 analyysiohjelmaa. Analyysin teimme teorialähtöisen sisällönanalyysin mukaisesti ja hyödynsimme aineiston luokittelussa myös kvantifiointia (ks. Tuomi & Sarajärvi, 2018). Käytimme analyysin apuna Svinhufvudin (2016) tekemää jäsennystä, joka pohjautuu Straubin ja Lunsfordin (1995) kuvaukseen. Siinä palaute jaetaan neljään eri muotoon: 1) evaluaatioihin eli arvioihin, 2) muutosehdotuksiin, 3) kysymyksiin, joissa kiinnitetään huomiota tiettyyn tekstikohtaan eikä suoraan ehdoteta muutoksia, 4) kommentteihin, jotka esimerkiksi kuvailevat tekstiä tai tuovat esille lukijan tulkintoja siitä (Straub & Lunsford, 1995; Svinhufvud, 2016).

Millaista opiskelijoiden vertaispalaute oli?

Esittelemme opiskelijoiden palautteiden määrällisen jakautumisen (taulukko 1) ja kuvailemme esimerkkien avulla, millaisina evaluaatio-, muutosehdotus-, kysymys- ja kommenttiluokat (Straub & Lunsford, 1995; Svinhufvud, 2016) aineistossamme näkyvät. Suluissa olevat numerot kertovat, montako ilmaisua kuhunkin luokkaan sisällytettiin.

Taulukko 1. Opiskelijoiden palautteiden jakautuminen

 

Evaluaatio – myönteistä palautetta

Opiskelijat antoivat toisilleen eniten myönteistä palautetta eli kehuja. Esimerkiksi todettiin, että ”Työssä on käytetty paljon hyviä ja monipuolisia lähteitä” (O17). Toisinaan kehu oli osa palautteenantajan kriittistä arviota. Eräs opiskelija toi esille puutteita tekstistä, mutta päätti kommentin myönteisesti:

Muutoin teksti on kyllä avautuvaa. (O1)

Kielteisiä arvioita annettiin paljon vähemmän kuin kehuja. Yhtenä perusteluna palautteessa opiskelijat käyttivät kurssin kirjoittamisohjeita:

– –  mutta se ei noudattanut ihan annettuja ohjeita, joten sen lukeminen oli haastavaa. (O10)

Useimmin kielteisen arvion perusteluna oli kuitenkin opiskelijan subjektiivinen näkemys asiasta, kuten seuraavassa esimerkissä:

Lukijana minua häiritsee, kun viittaat useasti aiemmin kirjoittamaasi – –. (O22)

Kielteisiä arvioita kerrottiin usein myös ilman perusteluja, eräänlaisina toteamuksina.

 

Muutosehdotuksia – ennen kaikkea neuvomista

Muutosehdotuspalautteissa opiskelijat eivät juuri lainkaan käskeneet eivätkä korjanneet tai esittäneet epäsuoria pyyntöjä. Neuvoja esiintyi muutosehdotuksissa eniten. Neuvot voitiin ilmaista selkeästi:

Lisäksi aineiston sisäänotto ja poissulku -kriteereitä voisi esitellä tarkemmin. (O8)

Opiskelijoiden antamissa neuvoissa häivytettiin usein palautteen saaja:

Vielä vaan tiedonhaun prosessin avaamista ja lähdevalintojen perustelua vaikkapa ihan kokonaan omana kappaleenaan. (O17)

Antaessaan palautetta teksteistä opiskelijat kirjoittivat myös itsestään ja keskustelivat tekstin kirjoittajan kanssa:

Laittaisin kuitenkin koko teorian (mallit ja autismi) yhden pääotsikon alle, johon suunnittelisin alaotsikoita. (O14)

 

Kysymysten esittäminen on vaikeaa

Kysymyksiä esiintyi vertaispalautteissa vähiten, mutta esitetyt kysymykset olivat monentyyppisiä. Opiskelijat saattoivat kiinnittää huomiota johonkin ongelmakohtaan tekstissä:

Teoriaosassa viitataan Sahlbergin kirjoittaneen blogissaan, joten onko lähde blogisivu? (O10)

Mitä esteettömyys -käsitteellä tarkoitetaan (mm. näkökulmana syrjintä, saavutettavuus), lainsäädännön ja velvoitteiden kannalta? (O5)

Opiskelijat ehdottavat palautteissaan myös lisäyksiä tai uusia sisältöjä tekstiin:

– – mieleeni tuli, että pitäisikö sinun avata enemmän sosiaalityötä ohjaavia taloudellisia arvoja, sillä haluat selvittää talouden suhdetta sosiaalityöntekijöiden hyvinvointiin? (O18)

Vertaispalautteissa nostettiin esille heurististen kysymysten avulla tekstiin liittyviä laajempia pohdittavia asioita.

 

Kommentteja tekstistä ja sen ulkopuolelta

Opiskelijoiden vertaispalautteissa kommenteiksi luokitellut ilmaisut eivät arvioineet tekstiä tai ohjanneet kirjoittajaa eteenpäin, vaan olivat usein toteavia, esimerkiksi:

Tilannekuvauksessa kerrot sosiaalityön nykyisestä tilanteesta. Nostat esiin vähäiset resurssit, asiakasmäärät ja yksintyöskentelyn. (O18)

Kommenteissa tuotiin esille myös opiskelijoiden oma epävarmuus palautteen antajana. Eräs opiskelija totesi:

Minun käsityksen mukaan (joka voi olla myös päin honkia) – –. Tarkoitukseni ei ole loukata sinua tai alkaa neuvomaan (ei näillä rahkeilla!). (O3)

Kommentit olivat usein palautteenantajan omia kokemuksia tai mielipiteitä asiasta. Myös rohkaisevat kommentit olivat yleisiä:

Toivotan onnea työn työstämiseen. Tästä on hyvä jatkaa. Tsemppiä! (O21)

Kannustavien kommenttien merkitys voi olla tärkeä itsenäisesti ja yksin opiskeleville opiskelijoille.

Pohdinta

Opiskelijoiden antama myönteinen vertaispalaute oli tässä kokeilussa hallitsevaa, kuten aiemmissa tutkimuksissa (McCarthy, 2017; Reinholz, 2018; Svinhufvud, 2013). Näyttääkin siltä, että myönteisten arvioiden antaminen vertaiselle on opiskelijoille luontevaa. Se on myös tärkeä palautemuoto, joka vahvistaa ja pitää yllä opiskelijan opiskelumotivaatiota. Vaarana kuitenkin on, että kehuminen jää yleisluonteiseksi ja rutiininomaiseksi palautteeksi, jossa ei tuoda esille sitä, mikä tekstissä on hyvää tai miksi se on hyvää (Svinhufvud, 2013).

Kokeilussamme opiskelijat antoivat kriittistä palautetta, sekä esittivät kysymyksiä ja muutosehdotuksia selvästi myönteistä palautetta vähemmän. Vertaispalautetta ohjaavat kysymykset kohdistuivat tieteellisen kirjoittamisen tiettyihin sisältöihin. Jatkossa voisimme hyödyntää opiskelijoiden vertaispalautteen ohjeistuksessa Svinhufvudin (2013, 49) jäsennystä palautetta ohjaavista kysymyksistä: kysymykset, jotka ohjaavat antamaan myönteisiä perusteltuja huomioita ja kehuja; kysymykset, joiden avulla opiskelijat voivat pyytää lisätietoa tai tarkentamaan sisältöjä, tai kysymykset, jotka ohjaavat ongelmanratkaisuun eli muutosehdotukset, joilla tekstiä voidaan muokata paremmaksi. Erilaisten kysymystyyppien hahmottamisesta voisi olla apua, kun pyritään ohjaamaan opiskelijoiden palautteen antoa. Kysymysten avulla opiskelijoita ohjataan kiinnittämään huomiota ennalta määriteltyihin asioihin. Toisaalta on tärkeää, että opiskelijan omalle ajattelulle jää tilaa.

Opiskelijat toivat esille oman epävarmuutensa vertaispalautetoimintaa kohtaan ja vähättelivät omaa osaamistaan. Tähän on syytä jatkossa kiinnittää huomiota. Opettajan olisi tärkeää kuvata opiskelijoille, mitä heiltä palautteenannossa odotetaan ja muistuttaa, että opiskelijoiden rooli on erilainen kuin opettajan (von Boehm, Suojala & Veikkolainen, 2017).

Tässä kokeilussa opiskeltiin verkkoympäristössä ja opiskelijat palauttivat vertaispalautteet Moodlen keskustelualueelle, joten palautteesta keskustelu olisi ollut mahdollista. Palautteen kommentointia ei kursseilla vaadittu, ja palautteen kommentointi opiskelijoiden kesken olikin vähäistä. Dialogisuus on nostettu kuitenkin yhdeksi tärkeäksi palautteenannon tekijäksi (Ekström, 2009; Orsmond, Maw, Park, Gomez & Crook, 2013). Palautetoiminnan tulisi olla kaksisuuntainen ja vuorovaikutuksellinen prosessi, jolloin opiskelijalla on mahdollisuus käsitellä ja ymmärtää paremmin palautetta. Tämä vahvistaa opiskelijan taitoja arvioida ja säädellä omaa oppimistaan. (Orsmond ym., 2013.) On tärkeää varmistaa, että palaute ymmärretään ja keskustella siitä, miten se on ymmärretty. Erityisen tärkeää tämä on verkkoympäristössä, jolloin opiskelijat eivät ole kasvokkain palautetilanteessa.

Opiskelijoiden vertaisarviointi- ja palautetaitojen tukeminen vaatii opettajan aktiivisuutta.  Haastammekin meidät opettajat pohtimaan, millaisin kysymyksin ohjaajamme opiskelijoiden tieteellisen kirjoittamisen harjoittelemista, ja mitä opiskelijoiden tulisi ymmärtää tieteellisestä kirjoittamisesta.

Lähteet

Atjonen, P. (2007). Hyvä, paha arviointi. Helsinki: Tammi.

von Boehm, S., Suojala, M. & Veikkolainen, K. (2017). Opiskelijoiden kokemuksia vertaispalautetyöskentelystä kielen ja kirjoittamisen opiskelussa. Aikuiskasvatus, 37(2), 108–121. http://urn.fi/URN:NBN:fi:ELE-2498223

Boud, D. & Molloy, E. (2013). Rethinking models of feedback for learning: the challenge of design. Assessment & Evaluation in Higher Education, 38(6), 698–712. https://doi.org/10.1080/02602938.2012.691462

Cho, Y. H. & Cho, K. (2011). Peer reviewers learn from giving comments. Instructional Science, 39, 692–643. https://doi.org/10.1007/s11251-010-9146-1

Cho, K. & MacArthur, C. (2011). Learning by reviewing. Journal of Educational Psychology, 103(1), 73–84. https://doi.org/10.1037/a0021950

Ekström, N. (2009). Tarvitaanko muutakin kuin hyvät lukulasit? Teoksessa J. Joensuu, N. Ekström, T. Lahdelma & R. Niemi-Pynttäri (toim.), Luova laji: näkökulmia kirjoittamisen tutkimukseen (2. painos, s. 35–55). Atena: Jyväskylä.

Falchikov, N. (1995). Peer feedback marking: Developing peer assessment. Innovations in Education and Training International, 32(2), 175–187. https://doi.org/10.1080/1355800950320212

McCarthy, J. (2017). Enhancing feedback in higher education: Students’ attitudes towards online and in-class formative assessment feedback models. Active Learning in Higher Education, 18(2) 127–141. https://doi.org/10.1177/1469787417707615

Nicol, D., Thomson, A. & Breslin, C. (2014). Rethinking feedback practices in higher education: a peer review perspective. Assessment & Evaluation in Higher Education, 39(1), 102–122. https://doi.org/10.1080/02602938.2013.795518

Orsmond, O., Maw, S. J., Park, J. R., Gomez, S. & Crook, A. C. (2013). Moving feedback forward: theory to practice. Assessment & Evaluation in Higher Education, 38(2), 240–252. https://doi.org/10.1080/02602938.2011.625472

Quakrim-Soivio, N. (2016). Oppimisen ja osaamisen arviointi. Helsinki: Otava.

Reinholz, D. L. (2018). Three approaches to focusing peer feedback. International Journal for the Scholarship of Teaching and Learning, 12(2), Article 10. https://doi.org/10.20429/ijsotl.2018.120210

Straub, R. & Lunsford, R. F. (1995). Twelve Readers Reading. Responding to College Student Writing. New Jersey: Hampton Press.

Svinhufvud, K. (2016). Kokonaisvaltainen kirjoittaminen (3. uudistettu ja täydennetty laitos). Helsinki: Art House.

Svinhufvud, K. (2013). Opinnäytteen kirjoittaminen vuorovaikutuksena. Keskusteluanalyyttinen tutkimus graduseminaarien ja graduohjaustapaamisten vuorovaikutuksesta (väitöskirja). Helsinki: Helsingin yliopisto. http://urn.fi/URN:ISBN:978-952-10-9314-2

Tenório, T., Bittencourt, I. I., Isotani, S. & Silva, A. P. (2016). Does peer assessment in on-line learning environments work? A systematic review of the literature. Computers in Human Behavior, 64, 94–107. http://dx.doi.org/10.1016/j.chb.2016.06.020

Topping, K. J., Smith, E. F., Swanson, I. & Elliot, A. (2000). Formative peer assessment of academic writing between postgraduate students. Assessment & Evaluation in Higher Education, 25(2), 149–169. https://doi.org/10.1080/713611428

Tuomi, J. & Sarajärvi, A. (2018). Laadullinen tutkimus ja sisällönanalyysi (uudistettu laitos). Helsinki: Tammi.

Uotinen, S., Tapola-Tuohikumpu, S., Talamo, A., Nummi, S. & Kautto-Knape, E. (2018). Vertaisarviointitaitoja oppimassa verkossa. Yliopistopedagogiikka, 25(1), 52–55. https://lehti.yliopistopedagogiikka.fi/2018/11/26/vertaisarviointitaitoja-oppimassa-verkossa/

 

 

Tämä teos on lisensoitu Creative Commons Nimeä 4.0 Kansainvälinen -lisenssillä.