Itsearviointi laitosten kehittämisen välineenä

2010 • Vuosikerta 17 • Numero 2 • Sivut 6–14

 

Mira Huusko

 

Yliopistoihin kuuluvissa ainelaitoksissa on toteutettu viimeisen kahdenkymmenen vuoden aikana mitä erilaisimpia itsearviointeja. Laitosten itsearviointi voi toimia laitosten kehittämisen välineenä, jos laitoksilla sitoudutaan siihen. Usein laitoksilla ei kuitenkaan hahmoteta, mitä itsearviointi on ja mitä kaikkea se voisi olla. Artikkeli käsittelee laitostason toimijoiden näkemyksiä itsearvioinnin käsitteestä, sen laitostason muo­doista sekä koetuista hyvistä ja huonoista puolista. Artikkeli perustuu väitöstutkimukseen, jonka yhtenä aineistona ovat neljän yliopiston laitostason toimijoille tehdyn kyselyn vastaukset. Aineistoa analysoidaan laadullisella sisällönanalyysilla. Tutkimuksen tulosten mukaan laitosten itsearvioinneissa painotettiin kehit­tämistä ja voimaantumisen mahdollisuutta. Itsearviointien avulla kehitettiin koulutusta ja opetussuunnitel­mia, pystyttiin puuttumaan erilaisiin epäkohtiin ja saavutettiin aikaisempaa parempia tuloksia. Myös omaa työtä kohtaan liittyvä arvostus lisääntyi ja laitoksen työskentelyilmapiiri parantui. Itsearviointien haitoiksi koettiin resurssien ja ajan kuluminen muuhun kuin yliopiston perustehtävien hoitamiseen.

Asiasanat: itsearviointi, laitos, yliopisto, kehittäminen

 

Johdanto

Yliopistoissa on tuotettu kiihtyvällä vauhdilla vii­meisen kahdenkymmenen vuoden aikana erilaisia itsearviointiraportteja sekä pidetty yllä moninaisia itsearviointitoimintoja. Useat näistä toiminnoista on toteutettu laitostasolla, jossa itsearviointeihin on alettu hiljalleen tottua ja jossa itsearviointi on alettu enemmän nähdä laitoksen oppimisen ke­hittämisen välineenä. Itsearvioinnissa sekoittuvat usein tosin erilaiset toiminnot ja tavoitteet keske­nään. Itsearvioinnin ideaalin kehittämistavoitteet ja oppiminen voivat sekoittua muihin tavoitteisiin, joiden motiivi on muu kuin oman toiminnan ke­hittäminen.

 

Tutkimuksessa analysoitiin laitostason toimi­joiden näkemyksiä itsearvioinnista laitoksilla (ks. Huusko, 2009). Aineistona olivat neljän yliopiston laitostasolle tehdyn kyselyn vastaukset opetuksen ja koulutuksen itsearvioinneista vuodelta 2004. Vaikka aineisto on jo kuusi vuotta vanhaa, on sillä merkitystä nyky-yliopistosta käytävään kes­kusteluun. Laitosten itsearviointien historian ja nykytilan tunteminen on nimittäin oleellista, kun mietitään laitosten pedagogista kehittämistä ja johtamista, kehitettyjen laadunvarmistusjärjestel­mien ja auditointien vaikuttavuutta sekä pohdi­taan eurooppalaisen korkeakoulutuksen nykytilaa ja tulevaisuutta. Tällöin on hyvä ymmärtää, mihin käsitykset yliopistojen ja laitosten arviointikäytän­nöistä ja laatutyöstä pohjautuvat. Uudet laatutyön vaatimukset voidaankin suhteuttaa aikaisemmin käytettyihin arviointitapoihin, joista itsearviointi on kaikessa laajuudessaan yksi keskeisimmistä niin Suomessa kuin kansainvälisesti (ks. esim. Harman, 1998, 334). Näkemykset voi suhteuttaa tutkimustuloksiin laadunvarmistuksesta ja laa­dun ymmärtämisestä (esim. Saarinen, 2007; Ursin, 2007). Monissa yliopistoissa ja niissä kuuluvissa laitoksissa on laadunvarmistusta systematisoitu viime vuosina muun muassa Demingin kehittä­missyklin mukaisesti, johon kuuluvat suunnittele-, toteuta-, arvioi- ja kehitä-vaiheet, sekä prosessi­kuvausten avulla, joissa määritellään tavoitteet, mahdolliset mittarit, prosessit, prosessien arviointi ja tulokset. Näiden pohjalla ovat kuitenkin laitos­ten aikaisemmat itsearviointikäytänteet.

 

Itsearviointi yliopistokontekstissa

Vain harvassa korkeakoulutusta koskevassa ar­vioinnissa on määritelty arvioinnissa käytettyjä käsitteitä. Lundgren (2002, 206) peräänkuuluttaa­kin korkeakoulujen arviointien yhteydessä arvi­oinnin käsitteiden tutkimista. Arviointi käsitetään yleensä yläkäsitteeksi, jonka alla on suppeampia käsitteitä, kuten itsearviointi. Tähän verrattavia alakäsitteitä ovat muun muassa auditointi, ak­kreditointi, benchmarking, seuranta (monitoring), ulkoinen arviointi ja vertaisarviointi (ks. kuvio 1).

 

Yliopiston toimintaympäristössä käytetyim­piä arviointitapoja ovat itsearviointi, auditointi, benchmarking sekä laadunvalvonta, -hallinta ja -varmistus (ks. esim. Moitus & Saari, 2004; Ursin, 2007). Korkeakoulutuksen yhteydessä arviointi se­koitetaan usein laadunvarmistukseen ja laatupro­sesseihin, sillä toiminnan tasolla ne ovat lähellä toisiaan ja tavoittelevat usein samaa: toiminnan kehittämistä. Laadun varmistamisella (quality assurance) tarkoitetaan yleensä toimintoja, pro­sesseja ja järjestelmiä, joilla pyritään turvaamaan toiminnan korkea laatu sekä kehittämään sitä jatkossakin (Korkeakoulutuksen laadunvarmistus, 2004, 50). Hämäläisen (1998, 34) mukaan koulu­tuksen laadunvarmistamisessa on kyse siitä, miten koulutusohjelmassa kerätään tietoa tavoitteiden saavuttamisesta ja miten tiedon käyttö varmiste­taan. Henry ym. (2001, 74) ovat tosin problema­tisoineet OECD:n koulutuspolitiikassa erityisesti laadunvarmistuksen (quality assurance) ja laadun kehittämisen (quality improvement) välisiä jän­nitteitä.

 

Itsearviointi ymmärretään yleensä ensisijassa yksilön, yhteisön tai organisaation oman toimin­nan arviointina. Jakku-Sihvonen ja Heinonen (2001) tarkoittavat itsearvioinnilla sellaisen tie­don hankkimista, jota organisaatio kerää itsestään oman toimintansa kuvaamiseksi ja kehittämiseksi. Sen tarkoituksena on toiminnan kehittäminen ja oppimisen edellytysten parantaminen. (Jakku-Sih­vonen & Heinonen, 2001, 67.) Saari (2002, 74) ko­rostaa, että itsearviointi-termiä saatetaan käyttää myös silloin, kun jokin ulkopuolinen taho arvioi yksikköä ulkopuolisen näkökulmasta.

 

Englantilaisessa ja amerikkalaisessa arviointi­teksteissä käsitteitä self-assessment ja self-evalu­ation käytetään toisistaan poikkeavissa merkityk­sissä. Self-assessment on enemmän mittaamiseen perustuvaa arviointia ja self-evaluation laadullista arviointia. (Saari, 2002, 74.) Itsearvioinnista käy­tetään yhdysvaltalaisissa korkeakouluissa myös self-study– tai internal review -termejä, jotka tar­koittavat lähinnä toiminnan kuvausta (ks. esim. El-Khawas & Shah, 1998). Euroopassa käytetyt englanninkieliset itsearviointia tarkoittavat käsit­teet (self-evaluation, self-assessment) sisältävät puolestaan myös oman toiminnan arviointia (Moi­tus & Saari, 2004, 14). Powell (2000, 40) jakaa erilaiset itsearviointiprosessit sen mukaan, kes­kittyvätkö ne tuloksiin vai prosesseihin ja onko kohteena organisaatio vai yksilöt. Itsearvioinnit voidaan jakaa kolmeen tyyppiin: self-review (laa­dullinen), self-evaluation (arvoihin liittyvää) ja self-assesment (mittaaminen) (Powel, 2000, 40; Saari, 2002, 77). Itsearviointien määrittelyyn liittyy myös se, millaisessa toimintaympäristössä ne to­ teutetaan, millaisia arvoja niillä halutaan tukea ja millainen merkitys reflektiolle annetaan. Erityises­ti kehittämistyössä reflektiolla on keskeinen sija.

 

Kuvio 1. Arvioinnin erilaisia lähikäsitteitä (Huusko, 2008, 128)

 

Itsearviointi saa yliopistoissa erilaisia muotoja, joista keskeisin on yleensä henkilökunnan tekemä arviointi oman työnsä eri osa-alueista, rakenteista ja tuloksista (Scriven, 1991, 327). Kellsin (1995) mukaan instituutiotason itsearvioinnissa henkilö­kunta kuvailee tai analysoi omia suorituksia, orga­nisaation tilaa, prosesseja ja tuloksia. Esimerkiksi itsearviointiraportti voi helpottaa oman toiminnan kehittämistä tai mahdollisten ulkoisten arvioijien työtä. Kells painottaa kuitenkin, että keskeistä itse­arvioinnissa on prosessi, ei tuotettu raportti. (Kells, 1995, 28.) Itsearvioinnilla saatetaankin tarkoittaa vain itsearviointiraporttia eikä muisteta sen muita, jatkuvan arvioinnin puolia, kuten toimintaproses­sien näkyväksi tekemistä, palautteiden keräämistä ja erilaisia kehittämisprojekteja.

 

Yliopistoissa ja niiden laitoksilla teetetään myös niiden ulkopuolelta käynnistettyjä itsearviointeja. Harvey (2002, 7–8) ehdottaakin, että sisäiseen käyttöön ja ulkoiseen käyttöön tehdyt itsearvioin­nit voitaisiin erottaa toisistaan, sillä niitä tehdään eri intressein. Saari (2002) tuo ilmi eri tutkimuk­siin pohjautuen, että omaehtoinen itsearviointi johtaa muutoksiin helpommin kuin ulkoisten ar­viointien tulosten vastaanottaminen. Onkin pe­rusteltua olettaa, että itsearviointi tehdään eri tavoin tilanteissa, joissa sitä käytetään itse oman toiminnan kehittämiseksi tai jos itsearviointi tu­lee ulkopuolisten arvioitsijoiden käyttöön. (Saari, 2002, 76, 80.) Itsearvioinnin seuraukset liittyvät usein siihen, ketkä itsearviointia lukevat, miten he siihen ja sen merkityksellisyyteen suhtautuvat sekä miksi sitä on ensisijaisesti tehty.

 

Arvioinnin käyttöympäristöjä ja tarkoituksia on myös määritelty eri lähtökohdista. Chelimsky (1997) on tehnyt jaottelun, jossa hän kuvailee arvioinnin käyttöympäristöjä arvioinnin tarkoituk­sen mukaan. Chelimsky jakaa arvioinnit kolmeen ryhmään. Nämä ovat tilivelvollisuusarviointi (eva­luation for accountability), kehittämisarviointi (evaluation for development) ja tiedontuotanto­arviointi (evaluation for knowledge). (Chelimsky, 1997, 10.) Tilivelvollisuus- ja tulosvastuuarvioin­teja toteutetaan poliittisen tai hallinnollisen pää­töksenteon tueksi. Tavoitteena on mitata tuloksia, taloudellisuutta ja tehokkuutta, selvittää syitä ja seurauksia, ennustaa kustannuksia sekä arvioida vaikuttavuutta. Arvioijan ja arvioitavan etäisellä suhteella pyritään varmistamaan arvioinnin ob­jektiivisuus. Tällaisen arvioinnin asema on usein vahva julkisessa keskustelussa. (Chelimsky 1997, 11, 21; ks. myös Atjonen, 2007, 104; Linnakylä & Atjonen, 2008, 85.)

 

Tiedontuotantoarvioinnin tavoitteena on ym­märtää tulkittavaa ilmiötä sekä selvittää asioiden välisiä suhteita hankitun tiedon avulla. Arviointi­tavan tarkoituksena on luoda käsitystä tietystä on­gelmasta, toimenpidekäytännöistä, ohjelmista tai prosesseista sekä kehittää uusia menetelmiä ja kri­tisoida vanhoja. Arvioijan ja arvioitavan välinen suhde riippuu arvioinnin tavasta ja menetelmistä. Kehittämisarvioinnin tavoitteena on toiminnan parantaminen. Arvioijan ja arvioinnissa mukana olevan organisaation välinen suhde on läheinen: arvioija on kriittinen ystävä, tai hän voi olla osa tiimiä. (Chelimsky, 1997, 12–14, 21; ks. myös At­jonen, 2007, 104; Linnakylä & Atjonen, 2008, 85.)

 

Arvioinnin toteuttamistapojen valinta kertoo sii­tä, miten ja millaisena arviointi ymmärretään. Eri arviointitavoissa arvioinnin ja arvojen suhde voi olla erilainen. Eri arviointitavat ovat sidoksissa toisista poikkeaviin ajattelutapoihin, kuten positi­vismiin, konstruktivismiin tai postmoderniin ajat­telutapaan (House & Howe, 1999, 104–105). Tällä hetkellä vallalla oleva arviointikäsitys tähdentää konstruktivismia ja sosiokulttuurista otetta, joissa erilaiset arvostukset on soviteltava ja neuvotelta­va yhteisiksi arviointiperusteiksi sekä erilaisten sidosryhmien tavoitteet ja tiedontarpeet huomioon ottaviksi (Linnakylä, 1998, 176, ks. myös Atjonen, 2007, 110).

 

Arviointitulosten käyttö kehittämisessä edel­lyttää arvottamista, sillä itsekriittisyys on kou­lutuksen kehittämisen kannalta hyödyllisempää kuin hyvän käsityksen tai kuvauksen antaminen toiminnasta (Saari 2002, 79). Itsearvioinnin ref­lektiivisyys merkitsee oman toiminnan kriittistä peilaamista. Mezirow (1995a, 8; 1995b, 21) mää­rittelee reflektion omien uskomusten oikeutuksen tutkimiseksi ja tunteiden selvittämiseksi. Sen ta­voitteena on aikaisempaa syvällisempi toiminnan ymmärtäminen, aikaisemmin tehtyjen arviointien muuttaminen, toiminnan suuntaaminen sekä on­gelmanratkaisussa käytettyjen strategioiden ja menettelytapojen toimivuuden arviointi. Mezirow erottaa reflektion kriittisestä reflektiosta, jolla hän tarkoittaa aikaisemmin opitun ennakko-oletusten pätevyyden kyseenalaistamista sekä omien on­gelmanasettamistapojen ja merkitysperspektiivien arvioimista. (Mezirow 1995a, 8; 1995b, 21, 28–29; ks. myös Atjonen 2007, 82.) Refleksiivisyyden tu­lisi olla itsearviointien keskeinen ominaisuus, sillä itsearvioinnissa korostetaan yksilön tai yhteisön tulemista aiempaa tietoisemmaksi omasta toimin­nastaan ja toimintansa muutoksista (Hämäläinen & Kauppi, 2000, 71; Rönnholm, 2005, 67; Saari, 2002, 79).

 

Jos itsearviointia ei tarkastella kehittämisen tai reflektoinnin näkökulmasta, itsearvioinneissa ko­rostuvat usein tilivelvollisuus- ja tiedontuotantoar­viointi. Guba ja Lincoln (1989, 253–256) korostavat arviointien subjektiivisuutta, arvosidonnaisuutta ja oppimista. Itsearviointi voi uudistaa toimintaa, nostaa esiin omia arvostuksia, lisätä arvioijien it­seymmärrystä (Atjonen, 2007, 82; Liuhanen, 2007, 102, 119) sekä muuttaa myös arvoperusteita. Tämä edellyttää sitä, että itsearvioinnin toteuttajat itse tietävät, mitkä ovat parhaita menettelytapoja hei­dän toimintansa kuvailuun ja kehittämiseen sekä osaavat kertoa sen myös muille.

 

Itsearvioinneissa voidaan myös miettiä, mi­hin itsearviointia voidaan käyttää eli riittääkö se toiminnan arviointiin. Voisi ajatella, että kun arviointia tehdään puhtaasti oman toiminnan ke­hittämiseksi ja omien arvojen esiinnostamiseksi, itsearviointi on eri muodoissaan sopiva työväline. Ero itsearvioinnin ja ulkoisen arvioinnin välillä ei ole aina selvä, sillä itsearvioinnin tulokset saat­tavat myös ohjata ulkoista arviointia. Koska ul­koinen arviointiryhmä on usein yksikön tekemän itsearvioinnin varassa muodostaessaan käsitystä arvioitavasta yksiköstä ja sen toiminnasta, itsear­viointi myös suuntaa siihen perustavaa ulkoista arviointia tyylivalinnoillaan, kriittisyyden asteel­laan ja kehittämistavoitteillaan (Saari, 2002, 35).

 

Aineisto ja menetelmä

Tutkimuksen aineistona olivat neljän suomalaisen yliopiston laitosjohtajille ja laitosten arvioinnista vastaaville henkilöille alkutalvesta 2004 tehdyn kyselyn vastaukset. Valitsin neljä kohdeyliopistoa yliopiston arviointitoiminnan aktiivisuuden pe­rusteella. Lähetin valittujen yliopistojen kaikille laitoksille ja niitä vastaaville osastoille tai klini­koille kyselyn niiden koulutuksen ja opetuksen itsearviointitoiminnasta. Pääasiassa avoimia ky­symyksiä sisältävä kyselylomake lähti yhteensä 112 laitokselle, joilta 53:sta palautettiin täytetty lomake. Vastausprosentiksi jäi 47 prosenttia yhden karhuamiskerran jälkeen. Kysyin taustatietoina vastaajan yliopistoa, laitosta, vastaajan asemaa laitoksella ja tehtävänimikettä sekä sukupuolta. Kysyin myös, onko lomake täytetty yksin vai ryh­mässä. Vastaajista suurin osa oli laitoksen johtajia ja usein myös oppiaineen professoreita. Vastaajista naisia oli 18 ja miehiä 28. Yksi vastaaja ei kerto­nut sukupuoltaan. Työryhmässä oli täytetty kuusi lomaketta. Kyselylomakkeessa kysyttiin avoimilla kysymyksillä, millaisia opetuksen ja koulutuksen arviointeja laitoksella on toteutettu tai toteutetaan ja onko niihin sisältynyt itsearviointia, millaista mahdollista hyötyä ja haittaa itsearvioinneista on ollut laitokselle sekä miten vastaaja määrittelisi itsearvioinnin.

 

Tutkimuksen analyysissa käytettiin laadullista sisällönanalyysia. Se sopii Tuomen ja Sarajärven (2009, 14–15) mukaan aineiston analyysivälineek­si, kun tutkitaan erilaisia käsityksiä ja näkemyk­siä tietystä ilmiöstä. Laadullisessa analyysissa aineiston lukeminen, luokkien muodostaminen ja uudelleenajattelu muodostavat jatkuvan ke­hän, jossa palataan eri vaiheissa tarkistamaan uudelleen aineistoa sekä muodostettujen luokkien relevanttiutta. Analyysin tarkoituksena oli nostaa esiin aineistosta rakenteellisia eroja, jotka selven­tävät erilaisten käsitysten ja näkemysten suhdet­ta tutkittavaan ilmiöön. Muodostin aineistosta löytyneiden merkitysyksiköiden pohjalta luokkia, joita muokkasin ja tarkastelin suhteessa taustakir­jallisuuteen. Seuraavassa esittelen yhteenvedon analyysin keskeisistä tuloksista.

 

Keskeiset tulokset

Laitosten itsearvioinnin määritelmiä

Kysyin vastaajilta heidän näkemyksiään laitos­tason itsearvioinnin määritelmästä. Vastaajien antamissa määritelmissä korostuivat laitoksen kehittämissuuntautuneisuus ja oppiminen sekä toiminnan reflektiivinen analysointi. Itsearvioin­nin kohteena saattoivat olla toiminnan tavoitteet, kokonaisuus ja toiminnan laatu. Kriteerit tai ohjeet saattoivat olla myös ennalta tai muualla määriteltyjä. Vastaajien mukaan itsearviointi on kehittämissuuntautunutta, kriittistä ja reflektoivaa analyysiä laitoksen tavoitteista, vaikuttavuudesta ja tehokkuudesta, oppimisesta ja laadusta sekä näistä muodostuvasta kokonaisuudesta, jonka toteuttajana on laitos itse. Analysoinnin ja kriit­tisyyden voidaan ajatella olevan tyypillistä juuri yliopistoyhteisöille. Itsearvioinnissa laitoksella ar­vioidaan omaa toimintaa omista tai toisten anta­mista lähtökohdista.

 

Vastaajien käsittämällä määritelmällä on yhtei­siä piirteitä Saarisen (1995, 20) antaman määritel­män kanssa. Saarinen nostaa esiin oman toimin­nan, sen edellytysten ja tulosten tarkastelun. Ar­viointi käsitetään näihin kohdistuvana kriittisenä tarkasteluna. Jakku-Sihvonen ja Heinonen (2001, 67) korostavat oman toiminnan kehittämistä sekä oppimisen edellytysten parantamista. Laitosten toimijoiden antamissa itsearvioinnin määritelmis­sä tulee selkeästi esille itsearvioinnin toimiminen laitoksen oppimisen kehittämisen välineenä, jol­loin itsearviointi on kriittistä, analyyttista ja reflek­tiivistä pohdintaa omasta toiminnasta.

 

Laitosten itsearviointien muotoja

Selvitin myös laitostason toimijoiden näkemyksiä siitä, millaisia opetuksen ja koulutuksen itsearvi­ointeja laitoksilla on toteutettu. Eniten vastaajat pitivät laitosten itsearviointina opiskelijapalaut­teiden keräämistä. Myös projektimaiset arvioin­tihankkeet, opetussuunnitelmatyö ja itsearvioin­tiraporttien kirjoittaminen mainittiin useimmiten itsearviointitapoina. Muina muotoina tulivat esille erilaiset työryhmät, opetuksen kehittämispäivät ja tilastolliset tunnusluvut.

 

Laitosten itsearviointi voidaankin jakaa kahteen osaan: jatkuvina toimintoina toteutettuihin itsearviointeihin, kuten opiskelijapalautteet ja ke­hittämistyöryhmien toiminta, sekä kertaluontoi­siin projekteihin, kuten itselle tai ulkopuoliselle taholle tehdyt kirjalliset itsearviointiraportit tai erilaisiin itsearviointiprojekteihin osallistuminen (ks. kuvio 2). Ero näiden kahden luokan välillä ei ole kuitenkaan kovin selvä: esimerkiksi itsearvi­ointiraporttia saatetaan käyttää laitoksen jatkuvan oppimisen kehittämisen välineenä, vaikka sen tuottaminen olisikin toteutettu projektimaisesti. Toiminnot palvelivat laitoksilla erilaisia tarpeita, ja eri toiminnot antoivat keskeisille toimijoille erilaisia rooleja. Opiskelijat voivat antaa palautetta asiakasmaisesti tai tiedeyhteisön jäsenenä, henkilökunta arvioi omaa työtään kehittämistä tai esi­miehiään varten ja laitoksilla toimintaa arvioidaan kokonaisuutena ulkopuolisia tai laitoksen sisäistä kehittämistä varten.

 

Vastaajat pitivät kuitenkin itsearviointia pääasi­assa jatkuvana prosessina, johon myös tilastolliset tunnusluvut kuuluvat. Näin itsearviointi ei mää­rittynyt vain keskustelujen ja sanallisen aineiston pohjalta, vaan myös numeerisina tarkasteluina. Opetuksen ja koulutuksen itsearviointiin ajateltiin kuuluvan myös opiskelijoiden opiskelijapalautteet opetuksesta, oppimisen kehittäminen sekä henki­lökunnan kehityskeskustelut.

 

Vastauksissa painottui opiskelijapalautteiden keräämisen lisäksi opetussuunnitelmatyö. Kysely­aineisto kerättiin keväällä 2004, jolloin laitoksilla oltiin uudistamassa tutkintoja ja opetussuunnitel­mia Bolognan prosessin ja tutkintorakenneuudis­tuksen vuoksi. Kun laitoksilla uudistettiin opetus­suunnitelmia, samalla reflektoitiin omaa toimintaa ja oppimista sekä mietittiin koulutuksen tavoittei­ta, opintojen rakenteita ja koulutuksesta saatavia valmiuksia. Vastaajat kokivat, että työelämä- ja alumnipalautteiden avulla opetussuunnitelma­työhön saatiin mukaan myös ulkopuolisten ääni. Erilaiset kehittämistyöryhmät, joissa henkilökunta pohti omaa toimintaansa laitoksella, muodostivat laitoksille itsearviointitoimintaa tukevia rakenteita. Tällaisten itsearviointien tarkoituksena oli tuottaa reflektoivaa analyysia omasta toiminnasta ja oppi­misesta työyhteisön kehittämiseksi.

 

Projektimaisiin itsearviointeihin kuului vas­taajien mukaan erityylisiä itsearviointiprojekteja, kuten suuria kansainvälisiä tai pienempiä oman yliopiston sisällä suunniteltuja ja toteutettuja arvi­ointiprojekteja, joiden osana oli itsearviointi. Eri­laisiin opetuksen kehittämis- ja laatuhankkeisiin kuuluvien itsearviointien voitaisiin ajatella olevan jatkuvan itsearvioinnin ja kertaluontoisen itsearvi­oinnin rajapinnalla: usein hankkeiden suunnitteli­jat saattavat toivoa, että itsearviointia jatkettaisiin laitoksilla projektin loppumisesta huolimatta.

 

Toteutettujen itsearviointien koettuja hyötyjä ja haittoja

Laitosten itsearviointien yhteydessä oli oleellista myös selvittää, miten itsearvioinnit oli koettu lai­toksella. Analysoin itsearvioinnista koettuja hyö­tyjä ja haittoja. Suurimmaksi hyötyjen ryhmäk­si vastaajat kokivat, että itsearvioinnit auttavat kehittämään laitoksen toimintaa. Niiden avulla koettiin pystyttävän myös puuttumaan erilaisiin epäkohtiin. Muutama vastaaja toi esille, että it­searviointien avulla saavutettiin aikaisempaa pa­rempia tuloksia ja omaa työtä kohtaan liittyvää arvostus lisääntyi sekä laitoksen työskentelyilma­piiri parantui. Kehittämistoiminnan seurauksena laitoksille oli myönnetty opetuksen ja koulutuksen laatuyksikkönimityksiä. Parhaassa tapauksessa it­searviointien koettiin voimaannuttavan laitoksen henkilökuntaa. Itsearviointiprosessin myötä lai­toksilla myös koettiin, että arvostus omaa työtä kohtaan oli noussut. Tästä henkilökunta koki saaneensa lisävoimaa jatkaa niin itsearviointeja kuin kehittämistyötäkin. Laitoksen toiminnan oli koettu parantuneen aktiivisen itsearvioinnin ja ke­hittämistoiminnan johdosta. Itsearvioinnit olivat lisänneet myös kiinnostusta opetusta kohtaan lai­toksella. Itsearvioinnin koettiin aktivoivan oman toiminnan pohtimista ja kehittämistä aikaisempaa enemmän yhteisten keskustelujen ja arvojen esiin nostamisen myötä.

 

Itsearviointeihin liitetyt haitat liittyivät enim­mäkseen ajan puutteeseen ja akateemisen työn kiireellisyyteen. Vastaajien mukaan itsearvioin­teihin meni aikaa ja resursseja, mikä oli pois opetuksesta ja tutkimuksesta. Jos hyötyä ei nähty tai jos hyödyt koettiin pienempinä kuin haittapuolet, itsearvioinnit saattoivat tuntua vastaajista turhalta työltä. Muina haittoina mainittiin, että laitoksilla kärsittiin arviointiväsymyksestä ja palautteiden kerääminen aiheutti erilaisia ongelmia opettaji­en ja opiskelijoiden välille sekä henkilökunnan kesken.

 

Itsearviointien toteuttamistapa ja sen tavoitteet vaikuttivat siihen, miten haitallisina tai hyödyl­lisinä itsearvioinnit koettiin. Itsearvioinnin hai­tat korostuivat, jos itsearviointien suunnittelijat ja toteuttajat eivät olleet miettineet, millaisessa toiminta- ja toimijaympäristössä itsearviointi to­teutetaan. Jos henkilökunta ja opiskelijat eivät kokeneet olevansa valmiita itsearviointiin, hyödyt jäivät vähäisiksi. Jos itsearvioinnista puuttui sel­keä kohde ja tavoite tai itsearviointiin määriteltyä kohdetta ja tavoitteita ei koettu mielekkäinä, sillä ei ollut selkeää alkua ja loppua tai itsearvioin­nista ei saatu kunnollista palautetta, se saattoi turhauttaa tekijöitään. Jos itsearviointiin osallistu­jat eivät kyenneet sitoutumaan itsearviointiin tai osallistujat joutuivat eri syistä puolustuskannalle, itsearvioinnista ei koettu olevan tehtyä työmää­rää vastaavaa hyötyä. Myös arviointitoiminnan huomaamattomuus tai siitä seuraavien maine- tai muiden palkintojen vähäisyys aiheuttivat vastaaji­en mukaan turhautumista itsearviointeja kohtaan.

 

Kuvio 2. Itsearvioinnin muotoja laitoksilla

 

Itsearvioinnin haitat nähtiin käytännön asioihin liittyvänä, kun hyödyt liittyivät myös opetuksen ja koulutuksen sisältöihin. Voidaankin päätellä, että esimerkiksi ajanpuute ja arviointiväsymys vaikuttavat välillisesti sisällöllisiin kysymyksiin, kun työstä ei jakseta innostua ja hoidettavat it­searvioinnit toteutettiin kiireellä. Ulkopuolisten pyynnöstä tehty itsearviointi, jolla ei koettu olevan sisäisiä eikä ulkoisia vaikutuksia, turhautti vastaa­jien mukaan siihen osallistuneita.

 

Lopuksi

Itsearviointi ei ole irrallinen ilmiö yliopiston tai laitoksen muusta toiminnasta, vaan siihen liit­tyvät monet yliopiston ja laitoksen opetuksen arviointi- ja kehittämistoimet. Vastaajat laajensivat itsearvioinnin koskemaan lähes kaikkea laitoksen kehittämistyötä. Voidaankin miettiä, miksi laitos­ten toimijat käsittivät itsearvioinnin näin laajaksi. Luetaanko itsearvioinniksi kaikki laitoksen kehit­tämistoiminta silloin, jos laitoksella ei ole toteu­tettu projektimaisia, kertaluontoisia itsearviointe­ja? Toisaalta jatkuvan itsearvioinnin muodot ovat lähempänä itsearvioinnin ideaalia, jossa keskeistä on kriittinen analyysi omasta toiminnasta sekä itsen ja oman toiminnan kehittäminen.

 

Vaikka itsearviointeja saatetaan käyttää myös identiteetin, imagon ja itseymmärryksen raken­tamisen välineinä, kehittämistavoitteet ovat kui­tenkin laitosten itsearvioinneissa keskeisimmällä sijalla. Yliopistoja koskevalle keskustelulle onkin Rekolan (2007) mukaan yhteistä yleinen kehittä­misen eetos. Itsearvioinnissa laitoksen toimijat saivat itse määritellä laitoksen toimintaa, arvioida sitä sekä kertoa muille, millaisia laitokset ovat ja millaisia tuloksia laitoksilla oli saatu aikaan. Vaik­ka kriteerit ja toimintatapa saattoivat olla muualta annettuja, laitoksen henkilökunta toimi subjektina arvioidessaan itseään. Näin laitoksilla samalla määriteltiin omaa organisatorista identiteettiä.

 

Projektimaisesti toteutetut itsearvioinnit ja eri­tyisesti niiden yhteydessä kirjoitetut itsearviointi­raportit saattoivat muuttua oman toiminnan erin­omaisuuden vakuutteluksi, jos teksti kirjoitettiin vain toisia varten. Tällöin kehittämiskohteiden esilletuonti saattoi jäädä vähemmälle aukikirjoit­tamiselle. Ulkopuolisille tehty itsearviointiraportti voi imagonkohottamispyrkimysten lisäksi toimia haluttujen muutosten legitimoijana (ks. Rönn­holm, 2005, 69; Saari, 2002, 67). Tietyissä arvioin­tiprojekteissa heikkouksien ja kehittämisalueiden esittämistä palkitaan erityisesti, mikä kannustaa tällöin myös niiden esilletuontiin.

 

Laatuyksikkönimitykset liitettiin vastauksissa itsearvioinnista saatuihin hyötyihin. Laitoksilla, joissa oli jo kehitetty toimintaa, saatettiin saada nimitys sekä sen myötä uutta pontta kehittää toimintaa lisää. Prosessi toimii Matteus-efektin mukaisesti: niillä, joilla on jo, annetaan lisää, ja joilla ei ole, heidän on vaikea myös saada lisäetuuksia. Laatuyksikkönimityksistä kerrottiin vastauksissa useaan otteeseen, minkä voi tulkita liittyvän osaltaan myös laitoksen imagonraken­tamispyrkimyksiin: itsearviointia ja sen ansiosta saatua nimitystä käytettiin välineenä paremman maineen saavuttamisessa. Vastaajien mukaan itsearviointien avulla voitiin saavuttaa tuloksia, jotka huomattiin laitoksen ulkopuolellakin.

 

Ajan riittämättömyys koettiin laajemminkin on­gelmaksi yliopistojen nykyisessä tilanteessa, jossa laitoksille tulee koko ajan uusia työtehtäviä ja velvollisuuksia, mutta henkilökuntaa on aikaisem­paa vähemmän (ks. esim. Ylijoki & Aittola, 2005). Palautteisiin liitetyt haitat kertoivat puolestaan opiskelija–opettaja-suhteiden ongelmallisuudesta. Jos opiskelijat eivät muista tai ajattele, että pa­lautteet todella luetaan ja niihin suhtaudutaan henkilökohtaisesti, opiskelijat saattavat kirjoittaa palautteet anonymiteetin suojissa hyvinkin är­häkkäästi. Henkilökunnan näkemysten mukaan opiskelijat valittivat opiskelijapalautteista, jos nii­tä kerätään paljon, mutta niiden perusteella ei ollut tapahtunut muutoksia. Henkilökunta koki opiskelijapalautteet ongelmallisena, jos ne olivat hyvin kriittisiä opetushenkilökuntaa kohtaan tai ne menivät henkilökohtaisuuksiin.

 

Arvioinnissa mukana olleet oppivat arvioin­neista ja laatuprojekteista konkreettisesti eniten. Itsearvioinnit voivat toimia myös laitoksen henki­löstön voimaantumisen välineinä. Voimaantumi­nen mahdollistuu, jos itsearviointien tekemisessä varataan riittävästi aikaa muun muassa yhteisistä tavoitteista, arvoista ja toiminnan luonteesta kes­kusteluun. Kun itsearviointi käsitetään prosessiksi eikä vain yksittäiseksi tapahtumaksi, sillä voi olla pitkäkestoisia vaikutuksia yliopistojen ja laitosten toimintaan, oppimiseen ja niiden kehittämiseen.

 

Tämän tutkimuksen kyselyaineisto on kerätty vuonna 2004. Tarkastelu ei siis sellaisenaan ku­vaa yliopistojen itsearvioinnin nykyhetkeä, sillä yliopistojen arviointeihin ja laatutyöhön on tullut myöhemmin uudempia kerrostumia. Kyselyn to­teuttamisen ajankohtana keväällä 2004 tutkintora­kenneuudistus ja Bolognan prosessi työllistivät lai­toksia. Tuolloin yliopistojen ja laitosten arviointeja ei seurattu kovinkaan systemaattisesti toisin kuin sen jälkeen on tehty esimerkiksi laadunvarmistus­järjestelmien kehittämisen ja niiden auditointien yhteydessä. Tutkimusaineiston keräämisen jälkeen korkeakoulujen arviointipoliittinen kiinnostus on siirtynyt arvioinnista ja itsearvioinnista enemmän laadunvarmistukseen ja -hallintaan (ks. esim. Kor­keakoulutuksen laadunvarmistus, 2004; Moitus & Seppälä, 2004, 55).

 

Itsearviointeja nykymuodossaan on toteutettu Suomessa kohta kahdenkymmenen vuoden ajan. Voidaankin sanoa, että yliopistoissa toteutetaan yliopistolain arviointivaatimusta ja että arviointei­hin suhtaudutaan vakavasti. Yliopistoissa suun­nataan erilaisiin arviointeihin resursseja, joten niiden hyödyntämismahdollisuuksiin toiminnan kehittämisessä ja parempien tulosten saavuttami­sessa uskottaneen. Arviointien asema näyttääkin jatkuvasti vahvistuvan yliopistoissa. Arvioinnit ovat ainakin läpäisyperiaatteella mukana niin tut­kimuksessa, opetuksessa kuin yhteiskunnallisen palvelutehtävän toteuttamisessa. Arviointien koe­taan olevan välttämätöntä yliopistojen tulokselli­selle toiminnalle osana yliopistojen vahvistunutta hallintoa ja koulutuksen johtamista. Arvioinnit pyritään tekemään osaksi olemassa olevia johta­misen ja päätöksenteon rakenteita, jolloin arvioin­nit ymmärretään osana arviointi- ja laadunvarmis­tusjärjestelmiä.

 

Uskoakseni yliopistoissa toimitaan jatkossakin aktiivisesti arvioinnin kentällä kansainvälisten ja kansallisten paineiden, rakenteellisen kehittämi­sen sekä koulutusmarkkinakilpailun vuoksi esi­merkiksi hakemalla kansainvälisiä laatuleimoja sekä seuraamalla entistä tarkemmin opiskelijoi­den oppimistuloksia (Dill, 2000, 203–204; Moitus & Seppälä, 2004, 51). Ranking-listat ja erilaiset indikaattorit saavat tulevaisuudessa oleellisem­man osan yliopistojen laatupolitiikassa (van Dyke, 2008; Hicks, 2009), mistä on jo nyt viitteitä yliopistojen strategioiden ja visioiden tavoittei­denasetteluissa sekä varainhankintakampanjoiden esitteissä ja mainoslauseissa. Kasvava kilpailu koulutusmarkkinoilla tuonee jatkossa yliopisto­jen laatu- ja arviointipolitiikkaan kehittämiseen tähtäävien itsearviointien lisäksi muita välineitä ja toimintatapoja, joiden merkitys yliopiston joh­tamisessa ja kansainvälisessä yhteistyössä kasvanee. Aikaisemman osaamisen tunnistaminen ja tunnustaminen sekä elinikäisen oppimisen haas­teet tuovat yliopistojen laatu- ja arviointitoimin­nalle tulevaisuudessa uusia tehtäväalueita. Myös OECD:n käynnistämä korkeakouluopiskelijoiden osaamisen mittaava AHELO-hanke voi tuoda uu­sia sävyjä yliopistojen arviointitoimintaan ja siitä käytävään keskusteluun.

 

Jos laatukeskustelu painottuu jatkossa yhä enemmän indikaattoreihin ja ranking-listoihin, it­searviointeja voitaisiin jatkossa käyttää enemmän henkilöstön kehittämistyössä, arvokeskustelun yl­läpitämisessä ja yliopistolaisten voimaannuttami­sessa. Opetuksen kehittämistoiminnan haasteena onkin, miten oma laitos ja yliopisto voitaisiin par­haiten saada pysymään itsearviointien ja muiden arviointien avulla yliopiston uudistuksissa ja eri kilpailujen kärkijoukoissa mukana.

 

KT Mira Huusko toimii Helsingin yliopiston käyttäytymistieteiden tiedekunnassa jatkokoulutuskoordinaattorina. Hän väitteli vuonna 2009 suomalaisten yliopistojen itsearvioinnista.

 

LÄHTEET

Atjonen, P. (2007). Hyvä, paha arviointi. Helsinki: Tammi.

Chelimsky, E. (1997). The coming transformations in evaluation. In E. Chelim­sky & W. R. Shadish (Eds.), Evaluation for the 21st century. A Handbook (pp.1–26). Thousand Oaks: Sage.

Dill, D. D. (2000). Designing academic audit: lessons learned in Europe and Asia. Quality in Higher Education, 6 (3), 187–207.

van Dyke, N. (2008). Self- and peer-assessment disparities in university ranking schemes. Higher Education in Europe, 22 (2/3), 285–293.

El-Khawas, E. & Shah, T. (1998). Internal review to assure quality. Comparative perspectives on evolving practice. Tertiary Education and Management, 4 (2), 95–101.

Guba, E. G. & Lincoln, Y. S. (1989). Fourth generation evaluation. Newbury Park: Sage.

Harman, G. (1998). Quality assurance mechanisms and their use as policy in­struments: major international approaches and the Australian experience since 1993. European Journal of Education, 33 (3), 331–348.

Harvey, L. (2002). The end of quality? Quality in Higher Education, 8 (1), 5–22.

Henry, M., Lingard, B., Rizvi, F. & Taylor, S. (2001). The OECD, globalisation and education policy. Issues in Higher Education. Amsterdam: IAU Press / Pergamon.

Hicks, D. (2009). Evolving regimes of multi-university research evaluation. Higher Education 57 (4), 393–404.

House, E. R. & Howe, K. R. (1999). Values in evaluation and social research. Thousand Oaks: Sage.

Huusko, M. (2008). Itsearviointi kehittävän arvioinnin menetelmänä. Teoksessa E. Korkeakoski & H. Silvennoinen (toim.), Avaimia koulutksen arvioinnin kehittämiseen (s. 127–138). Koulutuksen arviointineuvoston julkaisuja 31.

Huusko, M. (2009). Itsearviointi suomalaisissa yliopistoissa: arvoja, kehittämistä ja imagon rakentamista. Suomen kasvatustieteellinen seura. Kasvatusalan tutkimuksia 46.

Hämäläinen, E. (toim.). (1998). Laatu Tehokkuus Vaikuttavuus. Taideteollisen korkeakoulun raportti koulutuksessa, taiteellisesta toiminnasta ja tutki­muksesta 1998. Taideteollinen korkeakoulu, opetuksen kehittämistyö­ryhmä: Yliopistopaino.

Hämäläinen, K. & Kauppi, A. (2000). Evaluation in today’s education. From con­trol to empowerment. Lifelong Learning in Europe, V (2), 68–75.

Jakku-Sihvonen, R. & Heinonen, S. (2001). Paikallistasolla tapahtuva koulu­tuksen arviointi. Teoksessa R. Jakku-Sihvonen & S. Heinonen, Johdatus koulutuksen uudistuvaan arviointikulttuuriin (s. 64–77). Opetushallitus. Arviointi 2. Helsinki: Yliopistopaino.

Kells, H. R. (1995). Self-study processes. A Guide to self-evaluation in higher edu­cation. American Council on Education. Series on Higher Education. Fourth Edition. Phoenix: Oryx Press.

Korkeakoulutuksen laadunvarmistus, (2004). Opetusministeriön työryhmämuistioita ja selvityksiä 6. Opetusministeriö. Koulutus- ja tiedepoliittinen osasto. Helsinki: Yliopistopaino.

Linnakylä, P. (1998). Koulutuksen kansallisen ja kansainvälisen arvioinnin haasteita. Kasvatus, 29 (2), 175–189.

Linnakylä, P. & Atjonen, P. (2008). Arviointi, tutkimus ja arviointitutkimus kou­lutuksen tietotuotannossa. Teoksessa E. Korkeakoski & H. Silvennoinen (toim.), Avaimia koulutuksen arvioinnin kehittämiseen (s. 79–96). Koulu­tuksen arviointineuvoston julkaisuja 31.

Liuhanen, A.-M. (2007). How are university evaluations used? – The perspec­tives of two Finnish universities. Academic dissertation. Tampere: Tampere University Press.

Lundgren, U. P. (2002). Voidaanko koulutusta arvioida kansallisella tasolla? Teoksessa R. Honkonen (toim.), Koulutuksen lumo – retoriikka, politiikka ja arviointi (s. 193–208). Opetus-, kasvatus- ja koulutusalojen säätiö. Tam­pereen yliopiston kasvatustieteiden tiedekunta.

Mezirow, J. (1995a). Esipuhe. Teoksessa J. Mezirow, Uudistava oppiminen. Kriit­tinen reflektio aikuiskoulutuksessa (s. 5–13). Helsingin yliopiston Lahden tutkimus- ja koulutuskeskus.

Mezirow, J. (1995b). Kriittinen reflektio uudistavan oppimisen käynnistäjä­nä. Teoksessa J. Mezirow, Uudistava oppiminen. Kriittinen reflektio ai­kuiskoulutuksessa (s. 17–37). Helsingin yliopiston Lahden tutkimus- ja koulutuskeskus.

Moitus, S. & Saari, S. (2004). Menetelmistä kehittämiseen. Korkeakoulujen arvi­ointineuvoston arviointimenetelmät vuosina 1996–2003. Korkeakoulujen arviointineuvoston julkaisuja 10.

Moitus, S. & Seppälä, H. (2004). Mitä hyötyä arvioinneista? Selvitys Korkea­koulujen arviointineuvoston 1997–2003 toteuttamien koulutusala-arvioin­tien käytöstä. Korkeakoulujen arviointineuvoston julkaisuja 9.

Powell, L. A. (2000). Realising the value of self-assessment: the influence of the Business Excellence Model on teacher professionalism. European Journal of Teacher Education, 23 (1), 37–48.

Rekola, H. (2007). Mikä ohjaa yliopistoa? Ohjauksen jännitteitä akateemisessa kulttuurissa. Teoksessa T. Aittola, J. Eskola & J. Suoranta (toim.), Kriittisen pedagogiikan kysymyksiä (s. 23–38). Tampere: Tampereen yliopistopaino.

Rönnholm, H. (2005). Arviointitiedot hyötykäyttöön. Teoksessa H. K. Lyytinen & A. Räisänen (toim.), Kehittämissuuntaa arvioinnista (s. 59–79). Koulu­tuksen arviointineuvoston julkaisuja 6.

Saari, S. (2002). Opettajankoulutuksen arviointi- ja kehittämisdiskurssi koulutus­poliittisessa kontekstissa. Acta Universitatis Tamperensis 893.

Saarinen, T. (1995). Nousukaudesta lamaan, määrästä laatuun. Korkeakoulu­arvioinnin käynnistyminen ja kokemukset laitoksilla. Koulutussosiologian tutkimuskeskus. Raportti 32. Turun yliopisto.

Saarinen, T. (2007). Quality on the move. Discursive construction of higher educa­tion policy from the perspective of quality. Jyväskylä studies in humanities 83. Jyväskylä: Jyväskylä University Printing House.

Scriven, M. (1991). Evaluation Thesaurus. Fourth edition. Newbury Park: Sage.

Tuomi, J. & Sarajärvi, A. (2009). Laadullinen tutkimus ja sisällönanalyysi. Tam­mi: Helsinki.

Ursin, J. (2007). Yliopistot laadun arvioijina. Akateemisia käsityksiä laadusta ja laadunvarmistuksesta. Jyväskylän yliopisto. Koulutuksen tutkimuslaitos.

Ylijoki, O.-H. & Aittola, H. (2005). Johdanto: hyvää akateemista työtä etsimäs­sä. Teoksessa H. Aittola & O.-H. Ylijoki (toim.), Tulosohjattua autonomiaa. Akateemisen työn muuttuvat käytännöt (s. 7–17). Helsinki: Gaudeamus.

PDF