Hannun blogi: Luotettava henkilöarvio vai horoskooppi?

Hannu Häyrinen



Hannu Häyrinen on MLP:n perustaja ja partneri, joka on tukenut lukuisia organisaatioita niiden toimintakulttuuria muutettaessa.

Hannun LinkedIn -profiiliin pääset tästä.



Meidät suomalaiset on kasvatettu kunnioittamaan lakeja ja yhteiskunnan pelisääntöjä. Katsastamme automme, huomioimme parasta ennen päiväykset ja pysähdymme punaisella liikennevaloissa.   

Yhä useampi organisaatio on määritellyt omat eettiset pelisääntönsä, joita myös noudattaa toiminnassaan. Tämä näkyy konkreettisesti raaka-aineiden ja alihankkijoiden valinnassa tai suhtautumisessa kierrätykseen. Nyt, kun työyhteisötaitojen ja vuorovaikutuksen merkitys on noussut työpaikoilla, on haettu vaikuttavuutta niiden kehittämisen keinoille. Samalla henkilöstön kehittämisessä on alettu kiinnittää huomiota käytettävien työkalujen luotettavuuteen.  Silloin kun kehittämisen tueksi tehdään joko itsearviointi tai ryhmän yhteisten mielipiteiden kartoitus, tämä luotettavuus korostuu entisestään. Tätä kehitystä ovat vauhdittaneet EU:n tietosuoja-asetuksen ja lain yksityisyyden suojasta säädökset. 

Puhutaan työkalun pätevyydestä (reliabiliteetti) ja luotettavuudesta (validiteetti). Psykologisia työkaluja käytetään mittaamaan näkymättömiä ominaisuuksia kuten älykkyyttä, ulospäinsuuntautuneisuutta tai rehellisyyttä. Hyvän työkalun on täytettävä tiedeyhteisön määrittelemät kriteerit. Työkalun laatu selvitetään validointiprosessin avulla tutkimus strandardeja noudattaen.  Vaikka Everything DiSC® perheen työkalut kuvaavat käyttäytymistä, niiden perustutkimus on tehty korkeita tieteellisiä periaatteita noudattaen ja psykologisiin työkaluihin verraten.  

Validointi esittää kaksi perustavaa laatua olevaa kysymystä: 
1. Kuinka pätevä (reliable) työkalu on? Antaako se johdonmukaisen ja luotettavan tuloksen. Jos tuloksissa on paljon satunnaisvaihtelua, se on vähemmän pätevä. 

2. Kuin luotettava (valid) työkalu on? Miten tarkan mittaustuloksen se antaa. Mitä paremmin työkalu mittaa, mitä sen on tarkoitus mitata, sen luotettavampi se on.  

Reliabiliteetti siis viittaa arviointityökalun kykyyn mitata määriteltyjä ominaisuuksia luotettavasti ja riippumattomasti eri henkilöiltä tai eri aikoina. Pätevä mittari takaa, että jokainen tulos mitataan samalla tavoin. Jos tulokset poikkeavat toisistaan, kertoo se mittauskohteiden erilaisuudesta, ei mittaustyökalun virheestä. Vertaa mielessäsi vakaa. Jos vaaka kertoo normipäiväsi aamulla, että painosi on 80 kg ja illalla 65 kg.  Et varmaankaan iloitse painonpudotuksesta, vaan kyseenalaistat mittaustuloksen  

Validiteetti kertoo, että työkalu mittaa tarkasti mitattavaa ominaisuutta hyödyntäen valittua menetelmää. Se kertoo kuinka hyvin kyselyn väittämien tuottama tulos pystyy mittamaan valitun asteikon käsitettä ja määritelmää. Lyhyt työmatka ei yksin riitä selittämään hyvää työviihtymistä tai karvanopat auton peilissä sen kiihtyvyyttä. 

Everything DiSC® työkalun pätevyyttä arvioitaessa kuvataan osin työkalun vakautta ja osin sen sisäistä johdonmukaisuutta.  

Reliabiliteetti 

Vakautta arvioidaan työkalun kykyyn tuottaa sama mittaustulos eri aikoina. Tämä varmistetaan siten, että samat henkilöt täyttävät saman kyselyn kahdesti sopivin välein (test-restest) ja katsotaan saadaanko sama tulos. Jos henkilön tilanteessa ei ole tapahtunut muutoksia, mittaustulosten pitäisi olla hyvin lähellä toisiaan. Hyväksyttävän mittaustuloksen korrelaation tulisi olla 0,7 tai enemmän. Erittäin hyvänä tuloksena pidetään jo 0,8. 

Sisäistä johdonmukaisuutta selvitetään samaa asiaa mittaavien kysymyksen keskinäisellä korrelaatiolla. DiSC-mallissakin samaa käyttäytymispiirrettä selvitetään usealla eri kysymyksellä, joiden pitäisi antaa yhdenmukainen tulos. Tätä selvitettäessä parhaana mittarina pidetään Cronbach’n alphaa. Everything DiSC työkalussa tämä tutkimus on tehty jokaisen kahdeksan käyttäytymispiirteen kysymysten osalta. Hyväksyttävyyden raja tälläkin mittarilla on 0,7 ja poikkeuksellisen hyvänä pidetään 0,9 olevia arvoja. 

Everything DiSCin tilastolliset tulokset ovat erinomaisen hyvät.  Yksityiskohtaiset tiedot selviävät laajemmasta tutkimusraportista. Viitteet löydät tämän kirjoituksen lopusta.  

Validiteetti 

Validisuus kuvaa, miten hyvin mittausmenetelmä mittaa sitä, mitä sen on tarkoitus mitata. Yleisesti puhutaan rakenteellisesta validiteetista. DiSCin teorian mukaan osan käyttäytymispiirteistä pitäisi olla lähempänä toisiaan, esim D – Di, ja osan vastakkaisia toisilleen, esim i – C. Tutkimuksessa kaikkien kahdeksan mitattavan ominaisuuden keskinäiset korrelaatiot on selvitetty ja kuvattu 360 asteen ympyrän avulla. Tuloksia havainnollisestaan tilastollisella menetelmällä nimeltään Multidimensional Scaling (MDS). Myös faktorianalyysin menetelmin saadut tulokset tukevat työkalun luotettavuutta. Näistäkin tuloksista yksityiskohdat löytyvät tutkimusraportissa. 

Korrelaatiot persoonallisuutta mittaavien työkalujen kanssa 

Yksi menetelmä rakenteellisen luotettavuuden selvittämiselle on vertailu aiemmin luotettaviksi havaittujen mittareiden vastaavien piirteiden kanssa. Everything DiSCin vertailut on tehty NEO® Personality Inventory – Revised (NEO PI-R™ ja Sixteen Personality Factor Questionnaire (16PF®) kanssa.  

NEO PI-R on 240 väittämän työkalu, joka mittaa viiden faktorin mallin mukaisesti persoonallisuutta.(McCrae &Costa, 2010).  16PF on 185 väittämän laajuinen työkalu, joka mittaa 16 persoonallisuuspiirrettä ja samoin Five Factor -mallin mukaisesti persoonallisuutta (IPAT, 2009)

Yksityiskohtaiset vertailun tulokset löytyvät tutkimusraportista. Lyhyesti voi todeta, että ne piirteet korreloivat joko positiivisesti tai negatiivisesti, joiden DiSC teorian mukaan oletettiinkin korreloivan.  

Yhteenveto tuloksista 

Tutkimustulokset kertovat, että Everything DiSC® työkalu on todettu sekä päteväksi että luotettavaksi. Eri skaalojen pätevyys on joko hyvällä tai erinomaisella tasolla. Mediaani on Alpha kertoimella .87. Test-retest mediaani on .86. Työkalun validisuus on myös korkea. Oletukset toteutuivat erinomaisesti ”ympyrä” mallin eri menetelmiä käytettäessä; Multidimensional scaling, asteikkojen väliset korrelaatiot ja faktorianalyysi.  Korrelaatiot Everything DiSC asteikkojen ja NEO PI-R™ sekä 16PF® välillä tukevat vahvasti työkalun validisuutta.  

Tutkimustiivistelmä löytyy täältä

Laaja tutkimusmateriaali liitteineen löytyy julkaisusta Scullard – Baum: Everything DiSC ManualSe on saatavilla verkkokirjakauppojen kautta tilaamalla.