KPI:iden suunnittelu monen kumppanin ohjelmaan

Kun 40 kumppania raportoi samasta KPI:stä, jokainen väljä määritelmä kertautuu. Tarvitaan pieni yhteinen ydin, jokaiselle KPI:lle oma määrittelykortti, totuudenmukaiset koostamissäännöt sekä ilmainen malli täytettyine esimerkkeineen.

Kvartaaliluvut 40 kumppanilta saapuvat viikkoa ennen hallituksen kokousta. Yhdellä rivillä lasketaan koulutettujen nuorten määrä, ja tulos näyttää lupaavalta. Sitten alkavat kysymykset. Yksi kumppani laski kaikki koulutuskertoihin osallistuneet, toinen vain kurssin suorittaneet ja kolmas otti mukaan omat vapaaehtoisensa. Summa on laskettu oikein, mutta se ei juuri kerro mitään.

Kukaan ei tehnyt mitään väärin; ohjelmassa ei vain koskaan määritelty, mihin kysymykseen vastattiin. Tämä on kumppaniohjelmien KPI:iden ensimmäinen ongelma: jokainen väljä määritelmä kertautuu. Tässä oppaassa käsitellään pientä yhteistä KPI-ydintä, jokaiselle KPI:lle laadittavaa määrittelykorttia (ilmainen malli täytettyine esimerkkeineen), totuudenmukaisia koostamissääntöjä, ensin tehtäviä tarkistuksia, kumppanin kehitysvaiheen mukaan valittavia KPI:itä sekä sitä, kuinka monta KPI:tä on liikaa.

Miksi kumppaniohjelmien KPI:t ovat erilaisia

OECD:n arviointisanastossa keskeiset suorituskykymittarit määritellään indikaattoreiden joukoksi, jota pidetään tavoitteiden kannalta tärkeimpänä ja jota seurataan jatkuvasti. Sanastossa todetaan myös, että mikä tahansa indikaattori on ”aina vain likimääräinen” ja vaatii tulkintaa [1]. Yhden kumppanin kohdalla voit vain kysyä, mitä tämä laski. Kun kumppaneita on 40, kolme asiaa muuttuu:

  • Määritelmistä tulee sopimuksia. Kukin kumppani ratkaisee kaikki epäselvyydet omalla tavallaan, ja kokonaisluku koostuu näistä erilaisista tulkinnoista. INTRAC luettelee, mitä koko portfolion lukujen yhteenlasku edellyttää: samat määritelmät, tiedonkeruu kaikissa asiaankuuluvissa hankkeissa, samankaltaiset aikajänteet, samat työkalut ja tasalaatuinen data [2].
  • Työmäärä moninkertaistuu. Yksi lisämittari tarkoittaa sinulle yhtä lisälukua ja kumppaneillesi 40 lisälukua jokaisella raportointikierroksella.
  • Kumppanit eivät ole samanlaisia. Koko, toimintaympäristö ja kypsyysaste vaihtelevat, joten sama luku merkitsee eri paikoissa eri asioita.

Pieni yhteinen ydin ja kumppanikohtaiset mittarit

Useimmissa monen kumppanin ohjelmissa toimiva ratkaisu koostuu kahdesta tasosta. Yhteinen ydin sisältää viidestä kahdeksaan KPI:tä, joista jokainen kumppani raportoi samalla määritelmällä: vain nämä luvut lasketaan yhteen. Sen lisäksi jokaisella kumppanilla on kaksi tai kolme kumppanikohtaista indikaattoria, jotka kumppani valitsee omaan toimintaympäristöönsä sopiviksi ja joita tarkastellaan kumppani kerrallaan.

IFRC:n seuranta- ja arviointioppaassa kuvataan tähän liittyvä kompromissi: standardoiduilla indikaattoreilla on vakiintuneet määritelmät, ja niiden avulla hankkeita voidaan vertailla keskenään, mutta ne eivät välttämättä kuvaa paikallista toimintaympäristöä. Siksi yhdistelmä on usein paras ratkaisu [3]. INTRAC nimeää kaiken standardoinnin riskin: pahimmillaan hankkeet keräävät tietoa, josta ei ole niille itselleen hyötyä [2]. Kumppanikohtaiselta tasolta löytyvät myös parhaat toimeenpanevien kumppanien mittarit; osa niistä voi myöhemmin päätyä yhteiseen ytimeen.

Tuotokset, tulokset ja se, mihin kumppani voi vaikuttaa

OECD:n sanaston mukaan tuotokset ovat toimenpiteen tuottamia tuotteita ja palveluja, jotka ovat toimeenpanevan tiimin hallinnassa. Tulokset puolestaan ovat niiden lyhyen ja keskipitkän aikavälin vaikutuksia [1]. Monen kumppanin ohjelmassa tällä on kaksi seurausta:

  • Tuotokset voidaan laskea yhteen; tuloksia on vaikeampi. INTRAC toteaa, että yhteenlasku on melko helppoa tuotostasolla ja erittäin vaikeaa tulostasolla, vaikka käytössä olisi alan standardimääritelmiä [2]. Tuloksiin liittyvät KPI:t tarvitsevat kaikkein tarkimmat määritelmät.
  • Tulokset riippuvat toimintaympäristöstä. Nuorten työllistämiseen keskittyvä kumppani alueella, jossa työpaikkoja on vähän, ei saavuta samoja tuloksia kuin pääkaupungin kumppani, vaikka sen kurssi olisi kuinka hyvä. Vertaa ensin kutakin kumppania sen omaan lähtötasoon.

Toimivassa yhteisessä ytimessä on molempia: tuotoksia, jotka osoittavat työn etenevän, sekä yksi tai kaksi tulosta, jotka kertovat, onko työllä merkitystä.

Kirjaa jokainen KPI: KPI:n määrittelykortti

Jokaiselle yhteisen ytimen KPI:lle tarvitaan kirjallinen määritelmä ennen ensimmäistä kumppaniraporttia. IFRC:n seuranta- ja arviointisuunnitelmassa kirjataan jokaisen indikaattorin osalta yksityiskohtainen määritelmä, tietolähteet, tiedonkeruumenetelmät ja -aikataulu, vastuuhenkilöt sekä tiedon suunniteltu käyttötarkoitus. Määritelmässä on kerrottava täsmällisesti, miten indikaattori lasketaan, esimerkiksi prosenttiluvun osoittaja ja nimittäjä, sekä miten tieto eritellään sukupuolen, iän tai muiden muuttujien mukaan. Myös vastuuhenkilöt nimetään tehtävänimikkeen perusteella, jotta indikaattori säilyy henkilöstövaihdoksista huolimatta [3]. Alla oleva malli sisältää lisäksi kolme monen kumppanin raportoinnissa tärkeää kenttää: koostamissäännön, datan laatutarkistukset ja versionhallintalokin.

KPI:n määrittelykortin kentät ja täytetyn esimerkin vastaukset
Kenttä Mitä sillä määritellään Esimerkki
Määritelmä Jokainen termi, jonka kumppani voisi tulkita kahdella tavalla Kurssin suorittanut on osallistunut vähintään 80 prosenttiin koulutuskerroista; työ tarkoittaa vähintään 10 tuntia viikossa
Osoittaja ja nimittäjä Mitä lasketaan ja mistä kokonaisuudesta Nuoret, joita ei tavoiteta kuuden kuukauden kohdalla, jäävät nimittäjään
Lähde ja raportointitiheys Mistä luku saadaan ja milloin Kurssin osallistujaluettelo ja seurantapuhelu; neljännesvuosittain
Koostamissääntö Miten kumppanien luvut lasketaan yhteen Yhdistetty osuus sekä kumppanit, joiden tulos on vähintään 50 %
Laatutarkistukset Mitä tarkistetaan ennen lukujen yhdistämistä Jos osoittaja on nimittäjää suurempi, luku palautetaan kumppanille
Versionhallintaloki Mitä muuttui, milloin ja miksi Koulutus lisättiin versioon 1.1

KPI:n määrittelykortin malli (ilmainen lataus)

Mallissa on kaksi A4-sivua: käyttöohjeet, indikaattori, sen määritelmä ja tiedonkeruu (sivu 1); koostamissääntö, laatutarkistukset, rajoitukset, versionhallintaloki ja hyväksyntä (sivu 2).

Tyhjän KPI:n määrittelykortin sivu 1: käyttöohjeet, indikaattori, sen määritelmä osoittajineen ja nimittäjineen sekä tiedonkeruu
Mallin sivu 1: indikaattori, sen määritelmä ja tiedonkeruu.

Lataa KPI:n määrittelykortin malli (PDF, 2 sivua). Tulosta jokaiselle KPI:lle oma kortti tai kopioi kentät omaan seuranta- ja arviointisuunnitelmaasi.

Määritteletkö KPI:itä useammalle kuin muutamalle kumppanille? Advancer.Worldissa määrittelet kunkin KPI:n kerran ohjelmaa kohden ja kirjaat sen arvot kumppanikohtaisesti, ohjelman vaiheiden rinnalle. Päivittäiset tilannekuvat säilyttävät historian, joten kehityssuunta on nähtävissä raportointia varten. Aloittaminen on ilmaista.

Rekisteröidy nyt

Esimerkki: yksi KPI määriteltynä kokonaan

Tässä on täytetty kortti Youth Pathways Program -ohjelman yhteisestä tulos-KPI:stä. Ohjelmassa Horizon Child Fund tekee yhteistyötä 40 paikallisen kumppanin kanssa, jotka järjestävät nuorille työllistymiskursseja. Molemmat ovat kuvitteellisia.

Täytetty esimerkki, sivu 2: koostamissääntö, jossa yhdistetty osuus ja 50 prosentin raja on merkitty, datan laatutarkistukset, rajoitukset ja kuvitteellisen nuorten työllistymistä kuvaavan KPI:n versionhallintaloki
Esimerkin sivu 2 (kuvitteelliset organisaatiot): miten KPI lasketaan yhteen, tarkistetaan ja versioidaan.

Lataa täytetty esimerkki (PDF, 2 sivua). Kolme valintaa kannattaa ottaa käyttöön:

  • Nuoret, joita ei tavoiteta, jäävät nimittäjään. Muuten kumppani, joka tavoittaa vain onnistumistarinansa, raportoi parhaimman tuloksen.
  • Kortissa kerrotaan, mihin sitä ei saa käyttää. Kumppaneiden asettamiseen paremmuusjärjestykseen tai rahoituspäätöksiin, koska paikalliset työmarkkinat eroavat toisistaan enemmän kuin kumppanit.
  • Versionhallintaloki selittää kaikki muutokset. Kun versioon 1.1 lisättiin koulutus, muutos kirjattiin lokiin, eikä kukaan erehtynyt pitämään uutta määritelmää edistymisenä.

Lukujen yhdistäminen: sama data, kolme tarinaa

Kun määritelmät ovat kunnossa, päätät, miten kumppanien luvut yhdistetään. Se kuulostaa laskutoimitukselta, ja juuri tässä useimmat portfolioraportit menevät pieleen: samasta datasta voi saada keskenään vastakkaisia otsikoita.

Esimerkkidata kymmeneltä kuvitteelliselta kumppanilta: työssä tai koulutuksessa olevien määrä kasvoi 528:sta 763:een, kumppanien tulosten keskiarvo nousi 53 prosentista 63 prosenttiin, 50 prosentin rajan saavuttaneiden kumppanien määrä laski kahdeksasta neljään ja yhdistetty osuus laski 53 prosentista 50 prosenttiin
Esimerkkikuva dataa käyttäen: kymmenen kuvitteellista kumppania, yksi KPI, kolme tapaa laskea se yhteen ja kolme erilaista otsikkoa.

Tässä esimerkissä työssä tai koulutuksessa olevien nuorten määrä kasvoi 45 prosenttia, pääosin siksi, että yksi kumppani yli kaksinkertaisti osallistujamääränsä. Kymmenen kumppanin tulosten keskiarvo nousi kymmenen prosenttiyksikköä, koska neljällä pienellä kumppanilla meni erittäin hyvin. 50 prosentin rajan saavuttaneiden kumppanien määrä puolittui. Kaikki kolme väitettä pitävät paikkansa. Totuudenmukainen yhteenveto on, että yhdistetty osuus laski 53 prosentista 50 prosenttiin, ja samalla nimetään ne neljä kumppania, joiden tulos jäi rajan alle.

Kumppanien prosenttiosuuksien keskiarvo johtaa kahdella tavalla harhaan. Se antaa 20 kurssin suorittaneen kumppanille saman painoarvon kuin kumppanille, jolla heitä on 900. Lisäksi, kuten UNDP:n käsikirjassa todetaan, ”keskiarvot peittävät usein eroja” [4]: kahden kumppanin 90 prosentin ja kahden 10 prosentin tulosten keskiarvo on 50 prosenttia, aivan kuten neljän kumppanin 50 prosentin tulosten keskiarvo. Ilmoita jokaisen prosenttiosuuden yhteydessä myös lukumäärä: jos kurssin suorittaneita on 20, yhden nuoren tulos muuttaa prosenttiosuutta viidellä prosenttiyksiköllä. Tasoja ja vaiheita ei pidä koskaan laskea yhteen keskiarvoksi. Laske sen sijaan kunkin tason kumppanit, kuten kumppanien toimintakyvyn arviointioppaassamme.

Vielä yksi sudenkuoppa omilta operatiivisen tutkimuksen vuosiltani: yhdistetty osuus voi laskea, vaikka yksikään kumppani ei suoriutuisi aiempaa huonommin, jos kasvu tapahtuu kumppaneilla, joiden tulokset ovat heikompia. Ennen kuin kysyt, kenen tulos laski, kysy, kuka kasvoi.

Mikä koostamissääntö sopii mihinkin KPI-tyyppiin
KPI:n tyyppi Esimerkki Koostamistapa Vältä tätä
Yksilöiden tai asioiden lukumäärä Ohjelmaan ilmoittautuneet nuoret Summa, kunhan päällekkäislaskenta on suljettu pois Eri tavoin määriteltyjen lukumäärien yhteenlaskemista
Prosenttiosuus tai suhdeluku Työssä olevat kurssin suorittaneet kuuden kuukauden kohdalla Yhdistetty osuus: kaikkien osoittajien summa jaettuna kaikkien nimittäjien summalla Kumppanien prosenttiosuuksien keskiarvoa
Taso, arvio tai vaihe Kumppanin vaihe MEAL-toiminnassa ja datanhallinnassa Kullakin tasolla olevien kumppanien lukumäärä Tasojen keskiarvon laskemista pistemääräksi
Kyllä tai ei Suojeluasioista vastaava yhteyshenkilö nimetty Kyllä-vastanneiden kumppanien osuus ja se, mitkä kumppanit ne ovat Puuttuvan vastauksen laskemista ei-vastaukseksi
Tavoite tai raja-arvo Vähintään 50 prosenttia työssä Raja-arvon saavuttaneiden tai ylittäneiden kumppanien osuus sekä kumppanien nimet Osuuden ilmoittamista kertomatta, mitkä kumppanit sen muodostavat

Valitusta säännöstä riippumatta raportoi ohjelman luku, kumppanien jakautuminen sen ympärille sekä sen taustalla olevat tiedot: jokaisen hallituksen esityksessä näkyvän luvun on johdettava takaisin sen tuottaneisiin kumppaneihin.

Tarkista data ennen lukujen yhdistämistä

Yhteenlasku muuttaa pienet virheet vakuuttavan näköisiksi kokonaissummiksi. IFRC suosittelee menettelyjä datan tarkistamiseen ja siivoamiseen sekä puuttuvan datan käsittelyyn. Se nimeää myös epäluotettavan datan tavallisimmat syyt: kirjoitusvirheet, päällekkäiset merkinnät, epäyhtenäinen data sekä poistettu tai kadonnut data [3]. UNDP:n käsikirjassa nimetään se, mikä on vaakalaudalla: luotettavuus (mittaustulosten yhdenmukaisuus) ja validiteetti (sen mittaaminen, mitä oli tarkoitus mitata) [4]. Viidellä tarkistuksella pääsee pitkälle:

  1. Kattavuus. Kaikki raportointivelvolliset kumppanit ovat toimittaneet raporttinsa. Puuttuva tieto merkitään puuttuvaksi, ei koskaan nollaksi.
  2. Johdonmukaisuus. Osoittaja ei ole nimittäjää suurempi, ja sukupuolen tai iän mukaan eriteltyjen lukujen summa vastaa kokonaislukua.
  3. Uskottavuus. Yli 20 prosenttiyksikön muutos edelliseen kierrokseen verrattuna johtaa kysymykseen, ei huomaamattomaan korjaukseen.
  4. Päällekkäisyydet. Sama henkilö on laskettu kahden kumppanin toimesta tai kahteen kertaan yhden kumppanin raportissa.
  5. Todentaminen. Tarkista vuosittain muutama tietue kumppania kohden ja vertaa niitä osallistujaluetteloon tai puhelulokiin.

Tee tarkistukset kysymällä kumppanilta, älä suorittamalla auditointia. Huomautettu arvo johtuu usein määrittelyongelmasta, ja korjaus kannattaa tehdä määrittelykorttiin kaikkien käytettäväksi.

Sovita KPI:t kumppanin kehitysvaiheeseen

Jos ohjelmasi etenee kypsyysmallin mukaisia vaiheita pitkin, oikeat KPI:t muuttuvat kumppanin edetessä: toisen vaiheen kannalta tärkeä KPI ei välttämättä kerro mitään neljännessä vaiheessa. Esimerkkiohjelmassa on neljä vaihetta:

Esimerkkiohjelman kussakin vaiheessa hyödyllistä tietoa antavat KPI:t
Vaihe Mitä kumppani kehittää KPI:t, joista saa tietoa
1 Aloitus Hyvin toimiva kurssi Ilmoittautuneet sukupuolen ja iän mukaan; kurssin suorittaminen
2 Toteutus Seurantapuhelu jokaiselle kurssin suorittaneelle Tavoitettujen kurssin suorittaneiden osuus; työllistymistä tai koulutukseen siirtymistä kuvaavan KPI:n seuranta alkaa lähtötasona
3 Yhteydet Yhteistyösuhteet työnantajiin Työllistymistä tai koulutukseen siirtymistä kuvaava KPI suhteessa tavoitteeseen; tarjotut työpaikat
4 Johtajuus Kestävä ja laadukas työ 12 kuukauden kohdalla edelleen työssä olevat kurssin suorittaneet; kumppanin omat indikaattorit

Tästä seuraa kaksi sääntöä. Älä vaadi kumppanilta tulosta, johon vaikuttamiseen sillä ei vielä ole valmiuksia: ensimmäisen vaiheen kumppanin työllistymisaste mittaa sen toimintaympäristöä, ei sen työn tuloksia. Lopeta myös KPI:n seuranta, kun lähes kaikki kumppanit täyttävät sen: kurssin suorittaminen on tärkeää ensimmäisessä vaiheessa, mutta neljännessä vaiheessa, kun jokaisen kumppanin tulos ylittää 90 prosenttia, se ei enää erottele kumppaneita eikä tue päätöksentekoa. Molemmat säännöt edellyttävät, että tiedät kunkin kumppanin nykyisen vaiheen. Sen voi pitää ajan tasalla kolmella tavalla: kumppanit arvioivat itseään, niiden suorittama työ vie niitä eteenpäin tai tiimisi tekee päätöksen. Vaiheiden kuvaamiseen löydät apua oppaastamme, joka käsittelee kypsyysmallin rakentamista.

Kuinka monta KPI:tä on liikaa?

Laske ensin kertolasku. Kuusi yhteistä KPI:tä, joista jokainen eritellään neljällä tavalla ja joita 40 kumppania raportoi neljännesvuosittain, tuottaa 3 840 lukua vuodessa. Jos KPI:itä on 12 ja jokainen eritellään kahdeksalla tavalla, lukuja kertyy 15 360. Kumppanin työntekijä syöttää jokaisen luvun, ja joku tiimissäsi tarkistaa sen. IFRC neuvoo seuraamaan vain sitä, mikä on tarpeellista ja riittävää, sillä ”lisätieto on useammin taakka kuin ylellisyys” [3]. UNDP:n käsikirjan mukaan hyvien indikaattoreiden ytimessä on uskottavuus, ei datan määrä [4].

Arvioin jokaista KPI:tä kolmella kysymyksellä: Kuka tarkastelee sitä? Mihin päätökseen se vaikuttaa? Mitä teemme, jos sen tulos laskee? Jos kaikkiin kolmeen ei löydy vastausta, KPI ei kuulu yhteiseen ytimeen. Tavallisesti jäljelle jää viidestä kahdeksaan yhteistä KPI:tä, kaksi tai kolme KPI:tä kumppania kohden sekä muutama vaiheeseen sidottu KPI, jonka seuranta alkaa ja loppuu kehitysvaiheen mukaan.

KPI:iden hallinta Advancer.Worldissa

Advancer.World sai alkunsa UNICEF:n ja Airbusin kaltaisten organisaatioiden ohjelmien digitalisoinnista. Ohjelma koostuu vaiheiden ja aiheiden ruudukosta, ja vaiheiden väliset askelmerkit vievät työtä eteenpäin: aloitteet, kyselyt ja lukujen tueksi tarvittavien dokumenttien lataaminen.

Advancer.World-ohjelman suunnittelu: Youth Pathways Program -ohjelmassa on neljä vaihetta, Starting, Delivering, Connecting ja Leading, ja aiheina ovat kurssien toteutus, yhteydet työnantajiin, seuranta, MEAL ja suojelutoimet
Esimerkkiohjelma Advancer.Worldissa (esimerkkitiedot): neljä vaihetta Starting-vaiheesta Leading-vaiheeseen, ja aiheina toteutus, työelämäyhteydet ja oppiminen.

KPI:t määritellään kerran ohjelmaa kohden ja kirjataan jokaisen kumppanin kohdalla, joten kaikki kumppanit raportoivat samojen KPI:iden perusteella. Kumppanit näkevät oman tilanteensa ja sen, mitä seuraava vaihe heiltä edellyttää, millä tahansa 22 kielestä, eivätkä koskaan muiden kumppanien tietoja. Päivittäiset tilannevedokset säilyttävät historian Excel-raportteja ja tekoälyn laatimia kaavioita sisältäviä Word-raportteja varten. Gold- ja Enterprise-paketeissa REST API ja MCP-palvelin voivat lukea kumppanin tuloskortin, sen sijoituksen kunkin alateeman osalta, KPI-arvot sekä ohjelman kehityssuunnat. Free-paketin viisi KPI:tä riittävät yhteisen perustan kokeilemiseen muutaman kumppanin kanssa.

Usein kysyttyä

Mitä eroa KPI:llä ja indikaattorilla on?

Jokainen KPI on indikaattori, mutta kaikki indikaattorit eivät ole KPI:itä. KPI:t ovat niitä indikaattoreita, joita pidetään tavoitteiden kannalta tärkeimpinä ja joita seurataan jatkuvasti [1]. Usean kumppanin ohjelmassa yhteinen perusta muodostuu KPI:istä; muut indikaattorit palvelevat kumppaneita ja tiimejä niiden tarpeiden mukaan.

Pitäisikö toteuttavien kumppanien valita omat indikaattorinsa?

Joiltakin osin kyllä. Yhteisillä KPI:illä on oltava yhteiset, kumppanien kanssa sovitut määritelmät; kumppanikohtaiset indikaattorit kumppani valitsee itse. IFRC suosittelee, että seuranta- ja arviointisuunnitelman laativat sen käyttäjät, mikä auttaa myös parantamaan tietojen laatua [3].

Miten prosenttiosuudet lasketaan yhteen kumppanien välillä?

Laske yhteen kaikki osoittajat ja kaikki nimittäjät ja jaa sitten osoittajien summa nimittäjien summalla. Älä koskaan laske kumppanien prosenttiosuuksien keskiarvoa. Raportoi tuloksen yhteydessä nimeltä ne kumppanit, joiden tulos on vähintään asettamasi raja-arvon suuruinen.

Aloita KPI:stä, johon luotat vähiten

Alkuun pääseminen ei edellytä uutta viitekehystä. Valitse yhteisistä KPI:istä se, johon luotat vähiten, laadi sille määrittelylomake yhdessä kahden tai kolmen kumppanin kanssa ja pyydä jokaista laskemaan samat viisi tapausta. Erot kertovat, mitä kannattaa kirjata ylös. Siirry sitten seuraavaan KPI:hin.

Yksi määritelmä, jokainen kumppani, jokainen kierros. Määritä ohjelmasi yhteiset KPI:t, kutsu kumppanisi mukaan ja raportoi samoista tiedoista Excelissä tai tekoälyn laatimassa Word-raportissa. Historia säilyy tallessa. Kumppanit eivät koskaan maksa. Aloittaminen on maksutonta.

Rekisteröidy nyt

Lähteet

  1. OECD, ”Glossary of Key Terms in Evaluation and Results Based Management for Sustainable Development (Second edition)”, OECD Publishing, Paris, 2023, https://alnap.org/documents/20488/OECD_glossary_key_terms_eval_rbm_sd-fr-es.pdf (viitattu lokakuussa 2026).
  2. Nigel Simister, INTRAC, ”Summarising portfolio change: results frameworks at organisational level”, M&E Paper 10, January 2016, https://www.intrac.org/resources/paper-10-summarising-portfolio-change-results-frameworks-organisational-level/ (viitattu lokakuussa 2026).
  3. International Federation of Red Cross and Red Crescent Societies, ”Project/programme monitoring and evaluation (M&E) guide”, Geneva, 2011, https://www.ifrc.org/sites/default/files/2021-09/IFRC-ME-Guide-8-2011.pdf (viitattu lokakuussa 2026).
  4. United Nations Development Programme, ”Handbook on Planning, Monitoring and Evaluating for Development Results”, New York, 2009, http://web.undp.org/evaluation/handbook/documents/english/pme-handbook.pdf (viitattu lokakuussa 2026).

© 2026 Mourinho Solutions. Kaikki oikeudet pidätetään.

← Takaisin blogiin