Not everything that matters can be measured and not everything that is measured matters
This famous saying always comes to mind when I think about the work of The Outward Bound Trust, our social impact and our ability to measure and demonstrate the value of our work to the outside world.
For some, a belief that powerful adventurous experiences go on to produce real learning of use in everyday life is simply a matter of faith. It follows as night follows day and it does not need the appliance of science to make the case.
To them, Outward Bound Trust is about alchemy, magic and art. For others, a rigorous evidence base of quantitative and qualitative data along with longitudinal research is necessary before such experiences can be recognised as effective. Until you can hold it in your hand and measure it very precisely, it must be suspect.
At The Outward Bound Trust we firmly believe that the truth lies somewhere in the middle – where science meets art. This is our fourth Social Impact Report and we are proud of both the way we have developed our evaluation techniques over the last decade and the story that they tell about the positive impact of an Outward Bound experience on the lives of young people.
There is a huge amount in this report that “proves” the value of the work we do. We also know that nothing contained in this report ever quite matches the look on the face of a youngster on top of a mountain who has just realised that there is far more in her than she had ever previously imagined. It is when one puts the two together that Outward Bound really makes sense.
Executive Summary
Introduction
The Outward Bound Trust provides courses for young people to develop their social and emotional skills at every stage of their education from the end of primary school through to university, and during the early stages of employment. The skills that they develop are those that will play a pivotal role in how successfully they navigate the challenges of adolescence and early adulthood: helping them to flourish and thrive in many different ways throughout their lives.
This is The Trust’s fourth Social Impact Report in which we demonstrate the various ways that Outward Bound courses help to reverse the decline in young people’s well-being; improve their engagement and performance in learning; and bridge the widening gap between the academic skills pupils develop at school and the broader set of skills that are needed for employment.
Az Impact Academy (IA) egy féléves program, amely interaktív képzésből, közösségi eseményekből és társadalmi hatásmérésre inspiráló multimédia platform létrehozásából áll.
A képzés során a résztvevők nem csak a hatásmérés elméletével, és stratégiai részével ismerkednek meg, hanem mentorálás és testreszabott eszközök segítségével támogatást kapnak a saját mérési rendszerük kialakítására és gyakorlati bevezetésére.
Az alapítvány a generációs szegénységben élő gyerekek, családok életesélyeinek megváltoztatásáért és integrációjáért dolgozik, melyet komplex problémaelemzéssel és -kezeléssel valósít meg.
Miért jelentkeztetek az Impact Academy képzésére?
„Szeretnénk a szervezet működését eredményesebbé és összehangoltabbá tenni, hogy a folyamat eredményeképpen átláthatóbbá tudjuk tenni a szervezet tevékenységeit saját magunk és a Igazgyöngy támogatóink előtt is.”
Hogyan segített a kurzus?
„Mindennapi működésünket már az is fókuszáltabbá tette, hogy látjuk kik a fő célcsoportok és milyen hatást, változást szeretnénk elérni náluk, nemcsak rövid, hanem közép és hosszú távon is.”
Az Igazgyöngy Alapítvány & az Impact Academy képzés
A hét modulból álló Impact Academy programnak alapvetően három fő része volt az első évfolyam számára: a szervezetek elsőként elkészítették a hatásláncukat, majd a mérési tervüket, végül pedig egy infografikát
terveztek, aminek segítségével vizuálisan is bemutathatták szervezetük hatását.
Hatáslánc
A képzés első modulja után az Igazgyöngy Alapítvány is nekilátott, hogy a Theory of Change módszer alapján elkezdje összerakni saját hatásláncát: összegyűjtötték hosszú távú, középtávú (outcome) és rövidtávú (output) céljaikat, ezekhez tevékenységeket és erőforrásokat rendeltek. A végleges hatáslánc a két hónapos, mentori segítséggel megtámogatott folyamat végére készült el. Az alkotó folyamat során a csapat végig időhiánnyal küzdött, hiszen a mindennapos operáció, a szervezet élete nem állt meg. Erre azonban a program során nem született megoldás.
Kihívás
A probléma és a hosszú távú hatás meghatározása könnyen ment, de az outcome-ok definiálása sok munkát vett
igénybe.
„Az egyik kihívás az volt, hogy eddig leginkább output-szinten (pl: ösztöndíjas gyerekek száma) ment a mérés és elég kevés figyelem volt az outcomeokon (pl: gyerekek fejlődése).”
Válasz
Az outcome-ok meghatározásához a csapat megnevezte a fő célcsoportot (a generációs mélyszegénységben élő
gyerekek) és azt, hogy milyen változásokat szeretnének látni az Ő életükben, Velük kapcsolatban.
Eredmény, fő tanulságok
Végül hat köztes hatást (outcome-ot) soroltak fel:
munkavállalói kompetenciák fejlődése;
szociális kompetenciák fejlődése;
intézményrendszerrel való kapcsolat fejlődése;
gyerekek esélegyenlőségének javítása;
társadalom befogadóbbá, toleránsabbá és együttműködőbbé válik a mélyszegénységben élőkkel szemben;
az Igazgyöngy modell terjedése.
Mérési terv
A mérési tervről szóló elméleti képzéssel párhuzamosan a szervezetek egy közel négy hónapos fejlesztési folyamatba kezdtek, melynek eredményeképpen megszülettek a hatásmérési tervek.
„Nehéz volt meghatározni, hogy pontosan miket is szeretnénk mérni, tehát melyek az ún. kulcsterületek, ahol változást szeretnénk látni.”
A mérési terv kialakításának fő lépései:
A fő célcsoport(ok) és ezek legfontosabb fejlődési területeinek (kulcsterületek) megnevezése;
A kulcsterületeken belül a lehetséges legnegatívabb és a legpozitívabb hatások felsorolása;
A kulcsterületek konkrét, mérhető indikátorokra (KPI-okra) bontása;
A KPI-ok hozzákapcsolása a középtávú hatásokhoz (outcome);
Személyre-szabott, adatgyűjtésre használható eszközök megalkotása;
Mérés konkrétumainak rögzítése a mérési tervben, a terv véglegesítése.
Kihívások
Fő fejlődési területek megnevezése, a prioritások felállítása.
Az alapítvány többi dolgozójával való folyamatos kommunikáció és párbeszéd.
„A mérési terv kialakítása során fontos volt számunkra, hogy a szervezet többi munkatársa is lássa, hogy miért van szükség a mérési tervre, miért fontos annak elkészítése.”
Válaszok
5 kulcsterületet határoztak meg: Munkavállalási kompetenciák; Szociális kompetenciák/Közösség fejlődése;
Gyerekek fejlesztése, oktatása; Intézményrendszer; Befogadó társadalom.
Olyan indikátorokat határoztak meg elsőként, amelyeket a már korábban gyűjtött adatokból lehet mérni és
hozzákapcsolhatóak az öt kulcsterülethez.
Eredmény, fő tanulságok
A mérési tervben szereplő indikátorok 90%-át sikerült a már meglévő adatokkal lefedni,már létező adatbázisból kivonni. Így csak 1-2 kisebb kérdőívet kellett készíteni a hiányzó adatok pótlására, melyek elkészítésébe a célcsoportot is bevonták.
Az adatgyűjtés nagyobbrészt havi, illetve néhány esetben féléves gyakorisággal történik.
A részletes indikátorok a mérési tervben találhatóak.
Infografika
Az Impact Academy utolsó két moduljának középpontjában a kommunikáció állt: a társadalmi hatást ugyanis nem elég mérni, de meg kell találni a módot arra is, hogy azt a szervezet kommunikálni tudja mások felé. Ezért a programban résztvevők kommunikációs szakértő segítségével elkészítették saját infografikájukat is, melynek alapját a hatáslánc, a mérési terv és a már meglévő mérési eredmények adták.
Kihívás
Az Igazgyöngy nagyon sokrétű szervezeti működését egyetlen infografikába tömöríteni.
Válasz
Az infografika a szervezet hatásláncát jeleníti meg jól átlátható és világos módon, így a gyermekrajzok színes
világa (ami az Igazgyöngy megjelenésein általában nagyon erős) nem jelenik meg.
Eredmények, fő tanulságok
Az infografikán megjelenik a mélyszegénység ciklikussága és az Igazgyöngy Alapítvány oldaláról érkező megoldásként a közösség, a család, a gyermekek és az intézményrendszer területén zajló tevékenységek és hatások is.
„Az infografikát látva nagyon elégedettek vagyunk. Most hogy sikerült megragadni egy áttekinthető összefoglalót a szervezet működéséről, a következő alkalommal a látványban is sokkal inkább törekednénk a ránk jellemző színvilágra.”
Cselekvési terv
Az esettanulmány részletesebb változata itt elérhető [link].
A program zárómodulján az Igazgyöngy Alapítvány is elkészítette a következő időszakra vonatkozó cselekvési tervét, benne:
A mérési terv véglegesítése technikai oldalról is – a képzés pro bono partnerének segítségével.
A mérés azonnali elindítása és beépítése a szervezet mindennapi életébe és döntéshozatalába.
A szervezet munkatársainak informálása és bevonása az adatok gyűjtésébe és használatába.
A mérési terv eredményeinek és hatékonyságának folyamatos nyomonkövetése a management csapattal.
„A hatásmérési rendszer működtetése sokat segít abban, hogy reális képünk legyen önmagunkról, valamint befelé és kifelé is átláthatóak legyünk – úgyhogy mi nagyon várjuk az első mérési eredményeket.”
Ha Neked is fontos a hatásod megfelelő mérése és szeretnéd megtanulni, hogyan beszélj róla, akkor írj Nekünk:
https://tarsadalmihatasmeres.hu/wp-content/uploads/2020/12/IAT_esettanulmany_1.png13132501Lévai Gábor/wp-content/uploads/2021/03/tarsadalmihatasmeres_logo.svgLévai Gábor2020-12-17 17:37:152020-12-18 12:24:23Az Igazgyöngy Alapítvány az Impact Academyben
