Bejegyzés

Hulme: Impact Assessment Methodologies for Microfinance

Summary

Microfinance programs and institutions are increasingly important in development strategies but knowledge about their impacts is partial and contested. This paper reviews the methodological options for the impact assessment (IA) of microfinance. Following a discussion of the varying objectives of IA it examines the choice of conceptual frameworks and presents three paradigms of impact assessment: the scientic method, the humanities tradition and participatory learning and action (PLA).

Key issues and lessons in the practice of microfinance IAs are then explored and it is argued that the central issue in IA design is how to combine different methodological approaches so that a “fit” is achieved between IA objectives, program context and the constraints of IA costs, human resources and timing. The conclusion argues for a greater focus on internal impact monitoring by microfinance institutions.

Keywords: methods, microfinance, credit, impact assessment, monitoring and evaluation, poverty reduction

Introduction

In recent years impact assessment has become an increasingly important aspect of development activity as agencies, and particularly aid donors, have sought to ensure that funds are well spent. As microfinance programs and institutions have become an important component of strategies to reduce poverty or promote micro and small enterprise development then the spotlight has begun to focus on them. But knowledge about the achievements of such initiatives remains only partial and is contested. At one end of the spectrum are studies arguing that microfnance has very beneficial economic and social impacts (Holcombe, 1995; Hossain, 1988; Khandker, 1998; Otero & Rhyne, 1994; Remenyi, 1991; Schuler, Hashemi & Riley, 1997). At the other are writers who caution against such optimism and point to the negative impacts that microfinance can have (Adams & von Pischke, 1992; Buckley, 1997; Montgomery, 1996; Rogaly, 1996; Wood & Sharrif, 1997). In the “middle” is work that identifies beneficial impacts but argues that microfinance does not assist the poorest, as is so often claimed (Hulme & Mosley, 1996; Mosely & Hulme, 1998).

Given this state of affairs the assessment of microfinance programs remains an important field for researchers, policy-makers and development practitioners. This paper reviews the methodological options for assessing the impacts of such programs drawing on writings on microfinance and the broader literature on evaluation and impact assessment. Subsequently it explores ways in which impact assessment practice might be improved. It views impact assessment (IA) as being “…as much an art as a science…” (a phrase lifted from Little, 1997, p. 2). Enhancing the contribution that impact assessment can make to developmental goals requires both better science and better art. The scientific improvements relate to improving standards of measurement, sampling and analytical technique. Econometricians and statisticians are particularly concerned with this field. Improving the “art” of impact assessment has at least three strands. One concerns making more systematic and informed judgements about the overall design of IAs in relation to their costs, specific objectives and contexts. The second is about what mixes of impact assessment methods are most appropriate for any given study. The third relates to increasing our understanding of the ways in which the results of IA studies influence policymakers and microfinance institution (MFI) managers.

Read the whole paper here:

Kormos Dóra: Hogyan mérhető pontosan és torzítatlanul a társadalmi hatás?

Módszertani ajánlások és azok gyakorlati megvalósítása a magyar nonprofit szektorban.

Napjainkban a hatásmérés a gazdasági élet egyre több területén válik ismertté és elvárt gyakorlattá. A hatásvizsgálat módszertana alapvetően nem újkeletű, hiszen egyes ágazatokban és országokban már az 1900-as évek eleje-közepe óta alkalmazzák – például az egészségügyben a gyógyszerek, kezelések hatásosságának mérésére vagy a kormányzati intézkedések társadalmi hatásának vizsgálatára –, azonban az utóbbi időben olyan területeken is megjelent, ahol eddig egyáltalán nem volt jellemző, például a civil szektorban.

Dolgozatomban a társadalmi hatás mérésének kihívásait vizsgálom az eredmény torzítatlanságának, pontosságának vonatkozásában. A társadalmi hatásmérés fogalma alatt az egyes szervezetek, programok társadalomra gyakorolt rövid-, közép- és hosszú távú hatását értem, amely annak mérését jelenti, hogy milyen jellegű, mértékű, pozitív, illetve negatív változást idéz elő az adott szervezet, program a társadalom összessége vagy adott társadalmi csoport szempontjából. Ezzel a definícióval magyarázható a hatásmérés elterjedése is, hiszen számos szereplő hat vagy kíván hatni a társadalomra vagy egy adott célcsoportra, így releváns felvetés, hogy kimutassák, bizonyítsák ezt a hatást. Az erre vonatkozó elvárás egyre növekszik a civil szervezetek, a közszféra és az üzleti élet esetében egyaránt.

Az utóbbi évtizedekben több módszer is született a társadalmi hatás meghatározására, de ma is folynak a viták a legjobb gyakorlatról, tehát nincs egy általánosan elfogadott, standard keretrendszer erre vonatkozóan. A szereplők helyzetét tovább nehezíti, hogy a hatásmérés rendkívül komplex, számos hatás nem vagy nehezen, kevésbé pontosan, illetve csak nagy erőforrás- és időráfordítással számszerűsíthető. Ennek következtében, ha valaki hatásméréssel szeretne foglalkozni, felmerülhetnek benne az alábbi kérdések:

  • Hogyan, milyen feltételek mellett lehet a legpontosabban, torzítás nélkül, minden fontos tényező számbavételével meghatározni a társadalmi hatást?
  • Ennek milyen kihívásai, korlátai vannak a gyakorlatban? Mely esetekben milyen mértékű megalapozottság, mennyire szofisztikált módszertan alkalmazása az elvárt?
  • Mennyi erőforrást és időt érdemes fordítani a hatásmérésre az összes rendelkezésre álló erőforrás viszonylatában?

A fenti kérdésekre adható válaszok feltérképezése szakmailag és személyesen is érdekel, ugyanis részt vettem korábban társadalmi hatásmérési projektekben, ahol az eredmény torzítottságát illetően kihívások merültek fel.

Kutatásom fókuszában a civil szervezetek hatásának mérése áll, mivel tapasztalataim ezen szervezetek hatásméréséhez kapcsolódnak, illetve a nonprofit szektorban még nem valósult meg kutatás az eredmény pontosságára, torzítatlanságára vonatkozóan. A hazai civil szféra szereplői az esetek többségében jelentős forráshiánnyal küzdenek és kapacitáskorlátokkal szembesülnek, így esetükben kivételesen érdekes kérdés, hogy mi a realitás számukra, ha a hatásukat kívánják kimutatni, különös tekintettel a mérési eredmény megalapozottságára.

Annak érdekében, hogy ezt a kérdést megválaszolhassam, először összegyűjtöm és strukturálom a lehetséges torzító tényezőket nemzetközi és hazai szakirodalmak alapján, majd kutatásom részeként

  • interjút készítek hazai hatásmérési szakértőkkel, hogy képet kapjak a hatásmérés magyarországi fejlettségi szintjéről, a nonprofit szervezetek gyakorlatáról és a szakértők tapasztalatai alapján a leggyakrabban előforduló kihívásokról,
  • feldolgozok egy esettanulmányt: egy civil szervezet esetében megvalósított hatásmérést vizsgálok és elemzem azt a szakirodalmak alapján azonosított torzító tényezők kezelése szempontjából.

A dolgozat végén a kutatás alapján összegzem következtetéseimet, javaslataimat, illetve megfogalmazok a jövőre vonatkozó kitekintést.

Olvasd el a teljes szakdolgozatot itt: