Di pertengahan tahun ini, kami hampir selesai dengan tahap pertama – observasi partisipan untuk eksplorasi terbuka. Bagian kedua, evaluasi dampak, telah dimulai. Berikut update tentang itu. Maafkan kami ya: ini akan agak teknis.
Tujuan evaluasi ini adalah menguji dan memperhalus teori tentang bagaimana dukungan terhadap konservasi berbasis masyarakat berkontribusi pada perlindungan tutupan hutan. Hal pertama yang perlu disampaikan: penurunan deforestasi bukanlah hasil satu-satunya, dan bukan lebih penting dari dampak lain. Tapi evaluasi dampak perlu waktu dan tenaga, dan kami mengutamakan mengevaluasikan satu bidang dampak sebaik mungkin, daripada menilai serangkaian tujuan secara menyeluruh tapi dangkal.
Kami fokus terhadap deforestasi dan bukan misalnya keadilan atau kesejahteraan, karena sudah ada bukti kuantitatif yang konsisten bahwa dukungan terhadap konservasi berbasis masyarakat membantu menurunkan deforestasi (dan degradasi lingkungan secara lebih luas), tapi belum ada bukti kuat tentang bagaimana dampak itu terjadi. Baru-baru ini, sebuah studi tentang dampak pandemi COVID-19 terhadap hutan lindung di Kalimantan Barat membandingkan tingkat deforestasi di desa-desa yang bermitra dengan Yayasan Planet Indonesia dan Yayasan Alam Sehat Lestari, dengan desa-desa yang tidak bermitra. Analisis citra satelit menemukan bahwa tingkat deforestasi di desa-desa mitra rata rata 52% lebih rendah sebelum pandemi, dan perbedaan itu meningkat menjadi 68% selama pandemi. Bukti dari survei rumah tangga menunjukkan bahwa efek ini berkaitan dengan dukungan untuk layanan kesehatan dan mata pencarian.
Merancang evaluasi dampak kualitatif
Kami ingin melihat lebih dalam jalur dampak tersebut dan jalur lain, untuk memperkuat rancangan program, memandu upaya penskalaan (perluasan dampak) ke berbagai konteks di Indonesia, dan berkontribusi pada bukti untuk konservasi berbasis masyarakat secara global. Dalam merancang studi ini, kami telah mempelajari evaluasi dampak kualitatif. Ternyata ada banyak sekali metode dan pendekatan, dan cukup menantang untuk memahami kekuatan, kelemahan, dan kebutuhan masing-masing. (Terima kasih untuk semua pakar yang sudah meluangkan waktu membantu kami memikirkan pilihan-pilihan itu!)
Pada akhirnya, kami memutuskan mengadopsi rancangan bricolage (Aston & Apgar, 2022) yang menggabungkan kerangka Realist Evaluation (RE) dengan studi kasus Process Tracing (PT). Kombinasi ini didasarkan pada kekuatan yang saling melengkapi dari kedua metode.
RE (Pawson & Tilley, 1997) memandang kausalitas secara generatif: intervensi tidak langsung menyebabkan hasil, tapi mengaktifkan “mekanisme”: cara berpikir dan tindakan aktor-aktor tertentu dalam konteks tertentu. RE cocok untuk menghasilkan teori ‘jangkauan menengah’ (mid-range), yang berlaku dalam kondisi tertentu, bukan secara universal, dan dapat memandu penskalaan yang sesuai dengan konteks. Teori-teori ini diformalkan sebagai konfigurasi Context-Mechanism-Outcome (CMO), yang dikembangkan dan diperhalus secara berulang melalui berbagai ronde bukti. Meskipun RE menyusun teori kami dan membantu mengidentifikasi mekanisme mana yang kemungkinan aktif di mana, RE tidak menyediakan prosedur formal untuk menguji teori.
Karena itu, kami menggunakan studi kasus PT untuk menguji secara formal sebagian dari teori-teori yang paling menjanjikan (Collier, 2011; Beach & Pedersen, 2013; Punton & Welle, 2015). Untuk melakukan ini, setiap mekanisme yang dihipotesiskan dipecah menjadi bagian-bagian penyusunnya yang diperlukan. Setiap “bagian” terdiri dari sebuah aktor dan tindakan. Kemudian, untuk setiap bagian, kami akan mendefinisikan “manifestasi” atau “bukti” yang dapat diamati. Setiap bukti diberi bobot inferensial awal pada dua dimensi. Certainty (kepastian) menunjukkan seberapa besar kemungkinan bukti itu akan ditemukan jika mekanisme benar-benar berjalan seperti yang dihipotesiskan. Jika kami mencari bukti dengan “kepastian tinggi” dan tidak menemukannya, itu berarti teori kami kemungkinan besar salah. Ini kadang disebut “hoop test”. Uniqueness (keunikan) menunjukkan seberapa kecil kemungkinan bukti itu ditemukan jika mekanisme itu tidak berjalan. Jika kami mencari bukti dengan “keunikan tinggi” dan menemukannya, kami bisa menyimpulkan bahwa teori kami kemungkinan besar benar, karena tidak ada penjelasan lain yang masuk akal untuk keberadaan bukti itu. Ini kadang disebut “smoking gun”.
Studi kasus PT kami bersifat “theory-testing”, bukan “outcome-explaining” (Beach & Pedersen, 2013). Kami bertanya apakah suatu mekanisme yang dihipotesiskan memang ada dan berjalan seperti yang diteorikan, bukan seberapa besar efek dari setiap mekanisme terhadap perubahan hutan. Ada suatu strategi yang berbeda, yaitu General Elimination Methodology (GEM), yang mendaftar dan mengeliminasi penjelasan alternatif secara sistematis adalah strategi yang berbeda. GEM kadang tertukar dengan PT, tapi tampaknya tidak cocok untuk studi kami, karena kami memperkirakan banyak mekanisme berbeda akan berdampak pada tutupan hutan di tempat dan waktu yang sama, termasuk mekanisme yang tidak berkaitan dengan intervensi program.
Meski begitu, kami akan tetap mendokumentasikan mekanisme-mekanisme tambahan ini seiring munculnya dalam proses penelitian, karena (1) itu membantu menilai “kepastian” dan “keunikan” bukti untuk setiap bagian dari proses, dan (2) karena itu bisa menjadi masukan untuk studi kuantitatif di masa depan. Satu pertimbangan penting adalah apakah ada mekanisme untuk penurunan deforestasi yang tidak diakibatkan oleh namun tetap berkorelasi dengan intervensi. Misalnya, jika pemimpin yang berorientasi konservasi dan cenderung menjaga hutan, juga cenderung lebih mudah menjalin kemitraan konservasi sekaligus, ini akan menjadi faktor (“confounder”) yang perlu diperhitungkan oleh evaluasi kuantitatif di masa depan.
Bulan-bulan ke depan
Studi ini berjalan melalui lima ronde pengembangan dan pengujian teori secara berulang, diikuti dengan sintesis.
Ronde 1–3 (Mei–Agustus 2026): Pengembangan teori. Kami akan mengembangkan seperangkat teori awal berdasarkan dokumen organisasi dan literatur ilmiah tentang konservasi berbasis masyarakat (Ronde 1 – lihat Gambar di atas untuk daftar yang ada saat ini). Kemudian kami akan menguji dan memperhalus teori-teori itu melalui wawancara semi-terstruktur dengan staf senior YPI (Ronde 2, sedang berlangsung), serta menelaah data organisasi yang sudah ada dari pemantauan dan evaluasi program, penilaian dampak partisipatif, dan studi etnografis yang dilakukan tim peneliti di empat lokasi implementasi (Ronde 3). Setiap ronde menghasilkan pembaruan konfigurasi beserta bukti dan tingkat keyakinan awal.
Ronde 4–5 (Agustus–Oktober 2026): Studi kasus process tracing. Kami akan memilih dua lokasi berdasarkan: (a) jangka waktu sejak kemitraan terjalin; (b) kesesuaian konteks dengan konfigurasi CMO yang paling kuat; dan (c) ketersediaan data etnografis untuk lokasi tersebut. Setiap studi kasus mencakup peninjauan data MEL program, dan wawancara semi-terstruktur dengan staf pelaksana YPI, pemangku kepentingan pemerintah, dan anggota masyarakat. Responden wawancara akan dipilih berdasarkan kemampuan mereka memberikan informasi yang mengonfirmasi atau membantah bagian-bagian tertentu dari mekanisme kausal yang dihipotesiskan.
Sintesis (November–Desember 2026). Kami akan menyusun seperangkat teori akhir, dalam bentuk konfigurasi CMO, beserta bukti dan tingkat keyakinannya. Kami akan mengevaluasi implikasi temuan kami terhadap teori, praktik, dan evaluasi konservasi berbasis masyarakat secara lebih luas.
Terima kasih sudah membaca sampai akhir! Komentar dan masukan selalu kami terima dengan senang hati.