Tulisan ini sebenarnya adalah catatan hasil Diskusi yang diselenggarakan sebagai kolaborasi InDEC dan Human Initiative dengan topik yang berjudul MONEV dalam kondisi Pandemi Covid-19. Dalam diskusi ini, anggota InDEC yang menjadi narasumber adalah mbak Ratnayu Sitaresmi dan mbak Ima Susilowati, keduanya merupakan praktisi monev dan juga evaluator yang sudah malang melintang di jagad per-evaluasi-an Indonesia. Diskusi ini juga dipandu oleh moderator, bung Nanda Sirajulmunir, seorang praktisi monev yang mengelola sebuah social enterprise bernama SOLIDARITAS, yang memberikan yang memberikan layanan-layanan bagi lembaga-lembaga yang ingin mengembangkan sistem MONEV untuk organisasi atau proyek/program mereka. Diskusinya sih dilaksanakan pada tanggal 3 Juli 2020 silam. Cukup lama ya. Mohon maaf baru menuliskan sekarang. Tapi saya berharap masih relevan sampai saat ini dipublikasikan.

Sebenarnya konteks tulisan ini masih relevan mengingat pandemi masih berjalan sampai saat ini, sampai akhir tahun 2020 ini, dan kemungkinan sampai pertengahan Tahun 2021 nanti.

Diskusi

Sudah beberapa bulan ini, banyak dari kita beraktivitas #dirumahsaja, termasuk para praktisi monev dan evaluator. Banyak orang bertanya, apakah kerja-kerja monev tetap bisa dilakukan, di tengah kondisi sekarang ini dengan pembatasan perjalanan, penjagaan jarak, dan pembatasan kegiatan lainnya?

Menurut para narazoomber, monev masih bisa dilakukan (karena merupakan kewajiban). Tidak ada perubahan yang cukup besar , karena sudah ada desain evaluasi yang pada tahap selanjutnya disesuaikan sesuai keadaan. Penyesuaian paling besar adalah pada metode pengumpulan data, misalnya tidak bisa melakukan ‘kunlap’ (kunjungan lapangan), maka alih-alih, dilakukan secara daring atau ‘kunlap’ yang lain (“kunjungan laptop”). Wawancara sebagai salah satu cara pengumpulan data, dilakukan secara virtual. Para narazoomber menambahkan kalau kegiatan wawancara dilakukan secara online dengan berbagai kriteria persyaratan platform yang menurut tim harus ada. Perlu menggali lebih, ketika sebenarnya kita membutuhkan informasi yang hanya bisa  dilakukan via observasi. Sehingga, wawancara perlu lebih detil dan butuh durasi panjang untuk wawancara online ini.

Tantangan.

Mbak Sita menerangkan bahwa sebelumnya belum menemukan metode/teknik untuk mendapatkan data dari FGD secara online. Ada ide untuk menggunakan Google Docs, namun ada pertimbangan koneksi internet tidak stabil akan menyebabkan kesusahan dalam mefasilitasinya. Akhirnya, FGD ditiadakan dan diganti dengan wawancara mendalam, dengan pertanyaan yang lebih detail, untuk mencari efek langsung dari program terhadap pengguna yang kita amati dari informan.

Sedangkan mbak Ima menambahkan, terkait penggunaan platform daring, tentang bagaimana dengan isu keamanan data? Ada beberapa platform tertentu yang tidak direkomendasikan oleh pengelola proyek, dan meminta platform harus memenuhi aspek “data protection”. Ada juga isu familiaritas dengan platform, serta perlu menjaga / mencek sejauh mana infrastruktur (internet) mendukung. Penting pula ada plan A, B, dan C untuk penggunaan platform.

Untuk mendapatkan gambaran konteks wilayah, akan lebih mudah apabila kita sudah familiar dengan wilayah proyek (pernah berkunjung ke sana sebelumnya, atau pernah mempelajarinya sebelumnya). Terkait dengan penggunaan telepon untuk wawancara, pertimbangannya adalah masalah “cost”. Terkait platform juga, dan kaitannya dengan metodologi, mencatat menjadi hal yang menyulitkan, sehingga kita membutuhkan platform yang bisa melakukan recording > membantu dalam melakukan transkripsi maupun key findings.

Tantangan yang menjadi bahan pertimbangan ketika memilih metode dan platform/tool wawancara atau pengambilan data:

• Bagaimana mencari cost yang lebih efisien, terkait biaya internet, pulsa, telepon dan juga waktu yang habis dalam proses, termasuk memilih platform yang sesuai.
• Pertimbangan fitur-fitur platform, terutama untuk recording juga menjadi hal yang penting selain keamanan data yang juga harus dipastikan. Literasi teknologi (penggunaa dan kesiapan perangkat dan aplikasi)termasuk preferensi aplikasi yang boleh dan tidak boleh digunakan → perlu dipertimbangkan juga. Aplikasi yang digunakan, isu keamanan data menjadi penting untuk mempelajari aspek keamanan data ini: Whataspp call, Skype call, Zoom, MS Team, atau berganti-ganti aplikasi secara fleksibel.
• Terkait gangguan aplikasi atau perangkat, perlu backup. Perlu menyiapkan, Plan B: laptop dan HP cadangan
• Wawancara daring terasa kurang dinamis (kurang stimulan untuk probing), dibandingkan dengan wawancara langsung tatap muka yang seringkali menjadi sebuah diskusi dengan adanya interaksi yang memicu pertanyaan lebih dalam. Selama ada video, kita mungkin bisa menangkap suasana psikologis, mungkin juga tidak bisa. Semua ini tergantung substansi/ konteks program. Untuk program yang lebih spesifik, lebih sulit untuk melihat kondisi psikologis informan – apalagi kalau program yang akan dievaluasi harus mewawancarai informan yang perlu dilihat kondisi psikologisnya (misal: korban kekerasan, dll).
• Terkait pengaturan waktu wawancara, yang diset dengan sangat padat, sehingga tidak banyak waktu untuk melakukan building rapport (melakukan pendekatan) yang lebih personal. Wawancara pengambilan data akan lebih melelahkan secara fisik (mata lebih cepat lelah).
• Saat awal persiapan wawancara daring lebih repot, namun ketika sudah mulai, sudah mulai lancar. Perlu bantuan atau kerjasama dengan tim proyek terutama dalam hal penjadwalan. Perhatikan perlunya surat ijin resmi yang diperlukan oleh informan untuk mewakili lembaga, karena dalam beberapa konteks/situasi tertentu, wawancara daring tidak berarti informal, sehingga tetap perlu surat formil
• Yang lebih memilik tantangan dalam pengumpulan data selama pandemi, ketika ada project tertentu yang butuh observasi fisik. Caranya bisa mungkin dengan: siapkan ceklist observasi, serta menyiapkan data untuk penghitungan rumus lebih mudah, dan juga harus ada orang di lapangan (observer lokal) yang bisa membantu pengumpulan data
• Kata kunci / main reference dari pewawancara: membangun rapport. Offline lebih memudahkan dalam membangun rapport. Praktik baik yang dilakukan adalah: Menghidupkan video untuk memberikan spirit kepada informan.
• Ada kasus di mana koneksi sangat terbatas bagi informan tertentu, perhatikan untuk (1) mematikan video ketika informan dengan koneksi kurang baik, (2) mute suara ketika salah satu informan bicara (untuk menunjukkan atensi).
• Saat wawancara online, penting untuk tetap mendengarkan informan. Terkait pelaksanaan wawancara, tergantung karakter orangnya, membutuhkan rekan untuk melakukan pencatatan / notulensi (agar kita bisa fokus mendengarkan informan)
• Terkait kualitas data/informasi, cara yang dilakukan untuk menjamin kualitas informasi adalah sepakati dengan informan untuk diskusi follow-up kalau ada informasi yang kurang setelah wawancara
• Tetap melakukan triangulasi, dengan informan lebih dari 1, untuk cek jawaban yang paling akurat. Informasi dari informan lain digunakan sebagai pertanyaan untuk melakukan recheck informasi. Selenggarakan semacam “validation workshop” / diskusi dengan tim project. Idealnya informan diundang kembali dalam workshop validasi. Tips: Gunakan “Ini findings kami, bagaimana pendapat Anda” dari pada mengkonfrontasi informasi

KESIMPULAN

Apa tips dan trick, yang bisa jadi modal kawan-kawan untuk tetap melakukan kajian/pengumpulan data, dengan pendekatan wawancara  di saat-saat sekarang ini yang masih akan terjadi sampai pertengahan tahun depan?

Hal yang bisa dipertimbangkan:

(1) Pertimbangkan konteks dan karakteristik program, sejauh mana isu atau tema program bisa digali dengan keterbatasan akses untuk membangun kelekatan, atau jangan-jangan kita harus “masuk” lebih dalam untuk dapat menggali informasi yang dibutuhkan. Misalnnya program resoulusi konflik, mungkin butuh kedekatan lebih, untuk dapat mengakses informasi? – ini juga terkait dengan tujuan, apa yang kita mau jawab dengan evaluasi kita tentunya.

(2) Pertimbangkan jenis informasi apa yang kita butuhkan, sejauh mana pengumpulan data secara daring cukup? atau perlu di kombinasikan dengan kunjungan lapangan? atau mungkin melibatkan sumber daya lokal sebagai “perpajangan tangan”

(3) Pertimbangkan kombinasi metode pengumpulan informasi, jika harus virtual, metode pengumpulan informasi apa lagi yang bisa digunakan untuk melengkapi informasi, atau triangulasi. atau mungkin memperluas varian informan, atau bisa juga dengan menambahkan beberapa pertanyaan pendalaman (probing).

(4) Pertimbangkan pendekatan penjaminan kualitas, sedapat mungkin setelah interview, lakukan review kecukupan dan kejelasan. Jika belum, upayakan mencari informasi tambahan.

(5) Pertimbangkan durasi waktu pelaksanaan kajian, sejauh mana waktu yang tersedia cukup untuk melakukan semua rangkain kegiatan. Mana prioritas, mana yang kurang menjadi prioritas.

(6) Pertimbangkan kesiapan infrastruktur dan tingkat literasi teknologi, sejauh mana kita dan juga informan siap menggunakan perangkat teknologi. Mana aplikasi yang ramah, mudah dan juga aman tentunya.  Terkait pertimbangan monitoring secara online. Apakah kita punya dashboard?

(7) Lainnya: Apakah ada contact orang lokal yang bisa kita mintakan bantuan. Terkait metode kuantitatif secara virtual, optimalisasi penggunaan Survey Monkey atau survey online lainnya yang didistribusikan via WA, dan ada pengingat untuk pengisiannya.

Apakah pendekatan ini mau dilanjutkan? atau kembali ke gaya lama? atau kombinasi? kenapa?

• Preferensi sepertinya masih untuk pengambilan data yang mengupayakan adanya ‘kunjungan lapangan’ selama secara cost dan sampling memenuhi. Platform daring bisa digunakan untuk proses pengumpulan data dari berbagai wilayah.
• Tidak semua hal bisa dilakukan secara virtual, perlu memilih secara hati-hati terkait mana yang bisa dilakukan secara virtual dan mana yang tidak. Namun demikian, platform daring juga perlu dipertimbangkan karena lebih efisien secara cost.
• Pertimbangkan kelebihan dan kekurangan, disatu sisi biaya lebih hemat dan efisien. Namun disatu sisi, “kelekatan” kita dengan isu dan informan, termasuk hal-hal yang lebih tepat jika di observasi, kurang kita dapatkan.Suasana informal ketika pertemuan langsung terkadang bisa memunculkan lebih banyak insight.
• Untuk Tahun 2021 nanti, kombinasi metodologi evaluasi yang lebih beragam harus terus dieksplorasi dan dicobadipraktekkan oleh para praktisi MONEVers di Indonesia.

SELAMAT BER-MONEV DENGAN NEW NORMAL di TAHUN 2021

Video Diskusi ada di link Youtube di bawah ini:

Note: InDEC itu komunitas para praktisi MONEV, – lihat dan pantau FB Page-nya ya – sebagai wadah berinteraksi buat mereka yang perduli dengan kerja-kerja evaluasi pembangunan di Indonesia, dan yang ingin mengembangkan kemapuan keprofesiannya bersama-sama. Sedangkan Human Initiative – silahkan di lihat website-nya ya – adalah lembaga yang melakukan banyak program dan pengembangan inovasi untuk upaya-upaya kemanusiaan. .