Memahami Evaluasi, MONEV dan ‘teman-teman’-nya

Pada awalnya, saya juga suka bertanya-tanya, apa itu evaluasi? Apa pula itu monev – yang merupakan kependekan dari monitoring dan evaluasi? Apa bedanya monitoring (atau pemantauan) dan evaluasi? Kemudian apa bedanya dengan audit? Apa pula bedanya dengan riset atau penelitian atau studi? Lantas, apa bedanya dengan kajian, assessment, appraisal, dan reviu (review)? Terus bagaimana dengan ‘pengawasan‘ dan ‘pengendalian‘, yang sering disebut sebagai bagian dari evaluasi dan monev? Bingung ya? Untuk itu, ijinkan saya berbagi pemahaman saya ya.

evaluasi

Mulai dengan evaluasi ya. Saya selalu mendefinisikan evaluasi itu dengan memakai definisi yang dibuat oleh Michael Scriven (salah satu Teoris Evaluasi ternama), berdasarkan buku beliau: Evaluation Thesaurus edisi Tahun 1991, yang kemudian diadopsi oleh American Evaluation Association di tahun 2014, yaitu:

“Evaluation is the systematic process to determine merit, worth, value, or significance of something, or the product of that process.”

Scriven, M. (1991)

Menurut saya, definisi tersebut di atas kelihatannya simpel, tapi padat dan jelas. Saya memahaminya, evaluasi adalah upaya atau proses sistematis untuk menentukan apakah ‘sesuatu‘ (obyek yang dinilai) itu layak, berharga, bernilai atau ‘signifikan‘ (apa ya arti signifikan? mungkin maksudnya ‘penting’, ‘berpengaruh’, ‘berdampak besar’, ‘ada nilai lebih’). Atau kalau mau lebih simpelnya mungkin evaluasi adalah sebuah ‘proses menilai sesuatu secara sistematis‘, Yang dimaksud dengan ‘sesuatu’ yang menjadi obyek yang dinilai (M. Scriven menyebutnya dengan evaluand) bisa meliputi banyak hal, termasuk: barang, orang, proses, model, organisasi, kegiatan, program, proyek atau inisiatif, organisasi/lembaga, kelompok, sistem, dan lain-lain.

Cukup luas ya pengertian evaluasi ini. Oleh karena itu, saya bisa yakin untuk bilang bahwa berdasarkan definisi tersebut, ‘setiap orang‘ pasti pernah melakukan evaluasi, secara sadar atau tidak sadar, dengan satu dan lain cara. Misalnya, seorang ibu mengevaluasi barang yang akan dia beli ketika belanja online. Atau ketika seorang bapak mengevaluasi tawaran pekerjaan baru yang diterimanya beberapa hari lalu. Atau seorang anak mengevaluasi pilihan kelas ekstrakurikuler dari sekolahnya.

Michael Quinn Patton, salah satu Pemikir/Teoris evaluasi yang ternama juga, memberikan definisi untuk program evaluation atau evaluasi terhadap program (termasuk proyek pembangunan dan juga kebijakan dan inisiatifnya), seperti di bawah ini:

Program evaluation is the systematic collection of information about the activities, characteristics, and outcomes of programs to make judgments about the program, improve program effectiveness, and/or inform decisions about future programming.

Patton, M.Q. (1997)

Berdasarkan definisi dari Scriven dan Patton tersebut di atas, melakukan evaluasi berarti ‘menilai sesuatu secara sistematis‘, yang artinya: ada proses yang jelas dan terstruktur di situ (tidak asal-asalan) untuk bisa menilai. Biasanya, dalam proses penilaian tersebut diawali dengan mendapatkan gambaran atau mengidentifikasi fitur-fitur atau kriteria utama (apa saja yang membuat sesuatu itu adalah ‘baik’, ‘bernilai’, ‘berharga’, ‘signifikan’, atau ‘layak’), yang kemudian menjadi standard atau acuan utama dalam penilaian. Kemudian ada proses pengambilan data dan informasi yang secara sistematis juga, untuk diolah menjadi bahan dasar dalam analisa serta penilaian tersebut.

Evaluasi juga ‘tidak mengenal waktu’, bisa di awal-awal, bisa dipertengahan atau di akhir periode waktu tertentu. Berdasarkan itu, ada jenis-jenis evaluasi berdasarkan kapan evaluasi itu dilakukan, yaitu:

• Evaluasi Ex-Ante: Evaluasi ini biasanya di lakukan di awal-awal, ketika sesuatu masih dalam rencana, masih dalam bentuk desain awal, atau bahkan masih dalam konsep (bahkan masih ide saja). Fokus dalam evaluasi ex-ante adalah melihat seberapa baik dan bagus rancangan, rencana atau konsep awal yang ada, dan bagaimana potensi atau kemungkinan ke depan dalam memberikan hasil yang diharapkan.
• Evaluasi Mid-term: Evaluasi ini biasanya dilakukan di tengah-tengah, paruh waktu tertentu, ketika sesuatu sudah dan sedang terjadi/berjalan. Fokus dalam evaluasi mid-term biasanya melihat seberapa jauh nilai atau ‘kebaikan’ atau ‘kesuksesan’ yang sudah terjadi atau sudah didapat selama ini dan potensi/kemungkinan ‘nilai tambah’ di sisa paruh waktu berikutnya.
• Evaluasi Ex-Post: Evaluasi ini biasanya dilakukan di akhir waktu tertentu ketika sesuatu sudah selesai atau sudah lewat terjadi. Fokus dalam evaluasi ex-post ini biasanya melihat seberapa besar nilai yang didapat atau terjadi, dan sifatnya merangkum, dengan melihat periode ke belakang.

Definisi evaluasi ex-ante, mid-term dan ex-post, yang saya uraikan di atas masih bersifat jenerik, namun penggunaan kategori evaluasi ex-ante, mid-term, dan ex-post biasanya dipakai ketika obyek evaluasinya adalah program, proyek atau kebijakan. Jadi, kalau dalam konteks evaluasi program, proyek atau kebijakan, maka: (i) evaluasi ex-ante adalah: evaluasi terhadap rancangan, desain atau draft program, proyek atau kebijakan dan melihat seberapa jauh potensi atau kemungkinan program proyek atau kebijakan tersebut ‘berhasil’ atau memberikan ‘kebaikan’; (ii) evaluasi mid-term adalah: evaluasi terhadap program, proyek, atau kebijakan yang sedang berjalan, dan melihat seberapa jauh program, proyek atau kebijakan itu sudah sesuai dengan rencana dan harapan, serta bagaimana kemungkinan ke depannya, di sisa paruh waktu berikutnya; dan (iii) evaluasi ex-post adalah evaluasi terhadap program, proyek atau kebijakan yang sudah selesai, dan melihat, dalam kurun waktu ke belakang selama program, proyek atau kebijakan itu berjalan, seberapa jauh atau seberapa besar keberhasilan program dilihat dari berbagai aspek (cth.: relevansi, efektifitas, dampak atau manfaat, efisiensi, keberlajutan, dan kesetaraan/keadilan).

Evaluasi juga didefinisikan dan dikategorikan berdasarkan tujuan dari evaluasi itu sendiri. Pada umumnya evaluasi mempunyai tujuan untuk memberikan basis pertimbangan yang kuat bagi pengguna hasil evaluasi dalam pengambilan keputusan. Jenis pengambilan keputusan tersebut meliputi: pengambilan keputusan untuk menentukan pilihan, pengambilan keputusan untuk tetap lanjut atau tidak dengan pilihan yang sudah dipilih, atau memperbaiki apa yang sudah dipilih dan dijalankan. Selain itu, evaluasi juga menjadi basis untuk memberikan sebuah pertanggung jawaban (akuntabilitas) terhadap apa yang sudah menjadi pilihan, apalagi ketika pilihan tersebut menyangkut dana publik atau public resource. Satu lagi tujuan penggunaan evaluasi adalah untuk mendapatkan pembelajaran (learning) yang artinya mendapatkan pengetahuan baru terkait dengan obyek yang dievaluasi. Pembelajaran ini termasuk: (i) pembelajaran untuk diri sendiri, guna memperbaiki pilihan yang dipilih atau yang telah berjalan (atau sering disebut banyak orang sebagai ‘tindakan koreksi‘), sehingga lebih baik ke depan, dan (ii) pembelajaran untuk orang/pihak lain, sehingga mereka bisa mengambil hal yang baik yang bisa ditiru atau direplikasi, mengantisipasi lebih baik dan tidak mengulangin kesalahan yang sama, ketika akan memulai hal yang sama.

Sebenarnya tujuan atau penggunaan evaluasi bisa lebih lebih kompleks lagi, seperti yang terlihat pada Gambar 1 di bawah ini. Pada akhirnya, evaluasi ingin memberikan perubahan sehingga ada perbaikan sosial yang terjadi dalam masyarakat luas.

Berdasarkan tujuan-tujuan evaluasi yang tersebut di atas, evaluasi bisa dikategorikan dalam beberapa jenis sebagai berikut (Sumber: Scriven, M., 2012):

• Summative Evaluation. “The purpose of summative evaluation is to provide a basis for dispositional decisions about the evaluand.” Ini evaluasi yang memberikan basis untuk pengambilan keputusan akhir terkait obyek yang dievaluasi (biasanya ex-post, karena sifatnya merangkum). Evaluasi sumatif ini dalam konteks evaluasi program/proyek pembangunan memberikan penilaian akhir terhadap program/proyek pembangunan (berhasil atau tidak) dan biasanya sebagai pertanggungjawaban atau akuntabilitas.

• Formative Evaluation. “The purpose of formative evaluation is to improve the merit, worth, or significance of the evaluand.” Ini evaluasi (biasanya mid-term) yang berfokus pada upaya memperbaiki, sehingga evaluasi ini menjadi dasar untuk tindakan korektif. Dalam konteks evaluasi program, evaluasi formatif ini melihat sejauh mana nilai manfaat atau keberhasilan dari sebuah program/proyek pembangunan untuk menjadi dasar bagi upaya perbaikan strategi, implementasi atau operasionalisasi dari program/proyek pembangunan.

• Ascriptive Evaluation. “The purpose of ascriptive evaluation is to add evaluative information to our body of knowledge about the evaluand.” Evaluasi ini (bisa dilakukan secara ex-ante, mid-term, maupun ex-post) yang sebenarnya bertujuan untuk pembelajaran, dan mengeksplorasi pemahaman lebih mendalam tentang obyek yang dievaluasi. Dalam konteks evaluasi program, evaluasi jenis ini tidak fokus pada melihat pencapaian atau mencari kesuksesan, melainkan lebih pada apa yang bisa menjadi pembelajaran baru terkait dengan obyek yang dievaluasi, yang berimplikasi pada proses penilaian/evaluasinya nanti.

• Preformative Evaluation. “The purpose of preformative evaluation is to improve the merit, worth, or significance of a possible evaluand.” Evaluasi ini lebih tepat dilaksanaan sebagai evaluasi ex-ante karena tujuan dari evaluasi ini melihat kemungkinan, atau potensi, probabilitas dari sesuatu yang belum terjadi/belum ada (masih dalam konsep, rencana, proposal, bahkan ide) dan menilai sejauh mana nantinya obyek evaluasi tersebut bernilai, layak, atau berharga.

monev

Selanjutnya, mari kita membahas apa yang disebut dengan MONEV, yang merupakan gabungan dari Monitoring dan Evaluasi, atau kalau juga disingkat menjadi M&E (bukan Mechanical and Electrical ya. Suka tertukar biasanya oleh mereka yang awam dengan MONEV).

Untuk lebih memahami MONEV, penting sekali terlebih dahulu membedakan Monitoring dengan Evaluasi. Kalau evaluasi sudah diterangkan panjang lebar di atas, maka monitoring punya definisi yang sedikit berbeda. Secara jenerik, monitoring itu menurut saya adalah adalah ‘upaya mengamati, memeriksa dan menangkap gambaran situasi/keadaan, secara sistematis, pada periode waktu tertentu, secara rutin, berkala dan sering dari waktu ke waktu. Kalau dalam konteks monev program/proyek pembangunan, ada definisi dari OECD (The Organisation for Economic Co-operation and Development) yaitu:

Monitoring is “a continuing function that uses systematic collection of data on specified indicators to provide management and the main stakeholders of an ongoing [development] intervention with indications of the extent of progress and achievement of objectives and progress in the use of allocated funds”

(OECD, 2009).

Dibandingkan dengan evaluasi yang berfokus pada ‘menilai’, kegiatan monitoring berfokus pada tracking perubahan yang ada. Monitoring lebih bersifat menjabarkan secara deskriptif untuk menjawab pertanyaan apa yang terjadi (what), siapa yang terlibat (who), kapan terjadi (when), di mana terjadi (where), kenapa terjadi (why), serta bagaimana mekanisme/prosesnya (how). Sedangkan evaluasi lebih jauh mencoba menjawab pertanyaan: ‘Seberapa baik/layak/bernilainya [sesuatu]? Seberapa signifikan/pentingnya [sesuatu]? Lantas kenapa? So what? Namun, selain perbedaan tersebut, monitoring dan evaluasi, keduanya mencoba menjawab pertanyaan yang sama, yaitu: Selajutnya bagaimana? Now what?.

Monitoring dan evaluasi, ketika digabung menjadi monev, lebih sesuai untuk konteks pengelolaan program, proyek atau kebijakan pembangunan, karena keduanya selalu dilakukan seiringan. Biasanya apa yang dihasilkan oleh monitoring, yaitu data dan informasi, digunakan sebagi dasar dalam penilaian atau evaluasi. Kalau saya diminta mendefinisikan monev, maka definisi yang saya ajukan adalah seperti di bawah ini:

MONEV adalah:
Proses penggalian data, analisa dan penyajian informasi secara sistematis/metodologis … tentang sesuatu (kebijakan, program, proyek, inisiatif, model/pendekatan, organisasi/lembaga, sistem, dan lain-lain) … bagi pengambil keputusan (pembuat kebijakan, perencana, pengelola) dan bagi penerima manfaat, … untuk tujuan tertentu (akuntabilitas, pembelajaran, perbaikan desain program dan strategi implementasi, serta advokasi untuk replikasi/adopsi lebih luas)

B.Dwiagus, (2020)

Untuk lebih mudah memahami monev, saya sering menganalogikan monev dengan sebuah acara ‘MasterChef‘ (acara kompetisi memasak), dimana yang dilakukan oleh para juri adalah sebuah kombinasi monitoring dan evaluasi. Para juri melakukan ‘monitoring’ ketika mereka mengamati mulai ketika peserta mempersiapkan diri, sampai ketika peserta selesai dan menyajikan hasil masakannya. Pada saat monitoring tersebut, para juri ‘mengumpulkan data’ tentang alat masak apa saja yang dipilih, bahan masakan apa yang dipakai, teknik memasak apa yang diterapkan, bagaimana proses dan berapa lama waktu yang dihabiskan untuk setiap tahapan, sampai pada cara penyajiannya. Pada saat yang sama para juri melakukan evaluasi atau penilaian terhadap proses-proses tersebut, seraya mennentukan: (1) apakah alat masak yang dipakai sudah tepat atau layak, (2) apakah teknik memasaknya juga sudah efektif, efisien, atau cepat, (3) apakah penyajiannya juga bagus, menarik atau inovatif, dan terakhir, (4) apakah rasa masakannya sudah ‘lezat’, ‘menggugah’ (gambaran kualitas masakan).

Begitu ya untuk evaluasi dan monev, semoga lebih bisa memahaminya sekarang.

evaluasi vs. riset

Selanjutnya, bagaimana dengan evaluasi dan riset? Seperti apa perbedaannya? Ada beberapa orang memiliki perspektif yang berbeda terhadap hubungan evaluasi dan riset, padahal hubungannya baik-baik saja (maaf, bercanda). Tapi, seriously, ada beberapa perbedaan cara memandang keduanya, seperti yang terlihat di Gambar 3 di bawah ini.

• Gambar 3A. Evaluasi dan Riset dilihat sebagai sesuatu yang sama saja. Sama sama mencari jawaban terhadap sebuah pertanyaan. Ada yang menganggap evaluasi adalah riset yang diterapkan langsung (applied research).
• Gambar 3B. Evaluasi dan Riset dilihat sebagai sesuatu yang berbeda satu sama lain. Evaluasi ya evaluasi, dan tidak bisa dibilang sebagai sebuah riset. Atau ada yang melihat, evaluasi itu adalah bagian ujungnya dari riset.
• Gambar 3C. Evaluasi dan Riset dilihat mempunyai kesamaan dalam beberapa hal, terutama dalam hal desain dan metodenya, namun juga memiliki beberapa perbedaan yang cukup signifikan.
• Gambar 3D. Evaluasi sebagai bagian dari Riset, karena melihat bahwa sebuah riset tidak selalu bisa dianggap sebagai evaluasi, namun setiap evaluasi harus bisa dianggap sebagai sebuah riset.
• Gambar 3E. Riset menjadi bagian dari Evaluasi, dengan merasa bahwa riset adalah hanya salah satu ‘tasks’ atau bagian kecil dari kegiatan dalam keseluruhan kegiatan evaluasi yang bis meliputi banyak hal lainnya yang harus dilakukan.

Tiap orang mungkin berbeda-beda ya melihatnya, dan mungkin juga kita bisa menggunakan beberapa perbedaan pandangan tersebut secara berbeda-beda ketika kita mencoba mengkomunikasikannya ke orang lain, dalam konteks yang berbeda-beda.

Pada saat-saat tertentu saya mungkin lebih suka menjelaskan perbedaan riset dan evaluasi dengan gambar 3C di atas, karena saya merasa walaupun mirip dan punya prinsip dasar yang sama (riset dan evaluasi sama sama mengejar kualitas dan kredibilitas data melalui desain dan metodologi yang harus bisa dipertanggungjawabkan), tapi juga ada beberapa perbedaan lainnya. Saya suka menggunakan Gambar 4, untuk mengilustrasikan perbedaan riset dan evaluasi.

Kadang pula kita perlu menerangkan kepada orang lain, dengan membandingkan riset dan evaluasi secara dikotomi, dan menjelaskan apa saja perbedaan-perbedaannya. Gambar 5, adalah tabel yang membandingkan perbedaan antara riset dan evaluasi, secara lebih komprehensif, dilihat dalam beberapa aspek.

‘teman temannya evaluasi/monev’

Kadang-kadang kita juga menemui beberapa istilah kegiatan yang mirip atau berkaitan dengan evaluasi. Mari kita lihat ya.

Audit. Secara definisi, saya melihat audit itu sebagai “sebuah proses memeriksa (dan memverifikasi) catatan, laporan, dokumentasi yang menunjukkan kesesuaian, ketaatan dan pertanggungjawaban sebuah organisasi atau lembaga (atau bisa juga individu atau kelompok) dengan prosedur, tata cara atau aturan yang sudah ditetapkan atau disepakati bersama sebelumnya.” Biasanya ini dilakukan dalam konteks akuntansi dan pengelolaan keuangan, tapi juga ada audit yang lingkupnya lebih luas, dan tidak melulu soal audit akuntansi atau pengelolaan keuangan. Ada audit yang berfokus pada ‘kualitas’ – quality audit – khususnya kualitas berdasarkan standard tertentu, seperti ISO standard. Ada juga audit yang melihat kinerja – performance audit – dalam sebuah organisasi atau program/proyek. Ada lagi audit yang spesifik, seperti audit energi, yang memeriksa besaran aliran masuk dan keluar energi untuk konservasi energi dari sebuah proses, gedung atau sistem, audit maternal perinatal yang melihat dan memeriksa proses penanganan pasien ibu dan anak untuk menelusuri sebab kematiaan atau kesakitan ibu dan anak, dan audit tata ruang yang memeriksa kesesuaian dan pelanggaran tata ruang terkait pemanfaatan ruang.

Buat saya, kata kunci dalam audit itu adalah melihat kesesuaian, untuk kemudian memberi penilaian. Untuk itu saya bisa bilang bahwa, audit itu adalah salah satu bentuk evaluasi juga, karena ada unsur penilaian di dalamnya, walaupun penilaian tersebut hanya berdasarkan kesesuaian (dan ketidaksesuaian) sesuatu terhadap ‘standard’, aturan, prosedur yang sudah ditetapkan, atau tata cara yang disepakati sebelumnya. Sifatnya agak rigid, tapi tetap bisa dianggap evaluasi.

Studi, Reviu (Review), Kajian. Kesemuanya ini mirip dengan riset barangkali ya. Mungkin kita harus merujuk Gambar 3D yang dibahas di atas sebelumnya. Studi, Reviu (review), atau Kajian bisa saja menjadi evaluasi, ketika di dalamnya ada upaya ‘penilaian’ dan juga ada ‘evaluation questions‘ atau pertanyaan panduan yang bersifat evaluatif. Banyak orang atau organisasi yang menganggap ‘review‘ adalah versi ‘lite‘ dari sebuah evaluasi, atau versi ‘KW super‘ dari sebuah evaluasi, di mana kalau ‘review’ itu lebih ‘ringan’, tidak terlalu rigorous, dilakukan dalam periode yang relatif singkat, dan metodologinya sangat sederahana atau mendasar (kajian dokumen, wawancara, atau kunjungan lapangan). Ya sah-sah ajah sih. Saya gak mempermasalahkan pelabelan tersebut. yang penting sebenarnya adalah kita harus bisa mengidenifikasi apakah sebuah kajian, review atau studi itu bisa dianggap sebagai evaluasi atau bukan. Dan untuk itu perlu melihat tujuan dan kerangka pertanyaan/ hipotesisnya.

Assessment/Appraisal. Ini agak tricky sepertinya. Saya memahami assessment atau appraisal sebagai upaya untuk ‘mengukur’ atau menentukan besaran atau signifikansi dari suatu barang atau situasi/kondisi. Kalau meng-assess atau meng-appraise barang, berarti menentukan seberapa besar nilainya, sedangkan kalau meng-assess atau meng-appraise suatu kondisi/keadaan, berarti mencoba menentukan seperti apa kondisi/keadaan yang ada dan menilai seberapa ‘signifikan’nya kondisi/keadaan tersebut (melihat perubahan yang terjadi sekarang dan sebelumnya, atau membandingkan dengan keadaan ‘ideal’). Menurut saya cukup evaluatif, dengan adanya unsur penilaian di sana. Walaupun kadang ada beberapa assessment/appraisal yang sekedar mendeskripsikan saja, tanpa melakukan upaya penilaian di situ.

Pengawasan dan Pengendalian. Kalau ini apa lagi ya? Saya melihat pengawasan dan pengendalian sebagai bagian dari penggunaan hasil evaluasi atau monev. Melakukan pengawasan dan pengendalian tidak serta merta merupakan kegiatan evaluasi atau monev, karena bisa saja pengawasan dan pengendalian itu tidak dilakukan dengan berdasarkan hasil pengumpulan data dalam monev dan evaluasi. Pengawasan, yang memiliki kata dasar ‘awas’, menurut saya adalah proses mendapatkan informasi dan data yang digunakan untuk memberikan peringatan atau early warning kepada stakeholders/shareholders. Begitu pula pengendalian, yang memiliki kata dasar ‘kendali’, menurut saya adalah proses yang sama, untuk melakukan aksi/tindakan koreksi sehingga sesuatu program, proyek, kegiatan. atau intervensi bisa sesuai dengan rencana atau harapan.

Pembelajaran dan Knowledge Management. Ketika membangun sistem atau mekanisme untuk melakukan monev, biasanya dilekatkan pula sistem atau mekanisme untuk pembelajaran dan knowledge management. Keduanya merupakan tahapan berikutnya setelah monev dan evaluasi dijalankan, yaitu mengolah data, informas dan hasil temuan untuk kemudian menjadi ‘pengetahuan’ yang membantu stakeholder atau pengguna monev atau pengguna evaluasi bisa belajar dari kesuksesan atau kegagalan dari sebuah program/proyek/intervensi. Pembelajaran lebih cenderung untuk internal sepertinya ya, walaupun bisa juga pembelajaran kemudian dibagikan ke banyak pihak di luar organisasi. Knowledge Management sebenarnya sebuah sistem pengelolaan data dan informasi dan knowledge yang lebih komprehensif lagi, dan lebih jauh memfasilitasi adanya ‘produksi pengetahuan’, dokumentasi, penyimpanan, dan diseminasinya serta penggunaannya lebih jauh. Jelas ya keterkaitannya dengan monev dan evaluasi.

Mungkin sampai di sini dulu. Nanti kapan-kapan bisa ditambah-tambahi atau diperbaiki. Apabila Anda, para pembaca, ada pendapat atau tanggapan, mohon tinggalkan komentar atau tanggapan Anda di kolom komentar/tanggapan di bawah ini ya.

RUJUKAN

• Scriven, M. (1991). Evaluation Thesaurus, (4^th Edition). SAGE
• Scriven, M. (2012). Formative, Preformative, and Proformative Evaluation. Journal of MultiDisciplinary Evaluation. 8 (18). 58-61
• Patton, M. Q. (2008). Utilization-focused evaluation (4^th Edition). SAGE Publications.
• Azzam, T. & Donaldson, S.I (2016). Theory-Driven Evaluation Science: Finding the Sweet Spot Between Rigor and Relevance in Evaluation Practice. CEC Professional Development Workshop Material (PowerPoint). Claremont Evaluation Center.
• Wanzer, D.L. (2019). What is evaluation? Perspectives of how evaluation differs (or not) from research. University of Wisconsin-Stout
• Rogers P.. (2014). Week 19: Ways of framing the difference between research and evaluation. Blog Article in BetterEvaluation website.
• LaVelle, J. (2010). John LaVelle on Describing Evaluation. AEA365Blog Article.
• OECD (2010). Glossary of Key Terms in Evaluation and Results Based Management.