Filosofi, Konsep & Metoda asesmen

Tri Nur Kristina

Presentasi

Apakah asesmen? Asesmen yang bersifat Sumatif dan Formatif Metoda Asesmen

assess

Berasal dari bahasa Latin verb assidere : duduk

bersama Apa yang akan kita lakukan dengan dan untuk siswa (bukan kepada siswa)

Tujuan Asesmen

Menentukan tingkat kemampuan dari pengetahuan atau ketrampilan Melakukan ranking untuk seleksi Memotivasi (Assessment drive learning)

5 kriteria untuk menentukan kualitas dari metode assessment

Validitas (Apakah benar2 mengukur apa yang harus diukur/ sesuai dengan Learning Objective?) Reliabilitas (Test memberikan skor yang sama bila diberikan oleh 2 asesor, atau bila diulang lagi) Sesuai dengan future learning & practice? Dapat diterima oleh mahasiswa & dosen? Costs (Fakultas)

3 tipe asesmen

Formative : Penilaian / testing sebagai

bagian dari proses pembelajaran (termasuk umpan balik bagi mahasiswa)

Summative : Penilaian/ testing yang

umumnya dilakukan diakhir proses pembelajaran. Digunakan terutama untuk mendapatkan informasi sejauh mana mahasiswa sudah belajar dan seberapa baik materi diajarkan

Criterion-referenced assessment :
Penilaian/ testing terhadap mahasiswa dengan membandingkan terhadap standar yang sudah ditentukan (individual's performance against a benchmark)

What are summative & formative assessment?

The garden analogy

If we think of our students as plants Summative assessment of the plants is the process of simply measuring them. It might be interesting to compare and analyze measurements but, in themselves, these do not affect the growth of the plants. Formative assessment, on the other hand, is the equivalent of feeding and watering the plants appropriate to their needs - directly affecting their growth.

Formative assessment

Summative assessment

Assessment dilakukan dg frekuensi yang cukup sering dan direncanakan (tidak terpisahkan dari perkuliahan) Memberikan umpan balik kepada Mahasiswa sehingga ia menyadari Kelemahannya dan berusaha memperbaikinya

Testing untuk memberikan score (nilai) dan umpan balik dalam bentuk Grade terhadap mahasiswa Terpisah dari perkuliahan

Memberikan umpan balik terhadap proses belajar mengajar

Memberikan penilaian terhadap Kompetensi yang telah dicapai

COCKTAIL EVALUATION

Assessment

Mentoring system

Portfolio

Multiple longitudinal components

Knowledge Clinical skills Professional behaviour

Longitudinal evaluation

Knowledge Knowledge

Clinical skills

Professional behaviour

Tailored block evaluations (cocktail of methods)

Block evaluation

Unit 1

Unit 2

Unit 3

Unit 4

Unit 5

Unit 6

Overall more qualitative and descriptive evaluations, longitudinally monitored, with an emphasis on reflection

PENGETAHUAN
TERTULIS: Multiple Choice Questions (MCQ) True-False Matching Extended Question (MEQ) Essay, Short Essay Questions Penulisan laporan

COMPUTER-BASED TESTING

Ketrampilan

Ketrampilan Komunikasi & Ketrampilan Klinik: - OSCE (Shows How) - Mini CEX (Shows How) - Observasi (Does) Ketrampilan prosedural Lab: - OSPA (Objective Structured Practical Assessment)

Perilaku (Professional Behaviour)

Perilaku ketika diskusi tutorial (Cek list) Perilaku pada penugasan bersama (Peer assessment) Perilaku sehari-hari (360 o evaluation)

MCQ

MCQ merupakan instrumen penilaian hasil be lajar yang objektif dan reliable (r= 0,9) Mengases banyak pengetahuan dalam waktu relatif singkat Dapat dibuat lebih kontekstual dengan bentuk clinical vignette atau skenario (meningkatkan validitas) Managemen mudah (Computerized)

Tujuan Pembelajaran (LO) & MCQ

Learning Objectives Predict Student Performance

MCQ Assesses Student performance

Tentukan level Cognitive

Higher level learning

Taxonomi Bloom: C1 C6 Evaluasi Mengases konsep Sintesis Mengorganisir konsep Analisis Menerapkan prinsip dan problem solving Aplikasi Menghubungkan 2 konsep atau lebih Komprehensif Mengklasififikasikan informasi Factual Knowledge Menyebutkan item informasi
Basic recall learning

PROSES BERPIKIR YANG AKAN DIUKUR

PROSES BERPIKIR RENDAH: INGATAN PROSES BERPIKIR SEDANG: PEMAHAMAN DAN PENERAPAN PROSES BERPIKIR TINGGI: ANALISIS, SINTESIS, DAN EVALUASI

KISI-KISI TES
Merupakan penuntun dalam pembuatan butir soal Berisi informasi tentang: - materi yang akan diujikan, - jenis tes yang akan digunakan, - proses berpikir yg akan diukur, - tingkat kesukaran soal, - jumlah butir soal, - waktu ujian
21

FORMAT & CONTOH KISI-KISI TES

NO POKOK BAHASAN/ SUB POKOK BAHASAN 1 SPB 1 JUMLAH SOAL PROSES BERPIKIR MAKSIMAL C1 C2 C3 C4 C5 C6 (%)

2
3 4 5

SPB 2
SPB 3 SPB 4 SPB 5 2

2
3 2 1

4
3 2 1 12

JUMLAH (%)

C1 = Ingatan C2 = Proses berpikir pemahaman C3 = Proses berpikir penerapan C4, C5, C6 = Proses berpikir analisis, sintesis, dan evaluasi

22

Format MCQ

Stem Informasi pada soal MCQ

Lead in Pertanyaan dan informasi bagaimana menjawabnya

Opsi Jawaban: 1. Kunci Jawaban yang benar (1) 2. Distraktor Jawaban yang salah (4)

Bentuk MCQ
Stem: Mengandung semua informasi yang relevan dan kalimat bisa agak panjang Lead in: Pertanyaan (kalimat singkat dan jelas) A. Short Option B. Short Option C. Short Option D. Short Option E. Short Option

Soal Vignette
Stem A 2-years-old boy has a 1-week history of edema. BP is 100/60 mmHg, no generalized edema and ascites. Serum concentration are: creatinine 0.4 mg/dL, albumin 1.4 g/dL, cholesterol 569 mg/dL. Urine analysis shows 4 + protein and no blood.
Lead-in The most likely diagnosis is:

A. Acute post streptococcal glomerulonephritis B. Hemolytic uremic syndrome C. Minimal change nephrotic syndrome * D. Nephrotic syndrome due to focal and segmental glomerulosclerosis E. Schnlein-Henoch purpura with nephritis

Vignette Case Clusters

Stem: A 34 year-old women had severe watery diarrhea for the past 4 days. Two month ago she had infectious mononucleosis. She abuse drugs and has antibody to HIV. Physical examination show dehydration and marked muscle weakness
Lead-in: Laboratory studies are most likely to show: A. decreased serum K+ concentration B. decreased serum Ca 2+ concentration C. increased serum HCO3 concentration * D. increased serum Na + concentration E. increased serum pH

Lead-in: In evaluating the cause of the diarrhea, which of the following is most appropriate?

A. Colonic biopsy to identify Giardia lamblia B. Culture of the oral cavity for C. albicans C. Duodenal biopsy to identify Entamoeba histolytica D. Gastric aspirate to identify M. avium intracellulare * E. Stool specimen to identify Cryptosporidium

Lead in: Further studies to evaluate her HIV infection shows the ratio of helper T lymphocytes to suppressor T lymphocytes to be 0.3. This occurs because HIV A. induce proliferation of helper T lymphocytes B. induce proliferation of suppressor T lymphocytes *C. infect cells with CD4 receptor D. infect macrophages E. stimulate the synthesis of leukotriene.

Writing for different cognitive level

Recall Which of the following is the process of mitosis? Interpret Which of the following can be classified as a meiosis error? Problem solving A maternal blood sample revealed decreased levels of AFP and estriol, and elevated HCG. What would be the next logical test to perform?

Differentiate

Basic Science Items - Test application of

knowledge - Use clinical vignette - Essential key concept and principles - Select content relevant to clinical clerkship and post graduate education

Clinical Items - Test application of

knowledge - Use clinical vignette to decide on patient care - Target common problems & decision making tasks - Avoid clinical situations reserved for subspecialists

PERATURAN DALAM MENULIS TES MCQ

Ujilah fakta-fakta yang penting Gunakan bahasa yang sederhana Buatlah pertanyaan secara benar dan jelas Pertanyaan indipenden Buatlah jawaban yang bentuknya seragam Jangan menggunakan pertanyaan yang (-) Hindari kata-kata absolut (selalu, tidak pernah, semua, tidak satupun) Hindari terminologi frequency (sering, jarang) Bedakan secara jelas antara kunci dengan distraktor

Menuliskan Opsi Jawaban

Pertama kali tulislah Kunci Jawaban Tulislah distraktor yang berbeda significant dengan kunci Gunakan opsi (salah) yang sering dipilih oleh mahasiswa Hindari jawaban yang sangat nyata salah Gunakan kata/ kalimat pendek yang sama untuk setiap opsi

Hindari Bad distracters

Informasi diulang-ulang pada setiap opsi Opsi (-): bukan, tidak pernah, hanya Informasi pada stem diulang pada opsi Unparallel structure in options Semua di atas benar atau BSSD

TRUE - FALSE

Umumnya untuk Ujian Blok/ Modul Setiap tes terdiri dari 100 150 soal Materi tes disuaikan dengan tujuan pembelajaran 1. Bila mahasiswa merasa tidak bisa menjawab pertanyaan: ? Nilai neutral = 0 2. Peraturan nilai: jawaban benar jawaban salah

Clinical computer-based testing

Progress Test

Untuk menghindari a steering-effect, dapat digunakan Progress Test Repeated final examination: (4 X/ tahun) untuk seluruh tingkatan mahasiswa

250-300 pertanyaan (True/ False format), mengases pengetahuan pada tingkat akhir pendidikan (dokter)

Progress Test (lanj)

Soal dibuat berdasarkan blueprint dari International Classification of Diseases (ICD) 1. Bila mahasiswa merasa tidak bisa menjawab pertanyaan: ? Nilai neutral = 0 2. Peraturan nilai: jawaban benar jawaban salah

Tes yang sama diberikan pada seluruh tingkatan mahasiswa dalam waktu yang sama pula Secara alami mahasiswa baru tak akan bisa menjawab banyak, sebaliknya dengan mahasiswa tingkat akhir akan bisa menjawab hampir semua pertanyaan dengan benar

Progress Test (cont)

Sebagai continuous/ longitudinal evaluation, hasilnya tidak harus menjadi patokan penentuan kelulusan mahasiswa (formatif) Re-use items is still limited (item bank: 20,000) Reliability: Cronbachs alpha: 0,91 0.85 Validity: positive (research)

Progress test

all students from (all classes) are submitted to the same test

Question format
A patient suffers from chronic gastritis. You consider the diagnoses auto-immune gastritis and helicobacter gastritis. The patient also has a peptic ulcer of the STEM duodenum. This makes one of these diagnoses more probable, namely: 144. an auto-immune gastritis ITEM

Lit:

Robbins Pathologic Basis of Disease LITERATURE REFERENCE (6th ed. 1999), R. Cotran et al, p. 790

Keuntungan progress test

Pencegahan: test driven learning approach Rewards each individual learning activity Tidak perlu mengulang Deteksi dini dari outliers Kaya akan feedback (mahasiswa & dosen)

Drawbacks progress test

test difficulty varies in first year: poor sensitivity for low-scoring students long testing time central test-organization required hard to apply with less efficient item formats

Skills Assessment

The most valid way to assess the skills is have students actually demonstrate their abilities Shows how Does

OSCE
Performance-based assessment:

Station
1 2

OSCE
A performance-based test in a multiple-station format

Skills assessment

OSCE
Content

Problems

communication skills physical examination skills laboratory skills therapeutic skills cumulative test

Detailed checklist
Global checklists

Preparation for the test

A week for preparation

Organisation

test every year 250 students per year 30 observers per day

Observer quality

Clinical Work Sampling

Tujuan: Mengobservasi kontak antara mahasiswa-pasien

Gunakan generic rating scale Multiple observations across a number of clinical situations and observers (staff, resident, nurse.) Dibutuhkan (narrative) feedback oleh observer

Assessment of professional behavior

Regular feedback of performance For all the students Helping students to grow as a professional Starting from the beginning of the studies

Assessment of professional behavior

Professional behaviour consists of three aspects
Dealing with work Dealing with others Dealing with oneself

Assessment of professional behavior

Application of the three traits in various educational situations like tutorial groups simulated patient contacts practical home visits clinical rounds / clerkships
According a strict procedure

Portfolio

Student gathers evidence about aspects of his competence

Portfolio assessment
Mentor = coach

Student proves his competence

Student discusses his competence and reflection on it with the mentor

In Practice
Mengklarifikasi tujuan pembelajaran pada saat perencanaan.

Memberitahu mahasiswa mengenai tujuan pembelajaran . Mendorong mahasiswa untuk melakukan selfassessment terhadap tujuan pembelajaran.