MT S PHNG PHP V K THUT TRONG

MỘT SỐ PHƯƠNG PHÁP VÀ KỸ THUẬT TRONG TỰ ĐÁNH GIÁ Cục Khảo thí và Kiểm định chất lượng giáo dục Bộ Giáo dục và Đào tạo ĐT: 04 39747108 Fax: 04 39747109 Email: kiemdinh. dhtccn@moet. edu. vn 1

NỘI DUNG CHÍNH • Kỹ thuật nghiên cứu văn bản, hồ sơ • Kỹ thuật quan sát • Kỹ thuật phỏng vấn • Kỹ thuật thảo luận nhóm • Kỹ thuật thiết kế công cụ điều tra khảo sát • Kỹ thuật xử lý và phân tích số liệu • Kỹ thuật thiết lập dữ liệu thống kê 2

I. Kỹ thuật nghiên cứu văn bản, hồ sơ • Trong NC Liên ngành: Là PP phân tích tài liệu thứ cấp, tên khác- Literature review (đọc các tài liệu đã có), nghĩa là phải đọc/tóm tắt/ tổng hợp theo chủ đề • Trong TĐG: Một phương pháp quan trọng, thường xuyên được sử dụng; Là sự xem xét có hệ thống các tài liệu dưới dạng văn bản viết; Để cung cấp thông tin cho quá trình tự đánh giá 3

Nghiên cứu văn bản/hồ sơ nhằm: • Phân loại/ sắp xếp/ đánh giá/lựa chọn thông tin phù hợp với nội hàm các tiêu chí • Trích dẫn, bình luận phục vụ trực tiếp mục đích tự đánh giá. 4

Vài điều cần lưu ý Văn bản/hồ sơ hứa hẹn là minh chứng tốt cho một tiêu chí Nhưng: Văn bản/hồ sơ mới chỉ xác nhận về một sự tồn tại, chưa chắc đã là minh chứng. 5

Vì thế, cần thiết phải: • Xem xét mức độ đáp ứng yêu cầu từng tiêu chí của văn bản đó • Có thêm sự thẩm định của các chuyên gia và những người làm việc trực tiếp • Luôn cân đối giữa văn bản và thực tế. Để: Có phương pháp thu thập tư liệu tối ưu 6

Các thao tác cần thiết khi nghiên cứu văn bản/hồ sơ Cần: • Bám sát • Nắm vững Nội hàm/Các chỉ báo/Các từ khóa chỉ nội hàm của từng tiêu chí. Để: • Xác định mức độ đáp ứng yêu cầu là một minh chứng tốt của văn bản 7

Những câu hỏi hướng dẫn xem xét phân tích văn bản/hồ sơ • Loại văn bản? Nguồn? • Đối tượng của văn bản? • Đáp ứng nội hàm một/những tiêu chí nào? Thao tác này cần xác định rõ- đầy đủ từ đầu để phân loại theo hộp minh chứng cho thuận tiện. • Mức độ đáp ứng từng nội dung cụ thể trong nội hàm của tiêu chí; • Mức độ đáp ứng tốt cho những tiêu chí nào liệt kê đủ. 8

II. Kỹ thuật quan sát Định nghĩa : “Quan sát” – xem xét tận mắt (cơ sở vật chất, điều kiện, môi trường, sự tương tác, một hoạt động cụ thể…); Trong TĐG, sẽ quan sát: - Cơ sở vật chất; - Dự giờ… Phân loại: • Tham gia hoàn toàn người quan sát ẩn; • Quan sát và tham gia. Quan sát là chính; • Tham gia và quan sát – Quan sát là phụ; • Quan sát hoàn toàn. (Theo Creswell, 2000) 9

Ưu điểm và hạn chế của quan sát • “Trăm nghe không bằng một thấy”… • Các số liệu, thông tin điển hình liên quan đến tình huống được phơi bày tương đối sáng rõ; • Giúp thẩm tra lại minh chứng/chứng cứ, giúp hiểu rõ tình trạng, kết quả hoạt động… • Hạn chế tiêu biểu: tính chủ quan cao phiến diện và dễ bị can 10 thiệp.

Thực hành dự giờ giảng/semina • • • Sự chuẩn bị của giảng viên; Cách tổ chức giờ trên lớp; Tương tác giữa người dạy – người học; Phương pháp phản hồi, đánh giá; Mức độ tích cực/chủ động của người học… Hiệu quả cao nếu kết hợp với các phương pháp khác (nghiên cứu hồ sơ, phỏng vấn). 11

III. Kỹ thuật phỏng vấn trong tự đánh giá • Một phương pháp (PP) lấy tin quan trọng trong TĐG PV giảng viên, sinh viên về hiệu quả môn học, về mức độ phù hợp, mức độ cập nhật của chương trình…); • Phỏng vấn định tính dùng câu hỏi mở lấy tin từ cá nhân/nhóm thu thập minh chứng cho quá trình TĐG. VD: Pv Hiệu trưởng về chiến lược phát triển trường; Pv Trưởng phòng tổ chức về quy trình tuyển nhân sự; Pv Trưởng phòng 12 đào tạo về chương trình…

Ưu điểm • Dùng nhiều, có khi là phương pháp duy nhất để lấy tin và hiểu sâu về quan điểm một cá nhân. VD: Hỏi về chương trình của 1 môn học thông qua các giảng viên dạy môn học đó; Và hạn chế: • Dễ mang tính chủ quan, phiến diện (nếu đối tượng phức tạp hoặc không chuẩn); • Không thực hiện được trên nhiều đối tượng cùng thời điểm như điều tra bảng hỏi; • Chỉ hiệu quả cao khi kết hợp với nghiên cứu VB, 13 điều tra, quan sát.

Quy trình • Chuẩn bị: Chọn đối tượng/hình thức/mục tiêu/nội dung/các câu hỏi/địa điểm/thời gian/các phương tiện hỗ trợ; • Tiến hành: Khởi động (để tạo niềm tin và sự an tâm với đối tượng) / Phỏng vấn (tập trung, ghi tay tóm lược tin chính và ghi âm) / Khai thác sâu khi cần / Chính xác hóa các tóm tắt và các thông tin quan trọng / Kết thúc. • Sau phỏng vấn: Chuẩn hóa lại thông tin với người trả lời một lần nữa/ Khẳng định cam kết tính bí mật của thông tin/ Gỡ băng, làm tư liệu tổng hợp. 14

IV. Kỹ thuật thảo luận nhóm (TLN) • PP quan trọng trong TĐG chương trình đào tạo/chất lượng giáo dục của trường. VD: TLN giảng viên về đổi mới PPDH; TLN sinh viên về hiệu quả môn học… • Sử dụng câu hỏi mở để lấy tin từ một nhóm đối tượng thẩm định, thu thập thông tin cho 1 tiêu chí/1 tiêu chuẩn; • Ưu điểm: Lấy tin nhanh, nắm được quan điểm chung của một nhóm; 15

• Hạn chế: - Dễ chủ quan, dễ chịu áp lực của một vài cá nhân chi phối nhóm; - Nếu chọn nhóm không tinh tế, dễ xảy ra tình trạng không thực hiện được phỏng vấn sâu/vỡ hệ thống câu hỏi mở/thiếu quan điểm cá nhân. 16

Quy trình thảo luận nhóm • Chuẩn bị: Chọn đối tượng/mục tiêu/nội dung/các câu hỏi/thời gian/địa điểm/phương tiện hỗ trợ… • Tiến hành: Khởi động, nêu vấn đề/Xin phép ghi âm/Thảo luận chính: ghi chép và ghi âm/Khai thác sâu khi cần/Chính xác hóa thông tin/Kết thúc; • Sau thảo luận: Kiểm tra thông tin/Phân tách công khai quan điểm chung-riêng của từng nhóm/Khẳng định lại mục đích sử 17 dụng thông tin…

Các bước tiến hành thảo luận nhóm • Tương tự phỏng vấn; • Lưu ý: Người điều hành thảo luận các nhóm cần có khả năng quan sát tốt, nắm bắt nhanh tình huống để ứng phó và quyết đoán kịp thời. • PP chỉ thực sự phát huy hiệu quả khi kết hợp với khảo sát, PV sâu, quan sát. 18

V. Kỹ thuật thiết kế các công cụ điều tra khảo sát (ĐTKS) • Dùng nhiều trong TĐG chương trình ĐT, hiệu quả hoạt động của trường; • ĐTKS bằng bảng hỏi: thiết lập hệ thống câu hỏi ở dạng văn bản viết, có sẵn mức độ đánh giá, hướng dẫn, cách xử lý phân tích số liệu… • Ưu điểm: Phù hợp để hỏi qua văn bản về nhận thức, ý kiến, quan điểm của người khác; 19

• Hạn chế: Không biết người khác thực sự nghĩ/cư xử/hành động như thế nào mức độ tin cậy chỉ trong một phạm vi nhất định. 20

Các nguyên tắc thiết kế công cụ đo • Hình thức thiết kế: phiếu hỏi/bảng kiểm kê/các thang đo chuẩn – trắc nghiệm chuẩn; • Nguyên tắc: đảm bảo đặc tính thiết kế (mục tiêu, đối tượng, nội dung, thủ tục cho điểm…); đảm bảo đặc tính đo lường (độ tin cậy, độ phân biệt, độ khó, độ hiệu lực…); đảm bảo tính đại diện của mẫu thống kê. 21

Quy trình thiết kế công cụ ĐTKS • • Bước 1: Mục tiêu đo lường; Bước 2: Đối tượng đo, cá nhân/nhóm; Bước 3: Công cụ đo; Bước 4: Nội dung cần đo (hiểu biết/kỹ năng/thái độ/hứng thú nào? ) Bước 5: Câu hỏi cho từng nội dung; Bước 6: Các thủ tục cho điểm/lượng hóa; Bước 7: Thử nghiệm trên mẫu nhỏ, nhập số liệu và loại bỏ những câu chất lượng kém; Bước 8: Hoàn thiện bộ công cụ và sử dụng. 22

VI. Kỹ thuật xử lý và phân tích số liệu • Giúp cho dữ liệu “biết nói” TĐG chất lượng chương trình ĐT, TĐG hiệu quả hoạt động của nhà trường. • Là sự thiết lập mô hình, quy trình; sử dụng hệ thống thủ tục/ thao tác/câu lệnh được lập trình trong các phần mềm định lượng/phát hiện/so sánh/lí giải/kiểm tra/chứng minh các giả thiết cung cấp thông tin có giá trị khoa học cho TĐG (tỷ lệ % SV hài lòng về chương trình/hiệu quả môn học…) 23

Ưu điểm • Được hỗ trợ bởi các phần mềm chuyên dụng (SPSS, Conquest), mô hình Raschkĩ thuật phân tích số liệu tiên tiến - phân tích độ tin cậy/độ khó/độ phân biệt của các câu hỏi (item)/phương sai/ hồi qui đơn biến, đa biến… tăng độ tin cậy/giá trị khoa học của các số liệu khảo sát (thay vì xử lí đơn giản như tính tỉ lệ % bằng phần mềm Excel, xử lí bằng tay). 24

Và hạn chế • Người sử dụng: chưa thạo phần mềm hoặc kĩ thuật xử lý phần mềm. • Cần qua đào tạo khoảng 2 tuần, thực hành nhiều. 25

Thực hành • Giới thiệu các file số liệu, file xử lí kết quả khảo sát đánh giá hiệu quả môn học, điều tra sinh viên tốt nghiệp, sử dụng phần mềm SPSS, Conquest và kết quả (out put) phân tích số liệu, các biểu bảng, kĩ năng đọc hiểu số liệu. 26

VII. Kỹ thuật thiết lập dữ liệu thống kê • Phạm vi: Thống kê đội ngũ giảng viên (trình độ đào tạo/các công trình nghiên cứu khoa học giảng viên đã tham gia/ số bài báo/ giáo trình đã viết. . . ); tỉ lệ sinh viên/giảng viên; 27

Cách lập các biểu mẫu thống kê • Theo mẫu trong Hướng dẫn của Bộ; Cần trả lời được các câu hỏi: • Bao nhiêu loại biểu bảng thống kê cần có ở mỗi phần trong báo cáo tự đánh giá? • Mục đích thiết lập biểu bảng? 28

Cách lập biểu mẫu và các câu hỏi (tiếp) • Đơn vị thống kê là gì? • Địa chỉ cung cấp nguồn số liệu cho các biểu bảng? VD: các số liệu thống kê về cơ sở vật chất phòng quản trị; các số liệu thống kê về giáo viên – phòng tổ chức. . . 29

Cách lập biểu mẫu và các câu hỏi (tiếp) • Ai cung cấp nguồn số liệu thống kê? • Mức độ tin cậy của số liệu? • Thời điểm thu thập số liệu? 30

Sử dụng câu hỏi để kiểm tra các dữ liệu thống kê • Các số liệu thống kê trong mỗi biểu bảng đã tích hợp hiệu quả và dễ đọc hiểu? • Phân tích số liệu thống kê giúp gì cho việc hiểu biết bức tranh thực trạng (nội hàm) của tiêu chí, số liệu (về chương trình đào tạo/nguồn tài chính của trường. . . và chứng minh nhà trường đạt được các yêu cầu, mục tiêu đào tạo. . . ở mức nào? • Số liệu thống kê mô tả có giúp định hướng cho việc khắc phục tồn tại (phát huy điểm mạnh)? . . . 31

Sử dụng câu hỏi để kiểm tra các dữ liệu thống kê Chất lượng một báo cáo TĐG không phụ thuộc vào số lượng các biểu bảng thống kê mà phụ thuộc vào việc đọc hiểu các biểu bảng thống kê. Sự lập luận, phân tích, bình luận, so sánh… làm cho các con số thống kê trong báo cáo “biết nói”. 32

Trân trọng cảm ơn ! 33