Ứng dụng mô hình đo lường Rasch trong xây dựng ngân hàng câu hỏi đánh giá mức kiến thức người học bằng trắc nghiệm thích nghi trên máy tính

Tóm tắt

Đặt vấn đề: Ngân hàng câu hỏi và thuật toán trắc nghiệm thích nghi là hai thành phần quan trọng nhất của hệ thống trắc nghiệm thích nghi trên máy tính (CAT). Chất lượng đo lường của trắc nghiệm thích nghi phụ thuộc vào chất lượng của tập hợp các câu hỏi trắc nghiệm đã được hiệu chuẩn được đưa vào thực hiện lượng giá. Nghiên cứu này tập trung vào đánh giá chức năng, hiệu quả của ngân hàng câu hỏi UMPItemBank nhằm cải tiến hệ thống trắc nghiệm thích nghi UMPCAT.

Mục tiêu: Đánh giá chức năng và hiệu quả vận hành của phần mềm UMPItemBank tích hợp mô hình đo lường Rasch trong phát triển ngân hàng câu hỏi trắc nghiệm thích nghi trên máy tính đánh giá mức kiến thức đầu vào của người học.

Đối tượng và phương pháp nghiên cứu: Phần mềm UMPItemBank được thiết kế chức năng chính quản lý câu hỏi và tạo đề thi, sử dụng ngôn ngữ lập trình PHP và cơ sở dữ liệu MySQL, hệ điều hành Windows 11, lưu trữ đám mây kết hợp, bảo mật xác thực và ủy quyền OAuth 2.0 và WAF. Nội dung ngân hàng câu hỏi được phát triển dựa trên lý thuyết học tập kiến tạo, câu hỏi sau biên soạn được rà soát và thực nghiệm, tích hợp mô hình Rasch, đưa vào bài kiểm tra thích nghi trên máy tính. Phương pháp đánh giá quá trình và nghiên cứu trường hợp được sử dụng nhằm cung cấp thông tin phản hồi liên tục trong bối cảnh thực tế cho nghiên cứu và phát triển phần mềm. Số liệu được quản lý và phân tích bằng Excel MS 365, JASP 0.19.1, Heuristic Lab Optimizer 3.3.16.1786.

Kết quả: Nghiên cứu chỉ ra ngân hàng câu hỏi hoạt động đúng thiết kế, có hiệu quả và tương thích với thuật toán CAT, cung cấp bằng chứng về tính giá trị nội dung, cỡ và dạng ngân hàng, tính công bằng, hiệu quả chi phi, tính khả thi và tiềm năng ứng dụng trong quản lý khảo thí và bài kiểm tra trắc nghiệm thích ứng. Tuy nhiên có một số vấn đề cần khắc phục như kiểm soát ngưỡng sai số chuẩn và mức độ phơi lộ, phân tích sai biệt vận hành câu hỏi, giao diện sử dụng.

Kết luận: Kết quả nghiên cứu ghi nhận tính hiệu quả và hiệu suất của thuật toán UMPItemBank cũng như một số đề xuất cải tiến chất lượng ngân hàng câu hỏi.

Từ khóa: ngân hàng câu hỏi; đánh giá quá trình; trắc nghiệm thích nghi năng lực (CAT); mô hình Rasch; lý thuyết đáp ứng câu hỏi (IRT); giải thuật di truyền; hồi quy hàm số