Xây dựng bộ dữ liệu tiếng Việt cho bài toán trả lời câu hỏi trực quan (Visual Question Answering)

Tóm tắt

Tóm tắt: Bài toán trả lời câu hỏi trực quan (VQA) là bài toán kết hợp thị giác máy tính và xử lý ngôn ngữ tự nhiên. Trong bài báo này, chúng tôi trình bày các chiến lược xây dựng bộ dữ liệu VQA mới bằng tiếng Việt, Flickr8k-ViQA, bằng cách sinh tự động các cặp câu hỏi – câu trả lời từ những chú thích của bộ dữ liệu Flickr8k. Chúng tôi mô tả các công cụ đã sử dụng, phân tích những trở ngại gặp phải trong quá trình xây dựng và cách khắc phục, đồng thời đề xuất cách đánh giá các mô hình trên bộ dữ liệu này.