Pembuatan soal kata matematika atau Math Word Problems (MWP) secara otomatis merupakan tugas yang menantang dalam Natural Language Processing (NLP). Terutama menghubungkannya dengan permasalahan kehidupan nyata karena dapat bermanfaat bagi siswa dalam mengembangkan pemikiran matematis tingkat tinggi. Namun, sebagian besar MWP disajikan dalam latar skolastik dengan cara yang didekontekstualisasikan. Makalah ini menjelaskan sistem prototipe yang menghasilkan soal cerita matematika otentik (yaitu, soal kehidupan nyata) menggunakan kontekstual otentik dengan tingkat kesulitan.
Pendekatan inovatif kami mencakup perolehan informasi kontekstual otentik melalui teknologi rekognisi, generator cepat berbasis instruksional untuk tiga tingkat kesulitan berbeda, dan pembuatan pertanyaan menggunakan model Generative Pre-trained Transformer (GPT). Kami mengevaluasi kinerja sistem dalam hal kualitas pertanyaan yang dihasilkan menggunakan evaluasi otomatis dan evaluasi expert.
Selanjutnya, kami menilai usabilitas sistem menggunakan evaluasi heuristik. Evaluasi otomatis menunjukkan MWP yang dihasilkan relevan dengan topik geometri dan bervariasi dalam pembuatan kalimat. Evaluasi manusia menemukan bahwa sistem kami menghasilkan masalah yang lebih realistis dengan kualitas bahasa yang baik dan validitas matematis. Sistem kami juga menghasilkan lebih banyak pertanyaan dengan tingkat kesulitan lebih tinggi berdasarkan evaluasi manusia. Evaluasi heuristik melaporkan kegunaan sistem dan menyoroti potensi untuk diterapkan dalam konteks pedagogi pada pembelajaran matematika.
Dalam penelitian ini, kami mengusulkan pendekatan baru untuk pembuatan MWP secara otomatis menggunakan teknologi Generative Artificial Intelligence (AI) dengan model GPT versi 3.5. Ada tiga modul dalam pembuatan MWP otomatis yang diusulkan dalam penelitian ini, yaitu perolehan informasi kontekstual otentik melalui teknologi rekognisi, generator prompt berbasis instruksional untuk tiga tingkat kesulitan berbeda, dan pembuatan pertanyaan melalui model GPT.
Teknologi rekognisi seperti TensorFlow dan sistem pengukuran berbasis Augmented Reality (AR) digunakan untuk memperoleh informasi kontekstual otentik dalam menghasilkan soal-soal cerita terkait geometri. Selain itu, kami merancang tiga tingkat kesulitan pertanyaan yang berbeda (yaitu, mudah, menengah, dan lanjutan) berdasarkan informasi kontekstual otentik yang dihasilkan.
Sebagai implikasi praktis dari temuan ini, kami menyarankan penggunaan sistem pembuatan MWP otomatis yang diusulkan dapat digunakan untuk memfasilitasi kegiatan pemecahan masalah (problem-solving) matematika bagi siswa dalam lingkungan belajar yang otentik. Pembelajaran berlangsung di lingkungan yang beragam dan kaya, oleh karena itu penggabungan informasi kontekstual otentik dan kebutuhan yang dipersonalisasi seperti tingkat kesulitan dalam sistem memberikan peluang bagi siswa untuk mengembangkan model situasi yang diperlukan untuk pemodelan matematika mereka.
Selain itu, membuat pertanyaan secara manual dan mencari pertanyaan dengan tingkat kesulitan tertentu mungkin akan memberatkan bagi perancang ujian. Oleh karena itu, pembuatan MWP secara otomatis dengan berbagai tingkat kesulitan dapat mendukung guru dalam mengurangi pekerjaannya dan memberikan personalisasi dalam praktik pembelajaran matematika. Kami menunjukkan potensi mengintegrasikan AI generatif dengan model GPT 4 yang dapat menghasilkan teks dari gambar, teknologi rekognisi yang lebih matang, dan teknologi AR untuk mendukung pembuatan MWP secara otomatis sebagai pembelajaran dan asesmen dalam matematika. Hal ini dapat memberikan pendekatan baru untuk menghasilkan MWP realistis dari konteks otentik.
Penelitian di masa depan dapat memperluas temuan penelitian ini dengan menerapkan lebih banyak metrik NLP seperti Bidirectional Encoder Representations from Transformers (BERT) untuk mengevaluasi model pembuatan kalimat otomatis. Metrik ini mungkin berkorelasi lebih baik dengan penilaian manusia dan memberikan performa pemilihan model yang lebih kuat daripada metrik yang ada. Selain itu, kami juga akan mempertimbangkan analisis komparatif dan aktivitas eksperimen menggunakan quasi-eksperimen yang melibatkan siswa sekolah dasar untuk menyelidiki dampak sistem kami terhadap kinerja pembelajaran matematika mereka. Hal ini membuka peluang lebih lanjut untuk melibatkan siswa dalam proses pembuatan MWP dan memanfaatkan model otomatis dalam mengevaluasi pembelajaran matematika mereka.
Penulis: Ika Qutsiati Utami, S.Kom., M.Sc. (FTMM, 51动漫)
Link artikel:
1. Scopus: https://www.scopus.com/record/display.uri?eid=2-s2.0-85186456282&origin=resultslist
2. Jurnal Penerbit:
