Di zaman sekarang, upaya untuk mendapatkan akses informasi yang cepat sangat adalah kewajiban. Institusi pendidikan tinggi kini memanfaatkan chatbot untuk memberikan jawaban yang kepada pengguna. Fasilitas ini sangat berharga bagi calon mahasiswa yang akan mendaftar di masa depan. Chatbot adalah aplikasi yang terlibat dalam percakapan bahasa alami untuk mensimulasikan interaksi cerdas dengan pengguna [1], [2], [3]. Chatbot menggunakan teknik Natural Language Processing (NLP) untuk memberikan pengguna cara yang nyaman untuk mendapatkan informasi melalui pertanyaan interaktif dan percakapan [2].
Pengembangan chatbots sebelum rilis OpenAI GPT-3.5 umumnya menggunakan metode artificial intelligent machine learning berbasis klasifikasi [4], [5]. Dalam pendekatan ini, dataset yang berisi pasangan pertanyaan dan jawaban. Dalam chatbot berbasis klasifikasi, ketika pengguna memasukkan pertanyaan ke dalam chatbot, chatbot akan memprediksi jawaban yang paling relevan untuk pertanyaan tersebut dari jawaban yang telah ada sebelumnya dalam dataset. Metode berbasis klasifikasi memiliki kekurangan. Yaitu, ketika pengguna memasukkan pertanyaan yang tidak sesuai atau belum ada jawaban yang ada di dalam dataset. Hal ini akan mengakibatkan chatbot akan memberikan jawaban yang tidak relevan dan tidak informatif. Selain itu, jika pengguna mengirimkan pertanyaan lanjutan, chatbot tidak dapat merujuk ke percakapan sebelumnya karena tidak memiliki kemampuan mengingat percakapan yang tersedia.
Selain metode klasifikasi, metode lain yang adalah artificial intelligent berbasis generatif [6], [7]. Dalam pendekatan ini, chatbot dapat memberikan respons percakapan yang lebih alami. Namun, sebelum rilisnya Large Language Models seperti OpenAI GPT-3.5 dan kerangka kerja seperti LangChain yang menyederhanakan pengembangan aplikasi berdasarkan LLM. Metode generatif biasanya mengandalkan model pembelajaran mendalam untuk data urutan, seperti jaringan LSTM (Long Short-Term Memory). Namun, membuat model generatif dari awal membutuhkan resource dan data yang besar untuk melatih metodenya.
Teknik Retrieval-Augmented Generation
Pada penelitian ini, pengembangan chatbot menggunakan teknik Retrieval-Augmented Generation (RAG) yang menggabungkan memori parametrik dan non-parametrik yang terlatih untuk menghasilkan respons [8]. RAG terdiri dari modul Retrieval dan Large Language Model (LLM) berbasis generation [9]. Dengan menggunakan LLM yang telah terlatih sebelumnya pada dataset berskala besar, secara umum mengberikan hasil yang relevan. Namun, LLM versi umum memiliki kekurangan dan perlu pengetahuan tambahan dari dokumen universitas, situs web, atau sumber terkait. Penggunaan LLM biasanya memiliki ukuran konteks yang terbatas sehingga dokumen yang paling relevan harus dipilih terlebih dahulu. Retriever RAG bertanggung jawab untuk mencari dokumen yang relevan dan LLM dapat menjawab pertanyaan dalam konteks dari hasil RAG yang relevan. Secara keseluruhan, tujuan dari RAG adalah untuk meningkatkan kemampuan menjawab pertanyaan dari chatbot. Dalam penelitian ini, kombinasi OpenAI GPT-3.5 sebagai Large Language Model (LLM) untuk menghasilkan jawaban dan OpenAI Ada sebagai metode ekstreksi fitur dari teks kalimat serta cosine similarity sebagai perhitungan kemiripan antar dokumen.
keunggulan GPT-3.5-Turbo
Dalam evaluasi retriever, pencarian kemiripan menggunakan cosine similarity dan OpenAI Ada mengungguli metode lain sehingga metode yang diusulkan dalam memberikan konteks jawaban yang relevan. Evaluasi LLM menggunakan skor ROUGE dan BLEU menunjukkan keunggulan GPT-3.5-Turbo dibandingkan Gemini Pro dalam hal pencarian kata unigram dan bigram, serta kualitas teks secara keseluruhan. GPT-3.5-Turbo secara konsisten menghasilkan teks yang lebih selaras dengan jawaban, sehingga memperkuat kesesuaiannya untuk respons chatbot yang terkait dengan informasi akademik. Kualitas pengetahuan mempengaruhi Efektivitas respons chatbot. Oleh karena itu, mengeksplorasi dan memperluas basis pengetahuan dengan menambahkan dokumen yang relevan ke dalam basis data vektor dapat meningkatkan chatbot secara signifikan. Selain itu, analisis menyeluruh terhadap implementasi Model LLM yang ada saat ini perlu untuk mengidentifikasi opsi alternatif jawaban dan memberikan pilihan yang lebih luas kepada para peneliti untuk mengembangkan chatbot akademik.
Penulis: Dr. Maryamah, S.Kom.
