Pengembangan dan implementasi fitur voicebot multibahasa berbasis AI pada robot tour guide

Pengembangan dan implementasi fitur voicebot multibahasa berbasis kecerdasan buatan (AI) pada robot tour guide ini bertujuan untuk dapat memberikan informasi kepada pengunjung secara interaktif dan otomatis. Sistem ini mengintegrasikan teknologi Speech-to-Text (STT), Text-to-Speech (TTS), dan Retrieval-Augmented Generation (RAG). Sistem voicebot mampu mengenali dan merespons pertanyaan dalam tiga bahasa utama: Bahasa Indonesia, Inggris, dan Mandarin. Voicebot dirancang menggunakan perangkat reComputer J202 yang dilengkapi GPU NVIDIA, sehingga dapat melakukan pemrosesan STT dan TTS secara lokal dengan cepat dan efisien. Sistem ini juga terhubung dengan sebuah server yang berisi model LLM dari Ollama serta RAG yang membuat sistem ini dapat memberikan respons yang kontekstual dan relevan terhadap pertanyaan pengunjung. Selain itu robot tersebut juga dapat dikontrol oleh sistem voicebot melalui protokol komunikasi MQTT dimana pergerakan robot bisa dikontrol dengan menggunakan suara. Pengujian menunjukkan bahwa sistem memiliki waktu respons yang lumayan cepat dan mampu beradaptasi terhadap informasi yang diberikan. Hasil ini menunjukkan bahwa sistem voicebot yang dilengkapi RAG dapat meningkatkan pengalaman interaksi dua arah dengan pengunjung secara interaktif, otomatis dan efisien. Sistem ini bisa diterapkan pada robot tour guide dalam lingkungan kampus maupun lokasi lainnya.

WINSTON FRANCHITY SALIM Indar Sugiarto (Advisor 1); Handy Wicaksono (Advisor 2); Resmana Lim (Examination Committee 1); Iwan Handoyo Putro, S.T., M.Dig.Comm. (Examination Committee 2); Thiang (Examination Committee 3) Universitas Kristen Petra Indonesian Digital Theses Undergraduate Thesis Skripsi/Undergraduate Thesis Skripsi No. 04010005/ELK/2025; Winston Franchity Salim (C11210018) ARTIFICIAL INTELLIGENCE; HUMAN-ROBOT INTERACTION; NATURAL LANGUAGE PROCESSING (COMPUTER SCIENCE); ROBOTICS

Files