Analisis Kinerja dan Tantangan Implementasi MobileNetV2  Pada Penerjemahan BISINDO Real-Time

Randi Maulana; Muhammad Rifqi Maulana; Natanael Vica Eungaggalion; Giatika Chrisnawati

Authors

Randi Maulana Universitas Bina Sarana Informatika
Muhammad Rifqi Maulana Universitas Bina Sarana Informatika
Natanael Vica Eungaggalion Universitas Bina Sarana Informatika
Giatika Chrisnawati Universitas Bina Sarana Informatika

Keywords:

BISINDO, MobileNetV2, MediaPipe, Tantangan Implementasi, Penerjemahan Waktu Nyata

Abstract

Bahasa Isyarat Indonesia (BISINDO) merupakan media komunikasi vital bagi komunitas Tuli, namun kesenjangan interaksi dengan masyarakat umum yang tidak memahami bahasa isyarat masih menjadi tantangan signifikan. Penelitian ini mengembangkan sistem penerjemah abjad BISINDO berbasis Computer Vision menggunakan arsitektur MobileNetV2 dan MediaPipe Hands dengan algoritma Unified Bounding Box untuk menangani input dua tangan. Pelatihan model dilakukan melalui pendekatan transfer learning pada dataset yang memuat 26 kelas abjad, terdiri dari total 9.169 citra. Berdasarkan hasil eksperimen, model berhasil mencapai akurasi validasi tertinggi sebesar 99,23% pada epoch ke-8. Namun, pengujian pada skenario real-time menunjukkan adanya penurunan kinerja yang signifikan dibandingkan hasil pelatihan. Evaluasi sistem memperlihatkan bahwa meskipun model memiliki konfidensi tinggi pada data uji statis, implementasi langsung menghadapi tantangan berat terkait stabilitas deteksi, sensitivitas terhadap perubahan latar belakang, serta variabilitas pencahayaan. Penelitian ini menyoroti disparitas kinerja antara lingkungan pelatihan yang terkontrol dengan kondisi penggunaan nyata, serta mengidentifikasi faktor-faktor teknis yang menyebabkan inkonsistensi responsivitas sistem saat diterapkan secara langsung di lapangan

References

A. S. Nugraheni, A. P. Husain, and H. Unayah, “Optimalisasi Penggunaan Bahasa Isyarat Dengan Sibi Dan Bisindo Pada Mahasiswa Difabel Tunarungu Di Prodi Pgmi Uin Sunan Kalijaga,” Jurnal Holistika, vol. 5, no. 1, pp. 28–33, Feb. 2021, doi: 10.24853/HOLISTIKA.5.1.28-33.

Meysa Malika and Berlianti Berlianti, “Penggunaan Bahasa Isyarat SIBI dan BISINDO untuk Siswa Tuli di Sekolah Luar Biasa Negeri Pembina Medan,” Concept: Journal of Social Humanities and Education, vol. 4, no. 3, pp. 78–87, Sep. 2025, doi: 10.55606/concept.v4i3.2178.

J. Rong, “A Comparative Analysis of Glove-Based and Image-Based Sign Language Recognition Systems,” INSTICC, May 2025, pp. 408–412. doi: 10.5220/0013337000004558.

G. Kazbekova et al., “Real-Time Lightweight Sign Language Recognition on Hybrid Deep CNN-BiLSTM Neural Network with Attention Mechanism,” 2025. [Online]. Available: www.ijacsa.thesai.org

I. Qutab, L. Po, F. Rollo, and W. Naqvi, “Optimizing Sign Language Recognition Through a Tailored MobileNet Self-Attention Framework,” Applied Sciences 2025, Vol. 15, Page 12622, vol. 15, no. 23, p. 12622, Nov. 2025, doi: 10.3390/APP152312622.

D. Jollyta, P. Prihandoko, J. Johan, W. Ramdhan, and E. Santoso, “Transfer Learning Model Evaluation on CNN Algorithm: Indonesian Sign Language System (SIBI),” Journal of Applied Business and Technology, vol. 6, no. 2, pp. 83–92, May 2025, doi: 10.35145/jabt.v6i2.213.

F. Zhang et al., “MediaPipe Hands: On-device Real-time Hand Tracking,” Jun. 2020, [Online]. Available: http://arxiv.org/abs/2006.10214

S. Jiang, B. Sun, L. Wang, Y. Bai, K. Li, and Y. Fu, “Skeleton Aware Multi-modal Sign Language Recognition,” May 2021, [Online]. Available: http://arxiv.org/abs/2103.08833

Y. Meng, H. Jiang, N. Duan, and H. Wen, “Real-Time Hand Gesture Monitoring Model Based on MediaPipe’s Registerable System,” Sensors, vol. 24, no. 19, Oct. 2024, doi: 10.3390/s24196262.

Y. Agustiansyah and D. Kurniadi, “Yoga Agustiansyah: Indonesian Sign Language Alphabet Indonesian Sign Language Alphabet Image Classification using Vision Transformer,” 2025. [Online]. Available: https://journal.aptika.org/index.php/jistics