Submission Details

Sign language learning can support more inclusive communication, yet learning materials based primarily on books or videos may offer limited interaction and immediate feedback. This study presents ASTAKANDA, a gamified web platform developed using Laravel 13 that combines interactive learning activities with real-time hand landmark detection using MediaPipe and K-Nearest Neighbors (KNN) classification based on landmark vectors. The platform also supports the contribution of additional user samples to enrich its dataset. The recognition model was evaluated using 1,201 test samples and achieved 100% accuracy, with precision, recall, and F1 scores ranging from 0.98 to 1.00. Performance testing recorded an average frame rate of 28.2 frames per second (FPS) and GPU memory usage of 1.7 MB. All nine core scenarios in black-box testing passed. These results demonstrate the technical feasibility of integrating real-time sign recognition with gamified learning activities and user-contributed data. However, the findings do not establish the system’s generalizability across users or signing conditions, or its effectiveness in improving learning outcomes. Further testing with independent participants and measures of learning performance is needed.

Pembelajaran bahasa isyarat dapat mendukung komunikasi yang lebih inklusif, namun materi pembelajaran yang didasarkan terutama pada buku atau video mungkin menawarkan interaksi dan umpan balik langsung yang terbatas. Penelitian ini mempersembahkan ASTAKANDA, sebuah platform web gamified yang dikembangkan menggunakan Laravel 13 yang menggabungkan aktivitas pembelajaran interaktif dengan deteksi landmark tangan secara real-time menggunakan MediaPipe dan klasifikasi K-Nearest Neighbors (KNN) berdasarkan vektor landmark. Platform ini juga mendukung kontribusi sampel pengguna tambahan untuk memperkaya dataset-nya. Model pengenalan dievaluasi menggunakan 1.201 sampel uji dan mencapai akurasi 100%, dengan nilai presisi, recall, dan F1 berkisar antara 0,98 hingga 1,00. Pengujian kinerja mencatat rata-rata frame rate 28,2 frame per detik (FPS) dan penggunaan memori GPU sebesar 1,7 MB. Semua sembilan skenario inti dalam pengujian black-box berhasil. Hasil ini menunjukkan kelayakan teknis untuk mengintegrasikan pengenalan tanda secara real-time dengan aktivitas pembelajaran gamified dan data yang disumbangkan pengguna. Namun, temuan ini tidak menetapkan generalisasi sistem di antara pengguna atau kondisi penandaan, atau efektivitasnya dalam meningkatkan hasil pembelajaran. Pengujian lebih lanjut dengan peserta independen dan ukuran kinerja pembelajaran diperlukan.