Tindak kekerasan fisik masih sering terjadi di ruang publik dan masih menjadi masalah yang serius. Oleh karena itu, diperlukan sistem pemantauan otomatis untuk membantu mengidentifikasi tindak kekerasan dengan efektif dan efisien. Namun, dalam membuat sistem yang handal, diperlukan model yang mampu mengklasifikasi aksi dengan akurat. Sejumlah penelitian telah meneliti masalah terkait, namun masih berfokus pada identifikasi antara kekerasan dan bukan kekerasan serta aksi kekerasan secara umum. Maka, skripsi ini melakukan klasifikasi aksi kekerasan fisik yang lebih spesifik, yaitu perkelahian, penindasan, dan bukan kekerasan, dengan menggunakan model Multiscale Vision Transformer (MViT). Model MViT menerapkan pendekatan multi-scale hierarchies serta mekanisme self-attention yang memungkinkan model untuk memahami detail pergerakan kompleks secara lokal dan global. Teknik Multi-Stage Transfer Learning (MSTL) diterapkan untuk membantu meningkatkan keakuratan klasifikasi model dengan memanfaatkan dataset yang lebih besar. Beberapa pengujian dilakukan untuk melihat pengaruh penerapan teknik transfer learning dalam meningkatkan kemampuan generalisasi model. Pengujian dilakukan dengan menggunakan video yang diambil dari rekaman kamera ponsel, dan hasil terbaik menunjukkan nilai akurasi sebesar 95,11% dengan penerapan Single-Stage Transfer Learning (SSTL). Selain itu, pengujian dengan menambahkan Channel Attention Module (CAM) meningkatkan nilai akurasi menjadi 95,56%. Hasil menunjukkan kemampuan model MViT yang baik dalam mengklasifikasi aksi kekerasan fisik.