Meningkatkan skalabilitas training deep learning dengan hybrid parallelism untuk mempercepat training dan mengakomodasi model yang besar
Di era dengan perkembangan kecerdasan buatan yang semakin pesat ini, jumlah data yang digunakan semakin meningkat. Selain itu, inovasi juga memunculkan arsitektur-arsitektur model baru yang lebih kompleks dan memiliki jumlah parameter yang sangat besar. Kombinasi dua masalah tersebut menyebabkan proses training menjadi semakin lama bahkan dapat memakan waktu hingga berhari-hari. Selain itu, kapasitas memori yang dibutuhkan selama proses training juga menjadi semakin besar. Hal ini semakin menyulitkan seseorang untuk melakukan training hanya dengan satu GPU saja yang memiliki keterbatasan dalam memori dan daya pemrosesan. Penelitian yang sudah ada saat ini masih fokus menyelesaikan salah satu masalah saja antara data yang besar atau model yang besar. Metode yang digunakan dalam penelitian ini adalah hybrid parallel. Metode ini berusaha menggabungkan data parallel untuk menangani data yang besar dan pipeline parallel untuk menangani model yang besar. Sebagai studi kasus, penelitian ini menggunakan dataset mengenai klasifikasi penyakit retinopati diabetik dan model DenseNet-121. Hasil menunjukkan bahwa hybrid parallel tidak mampu mempercepat proses training model deep learning bila dibandingkan dengan yang menggunakan satu GPU. Meskipun begitu, penggunaan data parallel dapat meningkatkan kecepatan training model hingga 1.9x. Disamping itu, penggunaan strategi hybrid parallel ini dapat memberikan performa klasifikasi yang serupa bahkan sedikit lebih tinggi dengan nilai akurasi validasi 0.737, QWK 0.861, dan weighted F1 0.749.