Perkembangan Large Language Model (LLM) mendorong meningkatnya kebutuhan akan sistem inferensi yang efisien, stabil, dan mampu menangani beban pengguna yang beragam. Pemilihan lingkungan komputasi menjadi faktor krusial dalam menentukan kinerja inferensi LLM, khususnya pada skenario penggunaan multi-user dan dataset dengan tingkat kompleksitas yang berbeda. Namun, kajian yang membandingkan performa inferensi LLM berbasis Ollama pada sistem komputasi berskala berbeda, seperti server GPU tunggal dan superkomputer, masih terbatas. Oleh karena itu, skripsi ini bertujuan untuk menganalisis dan membandingkan performa inferensi LLM pada server gpu1.petra.ac.id dan Superkomputer Pak Carik. Metode yang digunakan dalam skripsi ini adalah pengujian eksperimental terhadap sistem inferensi LLM menggunakan Ollama dengan dua model, yaitu Llama3.2:3b dan Llama3.1:8b. Pengujian dilakukan menggunakan dua dataset, CommonsenseQA dan TruthfulQA, dengan variasi jumlah pengguna, yaitu 1, 10, dan 20 pengguna secara bersamaan, untuk mengevaluasi performa dan skalabilitas sistem. Parameter yang diamati meliputi metrik kinerja inferensi berupa latency, latency persentil ke-95, throughput, generation Tokens per Minute (TPM), dan end-to-end TPM, serta utilisasi sumber daya sistem yang mencakup CPU, GPU, dan memori. Pengujian dilakukan pada dua lingkungan komputasi yang berbeda dengan pemantauan sumber daya menggunakan Grafana.. Hasil eksperimen menunjukkan bahwa server gpu1.petra.ac.id memiliki performa yang sangat baik pada skenario beban ringan dengan latensi rendah dan throughput tinggi, terutama pada dataset CommonsenseQA. Namun, performanya menurun secara signifikan pada skenario banyak pengguna dan dataset dengan kompleksitas tinggi seperti TruthfulQA, yang juga tercermin dari penurunan nilai generation TPM dan end-to-end TPM. Sebaliknya, Superkomputer Pak Carik menunjukkan kinerja yang lebih konsisten dan skalabel, dengan kemampuan yang lebih baik dalam mempertahankan throughput dan nilai TPM pada beban pengguna yang lebih besar. Selain itu, hasil pengujian menunjukkan bahwa jenis dataset dan ukuran model sangat memengaruhi kinerja inferensi, sementara penggunaan memori sistem relatif stabil pada seluruh skenario pengujian.