<![CDATA[Perkembangan pesat Large Language Models (LLM) telah membuka berbagai kemungkinan baru dalam pemrosesan bahasa alami. Namun, ukuran model yang sangat besar dan kebutuhan komputasi yang masif menimbulkan tantangan signifikan dalam penyediaan layanan (serving) yang responsif dan efisien. Arsitektur terdistribusi menjadi solusi untuk menangani beban kerja ini, namun efektivitasnya sangat bergantung pada strategi alokasi sumber daya (seperti GPU, memori, dan bandwidth) yang digunakan. Alokasi yang tidak optimal dapat menyebabkan pemanfaatan sumber daya yang buruk, latensi tinggi, dan biaya operasional yang membengkak.Penelitian ini bertujuan untuk mengimplementasikan dan mengevaluasi metode optimasi alokasi sumber daya pada sistem pelayanan LLM terdistribusi. Fokus utama adalah merancang mekanisme alokasi adaptif yang mampu menyeimbangkan beban kerja secara dinamis, meminimalkan kemacetan komunikasi antar node, serta menjamin Quality of Service (QoS) seperti latensi dan throughput. Metode yang diusulkan mengkombinasikan teknik penjadwalan berbasis prioritas, manajemen memori hierarkis, dan penyeimbangan beban prediktif dengan mempertimbangkan karakteristik unik dari inferensi LLM, seperti sifat autoregressive dan variasi panjang konteks input. Implementasi dilakukan pada lingkungan cluster komputasi dengan orkestrasi container dan diamati metrik kinerjanya.Hasil implementasi menunjukkan bahwa pendekatan yang diusulkan mampu meningkatkan utilisasi sumber daya hingga presentase tertentu (misal: 25%) dan mengurangi latensi rata-rata untuk permintaan (request) dibandingkan dengan metode alokasi statis konvensional. Selain itu, sistem terbukti lebih resilien terhadap lonjakan permintaan dengan menjaga stabilitas throughput. Penelitian ini berkontribusi dalam menyediakan kerangka kerja praktis untuk menjalankan layanan LLM berskala besar secara lebih ekonomis dan berkinerja tinggi, serta membuka peluang untuk pengembangan lebih lanjut dalam manajemen sumber daya cerdas untuk AI generatif.]]>
