Yapay Zeka Sunucusu Nedir? GPU, VRAM ve Donanım Seçim Rehberi

Sunucun 4 dk okuma

Kısa cevap: Yapay zeka sunucusu, makine öğrenimi modellerini eğitmek veya çalıştırmak (çıkarım) için tasarlanmış, genellikle bir ya da birden fazla GPU gibi hızlandırıcı içeren sunucudur. “Yapay zeka destekli sunucu” ifadesi ise iki anlamda kullanılır: yapay zeka iş yüklerini çalıştıran sunucu ve kendi yönetiminde (izleme, arıza tahmini, güvenlik) yapay zekadan yararlanan sunucu. Bu yazıda ikisini de ele alıyoruz.

Yapay Zeka Sunucusu konusunu anlatan çizim

Yapay Zeka Sunucusu ile Normal Sunucunun Farkı

Yapay zeka modellerinin temel işlemi devasa matris çarpımlarıdır. CPU az sayıda güçlü çekirdekle sıralı işlerde iyidir; GPU ise binlerce küçük çekirdekle aynı işlemi aynı anda çok sayıda veri üzerinde yapar. Bu yüzden yapay zeka sunucusunun tasarımı GPU’nun etrafında şekillenir:

BileşenNormal sunucuYapay zeka sunucusu
Ana işlem birimiCPUGPU veya başka hızlandırıcı (TPU, NPU vb.); CPU veriyi hazırlar ve GPU’yu besler
Kritik bellekSistem RAM’iGPU belleği (VRAM); modelin sığıp sığmayacağını o belirler
BağlantıStandart PCIeÇoklu GPU’da GPU’lar arası hızlı bağlantı (ör. NVIDIA NVLink), kümelerde InfiniBand veya yüksek hızlı Ethernet
Depolamaİş yüküne göreEğitim verisini GPU’yu bekletmeden okuyacak hızlı NVMe
Güç ve soğutmaSıradan raf yoğunluğuGPU başına yüzlerce watt; güçlü güç kaynağı ve soğutma gerekir

Eğitim mi, Çıkarım mı? İhtiyaç Buna Göre Değişir

  • Eğitim (training): Modelin veriden öğrenmesidir. Ağırlıkların yanında gradyanlar ve optimizer durumu da bellekte tutulduğundan, aynı model için çıkarımdan kat kat fazla VRAM ve işlem gücü ister. Büyük modeller genellikle çok GPU’lu sunucularda veya kümelerde eğitilir.
  • İnce ayar (fine-tuning): Hazır bir modeli kendi verinizle uyarlamaktır. LoRA gibi yöntemler yalnızca küçük ek katmanları eğittiği için tek GPU’ya sığabilir.
  • Çıkarım (inference): Eğitilmiş modelin soru yanıtlaması, görsel sınıflandırması gibi günlük kullanımıdır. Çoğu işletmenin ihtiyacı budur; burada belirleyici olan VRAM, gecikme ve eş zamanlı istek sayısıdır.

Model Boyutuna Göre VRAM Hesabı

Bir dil modelinin ağırlıkları için gereken bellek, kabaca parametre sayısı × parametre başına bayt ile hesaplanır. FP16/BF16’da parametre başına 2 bayt, 8 bit nicemlemede 1 bayt, 4 bit nicemlemede yaklaşık 0,5 bayt gerekir:

Model boyutuFP16 / BF168 bit4 bit
7–8 milyar parametre~14–16 GB~7–8 GB~4 GB
13 milyar parametre~26 GB~13 GB~7 GB
70 milyar parametre~140 GB~70 GB~35 GB

Bunlar yalnızca ağırlıklardır. Çıkarım sırasında bağlam penceresi ve eş zamanlı kullanıcı sayısıyla büyüyen KV önbelleği ve çalışma alanı için en az %10–20, uzun bağlamlarda çok daha fazla pay bırakın. Örneğin 24 GB VRAM’li bir kart 7–8 milyar parametreli bir modeli FP16’da rahat çalıştırırken, 70 milyar parametreli bir model FP16’da birden fazla 80 GB’lık veri merkezi GPU’su gerektirir.

Yapay Zeka Sunucusu Seçerken Kontrol Listesi

  1. Önce işi tanımlayın: Eğitim mi, ince ayar mı, çıkarım mı? Hangi model ve hangi hassasiyet (FP16, 8 bit, 4 bit)?
  2. VRAM’i hesaplayın: Yukarıdaki tabloya KV önbelleği payını ekleyin; model tek GPU’ya sığmıyorsa çoklu GPU ve GPU’lar arası bağlantı gerekir.
  3. Yazılım desteğini kontrol edin: Kullanacağınız çerçevenin (PyTorch, vLLM vb.) GPU’nuzu ve sürücü sürümünü desteklediğinden emin olun.
  4. CPU ve RAM’i ihmal etmeyin: Veri ön işleme ve modelin yüklenmesi için sistem RAM’i en az toplam VRAM kadar olmalıdır.
  5. Hızlı disk: Model dosyaları onlarca GB olabilir; NVMe yükleme süresini kısaltır.
  6. Kullanım süresine göre karar verin: Ara sıra eğitim için saatlik bulut GPU’su, sürekli çalışan çıkarım için sabit aylık maliyetli sunucu genellikle daha ekonomiktir.

Her yapay zeka projesi GPU gerektirmez. Modeli bir API üzerinden çağıran uygulamalar, sohbet botu arka uçları, vektör veritabanları ve küçük nicemlenmiş modellerle CPU üzerinde çıkarım için bir VDS sunucu ya da daha yüksek kaynak gerektiğinde fiziksel sunucu yeterli olabilir. Farkları VDS sunucu nedir ve VPS ile dedicated sunucu karşılaştırması yazılarımızda anlattık.

Sunucu Yönetiminde Yapay Zeka (AIOps)

“Yapay zeka destekli sunucu” ifadesinin ikinci anlamı, sunucuların yönetiminde makine öğreniminin kullanılmasıdır. Bu alana AIOps denir ve başlıca kullanım alanları şunlardır:

  • Anomali tespiti: CPU, bellek, disk ve ağ metriklerinin normal örüntüsü öğrenilir; sabit eşiklerin kaçırdığı olağan dışı davranışlar işaretlenir.
  • Arıza tahmini: Disklerin SMART verileri ve donanım sensörleri izlenerek arıza riski yükselen parçalar önceden değiştirilebilir.
  • Kapasite planlama: Geçmiş kullanım verisinden ileriye dönük kaynak ihtiyacı tahmin edilir.
  • Enerji ve soğutma: Google, DeepMind ile geliştirdiği makine öğrenimi sisteminin veri merkezlerinde soğutma için kullanılan enerjiyi %40’a kadar azalttığını açıklamıştır.
  • Güvenlik: Ağ trafiğindeki olağan dışı örüntüler DDoS ve izinsiz giriş girişimlerinin erken fark edilmesine yardımcı olur; yine de güvenlik duvarı, yama ve erişim kontrolü gibi temel önlemlerin yerini tutmaz.

Sıkça Sorulan Sorular

Yapay zeka modeli GPU olmadan çalışır mı?

Evet, küçük ve nicemlenmiş modeller CPU üzerinde çalışabilir; ancak yanıt süresi GPU’ya göre belirgin şekilde uzundur. Eğitim ve büyük modellerle çıkarım için pratikte GPU gerekir.

Oyun ekran kartı yapay zeka sunucusunda kullanılabilir mi?

Deneme, geliştirme ve küçük çıkarım işleri için kullanılabilir. Veri merkezi GPU’ları ise daha fazla VRAM, hata düzeltmeli bellek, 7/24 çalışmaya uygun soğutma ve çoklu GPU bağlantısı sunar.

Kendi sunucumda mı çalıştırmalıyım, API mi kullanmalıyım?

Az ve düzensiz kullanımda hazır bir API genellikle daha ucuz ve kolaydır. Verinin kurum dışına çıkmaması gerekiyorsa, kullanım sürekli ve yüksekse veya modeli özelleştirmek istiyorsanız kendi sunucunuzda çalıştırmak öne çıkar.

Sonuç

Yapay zeka sunucusunun kalbi GPU, en kritik sınırı ise VRAM’dir. Doğru seçim için önce eğitim mi çıkarım mı yapacağınızı ve hangi modeli hangi hassasiyetle çalıştıracağınızı belirleyin; VRAM hesabını buna göre yapın. Yapay zeka ve makine öğreniminin temellerini merak ediyorsanız yapay zeka ve makine öğrenimi ile yapay zeka ve derin öğrenme yazılarımıza göz atabilirsiniz.

Kategoriler

Son yazılar