Kısa cevap: Yapay zeka sunucusu, makine öğrenimi modellerini eğitmek veya çalıştırmak (çıkarım) için tasarlanmış, genellikle bir ya da birden fazla GPU gibi hızlandırıcı içeren sunucudur. “Yapay zeka destekli sunucu” ifadesi ise iki anlamda kullanılır: yapay zeka iş yüklerini çalıştıran sunucu ve kendi yönetiminde (izleme, arıza tahmini, güvenlik) yapay zekadan yararlanan sunucu. Bu yazıda ikisini de ele alıyoruz.
Yapay Zeka Sunucusu ile Normal Sunucunun Farkı
Yapay zeka modellerinin temel işlemi devasa matris çarpımlarıdır. CPU az sayıda güçlü çekirdekle sıralı işlerde iyidir; GPU ise binlerce küçük çekirdekle aynı işlemi aynı anda çok sayıda veri üzerinde yapar. Bu yüzden yapay zeka sunucusunun tasarımı GPU’nun etrafında şekillenir:
| Bileşen | Normal sunucu | Yapay zeka sunucusu |
|---|---|---|
| Ana işlem birimi | CPU | GPU veya başka hızlandırıcı (TPU, NPU vb.); CPU veriyi hazırlar ve GPU’yu besler |
| Kritik bellek | Sistem RAM’i | GPU belleği (VRAM); modelin sığıp sığmayacağını o belirler |
| Bağlantı | Standart PCIe | Çoklu GPU’da GPU’lar arası hızlı bağlantı (ör. NVIDIA NVLink), kümelerde InfiniBand veya yüksek hızlı Ethernet |
| Depolama | İş yüküne göre | Eğitim verisini GPU’yu bekletmeden okuyacak hızlı NVMe |
| Güç ve soğutma | Sıradan raf yoğunluğu | GPU başına yüzlerce watt; güçlü güç kaynağı ve soğutma gerekir |
Eğitim mi, Çıkarım mı? İhtiyaç Buna Göre Değişir
- Eğitim (training): Modelin veriden öğrenmesidir. Ağırlıkların yanında gradyanlar ve optimizer durumu da bellekte tutulduğundan, aynı model için çıkarımdan kat kat fazla VRAM ve işlem gücü ister. Büyük modeller genellikle çok GPU’lu sunucularda veya kümelerde eğitilir.
- İnce ayar (fine-tuning): Hazır bir modeli kendi verinizle uyarlamaktır. LoRA gibi yöntemler yalnızca küçük ek katmanları eğittiği için tek GPU’ya sığabilir.
- Çıkarım (inference): Eğitilmiş modelin soru yanıtlaması, görsel sınıflandırması gibi günlük kullanımıdır. Çoğu işletmenin ihtiyacı budur; burada belirleyici olan VRAM, gecikme ve eş zamanlı istek sayısıdır.
Model Boyutuna Göre VRAM Hesabı
Bir dil modelinin ağırlıkları için gereken bellek, kabaca parametre sayısı × parametre başına bayt ile hesaplanır. FP16/BF16’da parametre başına 2 bayt, 8 bit nicemlemede 1 bayt, 4 bit nicemlemede yaklaşık 0,5 bayt gerekir:
| Model boyutu | FP16 / BF16 | 8 bit | 4 bit |
|---|---|---|---|
| 7–8 milyar parametre | ~14–16 GB | ~7–8 GB | ~4 GB |
| 13 milyar parametre | ~26 GB | ~13 GB | ~7 GB |
| 70 milyar parametre | ~140 GB | ~70 GB | ~35 GB |
Bunlar yalnızca ağırlıklardır. Çıkarım sırasında bağlam penceresi ve eş zamanlı kullanıcı sayısıyla büyüyen KV önbelleği ve çalışma alanı için en az %10–20, uzun bağlamlarda çok daha fazla pay bırakın. Örneğin 24 GB VRAM’li bir kart 7–8 milyar parametreli bir modeli FP16’da rahat çalıştırırken, 70 milyar parametreli bir model FP16’da birden fazla 80 GB’lık veri merkezi GPU’su gerektirir.
Yapay Zeka Sunucusu Seçerken Kontrol Listesi
- Önce işi tanımlayın: Eğitim mi, ince ayar mı, çıkarım mı? Hangi model ve hangi hassasiyet (FP16, 8 bit, 4 bit)?
- VRAM’i hesaplayın: Yukarıdaki tabloya KV önbelleği payını ekleyin; model tek GPU’ya sığmıyorsa çoklu GPU ve GPU’lar arası bağlantı gerekir.
- Yazılım desteğini kontrol edin: Kullanacağınız çerçevenin (PyTorch, vLLM vb.) GPU’nuzu ve sürücü sürümünü desteklediğinden emin olun.
- CPU ve RAM’i ihmal etmeyin: Veri ön işleme ve modelin yüklenmesi için sistem RAM’i en az toplam VRAM kadar olmalıdır.
- Hızlı disk: Model dosyaları onlarca GB olabilir; NVMe yükleme süresini kısaltır.
- Kullanım süresine göre karar verin: Ara sıra eğitim için saatlik bulut GPU’su, sürekli çalışan çıkarım için sabit aylık maliyetli sunucu genellikle daha ekonomiktir.
Her yapay zeka projesi GPU gerektirmez. Modeli bir API üzerinden çağıran uygulamalar, sohbet botu arka uçları, vektör veritabanları ve küçük nicemlenmiş modellerle CPU üzerinde çıkarım için bir VDS sunucu ya da daha yüksek kaynak gerektiğinde fiziksel sunucu yeterli olabilir. Farkları VDS sunucu nedir ve VPS ile dedicated sunucu karşılaştırması yazılarımızda anlattık.
Sunucu Yönetiminde Yapay Zeka (AIOps)
“Yapay zeka destekli sunucu” ifadesinin ikinci anlamı, sunucuların yönetiminde makine öğreniminin kullanılmasıdır. Bu alana AIOps denir ve başlıca kullanım alanları şunlardır:
- Anomali tespiti: CPU, bellek, disk ve ağ metriklerinin normal örüntüsü öğrenilir; sabit eşiklerin kaçırdığı olağan dışı davranışlar işaretlenir.
- Arıza tahmini: Disklerin SMART verileri ve donanım sensörleri izlenerek arıza riski yükselen parçalar önceden değiştirilebilir.
- Kapasite planlama: Geçmiş kullanım verisinden ileriye dönük kaynak ihtiyacı tahmin edilir.
- Enerji ve soğutma: Google, DeepMind ile geliştirdiği makine öğrenimi sisteminin veri merkezlerinde soğutma için kullanılan enerjiyi %40’a kadar azalttığını açıklamıştır.
- Güvenlik: Ağ trafiğindeki olağan dışı örüntüler DDoS ve izinsiz giriş girişimlerinin erken fark edilmesine yardımcı olur; yine de güvenlik duvarı, yama ve erişim kontrolü gibi temel önlemlerin yerini tutmaz.
Sıkça Sorulan Sorular
Yapay zeka modeli GPU olmadan çalışır mı?
Evet, küçük ve nicemlenmiş modeller CPU üzerinde çalışabilir; ancak yanıt süresi GPU’ya göre belirgin şekilde uzundur. Eğitim ve büyük modellerle çıkarım için pratikte GPU gerekir.
Oyun ekran kartı yapay zeka sunucusunda kullanılabilir mi?
Deneme, geliştirme ve küçük çıkarım işleri için kullanılabilir. Veri merkezi GPU’ları ise daha fazla VRAM, hata düzeltmeli bellek, 7/24 çalışmaya uygun soğutma ve çoklu GPU bağlantısı sunar.
Kendi sunucumda mı çalıştırmalıyım, API mi kullanmalıyım?
Az ve düzensiz kullanımda hazır bir API genellikle daha ucuz ve kolaydır. Verinin kurum dışına çıkmaması gerekiyorsa, kullanım sürekli ve yüksekse veya modeli özelleştirmek istiyorsanız kendi sunucunuzda çalıştırmak öne çıkar.
Sonuç
Yapay zeka sunucusunun kalbi GPU, en kritik sınırı ise VRAM’dir. Doğru seçim için önce eğitim mi çıkarım mı yapacağınızı ve hangi modeli hangi hassasiyetle çalıştıracağınızı belirleyin; VRAM hesabını buna göre yapın. Yapay zeka ve makine öğreniminin temellerini merak ediyorsanız yapay zeka ve makine öğrenimi ile yapay zeka ve derin öğrenme yazılarımıza göz atabilirsiniz.
Kategoriler
-
CentOS 13 yazı
-
cPanel 25 yazı
-
CyberPanel 24 yazı
-
İşletim Sistemleri 102 yazı
-
Juniper Networks 18 yazı
-
Kontrol Panelleri 65 yazı
-
Linux 24 yazı
-
MySQL 30 yazı
-
Network 114 yazı
-
Plesk Panel 16 yazı
-
Sanal Sunucu 144 yazı
-
SEO 20 yazı
-
Siber Güvenlik 113 yazı
-
Teknoloji 321 yazı
-
VMware 34 yazı
-
WordPress 28 yazı
-
Yapay Zeka 21 yazı