Verilerin bilgisayarından çıkmasın, abonelik ödeme, internet olmadan da çalışsın istiyorsan modeli yerelde çalıştırabilirsin.
Hangi bilgisayar yeter?
Kabaca: model dosyasının boyutu kadar boş RAM (ekran kartı varsa VRAM) gerekir.
| Model boyutu | Yaklaşık ihtiyaç | Ne beklenir |
|---|---|---|
| 1-4 milyar parametre | 4-8 GB RAM | Basit soru-cevap, özet; eski laptoplarda bile çalışır |
| 7-9 milyar | 8-16 GB RAM | Günlük kullanım için iyi denge |
| 14-32 milyar | 16-32 GB RAM veya iyi bir GPU | Daha akıllı ama daha yavaş |
Yol 1: LM Studio (en kolayı, arayüzlü)
- lmstudio.ai adresinden indir, kur.
- Arama kısmından bir model seç (ilk deneme için 4-8 GB’lık bir model), indir.
- Sohbet sekmesinden konuşmaya başla. Ayarlardan yerel bir API sunucusu da açabilirsin.
Yol 2: Ollama (komut satırı, geliştiriciler için)
ollama.com adresinden kur, sonra terminalde:
ollama run llama3.2 # küçük ve hızlı bir model indirip sohbeti başlatır
ollama list # indirdiğin modeller
ollama rm llama3.2 # modeli sil
Ollama arka planda http://localhost:11434 adresinde bir API açar. Python’dan şöyle kullanabilirsin:
import requests
r = requests.post("http://localhost:11434/api/generate", json={
"model": "llama3.2",
"prompt": "Python'da liste ile demet (tuple) farkını 3 maddede anlat.",
"stream": False,
})
print(r.json()["response"])
İpuçları
- Model adlarındaki Q4, Q5, Q8 sıkıştırma seviyesidir. Q4 küçük ve hızlıdır, Q8 daha kaliteli ama daha büyüktür. Başlangıç için Q4_K_M iyi bir seçim.
- Türkçe performansı modelden modele çok değişir; birkaç model deneyip karşılaştırın.
- Yerel modeller büyük bulut modelleri kadar güçlü değildir ama özetleme, sınıflandırma ve taslak çıkarma için çoğu zaman yeterlidir.
Siz hangi modeli kullanıyorsunuz, Türkçede en iyi hangisi? Deneyimlerinizi yazın.