Yerel model mi, Claude mı?
"Hangi yapay zekâ modelini kullanıyorsunuz?" sorusunun tek bir doğru cevabı yok. Çünkü doğru cevap, müşteriye göre değişiyor.
Tek model neden yetmez
Üç farklı müşteri, üç farklı öncelik getiriyor:
- Veri egemenliği. Bazı müşteriler verinin sunucudan hiç çıkmamasını ister. Onlar için model kendi altyapılarında, internete kapalı çalışan yerel bir model olmalı.
- Kalite. Müşteriye giden Türkçe metin üretiminde bulut modeller daha kararlı; küçük yerel modeller uzun metinde zaman zaman kelime bozabiliyor.
- Maliyet ve hız. İç, tekrar eden sorgular için yerel model ucuz ve hızlıdır; her token için buluta ödeme yapmak gereksizdir.
Kurduğumuz katman
Her müşteri için sağlayıcıyı (yerel / bulut), modeli ve kendi API anahtarını, yönetim panelinden anlık ayarlanabilir yaptık — sunucuyu yeniden başlatmadan. Temel ilke basit: müşterinin kendi ayarı varsa o kullanılır, yoksa varsayılana düşülür. Böylece hiçbir müşteri diğerinin ayarından etkilenmez.
Pratikte hangisi
- İç bilgi sorgusu, arıza teşhisi → yerel, ucuz, hızlı.
- Müşteriye giden metin (özet, teklif, e-posta) → kaliteli bulut.
- Veri egemenliği şartı olan müşteri → tamamen yerel, dışa kapalı kurulum.
Henüz yapmadığımız
Dürüst olalım: soru-bazlı otomatik model seçimi (basit soru → ucuz model, karmaşık soru → güçlü model) henüz yok. Şu an seçim müşteri düzeyinde, soru düzeyinde değil. Bir sonraki adımımız bu — ve hazır olunca yine burada yazacağız.
"En iyi model" diye bir şey yok; "bu müşteri için en uygun model" var.
Model seçimi teknik bir detay değil, bir ürün kararıdır. Tek beden herkese uymaz.