LiteLLM
Kurulum & Uyumluluk
| Lisans | ⚖️ NOASSERTION — açık kaynak, kullanımı ücretsiz |
|---|---|
| cPanel ile kolay kurulur mu? | Hayır — Docker/VPS gerekir |
| Sunucu ihtiyacı | VPS/sunucu (Docker önerilir) |
| Veritabanı | PostgreSQL (proxy için) |
| Yerelde (local) çalışır mı? | Evet (Docker) |
| Barındırma şekli | Sunucuda host gerekir |
Kısaca nasıl kullanılır?
* Bu kurulum/uyumluluk değerlendirmesi, yazılımın teknik yapısına göre e-veri.com tarafından yorumlanmıştır.
Bu yazılım ne işe yarar?
LiteLLM, açık kaynak bir yapay zekâ ağ geçidi (AI gateway) olup, 100'den fazla farklı dil modeli sağlayıcısına tek ve standart bir arayüzle erişmenizi sağlar. Tüm modelleri "OpenAI formatında" çağırırsınız; böylece her sağlayıcı için ayrı SDK ve kod yönetmek zorunda kalmazsınız. Hem Python kütüphanesi hem de bağımsız proxy sunucusu olarak çalışır.
Hangi problemi çözer?
Kurumlar genellikle birden fazla LLM sağlayıcısı kullanır; her birinin farklı API'si, maliyet takibi ve erişim yönetimi vardır. Bu karmaşıklık geliştirmeyi yavaşlatır ve maliyet kontrolünü zorlaştırır. LiteLLM, tüm bu sağlayıcıları tek bir kapı ardında toplar; sanal anahtarlar, harcama takibi ve güvenlik kuralları (guardrails) ile merkezî yönetim sunar.
Neden tercih edilir?
MIT lisanslı ve tamamen kendi sunucunuzda barındırılabilir olması, AI trafiğinizin ve maliyet verilerinizin sizde kalmasını sağlar. Yük dengeleme ile yüksek istek hacminde dahi düşük gecikme sunar; yönetim paneli ve çok kiracılı maliyet takibiyle departman bazlı bütçe kontrolü sağlar. Birden fazla model kullanan kurumlar için merkezî bir AI altyapısıdır.
Öne Çıkan Özellikler
Kurumsal Kullanım Senaryoları
- Merkezî AI ağ geçidi: Tüm ekiplerin farklı LLM'lere tek kapıdan, tek standartla eriştiği kurumsal altyapı.
- Maliyet ve bütçe kontrolü: Departman/proje bazlı harcama takibi ve sanal anahtarlarla limit yönetimi.
- Sağlayıcı bağımsızlığı: Tek satır kodla farklı modeller arası geçiş, vendor lock-in'i önleme.
- Yük dengeleme: Yüksek istek hacminde birden fazla model/endpoint arasında dağıtım.
- Güvenlik ve denetim: Guardrails ile içerik kuralları ve erişim denetimi.
Kimler için: Birden fazla LLM sağlayıcısı kullanan, AI maliyetini ve erişimini merkezî yönetmek isteyen kurumlar ve geliştirme ekipleri.
LiteLLM için e-veri.com hizmetleri
Açık kaynak yazılım ücretsizdir; e-veri.com kurulumunu, yönetilen hosting'ini ve sürekli desteğini kurumsal güvenceyle üstlenir. Aşağıdan size uygun paket için ücretsiz teklif alın.
Kurumsal Kurulum
- Sunucu hazırlığı ve güvenlik
- Kurulum + Türkçe yapılandırma
- Veri/ürün aktarımı
- Eğitim oturumu
Yönetilen Hosting
- Önceden kurulu ortam
- Otomatik yedek
- Güncelleme & izleme
- SSL dahil
Destek & Bakım
- Öncelikli destek
- Düzenli güncelleme
- Yedek doğrulama
- Aylık sağlık raporu