Higress
LLM API'lerine, MCP sunucularına ve çıkarım iş yüklerine giden trafiği yönlendiren, güvenceye alan ve izleyen açık kaynaklı yapay zekâ ağ geçidi.
Higress, uygulamalarla büyük dil modelleri arasında duran, CNCF Sandbox projesi olarak barındırılan açık kaynaklı bir yapay zekâ ağ geçididir. Birçok model sağlayıcısı için tek bir çağrı arayüzü sunar; yedek model geçişi, içerik filtreleme, önbellekleme ve token kotaları ekler. Geliştiriciler Higress'i Docker ile yerelde çalıştırabilir ya da Alibaba Cloud'daki yönetilen bulut sürümünü kullanabilir.
En uygun kullanım Birden fazla model sağlayıcısını çağıran veya MCP araçları sunan, merkezî yönlendirme, kota ve güvenlik isteyen mühendislik ekipleri için.
- Listelendiği kategoriler
- Geliştirici API'siDevOps ve izleme
- Platformlar
- API
- Fiyat modeli
- Ücretsiz
- Ücretsiz plan
- Evet
- API
- Evet
- Eklenme
Son doğrulama: . Bilgiler higress.ai sitesinden alınmıştır.
Higress nedir?
Higress, Istio ve Envoy üzerine kurulu ve Cloud Native Computing Foundation (CNCF) bünyesinde Sandbox projesi olarak sürdürülen, açık kaynaklı bir yapay zekâ ağ geçididir. Üç tür yapay zekâ trafiğini tek bir giriş noktasından yönetir: model API'lerine yapılan çağrılar, MCP araçlarına gelen istekler ve Kubernetes üzerinde çalışan çıkarım iş yükleri. Model erişiminde yüzün üzerinde yaygın modelin protokolleri arasında dönüşüm yapar; böylece uygulamalar tek bir istek biçimi kullanır, bir model başarısız olduğunda ise başka bir modele geçilebilir. Diğer ağ geçidi işlevleri arasında istemlerde ve yanıtlarda içerik güvenliği denetimi, sonuçların birebir ve anlamsal önbelleklenmesi, tüketici başına token sayımı ve sınırlandırma yer alır. Mevcut hizmetler MCP sunucusu olarak sunulabilir, davranış Wasm eklentileriyle genişletilir. Tamamen yönetilen ticari bir sürüm de Alibaba Cloud AI Gateway adıyla sunuluyor.
Öne çıkan özellikler
Birleşik model erişimi
Tek bir istek biçimini 100'den fazla modelin protokollerine çevirir ve model düzeyinde yedek geçişi destekler.
MCP sunucusu barındırma
MCP isteklerini alır; mevcut hizmetlere kimlik doğrulama, trafik zamanlama, parametre eşleme ve denetim kaydı ekler.
İçerik güvenliği
Dış modellere gönderilen verileri filtreler, kullanıcılara dönen çıktıyı denetler.
Sonuç önbellekleme
Tekrarlanan sorularda token kullanımını ve gecikmeyi azaltmak için birebir ve anlamca benzer yanıtları saklar.
Token kotaları
Tüketici başına token kullanımını izler, payını aşan çağıranları kısıtlar.
Wasm eklentileri
Topluluğun hazırladığı çok sayıda eklenti de dahil olmak üzere, ağ geçidini eklentilerle genişletir.
Kullanım alanları
- Çok sağlayıcılı yönlendirme
- Bir platform ekibi OpenAI, Claude ve yerel modelleri tek bir dahili uç noktanın arkasına koyar.
- API'leri MCP araçlarına dönüştürme
- Bir şirket mevcut HTTP hizmetlerini ajanları için MCP sunucuları olarak yayımlar.
- Maliyet denetimi
- Bir yönetici ekip başına token sınırları belirler ve kullanım verilerini inceler.
- İstem ve çıktı denetimi
- Bir güvenlik mühendisi, uygulama kodunu değiştirmeden güvenlik denetimleri ekler.
- Yerelde değerlendirme
- Bir geliştirici, özellikleri birkaç dakikada denemek için ağ geçidini Docker'da çalıştırır.
Bilmeniz gerekenler
- İki sürüm
- Açık kaynaklı ağ geçidini kendiniz yönetirsiniz; Alibaba Cloud AI Gateway ise sunucusuz ve kurumsal katmanları olan, yönetilen ticari bir hizmettir.
- Bulut fiyatları yuan cinsinden
- Yönetilen sunucusuz katman, Çin yuanı cinsinden verilen kullanım bazlı faturalamayla duyuruluyor.
- Dokümantasyon lisansı
- Projenin dokümantasyonu CC-BY-4.0 lisansıyla dağıtılıyor.
Sık sorulan sorular
Higress nedir?
Higress, uygulamalar ile LLM API'leri, yapay zekâ ajanları ve MCP sunucuları arasındaki trafiği yöneten, açık kaynaklı bir yapay zekâ ağ geçididir.
Higress ücretsiz mi?
Evet. Higress açık kaynaklıdır ve kendiniz kurmak ücretsizdir; ayrı bir ticari bulut sürümü Alibaba Cloud üzerinden satılıyor.
Higress'i nasıl deneyebilirim?
Higress, kayıt gerektirmeyen tek tıkla Docker kurulumuyla yerelde başlatılabilir; site, temel özelliklerin yaklaşık beş dakikada doğrulanabildiğini söylüyor.
Higress hangi modelleri destekliyor?
Higress, OpenAI, Claude ve yerelde barındırılan LLM'ler dahil 100'den fazla yaygın model için birleşik protokol dönüşümü yaptığını belirtiyor.
Higress MCP'yi destekliyor mu?
Evet. Higress MCP sunucuları barındırabilir ve mevcut hizmetleri bunlara dönüştürebilir; kimlik doğrulamayı ve trafik denetimini ağ geçidinde yürütür.
Higress'in arkasında kim var?
Higress, Cloud Native Computing Foundation'ın (CNCF) bir Sandbox projesidir; ticari sürümü Alibaba Cloud'da sunuluyor.
Kimler için
- Platform mühendisleri
- Arka uç geliştiricileri
- DevOps ekipleri
- Yapay zekâ uygulaması ekipleri
Bu rehberlerde kullanılıyor
- Yapay zekâ destekli uygulama geliştirmek: araç yığınının katman katman haritasıAşama 3: Model API'leri, geçitler ve çıkarım barındırma
Her rehber, bir işin aşamalarını ve her aşamada işe yarayan araçları listeler. Tüm rehberler
Yorumlar
Henüz yorum yok. Higress aracını kullandıysan, deneyimini diğer okurlarla paylaş.
Higress alternatifleri
| Araç | Ücretsiz plan | Başlangıç fiyatı | API |
|---|---|---|---|
 Kong KonnectAPI, yapay zekâ, MCP ve olay trafiğini ağ geçitleri üzerinden yönetmek ve denetlemek için Kong'un birleşik platformu. |
Hayır | $25/ay | Evet |
 LangChainYapay zekâ ajanlarını izlemek, değerlendirmek ve dağıtmak için açık kaynak ajan çerçeveleri ve LangSmith platformu. |
Evet | — | Evet |
 TrueFoundryLLM, MCP ve ajan trafiğini kendi altyapınızda yönlendiren, yöneten ve izleyen kurumsal yapay zekâ geçidi. |
Evet | — | Evet |
 VercelWeb uygulamalarını ve yapay zekâ ajanlarını yayına alan; yapay zekâ ağ geçidi, korumalı alanlar, iş akışları ve küresel CDN sunan bulut platformu. |
Evet | $20/ay | Evet |
 APIParkYapay zekâ modellerini, API’leri ve MCP hizmetlerini çağırmak, kimlik doğrulamak, faturalandırmak ve izlemek için birleşik ağ geçidi. |
— | — | Evet |
Higress ile aynı kategorilerde listelenenler. Başlangıç fiyatı yalnızca yapımcının fiyat sayfasında kontrol ettiğimiz yerlerde görünür; tire, kontrol edilmediği veya yayımlanmadığı anlamına gelir. Tüm Geliştirici API'si araçları