# Higress

> Open-Source-KI-Gateway zum Routen, Absichern und Beobachten von Datenverkehr zu LLM-APIs, MCP-Servern und Inferenz-Workloads.

Higress ist ein Open-Source-KI-Gateway, gehostet als CNCF-Sandbox-Projekt, das zwischen Anwendungen und großen Sprachmodellen sitzt. Higress bietet eine einheitliche Aufrufschnittstelle für viele Modellanbieter und ergänzt Fallback, Inhaltsfilter, Caching und Token-Kontingente. Entwickler setzen Higress lokal mit Docker ein oder nutzen die verwaltete Cloud-Edition bei Alibaba Cloud.

**Best for:** Engineering-Teams, die mehrere Modellanbieter ansprechen oder MCP-Tools bereitstellen und zentrales Routing, Kontingente und Sicherheit brauchen.

- Official site: https://higress.ai/en
- Listed in: [Entwickler-API](https://trendhub.net/de/ai-tools/category/developer-api), [DevOps und Monitoring](https://trendhub.net/de/ai-tools/category/devops-monitoring)
- Last checked: 2026-10-09 (facts taken from higress.ai)
- Source page: https://trendhub.net/de/ai-tools/higress-open-source-ai-gateway-llm-apis

## Key facts

- Platforms: API
- Pricing model: Free
- Free plan: Yes
- API: Yes

## Was ist Higress?

Higress ist ein Open-Source-KI-Gateway auf Basis von Istio und Envoy, das als Sandbox-Projekt der Cloud Native Computing Foundation (CNCF) betreut wird. Es verarbeitet drei Arten von KI-Datenverkehr über einen Einstiegspunkt: Aufrufe von Modell-APIs, Anfragen an MCP-Tools und Inferenz-Workloads auf Kubernetes. Für den Modellzugriff übersetzt es zwischen den Protokollen von mehr als hundert gängigen Modellen, sodass Anwendungen ein einziges Anfrageformat nutzen, und es kann auf ein anderes Modell ausweichen, wenn eines ausfällt. Weitere Gateway-Funktionen sind Prüfungen der Inhaltssicherheit für Prompts und Antworten, exaktes und semantisches Caching von Ergebnissen sowie das Zählen von Tokens pro Verbraucher mit Limits. Bestehende Dienste lassen sich als MCP-Server bereitstellen, und das Verhalten wird mit Wasm-Plugins erweitert. Eine kommerzielle, vollständig verwaltete Edition wird als Alibaba Cloud AI Gateway angeboten.

## Key features

- **Einheitlicher Modellzugriff**: Übersetzt ein Anfrageformat in die Protokolle von über 100 Modellen und unterstützt Fallback auf Modellebene.
- **Hosting von MCP-Servern**: Nimmt MCP-Anfragen entgegen und ergänzt bestehende Dienste um Authentifizierung, Verkehrsplanung, Parameterzuordnung und Audit.
- **Inhaltssicherheit**: Filtert Daten, die an externe Modelle gehen, und prüft Ausgaben, die an Nutzer zurückkommen.
- **Caching von Ergebnissen**: Speichert exakte und semantisch ähnliche Antworten, um Token-Verbrauch und Latenz bei wiederholten Fragen zu senken.
- **Token-Kontingente**: Erfasst den Token-Verbrauch pro Verbraucher und beschränkt Aufrufer, die ihr Kontingent überschreiten.
- **Wasm-Plugins**: Erweitert das Gateway um Plugins, darunter viele fertige aus der Community.

## Use cases

- **Routing über mehrere Anbieter**: Ein Plattform-Team legt OpenAI, Claude und lokale Modelle hinter einen internen Endpunkt.
- **APIs in MCP-Tools verwandeln**: Ein Unternehmen veröffentlicht bestehende HTTP-Dienste als MCP-Server für seine Agenten.
- **Kostenkontrolle**: Ein Administrator setzt Token-Limits pro Team und prüft die Nutzungsdaten.
- **Prüfung von Prompts und Ausgaben**: Ein Sicherheitsingenieur ergänzt Sicherheitsprüfungen, ohne den Anwendungscode zu ändern.
- **Lokale Evaluierung**: Ein Entwickler startet das Gateway in Docker, um Funktionen in wenigen Minuten zu testen.

## Things to know

- **Zwei Editionen**: Das Open-Source-Gateway betreibst du selbst, während Alibaba Cloud AI Gateway ein verwalteter kommerzieller Dienst mit Serverless- und Enterprise-Stufen ist.
- **Cloud-Preise in Yuan**: Die verwaltete Serverless-Stufe wird mit nutzungsbasierter Abrechnung beworben, die in chinesischen Yuan angegeben ist.
- **Lizenz der Dokumentation**: Die Dokumentation des Projekts wird unter CC-BY-4.0 verbreitet.

## FAQs

### Was ist Higress?

Higress ist ein Open-Source-KI-Gateway, das den Datenverkehr zwischen Anwendungen und LLM-APIs, KI-Agenten und MCP-Servern verwaltet.

### Ist Higress kostenlos?

Ja. Higress ist Open Source und lässt sich kostenlos selbst betreiben; eine separate kommerzielle Cloud-Edition wird über Alibaba Cloud verkauft.

### Wie probiere ich Higress aus?

Higress lässt sich lokal mit einem Docker-Deployment per Klick starten, für das keine Registrierung nötig ist, und laut Website können sich die Kernfunktionen in etwa fünf Minuten überprüfen lassen.

### Welche Modelle unterstützt Higress?

Higress gibt an, für mehr als 100 gängige Modelle eine einheitliche Protokollumwandlung durchzuführen, darunter OpenAI, Claude und lokal gehostete LLMs.

### Unterstützt Higress MCP?

Ja. Higress kann MCP-Server hosten und bestehende Dienste in solche umwandeln, wobei Authentifizierung und Verkehrssteuerung am Gateway erledigt werden.

### Wer steht hinter Higress?

Higress ist ein Sandbox-Projekt der Cloud Native Computing Foundation (CNCF); die kommerzielle Edition wird bei Alibaba Cloud angeboten.

---

Source: https://trendhub.net/de/ai-tools/higress-open-source-ai-gateway-llm-apis (trendhub)