Higress
ИИ-шлюз с открытым исходным кодом для маршрутизации, защиты и наблюдения за трафиком к API больших языковых моделей, MCP-серверам и инференс-нагрузкам.
Higress — ИИ-шлюз с открытым исходным кодом, проект уровня CNCF Sandbox, который стоит между приложениями и большими языковыми моделями. Higress даёт единый интерфейс вызова для многих провайдеров моделей и добавляет резервное переключение, фильтрацию контента, кеширование и квоты на токены. Разработчики разворачивают Higress локально через Docker или пользуются управляемой облачной версией в Alibaba Cloud.
Подходит для Инженерным командам, которые обращаются к нескольким провайдерам моделей или публикуют MCP-инструменты и нуждаются в централизованной маршрутизации, квотах и защите.
- Платформы
- API
- Модель оплаты
- Бесплатно
- Бесплатный тариф
- Да
- API
- Да
- Добавлен
Последняя проверка: . Источник информации: higress.ai.
Что такое Higress
Higress — ИИ-шлюз с открытым исходным кодом на основе Istio и Envoy, который поддерживается как проект уровня Sandbox в Cloud Native Computing Foundation (CNCF). Через одну точку входа он обрабатывает три вида ИИ-трафика: вызовы API моделей, запросы к MCP-инструментам и инференс-нагрузки, работающие в Kubernetes. Для доступа к моделям он преобразует протоколы более чем сотни распространённых моделей, так что приложения используют единый формат запросов, и может переключаться на другую модель, если одна из них даёт сбой. К другим функциям шлюза относятся проверки безопасности содержимого запросов и ответов, точное и семантическое кеширование результатов и подсчёт токенов по потребителям с ограничениями. Существующие сервисы можно публиковать как MCP-серверы, а поведение расширяется плагинами Wasm. Коммерческая полностью управляемая версия предлагается как Alibaba Cloud AI Gateway.
Ключевые возможности
Единый доступ к моделям
Преобразует один формат запроса в протоколы более чем 100 моделей и поддерживает резервное переключение на уровне моделей.
Хостинг MCP-серверов
Принимает MCP-запросы и добавляет к существующим сервисам аутентификацию, планирование трафика, сопоставление параметров и аудит.
Безопасность контента
Фильтрует данные, отправляемые во внешние модели, и проверяет ответы, возвращаемые пользователям.
Кеширование результатов
Сохраняет точные и семантически близкие ответы, чтобы сократить расход токенов и задержку при повторяющихся вопросах.
Квоты на токены
Отслеживает расход токенов по потребителям и ограничивает тех, кто превышает свой лимит.
Плагины Wasm
Расширяет шлюз плагинами, включая множество готовых от сообщества.
Сценарии использования
- Маршрутизация между несколькими провайдерами
- Платформенная команда ставит OpenAI, Claude и локальные модели за одной внутренней конечной точкой.
- Превращение API в MCP-инструменты
- Компания публикует существующие HTTP-сервисы как MCP-серверы для своих агентов.
- Контроль расходов
- Администратор задаёт лимиты токенов для каждой команды и просматривает данные об использовании.
- Проверка промптов и ответов
- Инженер по безопасности добавляет проверки безопасности, не меняя код приложений.
- Локальная оценка
- Разработчик запускает шлюз в Docker, чтобы за несколько минут проверить возможности.
Что важно знать
- Две версии
- Шлюз с открытым исходным кодом администрируется самостоятельно, а Alibaba Cloud AI Gateway — управляемый коммерческий сервис с серверлесс- и корпоративным уровнями.
- Цены в облаке указаны в юанях
- Для управляемого серверлесс-уровня заявлена оплата по факту использования, цены указаны в китайских юанях.
- Лицензия документации
- Документация проекта распространяется по лицензии CC-BY-4.0.
Вопросы и ответы
Что такое Higress?
Higress — ИИ-шлюз с открытым исходным кодом, который управляет трафиком между приложениями и API LLM, ИИ-агентами и MCP-серверами.
Higress бесплатный?
Да. Higress имеет открытый исходный код, и развернуть его самостоятельно можно бесплатно; отдельная коммерческая облачная версия продаётся через Alibaba Cloud.
Как попробовать Higress?
Higress можно запустить локально через развёртывание Docker в один клик без регистрации, и, по данным сайта, основные функции можно проверить примерно за пять минут.
Какие модели поддерживает Higress?
Higress заявляет, что выполняет единое преобразование протоколов для более чем 100 распространённых моделей, включая OpenAI, Claude и локально размещённые LLM.
Поддерживает ли Higress MCP?
Да. Higress может размещать MCP-серверы и преобразовывать в них существующие сервисы, обеспечивая аутентификацию и управление трафиком на уровне шлюза.
Кто стоит за Higress?
Higress — проект уровня Sandbox в Cloud Native Computing Foundation (CNCF); его коммерческая версия предлагается в Alibaba Cloud.
Кому подойдёт
- Платформенные инженеры
- Бэкенд-разработчики
- DevOps-команды
- Команды ИИ-приложений
Используется в руководствах
- Создание приложения на основе ИИ: набор инструментов, слой за слоемЭтап 3: API моделей, шлюзы и хостинг инференса
Каждое руководство разбивает одну задачу на этапы и показывает инструменты для каждого из них. Все руководства
Комментарии
Комментариев пока нет. Если вы пользовались Higress, расскажите другим читателям, как всё прошло.
Аналоги Higress
| Инструмент | Бесплатный тариф | Начальная цена | API |
|---|---|---|---|
 Kong KonnectЕдиная платформа Kong для управления трафиком API, ИИ, MCP и событий через шлюзы. |
Нет | 25 $/мес | Да |
 LangChainОткрытые фреймворки для ИИ-агентов и платформа LangSmith для трассировки, оценки и развёртывания агентов. |
Да | — | Да |
 TrueFoundryКорпоративный ИИ-шлюз для маршрутизации, контроля и наблюдения за трафиком LLM, MCP и агентов в вашей собственной инфраструктуре. |
Да | — | Да |
 VercelОблачная платформа для развёртывания веб-приложений и ИИ-агентов: ИИ-шлюз, песочницы, рабочие процессы и глобальная CDN. |
Да | 20 $/мес | Да |
 APIParkЕдиный шлюз для вызова, аутентификации, тарификации и мониторинга ИИ-моделей, API и MCP-сервисов. |
— | — | Да |
Из тех же категорий, что и Higress. Начальная цена указана, только если мы проверили её на странице цен разработчика; прочерк означает, что цена не проверена или не опубликована. Все инструменты в категории «API для разработчиков»