Sesame
Компания голосового ИИ, чьи разговорные агенты работают в приложениях для iOS и Android на основе собственной Conversational Speech Model.
Sesame — это компания голосового ИИ, которая создаёт разговорных агентов для iOS и Android. Агенты Sesame ведут устные разговоры, чтобы помогать пользователям решать задачи, обдумывать идеи и разбираться в вопросах. Они построены на Sesame Conversational Speech Model, которая использует историю диалога, чтобы формировать интонацию и темп. Чтобы начать, скачайте приложение.
Подходит для Те, кто хочет общаться с ИИ-агентом преимущественно естественной речью на телефоне, и исследователи, следящие за генерацией разговорной речи.
- Платформы
- iOS, Android
- Разработчик
- Sesame
- Добавлен
Последняя проверка: . Источник информации: sesame.com.
Что такое Sesame?
Sesame — компания, которая разрабатывает голосовых агентов для естественного устного разговора вместе с устройствами для них. Её агенты предлагаются в приложениях для iOS и Android, а на сайте сказано, что планируются умные очки. Заявленная цель — то, что Sesame называет голосовым присутствием; она состоит из четырёх частей: распознавания эмоционального контекста, соблюдения темпа настоящего диалога с паузами и перебиваниями, подстройки интонации под ситуацию и устойчивой личности. В основе лежит Conversational Speech Model — система на архитектуре трансформера, которая при генерации речи использует историю разговора, и текст, и аудио, и работает в один этап. Sesame опубликовала исследование этой модели, предлагает исследовательскую предварительную версию и заявила, что её модели будут выпущены под лицензией Apache 2.0. Компания указывает офисы в Нью-Йорке, Сан-Франциско и Беллвью.
Ключевые возможности
Голосовые агенты
Ведут устные разговоры с пользователями, чтобы помогать с задачами, обсуждать идеи и разбирать темы.
Мобильные приложения
Предоставляют агентов через приложения для iOS и Android, которые можно скачать.
Conversational Speech Model
Генерирует речь одноэтапной моделью-трансформером, которая учитывает предыдущие реплики диалога.
Выразительная подача
Стремится к речи с естественным темпом, акцентами и интонацией, подходящей к эмоциональному контексту разговора.
Открытые исследования
Публикует технические описания и результаты оценки, а модели анонсированы под лицензией Apache 2.0.
Планируемые умные очки
Описывает очки как будущий способ пользоваться агентами наряду с более широкой работой компании над устройствами.
Сценарии использования
- Размышления вслух
- Обсудите проблему с агентом вместо того, чтобы набирать её текстом.
- Утоление любопытства
- Задавайте уточняющие вопросы по теме в устном диалоге.
- Повседневная помощь голосом
- Используйте агента на телефоне для повседневных задач без клавиатуры.
- Изучение генерации речи
- Прочитайте опубликованные исследования по контекстному синтезу речи и её оценке.
- Знакомство с исследовательской версией
- Протестируйте демо разговорного голоса, которое предлагает Sesame.
Что важно знать
- Речевая модель ориентирована на английский
- В исследовательской публикации сказано, что CSM обучали в основном на английском, а на других языках она пока работает плохо.
- Признанное отставание от человеческой речи
- Собственная оценка Sesame показала, что слушатели по-прежнему предпочитали записи людей, когда был дан контекст разговора.
- Умных очков пока нет
- На главной странице очки указаны как скоро ожидаемые; сегодня предлагаются только мобильные приложения.
- Мало публичных сведений
- На сайте не указаны цены и условия тарифов для приложений.
Вопросы и ответы
Что такое Sesame?
Sesame — это компания голосового ИИ, которая создаёт разговорных агентов и устройства для них; её агенты доступны в приложениях для iOS и Android.
Для чего нужен Sesame?
Агенты Sesame нужны для устного общения: получать помощь с задачами, обдумывать вопросы и разбирать темы голосом.
Работает ли Sesame на телефоне?
Да. Sesame доступен на iOS и Android, а компания сообщает, что скоро появятся умные очки.
Что такое Conversational Speech Model?
Conversational Speech Model, или CSM, — это модель генерации речи Sesame на архитектуре трансформера, которая использует историю разговора, чтобы получать более естественную и связную речь.
Открыта ли модель Sesame?
Sesame сообщает, что планирует открыть ключевые части своих исследований и выпустить модели под лицензией Apache 2.0.
Какие языки поддерживает речевая модель Sesame?
В исследовательской публикации Sesame сказано, что CSM обучали в основном на английских данных и на других языках она пока работает плохо; более широкая поддержка языков запланирована.
Кто руководит Sesame?
На странице команды Sesame названы пять руководителей: Brendan Iribe, Ryan Brown, Ankit Kumar, Nate Mitchell и Angela Gayles.
Кому подойдёт
- Те, кто предпочитает голосовые интерфейсы
- Исследователи речи
- Разработчики
- Ранние пользователи
Комментарии
Комментариев пока нет. Если вы пользовались Sesame, расскажите другим читателям, как всё прошло.
Аналоги Sesame
| Инструмент | Бесплатный тариф | Начальная цена | API |
|---|---|---|---|
 Palabra.aiИИ для речи в реальном времени: живой голосовой перевод на встречах, мероприятиях и трансляциях, а также API для разработчиков. |
— | — | Да |
 Bland AIКорпоративная платформа голосового ИИ для создания, развёртывания и мониторинга телефонных агентов на собственных моделях разработчика. |
— | — | — |
 ElevenLabsИИ-платформа для работы со звуком: озвучка текста, клонирование голоса, расшифровка, дубляж, музыка и голосовые агенты для диалога. |
Да | — | Да |
 Inworld AIПлатформа голосового ИИ реального времени: синтез речи, распознавание речи, API «речь в речь» и маршрутизация LLM. |
Да | — | Да |
 ApplioБесплатный набор инструментов с открытым кодом для преобразования голоса: обучение голосовых моделей, конвертация аудио и смена голоса в реальном времени. |
Да | — | — |
Из тех же категорий, что и Sesame. Начальная цена указана, только если мы проверили её на странице цен разработчика; прочерк означает, что цена не проверена или не опубликована. Все инструменты в категории «Голосовые помощники и диктовка»