Block показала исследовательскую версию Dessa — ИИ для голосовых разговоров в реальном времени. Модель получает звук на входе и отвечает звуком. Команда утверждает, что Dessa училась исключительно на человеческих разговорах и получила из них все свои знания.
Слушать и отвечать одновременно
Dessa работает в полнодуплексном режиме: может говорить и при этом продолжать слушать собеседника. По описанию разработчиков, она научилась выбирать момент, чтобы вступить в разговор, и поддерживать его короткими реакциями вроде «ага» и «понятно».
Команда делает акцент на интонациях, паузах и эмоциональной окраске речи. Block заявляет, что модель непосредственно воспринимает и воспроизводит смех, сарказм, вздохи и изменения голоса. Именно сохранение этих особенностей, которые не передаются одними словами, разработчики называют одной из целей проекта.
Какие разговоры опубликованы
На странице Dessa размещены записи бесед с моделью. По словам Block, это живые разговоры: никто не направляет ответы, а модель сама выбирает, что, когда и как сказать. Субтитры добавлены после записи.
- В описании одного примера команда отмечает, что Dessa смеётся посреди фразы и начинает говорить громче по просьбе собеседника.
- В другом разговоре модель подхватывает фразу человека, пытающегося вспомнить название фильма.
- Отдельные записи посвящены изменениям темпа, интонаций и эмоциональной окраски ответа.
- Есть демонстрация разговора Dessa с GPT-Live-1, в которой оба голоса сгенерированы ИИ.
Для демонстрации с GPT-Live-1 Block отдельно оговаривает: разработчик сторонней модели не связан с компанией и не оценивал и не одобрял Dessa. TechCrunch также описывает примеры разговоров с разными голосами, темпом и эмоциональным звучанием.
На чём обучали и где запускают
Block сообщает, что для обучения Dessa использовалась одна система NVIDIA GB200 NVL72. По заявлению компании, при работе модели вычисления выполняются быстрее реального времени, а локальный запуск возможен на MacBook Pro с M4 Max или более мощном компьютере.
Команда также заявляет, что Dessa освоила язык на числе слов, в сотни раз меньшем, чем требуется большим языковым моделям. При этом сами разработчики оговаривают разницу задач: текстовые модели учатся в том числе работать с языками программирования.
Кто стоит за Dessa и зачем нужен ранний доступ
Проект ведёт небольшая исследовательская лаборатория Block, созданная бывшими участниками стартапа Dessa из Торонто. Команда подчиняется напрямую Джеку Дорси. Руководитель Dessa — Рагаван Турайратнам.
Block предоставляет ранний доступ небольшой группе специалистов по безопасности ИИ, чтобы они помогли выявить непредвиденные риски. Среди мотивов проекта команда называет исследовательский интерес, улучшение взаимопонимания между человеком и ИИ и безопасность. В качестве примера разработчики приводят ситуацию, когда голосовой помощник должен учитывать признаки сильной боли в голосе собеседника.
