AI-модель

AI-модель вызывает модель. Это единственный узел флоу, который тратит деньги: он резервирует ожидаемую стоимость вызова в ваших бюджетах, отправляет вызов провайдеру и после ответа отдаёт холд на расчёт.

Что делает узел

Когда выполнение доходит до узла, вызов проходит три шага.

1. Холд. Slen проверяет политики, оценивает вызов — модель, сообщения, потолок выхода — и резервирует оценку, умноженную на множитель запаса, в бюджетах, под которые попадает вызов. Вызов, сделанный для одного из ваших клиентов, резервирует ещё и свою цену в кредитах на счёте клиента того типа кредитов, который запрос называет в context.credit_type. Холд объясняет статья Как работает резервирование бюджета.

2. Вызов. Вызов делает подключение пула провайдеров, попытка за попыткой, как говорит следующий раздел.

3. Расчёт. Когда провайдер ответил, выполнение выходит через Успех, а холд в фоне списывается на сумму, во что обошёлся вызов. cost.actual выполнения становится известен, когда это сделано. Вызов, который не удался или был отклонён, возвращает свой холд.

Промпт — это messages из входа запроса, отправленные такими, какими пришли. Вход без непустого messages завершает выполнение как failed с invalid_flow_input. Узел добавляет модель, потолок выхода и температуру из своих настроек, а также список инструментов и формат ответа, когда они заданы.

Какое подключение делает вызов

• Узел с выбранным пулом провайдеров вызывает через этот пул.

• Узел без него вызывает через пул по умолчанию провайдера модели, а когда такого нет, — через одно подключение с одной попыткой; какое именно, говорит статья Пулы провайдеров.

• Узел может задать своё число попыток и то, что следует за лимитом запросов. И то и другое главнее настроек пула и действует, только пока вызов идёт через пул.

• Пул, который узел называет и который удалён или выключен, или провайдер без подключения, способного обслужить вызов, завершают вызов с provider_not_configured.

Когда выполнение ждёт на узле

Узел может заставить выполнение ждать. Тогда его статус — waiting, а запрос, который его начал, получил ответ 202.

• Ожидание подключения. Когда узел или его пул отвечает на лимит запросов значением queue, а ни у одного подключения нет места для вызова, выполнение ждёт столько, сколько попросил провайдер, или минуту, и узел пробует снова с новым холдом. Пока выполнение ждёт, ничего не зарезервировано. После трёх ожиданий по умолчанию вызов завершается с pool_exhausted.

• Вызов, который провайдер выполняет в фоне. Когда сервис для этого настроен, вызов выполнения, отправленного в асинхронном режиме, может быть передан провайдеру, который умеет выполнять его в фоне. Выполнение ждёт, пока Slen спрашивает провайдера, как идёт вызов, и продолжается с ответом. Холд такого вызова по умолчанию стоит 30 минут от начала вызова; этот срок ограничивает холд, а не вызов. О конце вызова сообщают operation.completed, operation.failed или operation.uncertain.

  • Когда провайдера больше не удаётся спросить, выполнение заканчивается как uncertain, а холд стоит, пока не истечёт.

  • Когда холд закрыло другое списание, пока вызов ждал, вызов заканчивается, не спросив у провайдера ответа, с background_hold_expired. Ничего не возвращается, и провайдер может всё равно выставить счёт за вызов.

  • Когда провайдер всё ещё называет вызов выполняющимся после того, как выполнение прождало 72 часа (по умолчанию), выполнение закрывается как failed с parked_expired. Никаких событий о вызове не отправляется, и его операция остаётся pending.

Политика перерасхода

У нового узла политики перерасхода нет. Политика, выбранная в поле При превышении, заставляет Slen оценить вызов второй раз прямо перед обращением к провайдеру и сравнить это число с холдом. Обе оценки получены из одного и того же запроса с разницей в мгновение, поэтому политика практически никогда не срабатывает — и при этом добавляет вторую оценку к каждому вызову. Когда она всё же срабатывает, вызов идёт дальше, останавливается с overrun_stopped, ждёт одобрения человека или переходит на модель подешевле со вторым холдом — как сказано в политике. Заявку, по которой решает человек, описывает статья Согласования.

Когда использовать

• Он есть в каждом флоу, который вызывает модель: этот узел и есть вызов.

• Поставьте перед ним Проверка бюджета, чтобы отказывать до того, как зарезервированы деньги, и Поиск в кеше, чтобы отвечать на повторный вопрос без вызова.

• Подключите Отказ, Ошибка и Пул исчерпан, чтобы выбрать, что услышит вызывающий: модель подешевле через Запасной путь, заданный ответ, отказ со своим кодом.

• Флоу может вызывать несколько моделей. Каждый вызов резервирует и рассчитывается сам по себе и является отдельной операцией, а cost.estimated выполнения — это сумма оценок сделанных вызовов.

Настройки

В конструкторе на вкладке Настройки — поля Модель, Температура, Максимум выходных токенов и При превышении. На вкладке Подключения — Пул провайдеров, Максимум попыток и При лимите запросов (429). Вкладка Дополнительно показывает весь конфиг узла таким, каким он сохранён, вместе с ключами, для которых на вкладках нет полей: их задают через API.

У нового узла модели нет, и флоу не публикуется, пока она не выбрана. Пустое поле Максимум выходных токенов ограничивает ответ 1024 токенами, если сервис не настроен иначе, и по этому потолку считается размер холда.

Порты

• Три последних порта необязательные. Когда у Пул исчерпан нет связи, а у Ошибка есть, выполнение уходит на ветку Ошибка. Что делает неподключённый порт, сказано в статье Порты и ветвление.

• Когда провайдера вызвали, а его ответ потерялся, узел не выходит ни через один порт: выполнение заканчивается как uncertain с operation_uncertain, а холд стоит, пока не истечёт. Не запускайте такой запрос снова, как если бы он не удался.

• Выполнение, которое закончилось как rejected после того, как вызов отклонили, хранит в cost.estimated оценку отклонённого вызова: деньги, которые отказ сберёг, а не потраченные. Отказ по кредитам вашего клиента оставляет его пустым. Ветка Отказ, которая отвечает без вызова модели, заканчивается как completed с той же оценкой и без фактической стоимости.

Выход

Когда провайдер ответил, узел оставляет ответ следующим узлам.

{
  "model": "gpt-4o-mini",
  "content": "Thank you for your order. It ships on Monday.",
  "finish_reason": "stop",
  "tool_calls": null,
  "usage": { "input_tokens": 1180, "output_tokens": 212, "cached_input_tokens": 0 }
}

Следующий узел читает его по пути nodes.<key>.output.content, где <key> — ключ этого узла во флоу. Вернуть ответ по умолчанию отвечает выходом последней модели.

Когда выполнение выходит через Отказ, Пул исчерпан или Ошибка, узел оставляет вместо этого то, чем закончился вызов:

{ "error_code": "budget_exceeded", "http_status": 402, "message": "Budget 74438200973595008 (monthly) exceeded" }

Ошибки

Настройки узла проверяются при проверке флоу и при его публикации.

Проверка читает и то, что называет узел. Модель, которой нет в каталоге (unknown_model), пул, которого не существует (unknown_pool), и пул другого провайдера, не принимающий других провайдеров (pool_provider_mismatch), останавливают публикацию. Пул, который выключен, не имеет включённых подключений или не имеет ни одного, способного обслужить модель, — это предупреждение (pool_disabled, pool_without_connections, pool_cannot_serve_model), как и узел без ветки Ошибка (error_port_not_connected).

Что происходит с вызовом, который отклонён или не удался, сказано выше в разделе Порты; что значит каждый код и что с ним делать — в статье Коды ошибок.

Пример

AI-модель резервирует деньги и вызывает модель, а его ответ идёт в Вернуть ответ. Когда пул исчерпан или провайдер дал сбой, выполнение проходит Запасной путь ко второму AI-модель с моделью подешевле и своим холдом. Когда вызов отклонён, Отклонить запрос завершает запрос со своим кодом.

См. также

• Финансовая цепочка — узлы, которые могут стоять вокруг вызова.

• Пулы провайдеров — как пул выбирает подключение и что делает сбой.

• Как работает резервирование бюджета — холд вызова и то, как он заканчивается.

• Отправить запрос — что получает ваше приложение за отказ или сбой.