Подключить провайдера моделей

Добавьте API-ключ провайдера как подключение, проверьте, что он работает, а позже замените его, выключите или удалите.

3 мин чтения

Подключение — это учётные данные одного аккаунта провайдера, через которые Slen вызывает модели. Без подключения нельзя вызвать ни одну модель, поэтому добавить его — первый шаг настройки проекта. Эта страница — о странице подключений в консоли.

Где находятся подключения

Откройте Настройки, затем Подключения. Страница показывает подключения проекта, выбранного в шапке, и подключения всей организации. Строка говорит, к чему из двух относится подключение.

Страница открывается тому, у кого есть разрешение management:read. Для добавления, проверки и изменения подключения нужно management:write. Подключение всей организации меняет только участник, которому доступен каждый проект.

Добавить подключение

1. Начните новое подключение

Нажмите Новое подключение.

2. Назовите его и выберите провайдера

Заполните Название и выберите значение поля Провайдер: OpenAI, Anthropic или Google.

3. Вставьте ключ

В поле API-ключ вставьте ключ вашего аккаунта у провайдера. Slen хранит ключ в зашифрованном виде и больше его не показывает. Список показывает его последние четыре символа.

4. Выберите, где оно действует

В поле Применяется к выберите Этот проект или Вся организация. Второй вариант предлагается только участнику, которому доступен каждый проект.

5. Выберите среду

В поле Среда выберите Продакшн или Стейджинг — среду, для которой предназначен ключ. Регион указывать необязательно.

6. Создайте подключение

Нажмите Создать подключение.

Где взять API-ключ OpenAI

Ключ выдаёт ваш аккаунт OpenAI, а не Slen: запросы с этим ключом OpenAI выставляет в счёт этого аккаунта.

  1. Войдите на платформу OpenAI и откройте страницу API-ключей.

  2. Создайте новый секретный ключ. OpenAI показывает ключ один раз — сразу скопируйте его.

  3. Вставьте его в поле API-ключ — на странице подключений или на шаге провайдера первой настройки.

Ключ, который OpenAI больше не принимает, проверка отклоняет, и подключение переходит в состояние Ошибка. Создайте в OpenAI новый ключ и поставьте его через Ротация ключа.

Проверить подключение

Нажмите Проверить в строке подключения. Slen запрашивает у провайдера список его моделей с сохранённым ключом. Проверка не вызывает модель и не тратит токены.

  • Провайдер принимает ключ: строка показывает время проверки и то, за сколько провайдер ответил.

  • Провайдер отвечает ограничением частоты: ключ работает, и проверка пройдена.

  • Провайдер отклоняет ключ: подключение переходит в состояние Ошибка.

Проверка не меняет выключенное подключение: что бы ни ответил провайдер, подключение остаётся в состоянии Выключен. Вернуть его может только Включить.

Что значит состояние

СостояниеЧто оно значит
Не проверялосьПодключение ещё не проверяли
ИсправенКлюч работает
НестабиленСлишком много недавних попыток через подключение завершилось ошибкой
На паузеSlen отложил подключение после ограничения частоты или сбоя провайдера, либо подключение поставили на паузу через API. Пауза кончается сама
ОшибкаПровайдер отклонил ключ. Выполните ротацию ключа
ВыключенПодключение выключено

Какое подключение использует запрос

  • Когда запрос обслуживает пул провайдеров, пул выбирает среди своих подключений.

  • Когда пула нет, Slen берёт одно активное подключение провайдера модели: подключение проекта — раньше подключения всей организации, самое старое — первым. Он делает одну попытку.

  • Когда у провайдера модели нет подключения, которое может обслужить запрос, запрос отклоняется с кодом provider_not_configured.

Прочитать метрики

Нажмите строку или Метрики в ней, чтобы открыть страницу подключения. За последние 24 часа, 7 дней или 30 дней она показывает число запросов, долю успешных, задержку и стоимость. Под ними она считает ошибки: ограничения частоты, ошибки провайдера и тайм-ауты.

Заменить ключ, выключить или удалить

В меню в строке подключения — три действия.

ДействиеЧто оно делает
Ротация ключаЗаменяет ключ. Старый ключ перестаёт использоваться в тот момент, когда сохранён новый. Подключение в состоянии Ошибка снова становится активным
ВыключитьЗапросы сразу перестают использовать подключение. Включить возвращает его
УдалитьУничтожает ключ — после подтверждения — и убирает подключение из каждого пула, где оно есть
Предупреждение:

Подключение, которое осталось последним включённым в пуле, не удаляется: запрос отклоняется с кодом connection_in_use. Сначала добавьте в пул другое подключение.

Что читать дальше