Підключити провайдера моделей

Додайте API-ключ провайдера як підключення, перевірте, що він працює, а пізніше замініть його, вимкніть або видаліть.

3 хв читання

Підключення — це облікові дані одного облікового запису провайдера, через які Slen викликає моделі. Без підключення не можна викликати жодну модель, тому додати його — перший крок налаштування проєкту. Ця сторінка — про сторінку підключень у консолі.

Де розташовані підключення

Відкрийте Налаштування, потім Підключення. Сторінка показує підключення проєкту, вибраного в шапці, і підключення всієї організації. Рядок каже, до чого з двох належить підключення.

Сторінка відкривається тому, хто має дозвіл management:read. Для додавання, перевірки та зміни підключення потрібен management:write. Підключення всієї організації змінює лише учасник, якому доступний кожен проєкт.

Додати підключення

1. Почніть нове підключення

Натисніть Нове підключення.

2. Назвіть його й виберіть провайдера

Заповніть Назва й виберіть значення поля Провайдер: OpenAI, Anthropic або Google.

3. Вставте ключ

У поле API-ключ вставте ключ вашого облікового запису в провайдера. Slen зберігає ключ у зашифрованому вигляді й більше його не показує. Список показує його останні чотири символи.

4. Виберіть, де воно діє

У полі Застосовується до виберіть Цей проєкт або Уся організація. Другий варіант пропонується лише учасникові, якому доступний кожен проєкт.

5. Виберіть середовище

У полі Середовище виберіть Продакшн або Стейджинг — середовище, для якого призначено ключ. Регіон указувати необов’язково.

6. Створіть підключення

Натисніть Створити підключення.

Де взяти API-ключ OpenAI

Ключ видає ваш обліковий запис OpenAI, а не Slen: запити з цим ключем OpenAI виставляє в рахунок цього облікового запису.

  1. Увійдіть на платформу OpenAI і відкрийте сторінку API-ключів.

  2. Створіть новий секретний ключ. OpenAI показує ключ один раз — одразу скопіюйте його.

  3. Вставте його в поле API-ключ — на сторінці підключень або на кроці провайдера першого налаштування.

Ключ, який OpenAI більше не приймає, перевірка відхиляє, і підключення переходить у стан Помилка. Створіть в OpenAI новий ключ і поставте його через Ротація ключа.

Перевірити підключення

Натисніть Перевірити в рядку підключення. Slen запитує в провайдера список його моделей зі збереженим ключем. Перевірка не викликає модель і не витрачає токени.

  • Провайдер приймає ключ: рядок показує час перевірки й те, за скільки провайдер відповів.

  • Провайдер відповідає обмеженням частоти: ключ працює, і перевірку пройдено.

  • Провайдер відхиляє ключ: підключення переходить у стан Помилка.

Перевірка не змінює вимкнене підключення: хоч би що відповів провайдер, підключення залишається в стані Вимкнений. Повернути його може лише Увімкнути.

Що означає стан

СтанЩо він означає
Не перевірялосяПідключення ще не перевіряли
СправнийКлюч працює
НестабільнийЗабагато недавніх спроб через підключення завершилося помилкою
На паузіSlen відклав підключення після обмеження частоти або збою провайдера, або підключення поставили на паузу через API. Пауза закінчується сама
ПомилкаПровайдер відхилив ключ. Виконайте ротацію ключа
ВимкненийПідключення вимкнено

Яке підключення використовує запит

  • Коли запит обслуговує пул провайдерів, пул вибирає серед своїх підключень.

  • Коли пулу немає, Slen бере одне активне підключення провайдера моделі: підключення проєкту — раніше за підключення всієї організації, найстаріше — першим. Він робить одну спробу.

  • Коли провайдер моделі не має підключення, яке може обслужити запит, запит відхиляється з кодом provider_not_configured.

Прочитати метрики

Натисніть рядок або Метрики в ньому, щоб відкрити сторінку підключення. За останні 24 години, 7 днів або 30 днів вона показує кількість запитів, частку успішних, затримку й вартість. Під ними вона рахує помилки: обмеження частоти, помилки провайдера й тайм-аути.

Замінити ключ, вимкнути або видалити

У меню в рядку підключення — три дії.

ДіяЩо вона робить
Ротація ключаЗамінює ключ. Старий ключ перестає використовуватися тієї миті, коли збережено новий. Підключення у стані Помилка знову стає активним
ВимкнутиЗапити одразу перестають використовувати підключення. Увімкнути повертає його
ВидалитиЗнищує ключ — після підтвердження — і прибирає підключення з кожного пулу, де воно є
Попередження:

Підключення, яке залишилося останнім увімкненим у пулі, не видаляється: запит відхиляється з кодом connection_in_use. Спершу додайте до пулу інше підключення.

Що читати далі