Вишикувати підключення до провайдерів у порядок перемикання
Об’єднайте підключення в пул, виберіть, як пул вибирає підключення для виклику і що він робить, коли провайдер відмовляє або помиляється.
4 хв читання
Пул провайдерів об’єднує підключення до провайдерів і вирішує, яке з них обслужить виклик моделі і що буде, якщо спроба не вдалася. Ця сторінка — про сторінку пулів провайдерів у консолі.
Де розташовані пули
Відкрийте Налаштування, потім Пули провайдерів. Сторінка показує пули проєкту, вибраного в шапці, і пули всієї організації. Рядок показує провайдера пулу, його стратегію, де він діє, скільки в ньому підключень і до скількох спроб робить виклик.
Сторінка відкривається тому, хто має дозвіл management:read. Для створення й зміни пулу потрібен management:write. Пул усієї організації змінює лише учасник, якому доступний кожен проєкт.
Які виклики обслуговує пул
Вузол AI-модель, у якому вказано пул, викликає модель через цей пул.
Будь-який інший виклик іде через пул провайдера моделі за замовчуванням: пул цього провайдера в проєкті, інакше пул усієї організації, інакше пул, який приймає підключення інших провайдерів.
Коли виклик не обслуговує жоден пул, Slen викликає провайдера через одне підключення, однією спробою — яке саме, каже стаття Підключення.
Пул вибирає лише серед своїх підключень, які можуть обслужити виклик: увімкнених у пулі й не в стані Вимкнений, На паузі або Помилка. Коли таких немає, виклик відхиляється з кодом provider_not_configured.
Створити пул
1. Почніть новий пул
Натисніть Новий пул.
2. Заповніть основне
У розділі Основне заповніть Назва, виберіть значення поля Провайдер і виберіть у полі Застосовується до, де діє пул: Цей проєкт або Уся організація. Провайдера не можна змінити після створення пулу. Увімкніть Підключення інших провайдерів, щоб пул міг містити й їх: таке підключення виконує рівноцінну модель свого провайдера, а підключення без рівноцінної моделі пропускається.
3. Виберіть маршрутизацію
У розділі Маршрутизація задайте поля Стратегія і Макс. спроб — від 1 до 5. Спроба — це один запит до одного підключення.
4. Скажіть, що робить збій
У розділі У разі збоїв виберіть у полях Ліміт запитів (429) і Помилка провайдера, що настає після такого збою.
5. Створіть пул
Натисніть Створити пул. Відкриється сторінка нового пулу. Додайте до нього підключення, перш ніж на нього розраховуватимуть виклики.
Як вибирається підключення
| Стратегія | Порядок підключень для виклику |
|---|---|
| За пріоритетом | Спершу підключення з найменшим числом пріоритету |
| Найменш завантажене | Спершу підключення, яке найдалі від своїх меж потужності |
| За вагою | Випадковий вибір, у якому підключення з більшою вагою частіше опиняється першим. Підключення з вагою 0 пробується лише після інших, у порядку пріоритету |
Після невдалої спроби виклик переходить до наступного підключення в цьому порядку, поки лишаються спроби і збій це дозволяє. Підключення, яке відповіло обмеженням частоти або збоєм провайдера, на час відкладається й показується як На паузі.
Що робить збій
| Варіант | Ліміт запитів (429) | Помилка провайдера |
|---|---|---|
| Перемкнути підключення | Наступна спроба йде до іншого підключення | Наступна спроба йде до іншого підключення |
| Відхилити | Виклик закінчується відмовою провайдера, provider_rate_limit | Виклик закінчується помилкою провайдера |
| Резервна модель (кросс-провайдерні пули) | Наступні спроби пропускають підключення, які виконали б ту саму модель, тож виклик переходить на іншу модель. У пулі без такого підключення вони закінчуються | — |
Черга (флоу чекає й повторює) теж є у списку, але в консолі її вибрати не можна. З нею виклик, який отримав обмеження частоти, чекає вільного підключення, і його вузол моделі пробує знову.
Коли спроби або підключення закінчуються без відповіді, виклик закінчується кодом pool_exhausted — якщо тільки вузол AI-модель не спрямовує його в один зі своїх портів, як пояснює стаття Порти й розгалуження. Вузол AI-модель може задати власне число спроб і власну поведінку після обмеження частоти; вони головніші за налаштування пулу.
Додати й упорядкувати підключення
На сторінці пулу вкладка Підключення показує його підключення. Натисніть Додати підключення, виберіть Підключення і задайте його Пріоритет: менше значення пробується раніше. У розділі Додаткові параметри задайте Вага для стратегії За вагою і Множник вартості: на нього множиться вартість спроби через це підключення, починаючи з наступної спроби. Натисніть Приєднати.
Список пропонує підключення провайдера пулу. Підключення іншого провайдера пропонується, лише коли пул їх приймає; через API воно відхиляється з кодом
connection_incompatible.Увімкнено в рядку виводить підключення з пулу й повертає його. У рядку підключення можна й від’єднати від пулу; саме підключення та його ключ залишаються.
Відмовостійкість під списком змінює стратегію, число спроб і обидва варіанти поведінки у разі збоїв. Натисніть Зберегти налаштування.
Вкладка Аналітика рахує за вибраний період спроби й операції через пул, перемикання й виклики, які врятувала повторна спроба, і показує, як трафік розподілився між підключеннями.
Змінити або видалити пул
У меню в рядку пулу — Змінити і Видалити. Змінити змінює назву, стратегію, число спроб, поведінку у разі збоїв і те, чи приймає пул інших провайдерів; провайдер і те, де діє пул, залишаються. Видалити видаляє пул після підтвердження й зберігає його підключення. Пул, через який досі викликає активна версія флоу або незавершене виконання, не видаляється: запит відхиляється з кодом pool_in_use.
Що читати далі
Підключення — додати підключення, які об’єднує пул.
Глосарій — провайдер, підключення й пул, по одному рядку на кожне.
Пули провайдерів — ті самі пули через API.
AI-модель — вузол флоу, який викликає модель через пул.