Оцінка вартості

Оцінка вартості каже, якою є очікувана вартість майбутнього виклику моделі, ще до того, як виклик зроблено. Він нічого не резервує й ні в чому не відмовляє.

Що робить вузол

Коли виконання доходить до вузла, Slen оцінює виклик вузла AI-модель, до якого веде ланцюжок, так само, як оцінюватиметься холд цього виклику: та сама модель, повідомлення входу, стеля виходу вузла моделі й політики, які їх змінюють. Вузол пише оцінку в трасування як подію estimated і пропускає виконання далі через Типовий.

Це число — прогноз. Вузол моделі оцінює виклик наново, коли бере холд, миттю пізніше, і коли виклик отримав відповідь, ця оцінка пишеться на цьому вузлі другою подією estimated. Вони розрізняються полем source: preflight у прогнозу, authorize в оцінки холду.

Коли виклик оцінити не можна, подія так і каже, а виконання однаково йде далі. Тоді про виклик вирішує сам вузол моделі.

Коли використовувати

• Щоб бачити на полотні й у трасуванні, якою очікувалася вартість виклику, ще до того, як зарезервовано будь-які гроші.

• Щоб наступний вузол міг прочитати оцінку: Умова може порівняти її з порогом і вибрати гілку.

• Перевірка бюджету цей вузол не потрібен: він робить ту саму оцінку сам.

• Той, хто викликає, отримує оцінку й без вузла: cost.estimated виконання додає оцінки, за якими взято холди його викликів, — Виконання.

Налаштування

Налаштувань у вузла немає. Множник запасу холду Slen вибирає за тим, наскільки помилялися оцінки операції досі, і політика може його замінити — Політики. Множник, збережений на вузлі в старішій версії, не читається.

Порти

У вузла один порт, Типовий, і він обов’язковий.

Вихід

Вузол залишає прогноз наступним вузлам.

{ "estimated_cost": "0.00048000", "safety_multiplier": "1.200" }

• estimated_cost — очікувана вартість виклику.

• safety_multiplier — множник запасу, з яким було б узято холд. Холд — це оцінка, помножена на нього.

Обидва значення — десяткові числа, записані текстом. Наступний вузол читає їх за шляхом nodes.<key>.output.estimated_cost, де <key> — ключ цього вузла у флоу. Коли виклик оцінити не вдалося, вихід порожній.

Помилки

Своїх помилок вузол не видає, і перевіряти в його налаштуваннях нічого. Його місце перевіряється під час публікації флоу: вузол веде рівно до одного AI-модель. Вузол, який не веде до жодної моделі, — це misplaced_finance_node, а той, що веде до кількох, — ambiguous_finance_chain — Фінансовий ланцюжок.

Приклад

Оцінка вартості пише прогноз виклику в трасування, AI-модель резервує гроші й викликає модель, а Повернути відповідь відповідає тому, хто викликає. Трасування показує обидві оцінки виклику на першому вузлі.

Див. також

• Фінансовий ланцюжок — чотири вузли довкола виклику моделі й порядок, у якому вони стоять.

• Перевірка бюджету — відмовити у виклику до того, як зарезервовано будь-які гроші.

• AI-модель — вузол, який бере холд.