W usłudze AI Gateway udostępniono nową opcję wyboru modelu określaną jako cloudflare/auto. Po skonfigurowaniu tego parametru klasyfikator działający na krawędzi sieci Cloudflare podejmuje decyzję o skierowaniu zapytania do konkretnego dostawcy i modelu indywidualnie dla każdego wywołania API.
Dwuetapowy mechanizm klasyfikacji zapytań
Proces trasowania zapytań przebiega w dwóch osobnych krokach:
- Filtrowanie wstępne: AI Gateway tworzy pulę dostępnych modeli, odrzucając te, które nie obsługują wskazanego formatu zapytania. Na tym etapie uwzględniane są również dane uwierzytelniające, zasady dostępu, konfiguracja rozliczeń oraz limity wydatków.
- Klasyfikacja i ocena: model wielozadaniowy uruchamiany w usłudze Workers AI na procesorach GPU Cloudflare przypisuje zapytanie do 14 kategorii zadań. Oznacza je w skali od 1 do 5 w czterech obszarach: złożoności, wieloznaczności, stawki zadania oraz zależności od wcześniejszego kontekstu.
Ostateczny wybór następuje na podstawie wzoru użyteczności, w którym oczekiwana jakość odpowiedzi jest pomniejszana o adaptacyjną karę kosztową. Przy trudniejszych zadaniach waga ceny maleje na rzecz wyższej skuteczności modelu. Udostępnione dane z testów wskazują na możliwość zyskania około dziesięciu punktów niezawodności przy wydatkach niższych o prawie dwie trzecie.
Ryzyko związane z krótkim oknem kontekstu
Klasyfikator analizuje wyłącznie najnowsze wypowiedzi w konwersacji, ograniczone do maksymalnie 8 KiB tekstu. W długich interakcjach z agentami AI może to prowadzić do błędnej oceny ryzyka. Jeśli użytkownik na początku sesji zdefiniuje operację krytyczną, a na końcu wyda jedynie krótkie polecenie wykonania, klasyfikator może przypisać niski poziom ryzyka i skierować zapytanie do tańszego, mniej precyzyjnego modelu.
Zmiana modelu w trakcie jednej konwersacji wiąże się także z dodatkowymi kosztami. Bez przekazania identyfikatora sesji kolejne zapytania trafiają do różnych modeli, co uniemożliwia ponowne wykorzystanie pamięci podręcznej promptów i wymusza ponowne generowanie tokenów wnioskowania po stawkach dla tokenów wyjściowych.
Przejrzystość decyzji i obsługa API
Odpowiedzi zwrotne z AI Gateway zawierają nagłówki diagnostyczne cf-aig-routed-model oraz cf-aig-routing-reason z wartościami takimi jak cost_optimal_within_pool lub pinned_by_turn, co pozwala zweryfikować motywy podjętej decyzji. Użytkownicy mogą ograniczyć pulę modeli za pomocą nagłówków cf-aig-allowed-models oraz cf-aig-allowed-providers.
Domyślna pula obejmuje między innymi Claude Opus 5, Sonnet 5, Fable 5, GPT-5.6 Luna, Sol i Terra oraz Grok 4.5. Modele Opus 5.5 i GPT-6 Sol są dostępne wyłącznie po ich jawnym wskazaniu w nagłówkach. Auto Router jest bezpłatny w okresie wersji beta, obsługuje interfejsy Chat Completions oraz Responses API, lecz nie zapewnia wsparcia dla WebSockets. Dodawanie nowych modeli do macierzy punktacji wymaga ręcznej aktualizacji wyników po przeprowadzeniu testów porównawczych.
