System AKV od Tsinghua obniża koszt agentów AI przez zarządzanie pamięcią podręczną

Badacze z Tsinghua udostępnili oprogramowanie AKV bazujące na SGLang, które służy do inżynierii pamięci podręcznej dla agentów AI. System ten zarządza historią rozmów poprzez operacje na pamięci podręcznej zamiast jej podsumowywania, co pozwala obniżyć średni koszt operacyjny o 27,7% w testach wydajnościowych.

Data materiału: 26.10.2026 1 min czytania Opracowanie materiałów źródłowych · Wydawca: Mastafu Design

System AKV od Tsinghua obniża koszt agentów AI przez zarządzanie pamięcią podręczną

System AKV dla agentów AI

Badacze z Tsinghua opracowali i opublikowali jako open source system AKV, który działa jako serwer inżynierii pamięci podręcznej dla agentów AI oparty na SGLang.

W tradycyjnym podejściu agenci AI podsumowują historię działań, aby zmieścić się w oknie kontekstu. Nowy system pozwala na usuwanie i zmienianie pozycji pamięci podręcznej KV bez tworzenia podsumowań.

W testach opartych na czterech benchmarkach dla agentów AI nowe rozwiązanie obniżyło średni koszt działania o 27,7%.

ŹródłoOpracowanie na podstawie: MarkTechPost

Tagi:sztuczna inteligencjamodele językoweagenci AIOpen Source