LLM-прокси с роутингом моделей и сжатием промптов — меньше токенов, ниже счёт.
Компании, активно использующие LLM, переплачивают за токены и завязаны на одного провайдера. Нужен слой, который удешевляет запросы и даёт гибкость в выборе моделей.
Единый OpenAI-совместимый эндпоинт: приложение не переписывают, а 9router сам маршрутизирует запрос на подходящую модель и сжимает промпт перед отправкой. Меньше токенов на входе → ниже счёт за LLM, плюс можно гонять дешёвые модели там, где не нужна топовая.
Один /v1 раскидывает запросы по разным апстримам и моделям по правилам.
Сжатие промптов, включая llmlingua — меньше токенов без потери смысла.
Маршруты, модели и ключи меняются через UI на лету, без перезапуска.
Прозрачный стриминг ответов апстрима клиенту.
Drop-in замена: меняется только base_url.
Сжатие + роутинг на дешёвые модели = прямая экономия.
Запрос → выбор маршрута → сжатие промпта → апстрим (OpenAI / OpenRouter / локальная модель) → потоковый ответ клиенту.
Опишите задачу — отвечу быстро и сделаю рабочее демо до оплаты.
Написать в Telegram →