Auriko
Торговый терминал для вызовов LLM.
Auriko — это торговый стол для LLM-вызовов, позволяющий компаниям сократить расходы на 30% за счет арбитража цен между различными AI-провайдерами, используя алгоритмы, разработанные бывшими квантовыми трейдерами.
Продукт и рынок
Компании, активно использующие большие языковые модели (LLM), сталкиваются с высокими и часто непредсказуемыми издержками, а также проблемами с производительностью и надежностью, поскольку зависят от одного провайдера или не имеют инструментов для оптимизации своих запросов.
Auriko предлагает движок для арбитража стоимости LLM-вызовов, который в реальном времени выбирает оптимальный путь инференса на основе цены токена, поведения кэша, задержки, надежности и качества запроса, действуя как "торговый стол" между клиентом и множеством LLM-провайдеров.
Рынок LLM-сервисов стремительно растет, и потребность в оптимизации затрат будет только увеличиваться, что открывает глобальные перспективы для Auriko в сегменте B2B-инфраструктуры для AI.
B2B: Компании-разработчики, стартапы и корпорации, которые активно используют LLM в своих продуктах и сервисах, стремятся оптимизировать затраты и повысить надежность AI-инфраструктуры.
Бизнес-модель
Сценарии
“В прошлой жизни я торговал опционами как квантовый трейдер. Когда я начал создавать продукты с использованием ИИ-агентов, мне нужно было быстро переключать модели между провайдерами инференса. Моя трейдерская дотошность в поиске самой низкой цены постоянно подталкивала меня выяснять, какой провайдер дешевле. Это привело нас к глубокому изучению сравнения затрат на инференс. Мы поняли, что стоимость — это не только заявленная цена за входные/выходные токены. Огромная часть наших расходов приходилась на ценообразование кэша, эффективность попаданий в кэш и выбор маршрутизации. В итоге мы создали систему для оптимизации всего этого. И превратили ее в auriko.ai.”