Корпоративная мода на «токенмаксинг» — стремление выжимать из ИИ как можно больше генерации и задач — начала давать сбой. Компании, которые бросились внедрять ChatGPT, Claude и другие ИИ-инструменты во всё подряд, столкнулись с растущими счетами, но не увидели сопоставимого роста продуктивности.
«С помощью ИИ очень легко создать то, что вам вообще не нужно», — говорит Винсент Гусдорф, глава AI-аналитики Moody’s Ratings. По его словам, после первых счетов бизнес быстро понял: новые инструменты дорогие, и пользоваться ими нужно осмысленно.
Токены — это единицы текста, которые ИИ читает и генерирует; примерно три четверти слова. Чем больше токенов тратит компания, тем выше счет. Еще недавно в Кремниевой долине высокий расход токенов подавали как признак эффективности: Сэм Альтман хвалил «токенмаксинг-стартапы», Дженсен Хуанг говорил, что если инженер за $500 тысяч не «сжигает» токенов на $250 тысяч, «что-то не так».
Но ажиотаж быстро сменился отрезвлением. Глава Microsoft Сатья Наделла предупредил, что компании фактически платят дважды: деньгами за токены и своими закрытыми данными, которые передают ИИ-провайдерам. Глава Palantir Алекс Карп выразился еще жестче: бизнес «в бешенстве» от того, что тратит деньги на токены, которые не создают ценности, и при этом с него требовали предоставить свою интеллектуальную собственность.
Теперь компании ищут не максимум ИИ, а более умное его использование. В Bain & Company отмечают: расходы на токены у крупных клиентов могут удваиваться почти каждые два месяца. Если платить условные $200 в месяц на одного разработчика и умножить это на 20 тысяч сотрудников, получается бюджетная строка, к которой мало кто был готов.
Один из главных выводов: не каждую задачу нужно отдавать самой мощной и дорогой модели. Для письма или простой сводки не нужен «ИИ-кувалда» уровня Claude Opus. Поэтому растет интерес к «маршрутизации моделей»: простые запросы отправляются более дешевым системам, сложные — мощным.
Дополнительное давление на рынок создают китайские open-source-модели вроде Kimi от Moonshot и GLM от Zhipu: они почти догоняют топовые американские модели, но стоят заметно дешевле.
Технический директор Mozilla Раффи Крикорян сравнивает токенмаксинг с прежней модой измерять продуктивность программиста количеством строк кода. От этой идеи индустрия уже отказалась. По его словам, токенмаксинг идет тем же путем — и через год над ним, возможно, будут просто смеяться.
Источник: AP