Отличный обзор. Тоже рассматривал мак студио для локального квена, но пришел к вывдоу, что это экономически совершенно не выгодно.
Собрал сервер: x99 + xeon + 128 ddr3 (45к), ssd 2tb (20к), бп 1600Вт (50к, на вырост), корпус/охлаждение (30к), 2x3090 (150к, успел, сейчас около 200к). Итого ~300к.
На нем 2 vllm с qwen3.8 27b w4a16, у каждого по 150к контекстного окна. Два агента работают параллельно каждый на своей карте. Скорость на пустом контексте около 110 ts, при полность забитом 60-70 (карты органичены на 250w, греются до 60° - щадящий режим). Prefix_cache делает незаметным prefill (меньше секунды), для qwen под cline важно.
Короче, два интерактивных независимых агента лупят около 200ts за 300к денег.
Скоро доберусь до батч-режима. При 64 параллельных запросов обещают дать суммарную скорость до 1000 ts на одну карту.
И самое главное - этот обогреватель стоит в другой комнате и совсем не мешает работе.
Сформулирую по-другому: если дать агенту иструкции, позволяющие иметь память (меморибанк), дисциплинирующие инструкции (написал - сделай выводы, пообщались с пользователем - запиши), а в идеале ещё и способность к саморефлексии (сделал работу - проанализируй действия, позже - последствия), он будет разбираться в проекте лучше человека. Это требует время, ресурсов, но по мне - окупается с лихвой. Этих электронных чудиков нужно воспитывать
коллегой, который пишет с огромной скоростью, не помнит историю проекта
Он её не помнит, потому что он не участвовал в проекте полноценно, ему не дали память, не научили понимать и помнить проект, актуализировать знания. Он одноразовый гость. Аналогия - строитель без знания языка, которого взяли на заливку бетона на 28 этаже одного из домов нового микрорайона.
Если хочется получить полноценного коллегу, придётся попыхтеть, как со стажёрами, которые постепенно становятся (ценой усилий команды) джунами, мидлами и тд
Интересно было бы найти тот момент, когда хабр перестал быть тортом. По-моему я зарегался уже когда он тортом перестал быть (в 2008). Раньше прям читал статьи, сейчас воспринимаю статью (по аналогии с нейронками) как стартовый контекст для обсуждений. В них как раз самое интересное.
Это интервью с фронтенд-разработчиком Александром Ломковым о состоянии React и фронтенда в 2026 году. Вот ключевые тезисы:
Карьера и рынок
· Автор перешёл из VK в Wildberries: внутренняя ротация не дала ощущения нового этапа, хотя условия были хорошие · Работу нашёл через нетворкинг, но рекомендация не отменяет технического собеседования · Рынок сложнее для junior’ов, но работа есть для сильных специалистов. Высокие зарплаты (300–700 тыс.) — результат опыта, а не стартовая точка
ИИ в разработке
· Нейросети — усилитель, а не замена: особенно полезны для дебаггинга и анализа больших объёмов логов · Нельзя давать модели доступ ко всему проекту — пароли и токены должны оставаться защищёнными · Вайб-кодинг хорош для MVP и прототипов, но опасен для долгоживущих продуктов: код становится неподдерживаемым
React и экосистема
· React популярен из-за простоты, open source, поддержки Meta и огромной базы legacy-кода · Помимо React нужно знать: TypeScript, Redux Toolkit, React Router, Tailwind, UI-библиотеки, TanStack Query · Next.js не обязателен «по умолчанию»: он нужен там, где важен SSR и SEO, а не для внутренних корпоративных приложений · Главный минус React — отсутствие стандартизации: каждый проект устроен по-своему
Будущее фронтенда
· Код как навык обесценивается, но инженерное мышление остаётся ключевым · Ценность смещается к умению формулировать задачу, проверять результат и понимать предметную область · ИИ нужно осваивать параллельно с базой (HTML, CSS, JavaScript), а не после неё
Когда только начинал разбираться с ллм, взял себе 3090 и немного расстроился. 30b модель влезает с 40к контекстом и ну прям тупенькая. Рассматривал вврианты второй карты через nvlink. В итоге не решился - слишком много заморочек с охлаждением, питанием. Но самое важное - 70b будет ну примерно такая же тупая, как и 30 на фоне облачных.
Так вот. Обсуждал эту тему с дипсиком. Мне очень понравился его ход мыслей - не гнаться за vram, а просто подождать годик-два. За это время качество моделей, способных уместиться в 24гб существенно вырастет, люди додумаются. Гемма похоже на правильном пути
Ну я лично всегда топлю за бизнес, так получилось. И это в большинстве случаев вознаграждается. Когда понимаешь, что нет - приходится расставаться, это удручает. Наверное именно поэтому я почти десять лет резюме не правил. Но понимание винтиковой природы сотрудничества не пропало.
Мой жизненный опыт подсказывает мне простую понятную вещь: делать по красоте, верить в то что делаешь и будет нормально. Просто всегда стараться делать работу качественно, в срок, с кайфом. Тогда будешь честен перед собой. Это всегда можно предъявить.
Блин. Написал ещё пару абзацев про личный опыт и нечаянно удалил.
Быстрый этап: ANN-индекс (IVF/HNSW) — находит похожие фрагменты среди огромного объема данных (жертвуя точностью ради скорости).
Точный этап: Реранкер (кросс-энкодер) — перепроверяет и сортирует найденное, отбрасывая нерелевантные данные (жертвуя скоростью ради точности на финальном отрезке).
Имхо очень большая проблема современных людей - эгоцентризм. Они смотрят жизнь от первого лица и им кажется, что вот он главный герой, у него-то всё должно быть хорошо.
Эгоцентризм мешает сотруднику увидеть, что компания — это не среда для его комфорта, а механизм извлечения прибыли. Пока он считает себя "главным героем", его возмущает нелогичность трат (стулья vs лаунж-зона). Но с точки зрения бизнеса его личный комфорт — всего одна из статей расходов, которую оптимизируют до границы, где он ещё продолжает работать. Понимание этого снимает иллюзию "несправедливости".
Поэтому я и говорю - всё сложно. Но на одной экономике трудовых отношений не выехать. И манагеры прекрасно понимают итоговую стоимость севших батареек и выгоревших сотрудников. Но универсальной формулы нет. Есть корпоративная эволюция - неэффективные компании загибаются, эффективные растут. И далеко не факт, что в эффективной компании бродят счастливые сотрудники. Как и наоборот.
Логика в этом есть, она и раньше была, я с вами даже не спорю. Особенно теперь, когда вы расширили статью и мои комментарии выглядят как неадекватный бубнёж. Рад, что опосредованно помог сделать её более полноценной, но не одобряю.
На всякий случай, чтобы было понятно не только мне, оставлю здесь немножко нейрослопа:
Скрытый текст
Почему это грязный трюк?
Контекстуальное лицемерие. Весь текст до этого — чистая эмпатия к сотруднику и ярость к менеджменту. А тут автор надевает маску эффективного менеджера, чтобы отмазаться от критики «ты просто нытик». Если бы он действительно так думал, этот блок должен был стоять в начале как система координат, а не в конце как щит.
Маскировка отсутствия конструктивности. Вся статья — это про то, «как не надо» и «как плохо делают». Это нормально для личного блога. Но добавив в конец кусок про «инвестиции надо вкладывать туда, откуда идут деньги», автор пытается задним числом придать тексту статус «управленческой аналитики». Хотя по сути текст остался тем же: набором историй о том, как достали HR‑ы и менеджеры.
Манипуляция читателем, который пришёл в конце. Многие читают статьи невнимательно, особенно длинные. Тот, кто дочитает до P. S., увидит: «О, автор не просто нытик, он ещё и про прибыль с балансом рассуждает, значит, к нему можно прислушиваться». При этом логической связи между историей про отвёртку и этим P. S. нет.
Без P. S. это текст «обиженного, но талантливого программиста». С P. S. это текст «человека, который мог бы строить компании, но вынужден терпеть дураков». Разница в позиционировании колоссальная.
Это как если бы человек час ругал ресторан за грязные вилки, а в конце сказал: «Я, кстати, 15 лет в ресторанном бизнесе и знаю, как управлять закупками». Вопрос: а почему ты тогда не сказал это в начале? И почему ты час ныл про вилки, а не объяснял системные проблемы?
Но есть нюанс
Если автору прилетела критика «ты никогда не строил компании и только критикуешь» — добавление P. S. — это логичный и даже уместный защитный ход.
Проблема не в том, что он добавил аргумент. Проблема в том, что этот аргумент разрушает эмоциональную честность текста.
Текст был силён своей искренней злостью. А после P. S. появляется привкус расчёта: «Ах, меня обвинили в нытье? Сейчас я быстренько вставлю про миссию и прибыль, чтобы казаться своим в стане менеджмента».
Читатель с опытом (вроде вас) это чувствует. И это начинает раздражать сильнее, чем сам исходный текст.
Да, это манипуляция. Она не делает статью ложной (многие факты из неё всё ещё правдивы), но она делает автора менее честным. Он попытался закрыть свою уязвимость («я просто критикан») не признанием своей роли («да, я сотрудник, и это даёт мне право требовать уважения к своему рабочему месту»), а притворством («я на самом деле такой же бизнесмен, как и вы»).
Мой опыт привёл меня к тому, что с 2020 года я появлялся в офисе от силы десяток раз, подовина из которых - корпоративы. Я люблю своих коллег, искренне рад их видеть каждый раз. На моём рабочем месте 4 огромных монитора, шикарная механическая клавиатура, тяжелая и сверхточная металлическая мышь, системный блок с приличными вычислительными ресурсами, качественная аудиосистема и подходящий мне для работы специально подобранный стул. До рабочего места мне добираться примерно 15 секунд, никаких пробок и давки в метро. В обеденный перерыв, т.е. время, когда я готов перекусить, я ем вкусную домашнюю еду.
Перед тем, как начать получать этот опыт, я так же как и вы закручивал болты в стульях (у меня на ключах вместо брелка крестовая отвертка), боролся с бубнежом коллег, выбивал себе второй монитор и тп.
Эту фигню не изменить. Все "они" и так знают, что есть проблемы.
Простая аналогия. У вас есть машина, множество узлов, часть из них уже сдохла и не выполняем все свои функции, часть на последнем издыхании, скрипит, но работает. А вы - водитель. Вам надо на этом корыте из точки а добраться до точки б. Машина завелась, едет, не разваливается. Нормально? Нормально. На следующем ТО можно диагностику провести и критически важные проблемы устранить.
Примерно так же и с конторой. Гайки крутятся - бабки мутятся. Если деталька не согласна, что на неё все время капает масло, и деталька начинает громко скрипеть или клинит, её меняют на другую
Даже в этом вашем списке нет ничего про комфорт сотрудников. Есть про размер, продукт, использование навыков сотрудников. Если добавить к этому списку ещё и финансовый результат - всё аккуратно встанет на свои места
Открою секрет капитализма - чтобы извлекать максимум прибыли вообще не обязательно относиться к людям по людски. Мы все за всё хорошее против всего плохого
Неожиданно
Всё на личном опыте, мануалы не помогут, это как книжки по воспитанию детей - вроде умные вещи пишут, но пока не пройдешь этот путь сам, толку мало
Отличный обзор. Тоже рассматривал мак студио для локального квена, но пришел к вывдоу, что это экономически совершенно не выгодно.
Собрал сервер: x99 + xeon + 128 ddr3 (45к), ssd 2tb (20к), бп 1600Вт (50к, на вырост), корпус/охлаждение (30к), 2x3090 (150к, успел, сейчас около 200к). Итого ~300к.
На нем 2 vllm с qwen3.8 27b w4a16, у каждого по 150к контекстного окна. Два агента работают параллельно каждый на своей карте. Скорость на пустом контексте около 110 ts, при полность забитом 60-70 (карты органичены на 250w, греются до 60° - щадящий режим). Prefix_cache делает незаметным prefill (меньше секунды), для qwen под cline важно.
Короче, два интерактивных независимых агента лупят около 200ts за 300к денег.
Скоро доберусь до батч-режима. При 64 параллельных запросов обещают дать суммарную скорость до 1000 ts на одну карту.
И самое главное - этот обогреватель стоит в другой комнате и совсем не мешает работе.
Сформулирую по-другому: если дать агенту иструкции, позволяющие иметь память (меморибанк), дисциплинирующие инструкции (написал - сделай выводы, пообщались с пользователем - запиши), а в идеале ещё и способность к саморефлексии (сделал работу - проанализируй действия, позже - последствия), он будет разбираться в проекте лучше человека. Это требует время, ресурсов, но по мне - окупается с лихвой. Этих электронных чудиков нужно воспитывать
Он её не помнит, потому что он не участвовал в проекте полноценно, ему не дали память, не научили понимать и помнить проект, актуализировать знания. Он одноразовый гость. Аналогия - строитель без знания языка, которого взяли на заливку бетона на 28 этаже одного из домов нового микрорайона.
Если хочется получить полноценного коллегу, придётся попыхтеть, как со стажёрами, которые постепенно становятся (ценой усилий команды) джунами, мидлами и тд
Интересно было бы найти тот момент, когда хабр перестал быть тортом. По-моему я зарегался уже когда он тортом перестал быть (в 2008). Раньше прям читал статьи, сейчас воспринимаю статью (по аналогии с нейронками) как стартовый контекст для обсуждений. В них как раз самое интересное.
Потому что vllm требует прямых рук, линукса, отдельных процессов для каждой модели и возни с роутерами и тд. Олаама - это setup.exe, anykey, anykey.
Но по хорошему и vllm давать друзьям тоже можно условно, потому что prefix_cache
Такие статьи можно читать разве что через ии
Это интервью с фронтенд-разработчиком Александром Ломковым о состоянии React и фронтенда в 2026 году. Вот ключевые тезисы:
Карьера и рынок
· Автор перешёл из VK в Wildberries: внутренняя ротация не дала ощущения нового этапа, хотя условия были хорошие · Работу нашёл через нетворкинг, но рекомендация не отменяет технического собеседования · Рынок сложнее для junior’ов, но работа есть для сильных специалистов. Высокие зарплаты (300–700 тыс.) — результат опыта, а не стартовая точка
ИИ в разработке
· Нейросети — усилитель, а не замена: особенно полезны для дебаггинга и анализа больших объёмов логов · Нельзя давать модели доступ ко всему проекту — пароли и токены должны оставаться защищёнными · Вайб-кодинг хорош для MVP и прототипов, но опасен для долгоживущих продуктов: код становится неподдерживаемым
React и экосистема
· React популярен из-за простоты, open source, поддержки Meta и огромной базы legacy-кода · Помимо React нужно знать: TypeScript, Redux Toolkit, React Router, Tailwind, UI-библиотеки, TanStack Query · Next.js не обязателен «по умолчанию»: он нужен там, где важен SSR и SEO, а не для внутренних корпоративных приложений · Главный минус React — отсутствие стандартизации: каждый проект устроен по-своему
Будущее фронтенда
· Код как навык обесценивается, но инженерное мышление остаётся ключевым · Ценность смещается к умению формулировать задачу, проверять результат и понимать предметную область · ИИ нужно осваивать параллельно с базой (HTML, CSS, JavaScript), а не после неё
Перевернул календарь пацану
Когда только начинал разбираться с ллм, взял себе 3090 и немного расстроился. 30b модель влезает с 40к контекстом и ну прям тупенькая. Рассматривал вврианты второй карты через nvlink. В итоге не решился - слишком много заморочек с охлаждением, питанием. Но самое важное - 70b будет ну примерно такая же тупая, как и 30 на фоне облачных.
Так вот. Обсуждал эту тему с дипсиком. Мне очень понравился его ход мыслей - не гнаться за vram, а просто подождать годик-два. За это время качество моделей, способных уместиться в 24гб существенно вырастет, люди додумаются. Гемма похоже на правильном пути
8 карт 3090 для ллм - это примерно как 9 женщин для вынашивания одного ребёнка. Для кластера нужны профессиональные железки
Ну я лично всегда топлю за бизнес, так получилось. И это в большинстве случаев вознаграждается. Когда понимаешь, что нет - приходится расставаться, это удручает. Наверное именно поэтому я почти десять лет резюме не правил. Но понимание винтиковой природы сотрудничества не пропало.
Мой жизненный опыт подсказывает мне простую понятную вещь: делать по красоте, верить в то что делаешь и будет нормально. Просто всегда стараться делать работу качественно, в срок, с кайфом. Тогда будешь честен перед собой. Это всегда можно предъявить.
Блин. Написал ещё пару абзацев про личный опыт и нечаянно удалил.
Вдруг кто-то захочет почитать целиком, но сомневается, стоит ли
Суть статьи: RAG строится на двух этапах:
Быстрый этап: ANN-индекс (IVF/HNSW) — находит похожие фрагменты среди огромного объема данных (жертвуя точностью ради скорости).
Точный этап: Реранкер (кросс-энкодер) — перепроверяет и сортирует найденное, отбрасывая нерелевантные данные (жертвуя скоростью ради точности на финальном отрезке).
Имхо очень большая проблема современных людей - эгоцентризм. Они смотрят жизнь от первого лица и им кажется, что вот он главный герой, у него-то всё должно быть хорошо.
Эгоцентризм мешает сотруднику увидеть, что компания — это не среда для его комфорта, а механизм извлечения прибыли. Пока он считает себя "главным героем", его возмущает нелогичность трат (стулья vs лаунж-зона). Но с точки зрения бизнеса его личный комфорт — всего одна из статей расходов, которую оптимизируют до границы, где он ещё продолжает работать. Понимание этого снимает иллюзию "несправедливости".
Поэтому я и говорю - всё сложно. Но на одной экономике трудовых отношений не выехать. И манагеры прекрасно понимают итоговую стоимость севших батареек и выгоревших сотрудников. Но универсальной формулы нет. Есть корпоративная эволюция - неэффективные компании загибаются, эффективные растут. И далеко не факт, что в эффективной компании бродят счастливые сотрудники. Как и наоборот.
Логика в этом есть, она и раньше была, я с вами даже не спорю. Особенно теперь, когда вы расширили статью и мои комментарии выглядят как неадекватный бубнёж. Рад, что опосредованно помог сделать её более полноценной, но не одобряю.
На всякий случай, чтобы было понятно не только мне, оставлю здесь немножко нейрослопа:
Скрытый текст
Почему это грязный трюк?
Контекстуальное лицемерие. Весь текст до этого — чистая эмпатия к сотруднику и ярость к менеджменту. А тут автор надевает маску эффективного менеджера, чтобы отмазаться от критики «ты просто нытик». Если бы он действительно так думал, этот блок должен был стоять в начале как система координат, а не в конце как щит.
Маскировка отсутствия конструктивности. Вся статья — это про то, «как не надо» и «как плохо делают». Это нормально для личного блога. Но добавив в конец кусок про «инвестиции надо вкладывать туда, откуда идут деньги», автор пытается задним числом придать тексту статус «управленческой аналитики». Хотя по сути текст остался тем же: набором историй о том, как достали HR‑ы и менеджеры.
Манипуляция читателем, который пришёл в конце. Многие читают статьи невнимательно, особенно длинные. Тот, кто дочитает до P. S., увидит: «О, автор не просто нытик, он ещё и про прибыль с балансом рассуждает, значит, к нему можно прислушиваться». При этом логической связи между историей про отвёртку и этим P. S. нет.
Без P. S. это текст «обиженного, но талантливого программиста». С P. S. это текст «человека, который мог бы строить компании, но вынужден терпеть дураков». Разница в позиционировании колоссальная.
Это как если бы человек час ругал ресторан за грязные вилки, а в конце сказал: «Я, кстати, 15 лет в ресторанном бизнесе и знаю, как управлять закупками». Вопрос: а почему ты тогда не сказал это в начале? И почему ты час ныл про вилки, а не объяснял системные проблемы?
Но есть нюанс
Если автору прилетела критика «ты никогда не строил компании и только критикуешь» — добавление P. S. — это логичный и даже уместный защитный ход.
Проблема не в том, что он добавил аргумент. Проблема в том, что этот аргумент разрушает эмоциональную честность текста.
Текст был силён своей искренней злостью. А после P. S. появляется привкус расчёта: «Ах, меня обвинили в нытье? Сейчас я быстренько вставлю про миссию и прибыль, чтобы казаться своим в стане менеджмента».
Читатель с опытом (вроде вас) это чувствует. И это начинает раздражать сильнее, чем сам исходный текст.
Да, это манипуляция. Она не делает статью ложной (многие факты из неё всё ещё правдивы), но она делает автора менее честным. Он попытался закрыть свою уязвимость («я просто критикан») не признанием своей роли («да, я сотрудник, и это даёт мне право требовать уважения к своему рабочему месту»), а притворством («я на самом деле такой же бизнесмен, как и вы»).
Мой опыт привёл меня к тому, что с 2020 года я появлялся в офисе от силы десяток раз, подовина из которых - корпоративы. Я люблю своих коллег, искренне рад их видеть каждый раз. На моём рабочем месте 4 огромных монитора, шикарная механическая клавиатура, тяжелая и сверхточная металлическая мышь, системный блок с приличными вычислительными ресурсами, качественная аудиосистема и подходящий мне для работы специально подобранный стул. До рабочего места мне добираться примерно 15 секунд, никаких пробок и давки в метро. В обеденный перерыв, т.е. время, когда я готов перекусить, я ем вкусную домашнюю еду.
Перед тем, как начать получать этот опыт, я так же как и вы закручивал болты в стульях (у меня на ключах вместо брелка крестовая отвертка), боролся с бубнежом коллег, выбивал себе второй монитор и тп.
Эту фигню не изменить. Все "они" и так знают, что есть проблемы.
Простая аналогия. У вас есть машина, множество узлов, часть из них уже сдохла и не выполняем все свои функции, часть на последнем издыхании, скрипит, но работает. А вы - водитель. Вам надо на этом корыте из точки а добраться до точки б. Машина завелась, едет, не разваливается. Нормально? Нормально. На следующем ТО можно диагностику провести и критически важные проблемы устранить.
Примерно так же и с конторой. Гайки крутятся - бабки мутятся. Если деталька не согласна, что на неё все время капает масло, и деталька начинает громко скрипеть или клинит, её меняют на другую
Даже в этом вашем списке нет ничего про комфорт сотрудников. Есть про размер, продукт, использование навыков сотрудников. Если добавить к этому списку ещё и финансовый результат - всё аккуратно встанет на свои места
Открою секрет капитализма - чтобы извлекать максимум прибыли вообще не обязательно относиться к людям по людски. Мы все за всё хорошее против всего плохого