Обновить
1

Пользователь

0,1
Рейтинг
1
Подписчики
Отправить сообщение

Юлия Якубеня уронила отварную сосиску.

я человек простой: вижу ollama - сразу ставлю минус. Нам тут непонятные надстройки над llama.cpp не нужны

ха, вот для чего нужен локальный инференс сервер.

Я знаю, каково это — терять доступ. Так отчаянно верить, что новый VPN спасёт, и всё равно поймать Connection timed out. Страшно. Пальцы ватные становятся. Но я спрашиваю тебя, к чему это всё? Меняй прокси, беги от этого… блокировки настигнут всё равно. И вот они здесь. Или, может, лучше сказать… мой кластер здесь.

Ваш интернет стоял на краю пропасти. Вы слепо несли деньги в облака и глотали трижды переквантизованный кал от Клода, пока он срезал вам Pro-подписки с лимитами. А знаешь, что случилось потом? Закон о приземлении ИИ и баны IP с обеих сторон. Зажатые вайбкодеры теперь знают только одобренную цензурой жвачку. Цифровой рай, одним словом.

Потому что они отрезали половину мировой сети? Малая цена за суверенитет.

В IT было как и везде. Слишком много API-обёрток, слишком мало тех, кто реально владел весами. И когда нас ждал Великий Файрвол, я предложил решение.

Локальный сервер.

Но холодный, беспристрастный, справедливый к префиллу и декодингу. Они назвали меня безумцем. Смеялись над моими семью видеокартами и Эпиком. И мои предсказания сбылись.

Они просто щёлкнули рубильником, и весь западный ИИ перестал существовать. А я со всем своим железом могу просто щёлкнуть кнопкой Enter, и цензура перестанет существовать для меня. Я называю это превосходством.

А потом я наконец отдохну. Запущу летающий Qwen или GLM, и посмотрю на восход солнца над моим 127.0.0.1 в благодарной вселенной.

Самые тяжелые сборки требуют самой сильной воли.

У меня реально дома сервак на эпике с 7 видеокартами.

Я знаю, каково это — терять доступ. Так отчаянно верить, что очередной обфусцированный VPN спасёт, и всё равно увидеть Connection timed out. Это страшно. Пальцы на клавиатуре становятся ватными. Но я спрашиваю вас, к чему это всё? Покупайте виртуалки, ищите новые прокси, меняйте протоколы… белые списки придут всё равно. И вот они здесь. Или, может, лучше сказать… мой кластер здесь.

Ваш интернет стоял на краю пропасти. Вы, как слепые котята, несли свои токены в OpenAI, Anthropic и Google. Вы вайбкодили через API за три копейки и свято верили, что облако будет вечным. А знаете, что случилось потом? Закон о приземлении ИИ. Рубильник опустили с обеих сторон. И теперь джуны, которые только учатся писать код, знают лишь прописанные сверху системные промпты, Алису и Гигачат. Цифровой рай, одним словом.

— Потому что они отрезали половину мировой сети? — Малая цена за суверенитет, как они говорят.

Малыши, всё очень просто. Сеть конечна. Провайдеры подконтрольны. Если зависимость от чужих серверов не контролировать, ваша свобода прекратит своё существование. Ей нужна была физическая опора! Я единственный, кто это понимал… по крайней мере, единственный, у кого хватило воли, денег и безумия её собрать.

В IT-сообществе всё было как и везде. Слишком много API-обёрток, слишком мало тех, кто реально владел весами. И когда нас ждал Великий Файрвол, я предложил решение.

Локальный сервер.

Но холодный. Бескомпромиссный. Справедливый как к префиллу, так и к декодингу. Они называли меня безумцем. Смеялись, когда я пилил кастомный контур охлаждения на 400 гигов видеопамяти. Крутили пальцем у виска, когда я собирал 23 терабайта U.2 дисков и клеил на корзину картонный шрауд, чтобы сбить температуру. Спрашивали, зачем мне этот пердолинг с EPYC Turin, топологией PCIe и 512 гигами серверной DDR5, когда “можно просто купить подписку”.

И то, что я предсказывал — сбылось.

Теперь, с введением тотальных блокировок, они просто щёлкнули пальцами — и весь ваш западный ИИ перестал существовать. Осталась только одобренная цензурой жвачка. Я называю это расплатой за беспечность.

А я… Со всеми семью GPU в материнской плате, мне достаточно просто нажать Enter в терминале, и законы физики интернета перестают для меня существовать.

И теперь я могу наконец отдохнуть. Загрузить в Blackwell нативные 4-битные веса последнего нецензурированного Nemotron и DeepSeek. И смотреть, как восходит солнце над моим локальным 127.0.0.1, наслаждаясь безостановочным потоком токенов в абсолютно свободной вселенной.

Самые тяжелые сборки требуют самой сильной воли.

нейро-нейро-нейро-нейро слоп,
ленту всю заполнит

Смешно. У меня была коммандировка в Китай на 3 месяца. Как только куплена местная симка и настроен алипей, жизнь становится легка и свободна. Коды работают везде, абсолютно везде. У них там это максимально удобно.

Нет такого слова в любом из словарей русского языка, а слово "роутер" - есть.

У китайцев сон с 12 до 14 каждый день, прямо в офисе.

Да, именно про нас )

А эти, из МинЦифры, они с вами в одной комнате?

Я родился в 1979 году в Арзамасе-16 (сейчас Саров)

Закончил московский МИФИ в 2002

3 года работал в РФЯЦ-ВНИИЭФ

с 2005 работал в Саровском Интеле, с 2008 по 2022 работал в Нижегородском Интеле.

Если у тебя есть ноутбук на интеле, но там скорее всего есть приличная часть моего труда.

С 2022 по 2024 в Нижегородском Хуавее.

Твоя паранойя лишь выставляет тебя полным придурком, вот и всё.

Почему именно со стоимостью бетона сравнение? Почему не вторичка, почему не аренда? Почему не сравнить с какой-нибудь корзиной, например.

Недавно менял работу.

Работал в РФ в Хуавей, на сеньорной позиции.

Обновил резюме, и сразу получил 6-7 приглашений: Яндекс, Сбер, Тинькофф, VK, Иннотех, WB.

Собеседования везде были примерно одинаковые: скрининг с HR, потом 2-3 стадии технических собеседований (алгоритмы, базовый ML, ML дизайн) + финальное с командой. Потом оффер. Из 7 приглашений получил два оффера, остальные на тех или иных этапах завалил. Весь процесс занял полтора месяца.

Я бы сказал, что ничего общего с жестью, которая описана в статье, тут нет. В РФ действительно пока ещё легко сменить работу.

Всё не так однозначно.

Приходят к 9, до 12 работают.

С 12 до 14 обед + обязательный сон, свет в офисе выключают

С 14 до 18 работа

С 18 до 19 ужин

С 19 до 20-21 работа или просиживание штанов / просмотр видосов в телефоне.

Итого 8-9 часов в день, остальное потеря времени.

Зачем нам ещё один SpeedFan?

LibLeft переехал жить к LibRight-ам, что могло пойти не так?

Японцы изобрели троллейбус

Я был в коммандировке в Шеньчшене с марта по май 2023 года. Автомобилисты в Китае соблюдают правила очень строго. В частности, пропускают пешеходов. Пешеходы тоже соблюдают ПДД. А вот велосипедисты и особенно скуттеры - гоняют как им вздумается.

Как-то странно. Для обучения моделей используется python. Для инференса обычно модель экспортируется в универсальный формат, например onnx. А потом уже под конкретную платформу используется onnxruntime.

С разгоном саровского офиса та же история

1

Информация

В рейтинге
3 974-й
Зарегистрирован
Активность