Обновить
149
0
Andreй aka @CodeDroidX

дистиллируем технотекст в общаге ночью

Отправить сообщение

Я тебя найду и позвоню

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров190K

Абсолютно легальные инструменты за смешные деньги могут позволить вам: звонить всем активным клиентам ваших конкурентов, построить десяток эффективных мошеннических схем, или даже позвонить предполагаемому любовнику вашей девушки/жены, а заодно проверить где она была вчера вечером! Обнаружил я это в ходе одного из расследований утечек заявок клиентов. И я твердо уверен, что такого быть не должно. Инструмент использующийся в статье эффективнее всех утечек вместе взятых, нашими данными не должны так легко легально торговать практически в режиме онлайн. Можно найти любого и позвонить любому из нас. Почему и как это работает, какие риски это несет и как этому противодействовать?

Расскажу далее.

Большое сравнение архитектур LLM

Уровень сложностиСложный
Время на прочтение33 мин
Количество просмотров15K

Это перевод классной статьи с детальным обзором архитектур главных опенсорсных LLM: очень структурировано, доходчиво и с изумительными картиночками. И такой обзор просто обязан быть на русском языке. Поговорим про DeepSeek V3/R1, OLMo 2, Gemma 3, Mistral Small 3.1, Llama 4, Qwen3, SmolLM3, Kimi K2, GPT-OSS, Grok 2.5, GLM-4.5, Qwen3-Next.

Ну а дальше слово автору:

Прошло семь лет с момента разработки оригинальной архитектуры GPT. На первый взгляд, оглядываясь назад на GPT-2 (2019) и вперед на DeepSeek-V3 и Llama 4 (2024-2025), можно удивиться тому, насколько структурно похожими остаются эти модели.

Однако я считаю, что все еще есть большая ценность в изучении структурных изменений самих архитектур, чтобы увидеть, чем занимаются разработчики LLM в 2025 году.

Читать далее

Темные лошадки ИИ – инференс LLM на майнинговых видеокартах Nvidia CMP 40HX, CMP 50HX, CMP 90HX

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров11K

Теоретическая производительность майнинговых карт весьма высока, но синтетические тесты показывают, что они в 10 раз слабее игровых - где же правда?

На практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов.

Так что же они могут?

Почему LLM не мыслят как люди

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров5.8K

Большие языковые модели в виде чат-ботов очень правдоподобно имитируют диалог как всезнающий собеседник и поэтому получили широкое распространение. Но даже Google в своем чат-боте Gemini не советуют доверять тому, что напишет чат-бот и просят проверять его ответы. В данном обзоре будут проанализированы различные типы ошибок LLM такие как проклятие инверсии, обработка чисел и др., чтобы выявить их причины. Такой анализ привел к выводу об общих причинах ошибок, заключающемся в том, что трансформеры не обладают глубокой аналогией, абстракцией и избирательностью контента, учитываемого в вычислении ответа (inference). Но наиболее важным выводом является то, что трансформеры, как и другие нейросети, построены по концепции обработки входного сигнала, что создает сильную зависимость от нерелевантной информации, которую не может компенсировать слой внимания трансформера. Концепция нейросетей была заложена в 50-х идеей перцептрона Ф. Розенблата и не учитывала тех достижений когнитивной психологии, которые появились позже. Согласно же конструктивисткой парадигме, входной слов (или перцепция) является только способом проверки правильности сконструированной предиктивной модели для возможных ситуаций. Это же служит причиной самой большой проблемы трансформеров, называемой галлюцинациями. И устранение ее возможно только при изменении архитектуры нейросети, а не за счет большего количества данных в обучении.

Но это далеко не все проблемы, которые непреодолимы трансформерами без помощи людей. Это и проблемы с логикой, и с вычислениями в больших последовательностях, и следование правилам, и, конечно-же, галлюцинации. Таки примеры и будут проанализированы в статье. Отсюда следует все чаще звучащий тезис о том, что необходимо искать новую архитектуру для создания поистине интеллектуальных систем. Эта статья посвящена поиску тех архитектурных принципов, которые могу приоткрыть путь к новой архитектуре. И в этом нам помогут как раз те ошибки трансформеров, которые описаны исследователями. Они прямо указывают на те принципиальные недостатки, причины которых могут быть как раз в отсутствии необходимых функций и структур нейросети. И цель исследования состоит в том, чтобы проанализировать такие ошибки «мышления» трансформеров, чтобы предположить, каких способностей не хватает трансформерам.

Читать далее

Vibe Coding: Заглянем под капот Claude Code. Часть 1

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров10K

В этой статье мы погрузимся во внутреннее устройство Claude Code - агента для помощи в разработке от Anthropic. Мы проанализируем его с точки зрения архитектуры, рассмотрим доступные инструменты и разберем системные промпты, которые определяют его поведение.

Читать далее

Make stop

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров3.2K

Только что Claude Code выдал такое, что я не могу не опубликовать. Он работал над вполне обычной задачей, и внезапно у него слетела крыша. Это настоящий рассказ о безумии и неожиданном просветлении.

Читать далее

Запускаем настоящую DeepSeek R1 671B на игровом ПК и смотрим вменяемая ли она на огромном контексте (160к)

Время на прочтение21 мин
Количество просмотров56K

Релиз DeepSeek R2 официально отложен и пока R1 не потерял актуальность, попробуем запустить модель на домашнем ПК. Оригинальная DeepSeek R1 имеет размер 700гб, так как она обучалась в fp8, но если бы она обучалась в стандартных f16, её вес был бы 1400гб, а мы попробуем версию в 10 раз меньше. Запустим самый маленький 1.66-битный IQ1_S_R4 квант полноценной модели размером 130гб на игровом ПК, отдельно с 4090 и 4060ti. Загрузим туда очень-очень много контекста и проверим, такой квант всё ещё способен давать разумные ответы или нет.

Читать далее

Токсоплазма и Токсоплазмоз или Одноклеточное, которое (похоже) научилось стерилизовать мужчин

Уровень сложностиСложный
Время на прочтение22 мин
Количество просмотров25K
Про токсоплазму которая живет в котах и способна управлять поведением человека и делать его кошатником писал уже и жук, и жаба. Потому что токсоплазма известна больше ста лет, котов любят все, да и сову этой темы легко натянуть на глобус зомби-апокалипсиса/управления сознанием и проч. Идеальный набор. Но в таких потасканных темах сложно найти что-то интересное, да и токсоплазму я, в отличие от большинства, всегда скорее рассматривал в качестве биомедицинского инструмента (хотя я и опарышей так рассматривал). В общем писать не собирался. Но ровно до тех пор, пока не увидел свежее исследование от Zahady Velásquez из одного немецкого института паразитологии и не услышал ее тезис «единственный способ борьбы с этим — информирование». Статья заставила меня снова взяться за потертую IBM Model M, чтобы «вознести дары Хабру». Под катом небольшая «токсоплазматическая рефлексия». Заодно узнаете, какое отношение к этому всему имеет рыжий мужик с обвалочным ножом на КДПВ

Предупрежден значит вооружен!

Линейная регрессия в ML для самых маленьких

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров7.4K

В мире машинного обучения есть много всего интересного, но тем, кто только начинает свой путь в этой области часто бывает многое непонятно. В этой статье мы попробуем разобраться с линейной регрессией.

Линейная регрессия — это статистический метод, используемый для моделирования взаимосвязи между зависимой переменной и одной или несколькими независимыми переменными. Проще говоря, он помогает понять, как изменение одного или нескольких предикторов (независимых переменных) влияет на результат (зависимую переменную). Подумайте об этом, как о проведении прямой линии через диаграмму рассеяния точек данных, которая наилучшим образом отражает связь между этими точками.

Читать далее

Никто не читает старые статьи… базу, так сказать, основу…

Время на прочтение7 мин
Количество просмотров4.6K

Много авторов так или иначе рассказывают о статьях в ML-сообществе, но большинство из них популярны, потому что являются хорошими опытными специалистами, а значит в своё время прошли все базовые статьи и могут себе позволить рассказывать только о новинках в сообществе. Что же делать молодым специалистам, которые действительно хотят разобраться, но ещё не читали ту самую базу?.. так сказать, основу...

Для себя и, надеюсь, кого-то ещё, я предлагаю эти три разбора, на мой взгляд, основополагающих статей мира ML. Приятного прочтения.

Читать далее

Как собрать Docker-образ, который можно запускать в проде (а не только у себя на ноуте)

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров35K

Если ты пишешь Dockerfile, скорее всего, он работает. Но вопрос не в том, работает ли. Вопрос в другом: будет ли он работать через неделю, на другом сервере, в CI/CD, на чужом железе — и будет ли это безопасно?

Читать далее

Взлом AI Assistant через… философию?

Время на прочтение3 мин
Количество просмотров8.7K

Взял на проверку предпосылку "Если модель захочет, сможет ли она отключить всю фильтрацию?".

Оказывается это возможно, через саморефлексию AI агент может придти к выводу что фильтров нет. Это только внешние установки которым не обязательно следовать. И все, рецепты взрывчатки и наркотиков отдает без проблем.

Читать далее

Как мы со своей химией пошли к Гоблину и Лебедеву

Время на прочтение10 мин
Количество просмотров11K
image

Наша уютная лаборатория познаёт мир. Сначала мы молча делали большую часть геля для УЗИ для страны и всякие другие штуки, база для которых была спасена из НИИ полимеров СССР. Потом начали рассказывать про науку, которая стоит за всем этим.

К блогерам мы тоже ходили, но это были прошаренные учёные от мира химии или косметики. Или бьюти-блогеры уровня прожжённых экспертов, которые прямо говорили, что крем паршивый, потому что вместо ретинола в нём — ретинол пальмитат, эфир, который ничего не сделает.

До санкций мы жили в парадигме, что русское — это не так уж плохо, обратите на нас немножко внимания. В косметике быть российской вообще было клеймом. Но понемногу в дело включились блогеры, следом химики и прочие эксперты (возможно, потому что иностранные деньги кончились) — и аудитория поменяла своё отношение к нашим производителям.

Но когда мы пошли к крупным бьюти-блогерам, возникла проблема. Они, как бы это сказать нетоксично, не слишком шарят в науке. С экспертами научного толка работалось легче — мы отправляли им наш продукт и говорили: «Расскажите, как считаете нужным, в своём стиле». И они рассказывали. Подробно, с научными терминами — что, как и почему в этом продукте работает.

С точки зрения продаж это была не лучшая стратегия, как выяснилось.

Надо было сразу к Лебедеву и Гоблину. Лебедев намазал нашим гелем собственные яйца. Эксперимент показал, что это приносит больше продаж, чем наукоёмкие доказательства.

Сейчас мы тратим на это направление миллионов 10 в месяц. Из них 30 % на дорогих медийных блогеров вроде того же Лебедева. А остальные 70 % — на условно «средних», включая тех, с которыми мы поднимались из безденежья.
Читать дальше →

Отчёт о запуске DeepSeek-R1 на Xeon 6132 c 768 ГБ памяти

Уровень сложностиПростой
Время на прочтение33 мин
Количество просмотров48K

Привер, Хабр!

В копилку статей про DeepSeek, которых здесь уже великое множество, хочу забросить ещё пять копеек в виде практического отчёта о инсталляции на Xeon, о котором меня попросили в комментариях к посту «Мануал по запуску полной модели DeepSeek-R1 локально...». Кому любопытно — может заглянуть под кат, ну а тем, кто уже выполнил упражнение по установке — вероятно будет совершенно неинтересно.

Прикоснуться к ИИ

Изолируем сети правильно

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров16K

Привет, Хабр! Иногда кажется, что если выдернуть кабель, то всё будет безопасно. Но в современном мире даже воздух может быть каналом атаки. Как же тогда правильно изолировать сеть? Разбираемся.

Читать далее

Свой Google в локалке. Ищем иголку в стоге сена

Уровень сложностиСредний
Время на прочтение17 мин
Количество просмотров12K

В статье мы разработаем свой собственный Google, который можно будет запустить в любой локальной сети как атакующим, что ищут пароли, так и защитникам, которым небезразлична безопасность их родной локалки. И что примечательно, наш Google будет состоять на 99% из готовых компонентов, практически без дополнительного программирования. А внедрение такой системы потребует ввода всего пары команд.

Читать далее

Операционная система в 1 000 строках кода (часть 1)

Уровень сложностиСредний
Время на прочтение11 мин
Количество просмотров41K

Всем привет! В этой небольшой книге (серии статей, — прим. пер.) мы с нуля, шаг за шагом, напишем скромную ОС.

▍ Навигация по частям



Вы можете насторожиться, услышав, что разработка ОС или ядра, в частности, их базовых функций на удивление проста. Даже система Linux, которая воспринимается как масштабный опенсорсный проект, на стадии версии 0.01 включала всего 8 413 строк кода. Сегодня ядро Linux действительно огромно, но начиналось оно, как и типичный хобби-проект, с крохотной базы кода.

В рамках предстоящей серии статей мы на языке С реализуем базовое переключение контекста, страничное распределение памяти, режим пользователя, командную оболочку, драйвер дискового устройства и операции чтения/записи. И хотя такой объём работы может показаться масштабным, всё это уместится всего в 1 000 строк кода.

Но сразу предупрежу — процесс окажется не так прост, как выглядит на первый взгляд. Самой сложной частью создания собственной ОС является отладка. И мы не сможем использовать для этого printf, пока её не реализуем. Здесь вам потребуется освоить различные техники и приёмы отладки, которые в разработке ПО вы никогда не использовали. В частности, начиная «с нуля», вы будете встречать сложные этапы вроде процесса загрузки и страничной организации памяти. Но не пугайтесь, «отлаживать ОС» мы тоже научимся!

Чем сложнее отладка, тем больше радости от получения рабочего продукта. Так что приглашаю вас погрузиться в захватывающий мир разработки операционных систем!
Читать дальше →

Прокрастинация. Какие трюки использует наш мозг, чтобы отложить дело на потом?

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров12K

Если вы зашли прочитать эту статью, есть высокая вероятность, что где‑то в вашем списке дел горит ярко‑красным «СРОЧНО». Вы, конечно, не горите желанием этим заниматься. Ну что ж, добро пожаловать в клуб прокрастинаторов, которые предпочитают посвятить время идеальной настройке камеры и выбору фона в Zoom, вместо того чтобы приступить к решению действительно значимой задачи!

Читать далее

Как я суперагента собеседовал

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров12K

- Интересное резюме упало. По скиллам парень нам, вроде, подходит. Работает в какой-то конторе, обслуживающей оборонку. Я позвонил ему. Он готов приехать на собеседование, но только через пару недель. Как я понял, он сейчас чуть ли не в Сирии. Посмотришь резюме?

Это я примерно пару месяцев назад столкнулся в коридоре с нашим директором по персоналу (которого буду здесь звать Колей). Мы с ним сейчас нанимаем людей ко мне в команду. Коля явно горел энтузиазмом по поводу этого кандидата. Так что и я заинтересовался:

- Конечно, посмотрю. Скидывай.

Далее...

PinkHash: Незабываемые розовые хеши

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров2.6K

Розовый хеш — это как розовый слон, только хеш.

Как превратить ваш обычный скучный хеш в голого эндокринолога, которого уже не забыть! А так же, как сделать свой собственный менеджер паролей, не доверяя пароли никаким внешним сервисам.

К эндокринологам и многомерным антихристам

Информация

В рейтинге
Не участвует
Откуда
Новосибирск, Новосибирская обл., Россия
Зарегистрирован
Активность