Оптимизация потребления памяти в ML-библиотеке LANCETNIC
Недавно я столкнулся с проблемой: моя библиотека lancetnic при обучении на больших текстовых датасетах просто перегружала оперативную память. На ноутбуке с 16 ГБ RAM модель не могла обучиться даже на 25 тыс. строк. Я начал разбираться и нашёл пару причин критического перерасхода памяти.
Привет! Началось всё с дурацкого вопроса. Я который месяц живу в Claude Code — ставлю задачи, ругаюсь, прошу переделать, снова ругаюсь. И тут до меня дошло: каждая моя реплика лежит на диске. Вообще каждая. Каждое «сделай», каждое «проверь», каждый капс в три часа ночи — всё это тихо копится в JSONL‑файлах в домашней папке. У меня таких логов набралось на 200 тысяч слов за полтора месяца. Это, на минуточку, две «Мастер и Маргариты».
И вот сижу я, смотрю на эту гору данных и думаю — а как я вообще выгляжу со стороны машины? Не «хороший я или плохой», а буквально: какими словами командую, в котором часу наиболее опасен, сколько раз прервал модель на полуслове. Досье же готовое. Осталось его вскрыть.
Так за сутки диалога родился Prompt Warrior — опенсорсный скилл для Claude Code и других харнесов, который превращает локальные логи сессий в геймифицированный психологический портрет: титул, уровень, 74 ачивки с редкостями как в Стиме, шесть шкал характера и биография, которую пишет сама нейросеть.
В последнее время все чаще попадаются статьи на тему сетевых технологий, от вдохновения захотелось что-нибудь смастерить. Выбор пал на приложение для мониторинга трафика на локальной машине – сколько отправили/получили и кому/от кого, писать будем на Rust.
Учёные Института AIRI разработали нейросетевую модель Genatator, которая строит карту генов по последовательности ДНК.Как сообщили информационной службе Хабра в AIRI, модель предназначена для разметки геномов, у которых нет подробных биологических данных.
Genatator получает последовательность ДНК и размечает в ней гены. Модель находит границы генов, определяет тип транскрипта и восстанавливает структуру. Система выделяет гены, экзоны, интроны и другие участки.
Учёные создали компьютерную модель, которая показывает, как работает многожильный волоконный лазер и как получить узкий и стабильный спектр. Расчёты показали, что при близком расположении световодов и свободном перетекании света между ними несколько линий объединяются в одну. По словам исследователй, ширина линии почти в десять раз меньше, чем при разнесённых световодах. Работа выполнена при поддержке Российского научного фонда. Результаты исследования опубликованы в журнале High Power Laser Science & Engineering.
Пользователи Android получили возможность выбрать Алису AI ассистентом по умолчанию. Как сообщили информационной службе Хабра в пресс‑службе «Яндекса», Алису AI можно вызывать поверх любого приложения одним жестом или удержанием кнопки навигации. Открывать приложение ИИ‑ассистента или переключаться между окнами больше не нужно. Достаточно вызвать ассистента и сразу задать вопрос голосом или текстом.
Сделать Алису AI ассистентом по умолчанию можно несколькими способами. Первый — через запуск приложения Алисы AI. Второй — через пункт «Сделать ассистентом по умолчанию» в настройках приложения. Третий — через системные настройки Android: нужно открыть настройки телефона, выбрать раздел «Приложения», затем «Приложения по умолчанию» и «Цифровой помощник», после чего выбрать Алису AI.
Цифровой колледж Skillbox и компания «Росгосстрах» провели исследование об интернет‑угрозах для детей и отношении родителей к безопасности в сети: интернет остаётся частью повседневной жизни, но вместе с этим сохраняются и риски. Исследование проводилось методом опроса. В опросе участвовало 1,5 тысячи жителей разных регионов России.
По исследованию, чаще всего родителей беспокоит общение детей с незнакомцами, об этом сообщили 23% опрошенных, ещё 17% респондентов опасаются интернет‑мошенников, а 16% участников опроса указали на риск кражи персональных данных и взлома аккаунтов.
Скопления галактик могут содержать тысячи отдельных галактик и являются крупнейшими гравитационно связанными структурами, известными нам во Вселенной. Они настолько массивны, что их получается использовать в качестве гравитационных линз.
Одно из таких древних скоплений называется XLSSC 122, и оно удачно расположено на одной линии с более удалёнными отдельными галактиками. Это превращает скопление в гравитационную линзу, которая искривляет и усиливает свет от далёких галактик. Астрономы использовали телескоп «Уэбб» для изучения скопления, и искажённое изображение фоновой галактики позволило им более точно измерить массу XLSSC 122.
Десять миллиардов лет назад большинство скоплений галактик только начинали формироваться. Однако текущие наблюдения показывают, что XLSSC 122 отличается от других скоплений галактик, существовавших во Вселенной в то же время. Напротив, оно более массивно, компактно и упорядоченно — в общем, напоминает более современные скопления.
Минэкономразвития предложило создать новую категорию компаний под названием «технологические лидеры». Проект постановления об этом опубликован на официальном портале проектов правовых актов. Документ разработан по поручению президента России.
В пояснительной записке к документу говорится, что по состоянию на июнь 2026 года в России нет единого механизма, позволяющего находить и учитывать компании с устойчивыми технологическими достижениями. По мнению создателей проекта постановления, такие компании нуждаются в поддержке государства, чтобы расти и со временем перейти в категорию единорогов — стартапов с рыночной стоимостью более одного миллиарда долларов.
Исследователь в области кибербезопасности под ником Victor обнаружил в Steam критическую уязвимость в рамках программы Bug Bounty. По шкале CVSS ей присвоена оценка 9 из 10. Valve пока не выпустила патч, исправляющий ошибку.
Статья "LLM free" - все изображения и текст органического происхождения. :)
В январе выкладывал пост, в котором рассказывал о ходе эксперимента с 2 флешками - насколько долго они могут сохранить данные в обычных домашних условиях. На сегодня прошло уже 2 года с момента, когда флешки были заполнены данными и отложены в темное сухое место.
Этот эксперимент не претендует на какую-либо научность и практическую значимость. Всё делается просто ради прикола. Just for fun.
Доброго. Не прошло и года, как я писал статью о mail.ru https://habr.com/ru/posts/940422/ и вот новая. Назвал бы я это фразой "Очередные проделки mail.ru или агрессивное удержание клиентов".
Итак к сути. Достаточно давно к mail.ru привязан мой домен с бесплатной услугой "Почта для домена" от mail.ru. Изначально, к слову, на бесплатном тарифе можно было использовать неограниченное (во всяком случае точно больше 5) почтовых ящиков. Несколько лет назад лимит ящиков на бесплатном тарифе уменьшили до 5. Уменьшил, и так это всё работало у меня до 29.06.2026 примерно до 15:00 мск. Кстати, почтой пользуюсь исключительно через почтового клиента по протоколам pop3/smtp. Ну и сразу напишу, что какой бы то ни было ощутимой нагрузки на сервера не создаю, почтой пользуюсь исключительно я и только я, с одного и того же компьютера и никто другой. Периодичность отправки/получения со всех 5 ящиков примерно 1-2 письма в день, но нередко бывают дни, даже несколько дней с полным отсутствием приёмом/отправкой писем по электронке. Последнее пишу, чтобы было представление о том, создаю ли я вообще какую-либо нагрузку на почтовые сервера.
И, примерно 29.06.2026 ~15:00 мск. в логах почт. клиента появились записи:
29.06.2026, 15:00:00: ******-ERR Net dostupa na vashem tarife. Skachaite prilozhenie VK WorkSpace
...и почта в перестала работать. Кстати, примерно несколькими неделями ранее я видел новость, что mail.ru подумывает запретить использование почтовых клиентов на бесплатных тарифах. Похоже это оно. Ну и кстати, посмотрел условия платных тарифов и, мягко говоря, был удивлён аппетитам mail.ru, приводить не буду, желающие найдут.
Самым логичным, в моей ситуации было решение - уйти на сторонний почтовый хостинг. Платный, кстати.Сказано - сделано. В админке аккаунта mail.ru домен был удалён, однако mail.ru написал, что, дескать они его удалят окончательно только через 14 дней.
Тем не менее, начал перепривязывать свой домен для стороннего почтового хостинга, а именно обновил записи DNS домена в частности MX, TXT записи.
Примерно менее чем через час, я уже мог отправлять письма с почтовых адресов своего домена кому бы то ни было, НО вот с получением почты возникли нюансы, а именно: Я могу получать почту со (!)всех почтовых доменов, (!)КРОМЕ почтовых доменов mail.ru - @mail.ru, @inbox.ru, @bk.ru, @list.ru. Этим, кстати, исключается вариант неправильной настройки DNS записей домена, иначе я бы не смог получать почту вообще от кого бы то ни было.
Справедливости ради следует написать, что для смены DNS записей домена у разных хостеров и провайдеров требуется время и происходит это не мгновенно (кстати по личному опыту максимум было несколько часов, вообще), но была информация, что обновление записей может длиться до 3-х суток максимум. На данный момент с момента изменения мной DNS записей домена прошло уже более (!)74 часов, что составляет время более чем трое суток.
Разумеется за это время было написано как обращение к платному хостеру почтового сервера, так и в тех поддержку mail.ru. На последних (mail.ru), по печальному предыдущему опыту я не особо рассчитывал, что практически и оправдало в негативном смысле мои предположения - сразу после обращения от mail.ru получил автоматический ответ с присвоением номера заявки и что они обязательно ответят не более чем через 10 часов. На данный момента с изначального момента обращения прошло более 50 часов, ничего более от них не получил!
Тех. поддержка платного почтового хостинга несколько раз отвечали, сейчас вопрос находится до сих пор в работе, но субъективно это не их вопрос и к ним у меня вопросов нет, ибо с не mail.ru адресов почта доходит без проблем. Более того, как док-во того, что проблема в mail.ru - если я отправляю письмо с одного из @mail.ru почт.серверов на ранее существующий адрес своего домена, когда я хостился в mail.ru - письмо просто не доходит, а если на не существующий адрес - получаю письмо-автоответ, "Ошибка 550 User Not Found", что говорит о том, что сервера mail.ru не обновили информацию о домене.
Привет, Хабр! На связи снова МТС, и сегодня мы хотим поговорить о батарейке — но не простой, а о-о-очень большой. Вы никогда не задумывались, как здорово было бы иметь гигантский аккумулятор, куда можно сохранять энергию, которую электростанции вырабатывают, но не используют? Сейчас они вынуждены рассеивать мегаватты в атмосферу. Отдельная история — возобновляемые природные источники: ветер дует не по расписанию, солнце светит не круглосуточно. Ветрогенераторы и солнечные панели дают энергию, когда природа позволит, а не когда надо потребителям.
В общем, проблема хранения избыточной электроэнергии реальна. И в Швейцарии к ней подошли радикально: строят подземное хранилище размером с два футбольных поля. Это будет самая мощная в мире батарея — способная выдавать 1,2 ГВт с откликом в миллисекунды и хранить до 2,1 ГВт·ч. Стоимость проекта — несколько миллиардов долларов.
Привет, Хабр! Сборка хорошей электрогитары из разрозненных компонентов от разных производителей, особенно если это дешёвые безымянные комплектующие из Поднебесной, требует некоторых знаний, которыми я с вами сейчас поделюсь.
А что касается некрасивого белёсого пятна на деке, то оно вызвано деятельностью насекомых при жизни дерева, практически неустранимо, и будет закрыто декупажем. Не все деревяшки годятся для прозрачной отделки, и к этому тоже надо быть готовыми.
Разберем, чем же отличаются Научная Гипотеза, Научная Теория и Научный Закон и рассмотрим некоторые распространенные заблуждения относительно этих понятий.
Иерархический подход - обобщение витализма и редукционизма
Увидел статью, в которой физики А. С. Каклюгин и Г. Э. Норман ищут обоснование несводимости биологии к физике. Источником вдохновения физиков явились работы философа Карла Поппера и биологов Питера Медавара и Конрада Лоренца.
Поппер, Медавар и Лоренц при обосновании несводимости биологии к физике оперировали к возникаемости, то есть, к появлению новых качеств, которые несводимы к более низкому уровню организации материи:
'При подъеме по иерархической лестнице информационное содержание и эмпирическое богатство наук прогрессивно увеличивается. Каждая наука содержит все положения наук, расположенных ниже. При этом любой объект, находящийся на более высоком уровне, содержит идеи и понятия, свойственные только ему. Медавары и Поппер определяют это качество специальным термином - качеством «возникновения». Лоренц, также развивающий идеологию возникновения новых системных свойств при совместном включении двух независимых систем, не удовлетворен термином «возникновение» (эмергенция) и вводит термин «фульгурация», т. е. акт сотворения или вспышка молнии.'
Каклюгин и Норман были не удовлетворены качественным рассмотрением проблемы философа и биологов и поэтому они искали объяснение возникаемости в рамках физики. Первая часть статьи посвящена появлению энтропии из обратимых по времени уравнений механики. На этом пути вначале были проанализированы результаты молекулярной динамики, в которой уравнения движения значительного количества атомов/молекул интегрируются во времени. В данном случае есть численные погрешности интегрирования, которые влияют на результаты сложным образом:
'Таким образом, достоверное вычисление статистических средних при использовании ММД происходит как благодаря, так и вопреки погрешностям численного интегрирования уравнений Ньютона или Гамильтона.'
В любом случае далее Каклюгин и Норман ищут аналоги погрешности численного интегрирования в природе и находят их в переходе от квантовой к классической механике. Далее авторы статьи переходят к рассмотрению живого. Они отталкиваются от идеи Поппера, что живое связано с принятием решений, и дополняют ее тем, что живое связано с коллапсом волновой функции:
'Коллапс волновой функции есть качество, присущее живой материи.'
Приведу из статьи только одну цитату по этому поводу:
'Психофизический параллелизм перестает быть парадоксальным - измерителем является мозг. Парадокс кошки [кошка Шрёдингера] оказывается результатом неправильной постановки задачи, ибо суперпозиции квантовой и классической системы быть не может: живая кошка, будучи измерительным прибором, не может быть включена в область применимости описания на языке волновых функций.'
Вот, что получается, когда физики хотят доказать несводимость биологии к физике. Ничего другого на роль физического базиса возникаемости кроме схлопывания волновой функции у физиков нет.
А. С. Каклюгин, Г. Э.Норман, Иерархический подход – обобщение витализма и редукционизма, Российский химический журнал. 2000. Т. 44. N. 3. С. 7.
Каждый, кто хочет выжить и не сойти с ума в этом безумном, изменчивом и непредсказуемом мире, стремится найти надёжную опору – что-то абсолютное, неизменное, лежащее в основе всего сущего и гарантирующее его стабильность. В наши дни уже мало кто верит в персонифицированного, антропоморфного Бога Ветхого Завета, который топит своих детей, как котят, ревнует избранный им народ к другим богам и приказывает ему истреблять другие народы. Теперь чаще встречается вера в Высший разум, Первопричину, космическую субстанцию, ну и конечно же в абстрактный Абсолют – бесконечно-вечное, совершенное, замечательное всеединство существа. Теологи отождествляют Абсолют с Богом, эзотерики – с неким информационным полем, Вселенской энергией или Душой мира, философы – с Мировым Разумом или сознательной Вселенной. Современные мистики осознаются фрактально-голографической частью Целого, созерцают Абсолют в каждой козявке и достигают Нирваны, не дожидаясь слияния капли с Океаном, а преисполняясь настолько, что сам Океан целиком вливается в каплю. Но всё это не более, чем игры разума красивыми словами или психоделический опыт, полученный в изменённом состоянии сознания.
В этой и следующей статье я приведу вас к такому Абсолюту, на фоне которого все вышеупомянутые откровения покажутся детским лепетом. Не слушайте тех, кто говорит, что Абсолют абсолютно недоступен разуму, недостижим в своём величии, непостижим в своей мудрости, непознаваем в своей силе и необъясним в своём блаженстве. Мой тезис прямо противоположен: Абсолют достижим, и достижим только рациональным способом. Чтобы это аргументировать, нам придётся разобраться, что является причиной всех причин, есть ли у Вселенной достаточное основание быть, могут ли законы физики измениться в любой момент, не является ли вера в их постоянство религиозной верой, ну и конечно же ответить на главный вопрос метафизики: почему существует нечто, а не ничто?
Конфликт между Anthropic и китайскими AI-компаниями перешёл в новую, гораздо более острую фазу. Всё началось с того, что разработчики нашли в Claude Code скрытый механизм, который втайне идентифицировал пользователей из КНР. Разбираемся, что произошло и к чему это привело, не задевая лишний раз политику.
Эта статья прежде всего будет полезна студентам и начинающим специалистам.
В отрасли разработки программного обеспечения под системным дизайном (System Design) понимают процесс проектирования архитектуры, компонентов, баз данных и связей информационной системы. Цель системного дизайна - обеспечить масштабируемость, отказоустойчивость и высокую производительность системы, в том числе при росте нагрузки. В этой статье я затрону базовые задачи системного дизайна - как спроектировать и разработать систему так, чтобы она обладала архитектурой, чтобы развитие и поддержка системы не приносила много страданий, чтобы доработки не ломали действующий функционал.
«Ты представляешь, сколько жизней мы должны прожить, прежде чем у нас появится смутная догадка, что жизнь не исчерпывается едой, борьбой и властью в Стае?» (с) Ричард Бах: «Чайка по имени Джонатан Ливингстон»
В прошлой части мы описали эволюционный гормональный механизм, побуждающий человека прилагать усилия к социальной реализации по одной их двух биопрограмм:
дофаминовой – путь создания нового и ценного для других для получения дофамина через механизм социального одобрения
серотониновой – путь укрепления личного статуса и власти для получения серотонина через механизм социального доминирования
В рамках основного паттерна эволюции ЭПЭР он образовывает Биопрограмму №2 - биопрограмму развития популяции, создавая напряжение и конфликт внутри самой популяции, в горниле которого дофаминщики постоянно соревнуются с серотонинщиками, обеспечивая механизм эволюционного отбора в области идей и идеологий.
И всё же этот двухконтурный двигатель пока не объясняет самую странную и, на первый взгляд, невыгодную для индивида вещь: самопожертвование. Почему человек отказывается не только от комфорта и семьи, но и от статуса, денег, славы — то есть от “пряников” второй биопрограммы — и при этом достигает субъективного счастья и внутренней устойчивости? Если мозг — машина дофамина и серотонина, что заставляет добровольно отказываться от этих наркотиков ради Истины, Смысла или Духа? Ответ кроется в биопрограмме третьего уровня.
