Машинное обучение *

В рамках хакатона «Кубок РТК: Нефтяное месторождение», который проходил в марте 2025 года в Архангельске, наша команда misis_robo_club разработала автономного робота для инспекции нефтепромысла.

В этой статье рассказывается, как крошечные, экспериментальные языки программирования, размером порой меньше 100 строк, могут неожиданным образом углубить понимание сложных промышленных языков. Будет показано, как микроязыки раскрывают суть концепций, скрытых в слоистых абстракциях Java, Rust или C++. Много примеров, кода и немного лирики.

ИИ часто выдумывает вместо того, чтобы проверять. В статье — почему нейросети галлюцинируют, примеры «дорогих» ошибок, и промпты для тех, кто работает с кодом, текстами и дизайном.

Говорят, что невозможно по-настоящему возненавидеть кого-то, если сначала не полюбил его. Не знаю, справедливо ли это в целом, но это определённо описывает моё отношение к NumPy.

NumPy — это ПО для выполнения вычислений с массивами на Python. Оно невероятно популярно и очень сильно повлияло на все популярные библиотеки машинного обучения, например, на PyTorch. Эти библиотеки во многом имеют те же самые проблемы, но для конкретики я рассмотрю NumPy.

Сегодня мы бросаем вызов самой защищённой модели — Claude. Несмотря на свою репутацию как одной из самых продвинутых и защищённых моделей, он не абсолютно неуязвим. В прошлой статье я показал метод внедрения системных директив, который работает почти на всех моделях — но не на Claude. Сегодня покажу как модифицировать этот подход, чтобы успешно пройти его фильтры и заставить модель следовать нашим указаниям. И в подтверждении выполним откровенно «красный» запрос.

В настоящее время нейросети успешно используются для языкового перевода. По сравнению со старыми программами и онлайн переводчиками, прогресс на лицо. Алгоритмы демонстрируют более тонкое понимание речи, владение контекстом, они способны к стилизации.

И если с современными языками нейросети справляются довольно толково, возникает вопрос: как насчет древних? До сих пор работа с ними представляла существенное затруднение. Скажем, тот же Google Translate из рук вон плохо работает с латынью.

Между тем, лингвисты давно предпринимают попытки реконструкции еще более древних языков, к примеру — праиндоевропейского. Разумеется, подобные разработки имеют только гипотетический характер. Тем не менее сравнительное языкознание выработало алгоритмы, согласно которым язык можно «состарить», низведя его до определенной стадии развития.

Способны ли современные нейросети выполнить качественную реконструкцию архаичных языков? И как проверить ее достоверность? Для практического разрешения данных вопросов обратимся к сервису DeepSeek. По моему опыту, пока он продемонстрировал лучший результат среди подобных средств.

Рассматриваемая сеть довольно адекватно справляется с переводом отдельных слов на древние языки, причем аргументирует свой выбор. Но осилит ли она целый художественный текст?

Для примера я заставил ее перевести на праиндоевропейский, являющийся далеким предком нашего языка, четверостишие в эпическом духе:

Облака плывут по небесам
В белых стаях мчатся души павших
Это — воинства былых веков
По земле их слава ходит в песнях

Вы обожаете Emacs, но вам необходимо работать с Jupyter ноутбуками? Данная статья расскажет еще об одном способе, как их подружить. Заходите под кат =)

Привет! С вами Олег, Рамиль и Андрей из Flocktory. Мы руководим машинным обучением и разработкой в компании, сейчас активно внедряем AI для лучшей персонализации. В прошлом году наши команды реализовали ML-сервисы, внедрили ML Feature Store и переработали жизненный цикл моделей (о чём мы подробно рассказывали на HighLoad++: https://highload.ru/moscow/2024/abstracts/12929). В этой статье поразмышляем над следующим шагом для среднего размера компании, которая внедряет AI – как масштабировать проекты машинного обучения. Обработка, анализ и обучение на данных влекут за собой применение ML систем, в том числе нейросетей. Это требует больших вычислительных ресурсов: сотни гигабайт ОЗУ, десятки ядер CPU, а также видеокарты и (или) специальные чипы для ускорения вычислений.

Рассмотрим основные варианты ресурсов, которые можно использовать, сложности, связанные с их эксплуатацией, целесообразность вложений и vendor lock. Но сначала поговорим о природе трудностей, возникающих при масштабировании.

Нейросети («ИИ») больше не инструмент будущего — это активный участник рынка труда. От HR-отделов до бухгалтерии, от школ до юридических фирм — машины не только помогают, а кое-где заменяют. Эта статья — о том, какие профессии исчезают, а какие трансформируются, и что делать, чтобы остаться на плаву в эпоху алгоритмов.

Однажды я устал расшифровывать аудио пачкой инструментов в духе «Балерино-Капучино и Бобрито-Бандито» и решил собрать свой пайплайн.

В статье расскажу, как я подключил ИИ к обработке голосовых записей буквально за вечер. Мне нужно было загружать запись голоса в нейросетку и на выходе получать выжимку с итогами встречи — саммари/фоллоу‑апами/«минутками». Я хотел от софта безопасности данных, локального запуска и минимума вложений (в идеале 0 затрат). Я системный аналитик, поэтому не был готов писать приложение целиком.

По моей инструкции вы сможете сделать подобный конвейер своими силами даже без навыков кодинга.

14 мая на ВДНХ стартовала 6-я Международная выставка цифровых технологий «ЦИФРОТЕХ» – базовое конгрессно-выставочное мероприятие в сфере развития цифровых решений по аналитике и консолидации данных, создания систем управленческого планирования, средств коммуникаций и управления корпоративными и городскими инфраструктурами, обеспечения информационной безопасности объектов КИИ и защиты информации.

Особое внимание было уделено вопросам подготовки специалистов по беспилотным авиационным системам.

Евгений Нежданов, президент консорциума 1Т, директор Центра компетенций «Цифровая экономика» РосНОУ, напомнил о существовании образовательного Консорциума, в который вошли три российских вуза – Московский государственный технический университет им. Н.И. Баумана, Московский энергетический институт (технический университет) и Российский новый университет. Целью его создания стало объединение усилий участников для реализация научных, образовательных и технологических проектов в области адаптивных систем управления.

- За три года мы обучили более 15000 детей, дали новые профессии нескольким тысячам преподавателей вузов, - рассказал Евгений Нежданов. - За счёт государства курсы повышения квалификации и переподготовки прошли более 5000 человек по всей стране. И если у вас есть дети и внуки, прошу обратить особое внимание на летний курс по искусственному интеллекту «Код будущего» для детей. Это очень интересно и полезно!

Сегодня государство выделяет огромные средства на решение актуальных проблем, связанных с развитием современных технологий. На мероприятии было озвучено, чего главные бюджетные средства, которые в принципе можно получить для для бесплатного или почти бесплатного обучения специалистов по БПЛА, находятся в четырёх проектах. Во-первых, это Федеральный проект «Кадры для беспилотных авиационных систем», который является частью национального проекта «Беспилотные авиационные системы» и реализуется под руководством Минобрнауки России. Во-вторых, это Национальный проект «Демография», который реализуется под руководством Минтруда России. В-третьих - Федеральный проект «Код будущего», который предполагает бесплатное обучение языкам программирования, искусственному интеллекту и робототехнике школьников 8–11 классов и студентов колледжей, и реализуется Минцифры России. Наконец, в-четвёртых, это федеральный проект «Код будущего. Искусственный интеллект», также реализуется Минцифры России. Помимо этого, есть большое количестве субъектовых субсидий, для обучения специалистов в регионах.

Эпиграф: Галлюцинация одного человека — это творчество другого человека и наоборот.

Я думаю, многие пользователи LLM так или иначе сталкивались с проблемой «галлюцинации LLM» и испытывали разочарование и досаду. Я тоже сталкивался, и не раз.

Но у меня есть объяснение этому феномену, которое позволяет мне избегать самой проблемы как таковой.
Вернее, я изменил отношение к этой проблеме, предположив ее возможные причины, и научился избегать условий ее появления.

Можно сказать по-другому, выражаясь научным языком, это когнитивные искажения «неосознанная ложь» (конфабуляция), а также «мотивационное рассуждение» (motivated reasoning): когда «хочу» побеждает «могу» и здравый смысл в том числе.

Я предлагаю посмотреть на этот феномен с психологической точки зрения, найти аналогии с человеческими свойствами мозга, которые давно и хорошо изучаются и анализируются.

В конце октября мы анонсировали продление программы грантов от Yandex Open Source для поддержки проектов независимых разработчиков. Пришло время подвести итоги и рассказать о победителях.

За прошедшие месяцы мы изучили 120 проектов в трёх категориях: обработка и хранение данных, машинное обучение и разработка. Кстати, одну из заявок мы получили 15 марта в 23:59 — в последнюю минуту подачи. Этот проект тоже есть среди победителей.

Так мы выбрали 12 проектов, которые показались нам самыми интересными, полезными и перспективными. Мы попросили победителей рассказать про свои проекты чуть подробнее. Кто знает, возможно, в этой статье вы найдёте для себя новые инструменты, которые будут полезны в вашем проекте.

OpenAI продолжает делать ChatGPT полезным для разработчиков.

Несколько дней назад они добавили поддержку подключения репозиториев на GitHub для глубокого исследования и возможности задавать вопросы на основе собственного кода.

Сегодня компания запустила предварительную исследовательскую версию Codex в ChatGPT, своего самого способного ИИ-агента для программирования. Он может писать код, исправлять ошибки, запускать тесты и одновременно управлять несколькими задачами по программированию, и все это - в безопасной облачной среде.

Давайте разберемся в деталях анонса Codex.

Добрый день, уважаемый Хабр. Совсем немного времени прошло с первой публикации, но я уже спешу поделиться с вами своими наработками по тестированию «синтетических» данных и анализу их соответствия реальным данным. В прошлой части я кратко рассмотрел существующие методики применительно к генерации данных, также указал возможные предпосылки нарастающего тренда и самых значимых игроков на этом рынке, коих набралось уже немало. И, признаться сразу, качество их генераций заставляет уже призадуматься (например вот, вот и вот).

Здесь же мне захотелось сосредоточится исключительно на инструментальной части и предложить свой подход к анализу «синтетики». То есть посмотреть, как можно «развернуть» задачу, оптимизировав подход к ней более комплексно, так как уже поднадоело без конца «шить» лоскутное одеяло из множества тестов и метрик (Perplexity, BLEU, ROUGE, METEOR, BERTScore, GLUE, MMLU). Основной идеей было представление имеющихся данных через другие форматы, чтобы конвертировать и находить повторяющиеся паттерны, тренды, аналогии, элементы и возможные аномалии в данных. Ведь любой алгоритм, каким бы он сложным не был, не может выйти за пределы своей генерации, а следовательно, так или иначе будет создавать одни и те же «детектирующие» элементы.

Согласно индексу TIOBE, Julia входит в топ-50 самых актуальных языков программирования в 2025 году и занимает в рейтинге 34-ю строчку.

Julia получил признание благодаря универсальности, скорости, понятному синтаксису и множеству других достоинств, о которых мы расскажем в статье. Этот идеальный вариант для научных вычислений в любых отраслях — от анализа огромных массивов данных до расчетов прочности архитектурных объектов.

Узнаем, каковы особенности и преимущества языка программирования Julia, почему он популярен в научных вычислениях, чем отличается от других топовых языков и где применяется.

Хотите узнать, как при найме кандидаты могут вас обмануть или как, устраиваясь на работу, случайно создать себе серьёзные проблемы? Тогда эта статья точно для вас.

⚠️ Этическое предисловие

Эта история основана на реальном кейсе одной организации, которая массово поставляла кандидатов на рынок труда в разных регионах и направлениях.

Сотрудники организации получили серьёзные проблемы с правоохранительными органами. А сотрудник, которого трудоустроили через такую схему, оказался в центре внимания как внутренней, так и внешней службы безопасности - с допросами, проверками и серьёзными последствиями.

Попытки подружить интеллект и машину предпринимались давно. Еще в советской инжиниринговой школе спорили о том, обоснована ли наша вера в примат человеческого разума над машинным алгоритмом.

Сейчас мы живем в удивительное время, когда уже не всегда можем отличить текст, написанный машиной, от текста, написанного человеком. Получается конструкция не из двух «разум - машина» - а из трех «разум – ИИ - машина» слагаемых. Возможно, это новый эволюционный виток. Но какая в этом витке практическая польза для нас с вами? Уж если за мной приедет Терминатор на мотоцикле – я хочу хотя бы знать, ради чего я рискую :-)

Предлагаю вспомнить про тяжелое станкостроение. Про него мало пишут на высокомерных айтишных ресурсах – а между тем самолеты летают, поезда ездят... и даже сейчас вы читаете этот текст под безопасной крышей на основе металлоконструкций.

Прохождение собеседований всё больше напоминает «Голодные игры». Не буду тут подробно затрагивать тему накрутки опыта и обхода HR-фильтров — на рынке де-факто сложилась ситуация, при которой массовая накрутка опыта стала нормой. Это вынуждает всех делать то же самое, иначе ваше резюме с нулём лет стажа просто не пройдёт отбор: его не увидят из-за фильтров и конкуренции с сотнями таких же анкет.