Привет, Хабр!
В горной отрасли назревает тихая революция: на смену людям в карьерах приходят роботы и алгоритмы. Безлюдные ГОКи уже введены в эксплуатацию, но переход к полной автоматизации в России идёт со сбоями. Разберёмся, из чего состоит полностью автономное предприятие и какие технологии уже внедряются на практике.
В этой статье я поделюсь тем, как можно быстро переключаться и эффективно работать, когда у вас есть много задач с разными контекстами, и все они требуют глубокого погружения.
Сегодня я расскажу вам об интересной уязвимости, которую я нашёл в одном закрытом баг-баунти проекте: простая HTML-инъекция превратилась в полноценную SSRF с утечкой учетных данных AWS.
Заварите себе кофе, и давайте начнем! 😉
Разбор самых фундаментальных шаблонов проектирования на языке программирования python: наблюдатель, адаптер, команда, компоновщик, декоратор, фасад, фабрика, итератор, заместитель, одиночка, состояние, шаблонный метод.
Прежде всего хочу сказать, что я не являюсь никаким специалистом, даже джуновского лвла, просто безработный студент, пишущий на коленке свои пет-проекты. И код, и тем более архитектура далеки от идеала. Однако, я думаю, некоторые моменты, о которых я буду рассказывать далее в статье, могут быть интересны полноценным разработчикам как бэкенда, так и ИИ-агентов.
С технологией RAG я познакомился около года назад на хакатоне, посвященном обработке естественного языка. Там мы с командой разработали его простейшую имплементацию, с которой и заняли «почетное» 5-е место. Подробно об этой технологии в данной статье рассказывать я не буду, так как статья не о ней; вкратце - RAG позволяет генерировать ответы LLM на основании базы контекста, необходимый фрагмент которой вместе с запросом передается языковой модели на вход.
Шло время, мои навыки росли, я полностью пересел с Python на Go, начал интересоваться больше бэкенд-разработкой и думал какой бы пет-проект мне написать. Идея приложения, связанного с ИИ на Go кажется сперва странной: язык предназначен для совершенно других целей, отсутствуют хорошие библиотеки сообщества, вроде Langchain (langchaingo слишком слаба). И с одной стороны, если бы идеей было обучить собственную языковую модель - это было бы действительно глупо. Но чем больше я думал о разработке RAG и ИИ-агентов, тем больше понимал, что это чисто бэкенд задача, с нулем машинного обучения под капотом.
Эта мысль натолкнула меня на следующие рассуждения: зачем использовать низкопроизводительный Python, если можно создать более эффективное ИИ-приложение на Go, к тому же с лучшей масштабируемостью? Конечно, в основном это дело привычки и наличия в питоне необходимых библиотек, да и мало кто из-за небольшого прироста производительности пойдет переписывать всех ИИ-агентов на Go, Rust или C++. Но для меня это и стало хорошей идеей для своего странненького пет-проекта.
Я всё-таки решил на практике проверить работу электронной подачи документов на регистрацию или изменение данных черногорской компании. Я конечно, читал несколько отзывов о работе личного кабинета СRPS (который https://efirma.tax.gov.me/), точнее о том, что он не работает - но надо же убедиться самому. На самом деле, всё оказалось достаточно легко и понятно - заполнение сведений, прикрепление документов, их подписание цифровой подписью - всё работает...
Ч. 1 — Дальнобойный Wi-Fi. Выбор аппаратного обеспечения.
Статья ещё не дописана!!!
В моём сценарии WPA2 отключен, для аутентификации пользователей и выдачи доступа к интернету используется openvpn, но при этом пользователи имеют доступ к локальным ресурсам и могут взаимодействовать внутри локальной сети.
На точке необходимо отключить встроенные функции dhcp и dns.
В пятницу поздним вечером я общался с ChatGPT о квантовой физике, чёрных дырах, могут ли быть сознание или душа у роботов, киборгов, клонов. Очень редко так делаю, но тут целый час общался с ним по этому поводу, как-то прям увлекло после сериалов «Основание» и «Чёрная материя» (кстати, кто не смотрел — рекомендую).
Дальше ложусь спать, а утром письмо счастья — вы делали «дистилляцию», так что по нашим условиям мы блокируем ваш персональный аккаунт и заодно корпоративный (вдруг вы негодяй?).
В общем, на основе моего диалога о вечном то ли алгоритмы, то ли какой-то горе-безопасник решили, что я обучаю свою собственную модель через обычный интерфейс ChatGPT, как когда-то сделал DeepSeek.
Чат-саппорт меня отправил писать письмо на специальный email. Я это сделал, конечно, причём дважды, но вот уже почти 2 дня нет ответа. А ведь заблокировали мой корпоративный аккаунт с балансом!
Казалось бы — просто заведи ещё один, но ведь там нужно проходить верификацию, чтобы получить доступ к GPT-Image или GPT-o3, которые я использую в своих продуктах. А если у тебя только паспорт РФ или Беларуси, то ты не можешь верифицироваться. Я тут нашёл выход, помог друг, но всё же это только повезло, что в окружении есть друзья с не-РФ паспортом, которые доверяют.
Из чего я делаю выводы:
Вы когда-нибудь сталкивались с плагинами, которые лезут в чужие папки, перезаписывают файлы ядра и превращают git status в ад?
Я — да. И вместо того чтобы мириться с ручным копированием, гигантскими .gitignore и вечными конфликтами, написал dmp — инструмент, который:
Отслеживает, откуда взялся каждый файл,
Автоматически разрешает конфликты (или даёт контроль),
Не ломает IDE (никаких симлинков!),
Работает с любыми языками и фреймворками.
Для кого:
— Разработчики плагинов/модулей,
— Те, кто устал от git-submodules и rsync,
— Все, кто хочет чистый workflow без монрепозитория.
На прошлой неделе Higgsfield выпустили модель Soul, которая позволяет тренировать лоры (то есть донастройки модели под конкретный объект — будь то человек или стиль), и кажется, они действительно лучше лор flux, stable diffusion или hidream.
Коротко про старые варианты:
• Stable Diffusion — старичок, мы его знаем ещё с 2022 года. Утратил свои позиции, хотя его лоры могут не уступать flux по качеству. По API сейчас натренировать SD-лору можно мало где, например, на replicate.
• Следом мы узнали про Flux, и возможность его тренировать появилась в августе 2024-го. Это был прорыв на тот момент, и сейчас практически во всех сервисах, что вы знаете, тренировка лоры — это про flux. К тому же недавно появился flux kontext, и он тоже позволяет создавать лоры, но тут уже фокус не на стиле или объекте (персонаже, одежде и т.д.), а на редактировании фото. Например, лора, которая делает на любом фото человека большую голову.
• В этом году, месяца 3–4 назад, появился Hidream — по качеству он обходит Flux, но ненамного, поэтому большого распространения не получил. Есть на fal.ai.
Так что, Soul лучший? Так ли это?
1) Да, потому что датасет, на котором Higgsfield сама тренировала свою модель, более стильный и современный. Во Flux, SD, Hidream одежда и образы из нулевых и 10-х (если не миксовать лоры — но это снижает точность обеих). В Higgsfield — новинки моды, классные ракурсы, необычный свет, в общем, как Midjourney завещал.
2) Да, потому что получается больше фотореалистичности + есть необычные пресеты из коробки.
Привет, Хабр!
Начну с того, что немного уточню, о каких именно устройствах пойдёт речь. Ни для кого не секрет, что для организации мобильной связи используются базовые станции, на которых стоит много разного электрооборудования. А значит, за энергопотреблением надо следить, отчитываться и оплачивать его. Естественно, всё это логично делать удалённо, для чего на базовых станциях установлены специальные устройства сбора и передачи данных (далее УСПД).
Основная задача УСПД — это опрос подключённого к нему оборудования (электросчётчиков, резервных генераторов и других устройств, необходимых для работы базовых станций) с последующей передачей собранных данных на серверы МегаФона, где в дальнейшем они используются для формирования отчётности, анализа и управления работой базовых станций. По сути, это классическая IoT-система.
Речь пойдёт как раз о перенастройке УСПД.
Представим ситуацию: вам вдруг захотелось вечерком/на выходных сделать устройство умного дома (условимся, что это Arduino подобное устройство). Причины и цели не так важны: хотелка, необходимость, спортивный интерес, да что угодно. Вы начинаете искать информацию о популярных платах, способах взаимодействия с устройством, хранении данных и т.д. Есть множество статей по данным темам с примерами, но вам не хочется погружаться в код, а хочется только описать логику устройства и сразу им пользоваться. Что же делать? Для такого случая был создан SmartThing - это проект нацеленный на упрощение и ускорение разработки законченного устройства умного дома (или же IOT устройства).
Привет, Хабр!
В этой статье я делюсь опытом создания домашней аудиосистемы 5.1 на базе усилителя D класса TPA3116. Выбор компонентов, включая сабвуферный динамик Ivolga Drive 8. Вкратце описывается их подключение, внедрение компонентов в короб из 15мм фанеры. Подготовка короба к покраске и покраска. Решение некоторых проблем в процессе.
В октябре 2023 года Вашингтон добавил тринадцать китайских компаний в Entity List, включая Biren Technology и Moore Threads — две компании, которые считались лучшими надеждами Китая в создании конкурентов NVIDIA. Санкции перекрыли доступ к передовым фабрикам и американскому программному обеспечению для проектирования чипов, но не остановили амбиции Поднебесной в создании собственных GPU.
Сегодня, когда геополитические риски становятся определяющим фактором в технологическом развитии, а санкции США на экспорт чипов в Китай достигли беспрецедентного масштаба, китайские компании активно наращивают разработку собственных решений для искусственного интеллекта и высокопроизводительных вычислений.
LLM могут принимать на вход все большее кол-во токенов, но большое количество переданных на вход токенов, включая промт, контекст и историю переписки не равно качество ответа.
В идеале на вход LLM нужно передать минимально достаточный набор данных для получения ожидаемого качественного ответа.Ин
Иными словами, если на вход LLM дан один конкретный вопрос, то есть шанс близкий к 100%, чтоб будет получен качественный ответ. И наоборот, чем больше данных (вопросов, контекста и прочего) на вход LLM вы даете, тем больше вы понижаете качества ответа.
Поэтому в каждом конкретном случае нужно найти баланс минимального кол-ва данных на вход для RAG системы. То есть нужно оптимизировать промт и контекст получаемый из векторной БД для ответа на запрос пользователя.
При этом нужно определить качество ответов, то есть определить как мерять качество в конкретной RAG системе.
Минимальными вариантом будет следующий подход к измерению качества:
По каждому документу, который есть у нас, и который мы планируем векторизировать, нужно задать два вопроса:
Разработка программного обеспечения и DevOps-инфраструктура в сложно представить без мощных open-source-инструментов. Некоторые из них не просто полезны — они меняют подход к автоматизации, деплою, ИИ-интеграции и безопасности. В этой статье собраны действительно сильные и перспективные проекты с открытым кодом: они бесплатны, активно развиваются и способны радикально упростить жизнь разработчика.
Привет, Харборожители! Мы представляем вам новую книгу Дэниса Ротмана — «RAG и генеративный ИИ. Создаем собственные RAG-пайплайны с помощью LlamaIndex, Deep Lake и Pinecone». Это практическое руководство для тех, кто хочет освоить передовые технологии искусственного интеллекта и научиться создавать эффективные системы на основе Retrieval-Augmented Generation (RAG).
В книге описываются приемы создания эффективных больших языковых моделей, систем компьютерного зрения и генеративного ИИ, показывающих высокую производительность при относительно невысоких затратах. В ней приводится подробное исследование технологии RAG, а также подходов к проектированию мультимодальных пайплайнов ИИ и управлению ими. Связывая вывод с исходными документами, RAG повышает точность и контекстную релевантность результатов, предлагая динамический подход к управлению большими объемами информации.
Мы все чаще используем ИИ в своей профессиональной деятельности, а задумывались ли вы о том, что ИИ может стать вашим ассистентом и помочь построить ориентиры в жизненном сценарии, по которому вам будет проще идти?
В сегодняшней статье учимся составлять промты, чтобы понять, к какому сценарию жизни хочется прийти, формируем список своих сильных сторон, составляем с помощью ИИ цели для карьеры и личной жизни, пишем промпты для создания выигрышных стратегий. А еще используем ИИ для формировании финансовой грамотности, проработки правильного питания и не только.
В этом туториале покажем, как подключить и использовать трекинг консоли в Хоуке. Вы научитесь видеть, что происходило в браузере за секунды до сбоя, и отлаживать баги без ручного воспроизведения.
Когда‑то давным‑давно, аж в далёком 2002 году, мы с другом проходили первую часть Silent Hill на первой PlayStation. В этом месте могли бы быть слова восторга и трепета от атмосферы, саспиенса, сюжета и музыки моего любимого Акиры Ямаоки, но сегодня мой пост не про это.
Полностью игру нам тогда пройти не удалось... И не потому что она была сложная или страшная. Нет‑нет. Потому что там была корявая локализация. Те, кто играл в видео‑игры в конце 90-х и начале 00-х должны помнить «замечательные» переводы от Фаргус с их слоганом‑издевательством «только качественные переводы». И если по сюжету всё было более‑менее понятно, то с головоломками, где важны нюансы, была полная беда. И если на экране был виден текст оригинального письма, записки, таблички, то знание английского спасало (хотя тогда он был у меня так себе). А поменять язык полностью нельзя было. В итоге мы упёрлись в ряд квестов, которые решить было нереально, так как текст перевода был и кривой, и битый. Walkthrough тогда не было, поэтому игра так и осталась незавершённой где‑то на 95%.
К чему эти мемуары? Прошло больше 20 лет, но что‑то я сталкиваюсь с похожими парадоксами и по сей день. И это не игры, а мобильные приложения крупных международных компаний. Дабы быть local‑friendly, разработчики делают автоматическую локализацию приложений в соответствии с регионом или системными настройками смартфона. В итоге это выглядит иногда кринжово, иногда смешно, но чаще очень раздражающе, когда надо воспользоваться сервисом, а там «утюг для корочек парашюта». И речь идёт не про автоматическую локализацию каталогов, как у «алика» например, а даже про какие‑то базовые фичи. И вишенка на торте — язык вручную поменять нельзя.
