Генеральный директор
Друзья, приветствую! В создании своих pet проектов часто возникает задача аутентификации пользователя. Это может быть связано с персональным отображением страниц, настройки доступа и т.д. В этой статье я хочу показать свое решение с помощью Python,FastApI и React.
Настройка ПК с Linux для обучения моделей на GPU. В статье приводятся ссылки на скрипты, написанные для упрощения процесса настройки ПК с GPU на Linux для обучения моделей машинного обучения. Скрипты и настройка разбита на три ключевых этапа: настройка удалённого доступа с помощью ssh/vnc/rdp, установка драйверов Nvidia и CUDA для работы с GPU, а также конфигурация инструментов разработки, таких как Docker и Jupyter. Скрипты могут помочь с решением вопросов с установкой или послужить основой для улучшений/изменений чтобы быстро подготовить домашнюю лабораторию к работе.
Qucs-S является программой с открытым исходным кодом для моделирования электронных схем. Qucs-S кроссплатформенный (поддерживаются Linux и Windows) и написан на С++ с использованием набора библиотек Qt. О данной программе рассказывают мои предыдущие статьи. Для работы Qucs-S рекомендуется использовать также открытый движок моделирования Ngspice. Актуальным релизом Qucs-S на текущий момент является версия 2.1.0. В данной статье подробно рассматриваются виды моделирования, имеющиеся в Qucs-S. Начальное руководство по работе с программой можно найти здесь: https://habr.com/ru/articles/678526/
Сейчас расскажу как можно обойтись без платных консультаций менторов, коучей, тренеров и прочих уважаемых господ, которых на этой площадке не очень жалуют.
Я собрал почти два десятка популярных задач, которые вам предложат решить за деньги. Давайте попробуем сделать это бесплатно при помощи нейросетки. Открывайте окошко ChatGPT и тестируйте готовые промпты из списка.
В статье вы узнаете, как с помощью OpenAPI Generator преобразовать OpenAPI-документацию в рабочие роуты и Pydantic модели для FastAPI. Один раз настроив конфигурацию, вы сможете за секунды создавать готовый код, что значительно ускоряет разработку и упрощает поддержание API.
Представляю вашему вниманию вторую часть перевода статьи A guide to inter-process communication in Linux.
Первая часть перевода была посвящена общему введению в курс дела и механизму разделяемого хранилища (shared storage). В этой части будут рассмотрены механизмы каналов (именованных и неименованных) и очереди сообщений.
Приятного чтения!
Меня зовут Андрей Комягин, я СТО компании STM Labs. Мы занимаемся разработкой очень больших распределённых высоконагруженных систем для различных отраслей и в своей работе широко используем open-source решения, в том числе СУБД Redis. Недавно я подробно рассказывал об этой системе на конференции Saint HighLoad++, а теперь с удовольствием поделюсь основной информацией с читателями Хабра. Итак, поехали.
Привет, жители Хабра! Я Саша Пиманов, ведущий iOS-разработчик в МТС Диджитал. В прошлый раз я рассказывал, что почитать начинающим разработчикам. А сегодня поделюсь подборкой из шести библиотек, которые помогут в ежедневной работе. Среди них простые и сложные, с возможностью глубокой кастомизации и без нее. Все они могут здорово облегчить работу программиста, когда нужно визуализировать какие-то данные. Подробности — под катом.
Современные нейросетевые архитектуры достигают впечатляющих результатов в сложных задачах ИИ благодаря росту объемов данных и вычислительных мощностей. Однако обратной стороной медали стала высокая ресурсоемкость обучения.
Например, последняя версия GPT-4 от OpenAI обучалась на большом GPU-кластере. По некоторым данным, она содержит около 1,8 триллиона параметров, а ее обучение обошлось более чем в 100 млн долларов. А модель Llama 3.1 405B, вроде бы оптимизированная под ограниченные ресурсы, все равно требовала более 15 триллионов токенов и свыше 16 тысяч GPU NVIDIA H100.
И хотя нынешнее качество работы LLM уже можно действительно назвать выдающимся, на практике они подкидывают разработчикам широкий ряд проблем производительности: от запредельных объемов данных до оптимизации гиперпараметров. Все это приводит к потребности в ускорении обучения.
Мы подготовили серию материалов, которые помогут разобраться в ускорении обучения нейросетей. В этой статье рассмотрим различные теоретические аспекты от аппаратного ускорения до правильной организации самого обучения, в следующей — поговорим о практике. В общем, нас ждет глубокое погружение в тему. Приятного прочтения!
Гайнуллина Екатерина, инженер по информационной безопасности отдела развития Security Vision
Контейнеры Docker давно стали неотъемлемой частью современных IT-инфраструктур благодаря своей легкости и гибкости. Однако, несмотря на все их преимущества, они обладают и серьезными недостатками в плане безопасности. Представьте себе контейнер с root-доступом. Это, как если бы у вас была дверь с замком, но ключ от неё подходил бы ко всем замкам в доме.
Здравствуйте уважаемые читатели. Больше двух лет назад Миландр, в связи с санкциями, попал в "блэк-лист" завода, производившего кристаллы разработанных микросхем. После этого поставки микросхем быстро сошли на нет, в том числе "народного" К1986ВЕ92QI в пластиковом корпусе. Больше года Миландр не подавал признаков жизни, однако работа кипела, кристалл 1986ВЕ9х был перепроектирован, год назад появились опытные образцы. Производство кристаллов осталось зарубежным (Микрон не умеет делать флеш), однако корпусировку гражданских кристаллов развернули в России. Поскольку, производственных мощностей для корпусирования в QFP у Миландра нет, кристаллы стали паковать в QFN, которые не требуют опрессовки кристалла пластмассой. А к лету 2024 Миландр начал серийные поставки микросхем. Итак, гражданский микроконтроллер теперь обозначается К1986ВЕ92FI, и его можно достать, а значит с ним снова можно работать.
Вопросы программирования микроконтроллеров 1986ВЕ92 многократно описаны, пути обхода ошибок давно изучены, как говорили знакомые инженеры ещё в 2017 - "нормальный арм, хоть и с особенностями". Однако, несмотря на описание периферии и особенностей работы с ней, есть одно почти белое пятно, на котором многие спотыкаются - контроллер DMA прямого доступа к памяти.
На сегодняшний день содержание манускрипта Войнича [1] до сих пор не разгадано, и вашему вниманию предлагается непротиворечивая реконструкция содержания путем анализа изображений с инженерной точки зрения. Книга, помимо всем известной справочной части, содержит явно сценарные вставки с действующими лицами. Поэтому для расшифровки имен собственных помимо графического материала был частично проанализирован язык книги, для расшифровки имен и придания эффекта присутствия в событиях. Обобщим известные результаты анализа книги, сделанные ранее, чтобы далее не повторяться.
Возраст книги
По результатам радиоуглеродного анализа фрагментов манускрипта, химик и археометрист Аризонского университета Грег Ходжинс установил, что пергамент для манускрипта был выделан между 1404 и 1438 годами в эпоху раннего Возрождения [2]. Очевидно, что сама книга могла быть написана и позже.
VPN – это технология защищенного подключения к удаленному компьютеру или сети, а для большинства пользователей – просто безопасный способ использования интернета в зонах общедоступного Wi-Fi.
В статье рассмотрим четыре способа создания собственного VPN. Начнем с самого простого варианта, что под силу даже начинающим пользователям ПК.
Я пишу программу для сверхбыстрого кодирования/декодирования азбуки Морзе и использую pipe для передачи данных. При этом pipe работает очень медленно. Давайте разберемся почему.
Привет Хабр! Меня зовут Петр Мицов, я продакт-менеджер в Just AI. Одно из ключевых направлений нашей компании — разработка решений на базе генеративного AI для бизнеса.
Поскольку мы создаем продукты для работы с большими языковыми моделями, нам важно знать, сталкиваются ли российские компании с проблемами и трудностями при интеграции популярных облачных LLM в свои программные решения. Чтобы это выяснить мы проверили две гипотезы: имеют ли компании проблемы с доступом к ChatGPT API и является ли блокером отправка в облако конфиденциальных данных? О результатах эксперимента и безопасных альтернативах ChatGPT API я расскажу в этой статье.
Всем привет! Меня зовут Анна Васильева, руководитель проектов в отделе департамента категорийного менеджмента Fix Price. Предлагаю подробно рассмотреть основные принципы работы генеративных моделей для создания текста и изображений: решения, основанные на генеративных моделях, позволяют существенно упростить процесс создания контента и открывают новые возможности для оптимизации рабочих процессов. Мы пройдемся по ключевым алгоритмам, лежащим в основе этих моделей, а также рассмотрим некоторые варианты применения выбранных решений, что позволит лучше понять их потенциал.
Определение и основные типы генеративных моделей
Генеративные модели — это тип моделей машинного обучения, которые обучаются на больших наборах информации и способны создавать образцы данных, похожие на те, что были в тренировочном наборе. Таким образом, генеративные модели создают новый контент, что делает их особенно полезными для задач, связанных с оптимизацией рабочего процесса. Есть несколько типов нейросетей, на которых основаны генеративные модели. У каждой свои особенности и области применения.
Основой семантического поиска может являться ML задача Sentence Similarity, а если быть еще конкретнее, то это Semantic Textual Similarity. Модели, обученные под эту задачу, способны оценивать насколько близки предложения по своему смыслу. Всё, что нам дальше остается, так это засунуть модель в некоторую поисковую систему...
На Хабре я часто вижу статьи о реализации тех или иных фич на Python-фреймворках. Я объединил все эти фичи в реальный проект с открытым исходным кодом, чтобы у вас сложилась целостная картина. Мы с вами создадим UX/UI на Figma, напишем фронтенд на HTML, CSS, SASS, Bootstrap и JavaScript, создадим ER-диаграмму в MySQL Workbench, напишем бекэнд на Flask, создадим регистрацию через социальные сети OAuth 2.0 в один клик, используем брокер сообщений и асинхронную очередь Celery для отправки писем на электронную почту, сделаем WYSIWYG-редактор, реализуем полнотекстовый поиск Elasticsearch, закешируем Redis, покроем тестами pytest и запустим в Docker-контейнерах, поговорим о многопроцессности для WSGI-шлюза Gunicorn.
