Disclaimer

Я понимаю, что читатели Хабрахабра — люди работающие в IT-индустрии, опытные пользователи и заядлые гики. Данная статья не несёт в себе какой-то важной информации и не является обучающей. Здесь я хотел бы поделиться мнением о сериале, но не как кинокритик, а как человек из мира IT. Если вы согласны или же не согласны со мной в каких-то вопросах, давайте обсудим их в комментариях. Расскажите своё мнение. Оно будет интересно.

Привет! Меня зовут Василий Землянов, я занимаюсь разработкой ML-инфраструктуры. Несколько лет я проработал в команде, которая делает споттер — специальную маленькую нейросетевую модельку, которая живёт в умных колонках Яндекса и ждёт от пользователя слова «Алиса». Одной из моих задач в этой команде была квантизация моделей. На пользовательских устройствах мало ресурсов, и мы решили, что за счёт квантизации сможем их сэкономить — так в итоге и вышло.

Потом я перешёл в команду YandexGPT. Вместо маленьких моделей я стал работать с очень крупными. Мне стало интересно, как устроена квантизация больших языковых моделей (LLM). Ещё меня очень впечатляли истории, где люди берут гигантские нейросети, квантизируют в 4 бита и умудряются запускать их на ноутбуках. Я решил разобраться, как это делается, и собрал материал на доклад для коллег и друзей. А потом пришла мысль поделиться знаниями с более широкой аудиторией, оформив их в статью. Так я и оказался на Хабре :)

Надеюсь, погружение в тему квантизации будет интересно как специалистам, так и энтузиастам в сфере обучения нейросетей. Я постарался написать статью, которую хотел бы прочитать сам, когда только начинал изучать, как заставить модели работать эффективнее. В ней мы подробно разберём, зачем нужна квантизация и в какой момент лучше всего квантизовать модель, а ещё рассмотрим разные типы данных и современные методы квантизации.

Большие языковые модели, системы искусственного интеллекта, на которых работают такие чат-боты, как ChatGPT, становятся все лучше и лучше, но они также становятся все больше и больше, требуя все больше энергии и вычислительной мощности.

Почему один человек способен довести дело до конца, а другой бросает дело на полпути? При том, что у другого человека могут быть куда более благоприятные стартовые условия. Почему кто-то может ежедневно отдаваться рутине час за часом, а кто-то не высидит и трех минут? Все упирается в волевые качества и способность их развивать. О чем и пойдет речь в статье.

Помните ту фольклорную фразу?

"До управляемого термоядерного синтеза осталось 20 лет."

И сколько бы лет не прошло, мы находимся всё в тех же 20 годах от него.

Однако модели ИИ прогрессируют крайне быстро. Далёкие от технологий люди уже задумались о сюжетах Матрицы и Терминатора. Чуть более продвинутые технооптимисты ждут AGI или сингулярность, чтобы получать безусловный базовый доход и не работать, а технофобы консерваторы говорят, что всё нужно ограничить и запретить (ха-ха). Локальные запреты в отдельных странах усилят их глобальное отставание, а страны без запретов получат преимущество. Так что процесс развития нейросетей необратим.

Всем привет!

Решил немного отойти от своей любимой темы нейронных сетей и написать небольшой скрипт на Python для работы с конструкторской документацией в САПР «SolidWorks». Так как изначально у меня инженерное образование, то мне периодически приходится заниматься конструкторской деятельностью и, по своему опыту, я знаю, как много иногда приходится тратить времени для оформления чертежей и сохранения их в формате pdf или dwg (особенно, если мы говорим о большом количестве деталей сборок). И тут я подумал, почему не упростить жизнь себе и своим коллегам-конструкторам и не подружить Python и SolidWorks.

В этой статье я вкратце опишу, как можно быстро (буквально за один день) написать простой скрипт, с максимально простым графическим интерфейсом для работы с Системой автоматизированного проектирования SolidWorks. Очень надеюсь, что эта статья поможет всем инженерам-конструкторам в их непростой, но крайне интересной деятельности.

Работа будет состоять из двух основных частей (соответственно и статей будет две):

Часть 1 – Создание общей базы для работы с SolidWorks, написание простого графического интерфейса на tkinter, реализация возможности сохранения чертежей в форматах pdf и dwg.

Часть 2 – Реализация возможности автоматизированного заполнения полей таблицы чертежей из единого excel файла, и самая интересная фича этого проекта: автоматическое создание чертежей деталей из 3D-моделей (для начала реализация простых деталей из листового металла).

По итогу «завернём» программу в один .exe файл для возможности использовать на любых машинах.

Для лиги лени: редкий бардак в импортозамещении.
Про что текст: я попытался упорядочить мое представление о качестве импортозаместительных серверов. Не вышло.

В данной статье в виде ссылок представлены все популярные алгоритмы классического машинного обучения с их подробным теоретическим описанием и немного упрощённой реализацией с нуля на Python, отражающей основную идею. Помимо этого, в конце каждой темы указаны дополнительные источники для более глубокого ознакомления, а суммарное время прочтения статей ниже составляет более трёх часов!

Данную статью меня побудило написать знакомство с несколькими статьями и видео Павла Ахметчанова (этой, например), коего я и приглашаю в первую очередь к дискуссии. :) Изначально ограничился чисто техническим комментарием к статье, но после более глубокого погружения различных прочих комментариев у меня накопилось столько, что я решил оформить их в лонгрид.

Меня зовут Султанов, и я тимлид (тяжелый вздох). Стараюсь делать разработку эффективной. Иногда даже получается.

Вместо предисловия

Agile. Кругом Agile. Наверное не осталось людей, команд и организаций, которые работают не по Agile. Слово «SCRUM» прочно вошло в жизнь разработчика. Я уже и не помню, была ли разработка иной. А когда спрашиваешь, почему у вас в организации насаждается Agile, в ответ получаешь либо цитату из эпиграфа, либо, если человек более откровенен, слова "так все делают". Ну не может же быть, чтобы миллионы мух ошибались то, что делают все, было ошибочным?

Но, как известно, есть некоторые особенные люди, которые могут попытаться проверить, ошибаются ли мухи верно ли то, что делают все? Приятно, черт возьми, ощущать себя особенным!

Для начала попробуем подсчитать стоимость ритуалов SCRUM

Я, как руководитель команды разработки, имею возможность видеть время, затрачиваемое командой на все активности. Вообще-то это одна из обязанностей руководителя разработки – контролировать командные затраты времени. И я могу довольно точно посчитать, во что обходятся команде ритуалы SCRUM. Можем посчитать вместе:

- дейли митинг, он же стендап митинг. Вообще-то он должен занимать до 15 минут, но моя команда обычно хорошо если укладывается в 30 минут. Каждый день.

- планирование работ на будущий спринт. Тот самый процесс, где мы всей командой весело играем в карты. Обычно это занимает минимум 2 часа в спринт. Включает в себя декомпозицию задач из беклога, оценку и распределение. Да, в моей команде распределение проводится на планировании, нет такого, что на доске висят задачи, и сотрудники берут какую хотят.

Уже много написано о его развертывании и о функционале, поэтому мне бы хотелось поговорить об опыте внедрения Superset с организационной точки зрения, а также я постараюсь описать техническое окружение и важные отличия от Power BI. Отдельно остановлюсь на системе прав доступа, т.к. в нашей компании этот вопрос важен.

В современных непростых условиях на фоне существующих внешних вызовов процесс импортозамещения в России приобретает особую важность. Предлагаем вам познакомиться с опытом по импортозамещению АО «Атомэнергопроект» (Объединенный проектный институт входит в Инжиниринговый дивизион Госкорпорации «Росатом»). Институт «Атомэнергопроект» после 20 лет использования зарубежной системы 2D САПР полностью перешел на отечественную Платформу nanoCAD. Руководителем проекта по импортозамещению 2D, 3D САПР
АО «Атомэнергопроект» стал Сергей Захаров. Он поделился опытом внедрения новой системы и тем, как путем ежедневной кропотливой работы с разработчиками и с сотрудниками каждого проектного подразделения удалось перейти на новую платформу не только без прерывания технологических процессов, но и с увеличением производительности труда.

Одной из операционных задач BIM-отдела является подготовка и формирование проприетарных файлов моделей для последующего использования в тех или иных целях. На примере работы с программными продуктами Autodesk — Revit и Navisworks, подразумевается определённая логика разбивки и хранения разных форматов: RVT, NWC, NWF и NWD. Работая над крупными проектами, включающие в себя разные разделы проектной документации, корпуса зданий и секций, встаёт вопрос о единой структуре и правилах формирования файлов. В этой статье, на простом примере проекта, рассмотрен один из вариантов по автоматизации формирования BIM-моделей проекта, от пакетного экспорта файлов RVT с Revit Server до размещения соответствующих файлов разных форматов по нужным директориям и формированию сводной модели NWD.

Сегодня стартует VI конкурс технических статей на Хабре «Технотекст». Команда комьюнити проводит его во второй раз, участвует в четвёртый. Так получилось, что трое из нас — активные авторы Хабра, которые писали для компаний, писали для себя и пишут для блога Хабра. И каждый раз, нажимая «Опубликовать», мы вздрагиваем, а ледяные ладони покрываются мелкими капельками пота. Поэтому мы стараемся делать конкурс с двойным дном: уютным для авторов-участников и познавательным для тех, кто только собирается присоединиться к VII или VIII конкурсу. Сам по себе «Технотекст» — это скорее ярмарка тщеславия точка сбора крутых авторов, способ получить немного признания и лучиков славы. Эти авторы все — победители, потому что написать статью (любую, не только на Хабр), опубликовать её и отвечать за свой текст — это уже подвиг. Потому что не так-то всё просто. 

Привет, Хабр! На связи Надежда Костякова, техлид в ПГК Диджитал. Мы разработали «Оптимизатор ремонтов», инструмент, который позволяет быстро и эффективно формировать план технического обслуживания вагонов. Однако на этапе внедрения столкнулись с проблемой — коллеги неохотно переходили на новую систему, продолжая вести расчеты в электронных таблицах. Сегодня я поделюсь историей о том, как нам удалось развеять их сомнения — и при чем здесь методология change management.

Вначале кажется, что электронный документооборот — это очень просто. Но с ростом компании и развитием сети контрагентов кратно увеличивается объём ЭДО. Здесь и выясняется, что идеально работавшие методы превращаются в головную боль. Меня зовут Юлия Ворожбицкая, старший аналитик команды «Цитрос» компании SL Soft, и в сегодняшнем материале расскажу, какие способы автоматизации документооборота подходят разным компаниям (спойлер: чем крупнее компания, тем больше нюансов нужно учесть).

Летучие авто (a.k.a. пассажирские дроны) давно придуманы. Корпорации и стартапы перодически выкатывают разные прототипы. Однако, мы все еще не можем вызвать дрон, чтобы отправиться на работу или свидание. Сегодня разберем, почему развитие одного из самых ярких видов транспорта идет тяжелее, чем хотелось бы техноэнтузиастам.

Что такое инженерные расчёты, какие они бывают и когда нужны?

Инженерными расчётами сопровождается проектирование практически любого изделия или объекта: от болта до огромного боевого человекоподобного робота. Отличительная особенность именно инженерного расчёта от любого другого, который может понадобиться при проектировании изделия (расчёта металлоёмкости, например): он основывается на некоторой математической модели какого-то физического явления. Попробуем разобраться, какие бывают математические модели и какие физические явления можно рассчитывать. От коллег, в особенности от инженеров-конструкторов часто приходится слышать, мол, зачем все эти расчёты, если всё равно проектируют по ГОСТу. И, во-первых, да, это правда, например, для типовых узлов. Однако за всеми ГОСТами так или иначе тоже стоят инженерные расчёты (или даже натурные испытания), которые кто-то когда-то выполнил за вас. А, во-вторых, кто мне подкинет ГОСТ на проектирование больших адронных коллайдеров? Ну, или хотя бы космических спутников.

Когда мы получаем какую-либо информацию о домене, в числе прочих параметров мы узнаем его ip-адрес. И получить его с помощью python не составляет большого труда. Однако давайте рассмотрим, как, не используя прямое обращение к сокету получить ip-адрес непосредственно из запроса.

Более восьми лет я специализируюсь на внедрении CPM и BI-систем различных вендоров. Несмотря на то, что во многом их функционал пересекается, мне хорошо понятно, какие задачи решаются лучше, а какие решаются только одним из этих двух классов систем.

Написать данную статью меня сподвигли несколько повторяющихся случаев путаницы при выборе системы для определенного пула задач. В моей практике произошло меньшей мере 4 случая, когда финансовые службы различных компаний на полном серьезе рассматривали внедрение BI-системы в качестве основной системы планирования и прогнозирования. Также, вспоминается случай во время моей работы в Большой четверке, когда партнер попросил меня провести встречу с заказчиком, чтобы объяснить, зачем им нужны наши услуги по внедрению CPM, когда у них уже есть работающая BI-система.

Кстати, встречаются и обратные ситуации. Не так давно один из CIO интересовался о возможности и целесообразности построения BI системы для всей компании на базе встроенного функционала визуализации одного из известных CPM решений.

Допускаю, моим коллегам, профессионалам в этой области, подобные идеи могут показаться нонсенсом. И во многом я с ними соглашусь. Но, во-первых, мне известен ряд неплохих решений, которые, после применения несколько довольно существенных настроек над BI, позиционируют себя как системы планирования (стесняясь, однако, называть себя как CPM). Во-вторых, я видел работающие (хоть и с ограничениями) решения на базе CPM платформ, собирающих множественные наборы данных из других ИТ-систем компании, и представляющих их далее в виде аналитических BI-отчетов для пользователей.