Pull to refresh
131
0
Сергей Ю. Каменев @inetstar

Алгоритмист. Автор. Поставщик SSD, RAID, серверов.

Send message

«Я — робот Вертер» или Нулевой закон робототехники

Level of difficultyEasy
Reading time8 min
Views11K


В этой статье речь пойдёт не об Азимове и его законах. Великий фантаст не мог предусмотреть всё. А о порочной практике, когда текстовые и голосовые роботы представляются человеческими именами. Или вообще не представляются. Разработчики и собственники таких роботов рассчитывают на то, что люди, собеседники роботов, будут введены в заблуждение, что говорят с человеком. Это даёт небольшой шанс владельцу робота что-то продать или предложить потребителям, сэкономив деньги на зарплате сотруднику колл-центра.

Разберём подробно, как правильно должны представляться роботы и почему это важно.

А также обсудим пути к созданию цивилизованной среды, в которой взаимодействие с роботами будет приносить больше пользы.
Почему же роботы ВСЕГДА должны говорить о том, что они роботы?

Что за Epyc такие? Cтранные OEM версии Epyc 2-го и 3-го поколения. Тест AMD Epyc 7C13

Level of difficultyEasy
Reading time11 min
Views15K


Наступил очередной сезон, когда меняют оборудование в больших дата-центрах, и на барахолки выплыли странные версии процессоров Epyc 2-го и 3-го поколения, которых нет в официальном модельном ряде. Но которые предлагают весьма выгодное соотношение производительность/цена.

Но поскольку об этих процессорах известно мало, то я решил собрать все слухи о их параметрах, совместимости и производительности. А также купил один из них, 64-х ядерный Epyc 7С13 и протестировал в домашнем подстольном компьютере.

OEM-Эпики могут быть интересны как для создания бюджетных серверов, станций рендеринга, так и просто для энтузиастов и майнеров. Когда-то была волна домашних сборок на Xeon, возможно, сейчас, всё повторится на Epyc.

Информации о совместимости довольно мало, поэтому надеюсь на помощь Хабра-сообщества и внесу в статью информацию, которую знаете вы.
Что за монстры стояли в серверных облачных гигантов?

PARI/GP: как посчитать что-то просто, точно и параллельно

Level of difficultyMedium
Reading time12 min
Views3.3K


Мир изменился. Многоядерные процессоры повсюду. Использование их потенциала позволяет количество вычислительной мощи превратить в новое качество. Многие задачи стало выгодно численно решать и проводить эксперименты над ними.

В этой статье я расскажу о программе PARI, язык которой GP имеет очень низкий порог вхождения, примерно как Basic, но при этом позволяет проводить быстрые сверхточные целочисленные и вещественные вычисления (см. предыдущую статью). А большой свечкой на торте является то, что с её помощью можно совершенно элементарно загрузить все ядра ваших процессоров и серверов для получения максимально быстрого результата.

В этой статье за ~15 минут вы узнаете, как легко и просто загрузить компьютер на 100% вашими вычислительными задачами, даже если вы не являетесь профессиональным программистом.
Держу пари, вы не знали о PARI

big Big FLOAT! Произвольная точность: сравниваем opensource-программы для научных и математических вычислений

Level of difficultyMedium
Reading time42 min
Views7.8K


При проведении научных или математических исследований часто оказывается, что решить аналитически (символьно, с помощью формул) невозможно или очень сложно. И в этом случае мы решаем задачу численно. Для численного решения точность имеет решающее значение.

Аппаратной точности чисел с плавающей запятой (поддерживаемых современными CPU) в 32, 64 и 80 бит может не хватить. И даже чисел четверной точности может не хватить при многочисленных итерациях, в каждой из которой может происходить потеря точности. Если операции неэлементарны, то мы не сможем применить алгоритмы коррекции ошибок по типу алгоритма Кэхэна.

В этих случаях нам приходят на помощь вещественные числа произвольной точности. В статье мы рассмотрим несколько бесплатных программ с их поддержкой и сравним их.
Каждая программа считает по-своему...

Решаем загадку Джиндоша из Dishonored 2 на SQL перебором с возвратом

Level of difficultyMedium
Reading time18 min
Views16K


SQL — язык сверхвысокого уровня, а SQL-движки очень высоко оптимизированы. И поэтому во многих случаях с помощью него можно просто и быстро решать сложные задачи. Вы удивитесь, но даже существует шахматный движок на SQL.

Сегодня мы рассмотрим решение непростой загадки Джиндоша из замечательной игры Dishonored 2 с помощью SQL.
SQL Может Многое!

Как подружить PyTorch и видеокарты AMD с помощью pytorch_dlprim

Level of difficultyMedium
Reading time8 min
Views6.3K


Когда начинаешь изучать или использовать машинное обучение, то думаешь, как приспособить те устройства, которые есть в наличии, чтобы снизить свои траты на вход. И, в частности, обладатели довольно мощных старых карт AMD (типа AMD Fury), на которых легко идут довольно тяжёлые игры типа Cyberpunk 2077 или Atomic Heart, сталкиваются с тем, что эти GPU бесполезны для PyTorch и других фреймворков машинного обучения. Да и самые современные карты AMD 7900-й серии работают с PyTorch только из под Linux. Также есть редкие карты других брендов, типа Intel Arc или китайские, которые хотелось бы использовать для машинного обучения.

Итак, в этой статье я приведу подход, который в некоторых случаях может помочь. Он сыроват, но других работающих вариантов под PyTorch я не нашёл. Итак, речь пойдёт о проекте израильского разработчика Артёма Бейлиса (Тонких) pytorch_dlprim.
Как сумрачный гений плюсов подключает все железки к DL

Go: жарим общие данные. Атомно, быстро и без мьютексов

Level of difficultyMedium
Reading time8 min
Views11K


Как правило, в Go для безопасного доступа к общим данным используются мьютексы. Да, каналы тоже можно приспособить для изменения общих данных, так как они потокобезопасны, но это усложняет и замедляет логику.

Но в этой статье мы поговорим о другом. Современные процессоры имеют поддержку атомарных операций, что позволяет на основе них организовывать работу с общими данными до нескольких раз быстрее, чем с помощью общепринятых вариантов. Так как мьютексы реализованы на основе ОС, каналы сделаны на основе внутреннего кода Go с использованием тех же мьютексов из ОС под капотом, а атомарные операции делает сам процессор аппаратно за существенно меньшее количество тактов.
Пожарим омлет по атомному?

Слияние словарей в PyTorch: зачем нужно и подводные камни

Level of difficultyMedium
Reading time10 min
Views3.9K

Сейчас нейросети стали настолько большими, что обучение большой сети на 1 видеокарте технически невозможно или займёт десятки и сотни лет. Кроме того, на большой обучающей выборке всплывают проблемы забывания сетью того, чему её учили вначале.

Одним из способов решения этих проблем является разбивка датасета на куски, и обучение одной и той же нейросети параллельно на разных устройствах. Потом, очевидно, нужно каким-то образом слить обученные нейросети в одну. Обсудим в этой статье детальнее, зачем это вообще может быть нужно, и как это сделать более-менее правильно.
Сливаем клонов!

Работаем с PyTorch на CPU

Level of difficultyMedium
Reading time10 min
Views7.3K


В этой статье мы рассмотрим железо, настройки, подводные камни и неочевидные вещи, которые позволят выжать всё из вашего процессора для как можно более комфортной работы PyTorch на CPU. Даже если у вас есть видеокарта, поддерживаемая PyTorch, вы сможете увеличить продуктивность компа через распараллеливание нагрузки на CPU и видеокарту.
Поехали!

Манипуляция рынком 16 марта 2023. Как дыры в законах и правилах Мосбиржи работают против розничных инвесторов

Level of difficultyEasy
Reading time4 min
Views8.1K


В условиях, когда безналичный доллар считается токсичной валютой многие инвесторы перешли на операции с фьючерсом на курс доллара. В отличие от самого доллара фьючерс номинирован в рублях и позволяет сохранить деньги или играть на курсах валют находясь в правовом поле РФ.

Однако 16 марта 2023 г. произошла серьёзная манипуляция рынком, на которую надзорные органы пока что никак не прореагировали в смысле отмены сделок или какого-либо наказания участников, хотя существует Федеральный закон от 27.07.2010 N 224-ФЗ (ред. от 07.10.2022) против манипуляций рынком.

И как же нагрели мелких инвеcторов?

Огненный монстр AMD FX-9370 из 2013 года: что может в 2022 году, разгон, Cyberpunk, upgrade и другие приколы

Reading time9 min
Views17K

В 2013 году вышли самые горячие (до 220 Вт) и частотные (до 5 Ггц) процессоры AMD — FX-9000 серии. Немного ностальгии, интересных фактов и разгона ниже.
Как здоровьице, FX-9370?

Регенерация нейронов. Генно-инженерный подход будущего

Reading time13 min
Views7.1K

Эта статья продолжает серию статей о глубокой модификации ДНК в недалёком будущем для решения серьёзных проблем человечества. Первая статья - тут.

TL;DR: Все программисты знают, что есть масса способов решить одну и ту же задачу. То же самое скоро будет и в биоинформатике: есть тысячи способов изменить геном так, чтобы получился новый "сложный признак". ДНК-код так же пластичен и универсален как и компьютерный код. Одним из первых применений “перепрограммирования на уровне ДНК” может стать способность нейронов восстанавливать свою функцию после повреждения (разрыва аксона), что позволит десяткам тысяч парализованных инвалидов-колясочников в буквальном смысле встать на ноги. При этом, как и в случае с привычным нам компьютерным кодом, добиться решения задачи можно несколькими способами - некоторые из которых - такие, как многоядерные нейроны, сращение синапсов на дендритных деревьях, активизация макрофагов для сращения - будут рассмотрены ниже, в данной статье.

Читать далее

Победа над раком с помощью информационных технологий

Reading time41 min
Views14K

В этой статье мы изложим новую, пока ещё фантастическую, идею о том как с помощью информационных технологий можно победить рак. Быть может, полностью. Мир без рака возможен. В некой перспективе, близость которой зависит от нас.

Это лонгрид. Поэтому вначале будет оглавление, чтобы нетерпеливые могли нырнуть к самым горячим моментам: применяем IT-подход в биологии (пункт 4), наивная реализация контрольных сумм в ДНК (пункт 5.1), сложная реализация (пункт 5.2). Но перед комментированием желательно прочесть весь текст.

Идея пока ещё не обросла всеми нужными деталями для реализации. Предложения приветствуются. За найденные ошибки повышаю карму.
Поехали!

Клонируем GPT-диск с 512B-сектором на диск с 4K-сектором в Linux. Подводные камни с EFI, NTFS и LVM

Reading time9 min
Views13K

Для современного компьютера диск с 4К сектором выглядит предпочтительнее, чем с олдскульным 512B. Так как почти все современные ФС имеют размер кластера по-умолчанию 4KiB или больше. Поэтому использование 512B сектора несколько снижает производительность, а также увеличивает коэффициент умножения записи (Write Amplication) у SSD, что уменьшает ресурс.

Более того, сложно найти современные диски более 4ТБ с сектором 512N. Если диск и рапортует сектор в 512 байт, то, как правило, это 512E — эмулируемый, который используется в основном для совместимости со старыми контроллерами. А в реальности на физическом уровне используется 4К или даже больше (больше в основном у SSD).

Поэтому при покупке нового диска я выбрал диск с сектором 4КiB. И передо мной встала задача клонирования старого диска с 512B сектором (GPT) на новый c сектором 4KiB. Я хотел сохранить установленные Linux, Windows 10, Windows 7 и тома LVM, чтобы не заниматься переустановками ОС. В процессе чего всплыло несколько подводных камней.
Поехали!

Разговор с майнером Chia, имеющим 1ПБ ёмкости

Reading time15 min
Views314K

Возможно, вы уже в курсе, что сейчас в России цены на жёсткие диски большого объёма и SSD стремительно растут, а по компьютерным магазинам мечутся люди, в спешке покупающие комплектующие для новых компьютеров. Причиной этого ажиотажа стала новая криптовалюта Chia, для добычи которой нужны большие HDD и износостойкие SSD.


Chia предлагает модель экологичного майнинга, не требующего колоссальных затрат электроэнергии и уменьшающую парниковые выбросы, так как огромное количество электростанций до сих пор работает на ископаемом топливе.


Для лучшего понимания всего что связано с этой криптовалютой, вашему вниманию предлагается расшифровка моего разговора с майнером Chia, который состоялся вечером 21 апреля 2021 года. Я выступаю в роли продавца SSD, а майнер в роли повторного покупателя, который в ходе разговора делает coming-out. В ходе этого разговора я узнал много нового о Chia.



 

Читать дальше →

Ускорение дисковой подсистемы Qemu KVM в Linux

Reading time7 min
Views49K


Иногда я берусь за различные задачи по настройке серверов. Некоторое время назад ко мне обратился владелец небольшой хостинговой компании, с интересной проблемой. Он хотел бы на своих серверах, где уже стоял Ubuntu 18.04, запускать виртуальные машины с Windows под KVM.

Однако проведённое им тестирование показало, что дисковая система KVM прилично отставала от показателей, которые у него были под Hyper-V. Он хотел раскочегарить qemu на своих Ubuntu серверах, чтобы избежать закупок дорогих серверных лицензий Windows (бесплатная версия Microsoft Hyper-V Server не устраивала из-за своих ограничений).
С убеждённостью в том, что возможно превзойти настройки по-умолчанию, я взялся за работу.

Тестирование SSD на надёжность: 3dnews vs JEDEC vs здравый смысл. Где правда, брат?

Reading time13 min
Views53K


Всем известно легендарное тестирование SSD на надёжность от 3dnews (публикация от 2018.01), по результатам которого некоторые бюджетные накопители превзошли заявленный производителем ресурс в десятки раз.

После этого исследования в народе появилась конспирологическая теория, что производители занижают ресурс у бюджетных SSD, а также распространилось убеждение, что практически все SSD умеют делать и качественно выполняют выравнивание износа.

Узнать истинный ресурс бюджетных накопителей

Флеш-ускорители PCI-E от 800GB до 6.4TB: от рассвета до жизни в обычном ПК/сервере

Reading time6 min
Views45K


Были времена, когда накопители на основе флэш-памяти стоили настолько дорого, что как накопители их даже никто и не рассматривал. Десятки тысяч долларов. Они позиционировались как нечто революционное, способное придать космическую скорость системам хранения данных. Прямо как Intel Optane в последнее время, но о нём пока не будем, пока ещё слишком дорог.

Наверное, тогда маркетологи и придумали такое название как Flash Accelerator (флеш-акселератор или флеш-ускоритель).

Хитрость в том, что устройства изначально позиционировавшиеся как ускорители, сейчас трудно продать как SSD, поэтому иногда их можно купить очень выгодно.

Мотивация


  • Хотелось ли вам за разумные деньги купить SSD размером в несколько терабайт?
  • Чтобы ресурс был на десятки петабайт?
  • Такой, что что бы вы ни делали, вы бы не смогли его исчерпать?
  • При этом с защитой по питанию и сделанный из самых качественных деталей и самой стойкой памяти?

Поехали!

NILFS2 — пуленепробиваемая файловая система для /home

Reading time7 min
Views27K


Как известно, если неприятность может произойти, то она обязательно произойдёт. Наверное, у каждого были случаи, когда случайно был стёрт свежий важный файл, или случайно был выделен и уничтожен текст в текстовом редакторе.

Если вы — хостер или владелец сайта, то, наверное, сталкивались со взломами пользовательских аккаунтов или своего сайта. В таких случаях важно восстановить хронологию, найти способ проникновения и уязвимость, которую использовал злоумышленник.

Для решения подобных проблем прекрасно подойдёт файловая система NILFS2.
Читать дальше →

Что не так с Copy-on-Write под Linux при копировании

Reading time7 min
Views40K


Предупреждение: эта статья относится ко всем CoW файловым системам в Linux, поддерживающим reflink при копировании. В данный момент это: BTRFS, XFS и OCFS2.

Прошу воздержаться от холиваров о том, какая ФС лучше: Btrfs, XFS, Reiser4, NILFS2, ZFS или какая-то неупомянутая.

Читать дальше →

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Works in
Date of birth
Registered
Activity