Search
Write a publication
Pull to refresh
203
0
Александр @jasiejames

Инженер (210406)

Send message

Краткое руководство по сложным вычислительным задачам

Reading time5 min
Views19K

Что компьютеру сделать легко, а что почти невозможно? Эти вопросы лежат в основе вопроса вычислительной сложности. Представляем вам карту этого ландшафта.



Различные классы сложности сортируют задачи в иерархическом виде. Один класс может содержать все задачи другого, плюс задачи, требующие дополнительных вычислительных ресурсов.

Какова фундаментальная сложность задачи? Такова постановка базовой задачи специалистов по информатике, пытающихся рассортировать задачи по т.н. классам сложности. Это группы, содержащие все вычислительные задачи, требующие не более фиксированного количества вычислительных ресурсов – таких, как время или память. Возьмём простой пример с большим числом типа 123 456 789 001. Можно задать вопрос: является ли оно простым числом – таким, которое делится только на 1 и себя? Специалисты по информатике могут ответить на него при помощи быстрых алгоритмов – таких, что не начинают тормозить на произвольно больших числах. В нашем случае окажется, что это число не является простым. Затем мы можем задать вопрос: каковы его простые множители? А вот для ответа на него быстрого алгоритма не существует – только если использовать квантовый компьютер. Поэтому специалисты по информатике считают, что две этих задачи относятся к разным классам сложности.
Читать дальше →

Настройка прямого подключения к инфраструктуре биржи для получения преимущества за счет минимизации сетевой задержки

Level of difficultyMedium
Reading time4 min
Views28K

В сфере высокочастотной торговли зачастую борются за любое уменьшение сетевой задержки, ведь это дает возможность получить информацию об изменении цены инструмента раньше остальных и отправить заявку на исполнение быстрее конкурентов по более выгодным условиям. Нередко можно встретить такие решения, как отказ от промежуточного сетевого оборудования в виде сетевого коммутатора, который мог бы обеспечить использование торгового подключения несколькими серверами сразу. Но зачем подключать каждый сервер напрямую к инфраструктуре биржи, если можно платить за один аплинк и подключить его в классический ToR(Top-of-rack) коммутатор? Конечно для уменьшения сетевой задержки, ведь современный сетевой коммутатор внесет лишние 200-500 наносекунд задержки.

Конечно можно обратиться к low-latency коммутаторам, базирующимся на FPGA матрицах, таким как серия Cisco Nexus 3550 Fusion (в прошлом Exablaze ExaLINK Fusion) или Arista 7130 Series (в прошлом Metamako MetaMux).

Читать далее

Цифровые сферы влияния и будущее интернета (сокращенный перевод статьи Орацио М. Гнерре)

Reading time8 min
Views1.9K

Интернет-технологии охватывают весь мир своей сложной инфраструктурой. За очень короткое время интернет превратился в инструмент коммуникации, информации и архивирования данных, а также в политическое, информационное и идеологическое поле битвы. Само по себе его присутствие стимулирует дебаты о степени права на свободное выражение мнений, которое оно должно допускать, и это еще более осложняется трудностью применения национальных правил и правовых кодексов к реальности, которая по своей природе имеет тенденцию пересекать границы и представлять себя как транснациональную.

Однако часто транснациональный образ интернета не позволяет тем, кто ее использует, понять ее истинную природу, путая всемирную сеть с идеологией или идеологиями, с которыми она сочетается и вектором которых она становится. В этом концептуальном хаосе становится важным понять Интернет таким, какой он есть на самом деле. Таким образом, подход, который следует поддерживать, должен заключаться в рассмотрении инструментального охвата, использования, организационных возможностей, вытекающих из него, и, следовательно, субъектов, которые извлекают из него выгоду, и различных контрастов между ними.

В конечном итоге, [исследователю] станет ясно, что Интернет — это не что иное, как новая информационная технология, гораздо более мощная, быстрая и точная, чем предыдущие, которая ускорила некоторые часто ранее существовавшие явления в геометрической прогрессии. Более того, как и любая информационная технология, она усиливает и подпитывает явления политического характера (и, следовательно, военного, согласно знаменитому определению Клаузевица).

Читать далее

Как я учил ChatGPT

Level of difficultyMedium
Reading time6 min
Views21K

Много лет я занимаюсь разработкой событийной семантики [1, 2], событийной логики [3], спецификации языка описания деятельности, а также Event Flow архитектуры [4], на базе которой построен семантический workflow-движок. Все это выросло из идеи субъектно- событийного подхода к моделированию сложных систем [5], который условно можно считать инженерным наследником философской темпоральной онтологии [6, 7].

И вот, некоторое время назад я решил провести эксперимент и научить ChatGPT создавать и исполнять событийные модели. Результат сообщу сразу: это у меня получилось, хотя и не без головной боли, с постоянными упрашиваниями, подсказками, напоминаниями… Но по порядку.

Упомянутый Event Flow движок работает с событийными семантическими моделями, описывающими сущности или действия какой-либо предметной области. Он проглатывает очередное модельное событие (согласно условиям, прописанным в этом событии) и либо строит по нему поле экранной формы, если значение надо получить от человека, либо выполняет запрос к уже имеющимся данным, создавая в итоге новое предметное событие. Таким образом после выполнения всех событий одной модели у нас получается индивид сущности или действия, а по сути, выполняется фрагмент бизнес-логики. (В Приложении есть несколько слов о событийной семантике от самого ChatGPT).

Что требовалось от ChatGPT? (1) Запомнить формат записи событий; (2) освоить синтаксис инициации свойств и актов, правила построения моделей и создания индивидов; (3) научиться по текстовому описанию строить модели и (4) при предоставлении в текстовом же виде конкретных значений - создавать индивиды. При этом, что существенно, в модели могут иметься запросы к значениям уже созданных индивидов.

Читать далее

Уровни сложности публикаций на Хабре

Level of difficultyEasy
Reading time2 min
Views14K

Привет, Хабр! В конце года мы анонсировали новые форматы постов и запуск мобильных приложений, а ещё одно нововведение дошло только сейчас — это уровни сложности публикаций. Все подробности под катом.

Читать далее

Простейшая нейросеть: еще раз и подробнее

Reading time10 min
Views64K

Машинное обучение это незаменимый инструмент для решения задач, которые легко решаются людьми, но не классическими программами. Ребенок легко поймет, что перед ним буква А, а не Д, однако программы без помощи машинного обучения справляются с этим весьма средне. И едва ли вообще справляются при минимальных помехах. Нейросети же уже сейчас решают многие задачи (включая эту) намного лучше людей. Их способность обучаться на примерах и выдавать верный результат поистине очаровывает, однако за ней лежит простая математика. Рассмотрим это на примере простого перцептрона.
Данная статья представляет собой пересказ-конспект первой части книги Тарика Рашида "Создай свою нейросеть" для тех, кто начал изучать тему, не понял отдельные детали или с трудом охватывает общую картину.

Читать далее

Как сделать BTC-транзакцию без сдачи из мелких монет

Reading time5 min
Views12K

Задача: уложить как можно большее число ценных вещей в рюкзак при условии, что вместимость рюкзака ограничена


Многие кошельки биткоина при выборе монет для отправки предпочитают использовать крупную монету, баланс которой больше отправляемой суммы. После каждой такой транзакции образуется монета-сдача. Через какое-то время весь кошелёк зарастает такими монетами порядка 0.001 (~10 долларов на текущий момент), которые уже и не на что потратить. Когда в очередной раз мне понадобилось сделать транзакцию, мне пришла в голову мысль, а нельзя ли собрать транзакцию так, чтобы сдачи не было. Кошелёк упрямо предлагал «распилить» ещё одну более крупную монету, так что я решил руками выбрать монеты, чтобы насобирать необходимую сумму. Однако это оказалось не так просто: сумма или получалась меньше нужного значения или слишком сильно его превосходила. В итоге я решил, что должен быть алгоритм, с помощью которого из монет можно собрать нужную сумму или чуть больше. Оказалось, что это не только возможно, но работает настолько хорошо, что сподвигло меня написать эту статью. Но обо всём по порядку.

Читать дальше →

Заблуждения программистов о тексте

Reading time11 min
Views19K


Возжелавший прильнуть к жанру вестернов обратится либо к десятой строчке топ-250 лучших фильмов по версии IMDb, либо уже будет обладать знанием, что начинать нужно с «Хороший, плохой, злой». Там он увидит жадных потных мужчин, которые заканчивают фильм напряжённым мексиканским противостоянием. Жалкая охота за золотом конфедератов разворачивается на фоне кровавых битв Гражданской войны между «Севером» и «Югом». Таким зритель запомнит вестерны как жанр.

В реальности «Хороший» — это не классика, а яркий представитель поджанра ревизионистских вестернов, снят в Европе и наоборот, критикует американскую идеологию направления. В нём нет ничего общего с картинами, где герой встаёт на защиту правильного и справедливого общества от злодеев или кровожадных индейцев. В пятидесятых и шестидесятых классический вестерн сошёл на нет, но в коллективном сознании критика быстро заместила критикуемый объект. Когда Марти Макфлай жалуется на анахронизм наряда, он сравнивает себя с антигероями Клинта Иствуда, а не бравыми ковбоями в исполнении Джона Уэйна.

Иногда нашему восприятию требуются корректировки. Собственные заблуждения необходимо не забыть при проектировании информационных систем. Помнить нужно о многом: для времени, карт и почтовых адресов получаются длинные списки. Для текста неожиданностей мало.

Заблуждение 1. Любые символы, кроме управляющих, имеют предсказуемую ширину


В реальности ширина символов может отличаться даже в моноширных шрифтах.
Читать дальше →

Как запатентовать идею: 3 инструкции по заполнению заявки на патент

Reading time6 min
Views3.4K

Все начинается с идеи. Когда в голову приходит интересная мысль, ею хочется поделиться. А вдруг ее украдут? Нужно заранее позаботиться о правовой охране, чтобы вашу разработку не забрали конкуренты. Говорят, что идеи не патентуют, тогда что делать? 

Развеиваем мифы и рассказываем, как запатентовать идею, на каком этапе нужно обратиться в Роспатент. 

Читать далее

20+ open source утилит для шифрования файлов на (почти) любой случай жизни

Reading time9 min
Views70K


На самом-самом деле его секреты нафиг никому не нужны. И кстати, такой ключ за 5 баксов ещё надо поискать


Шифропанкам посвящается. Мы собрали тулкит из популярных программ (преимущественно с симметричным шифрованием), которые помогут защитить личные данные от несанкционированного доступа и попросили исследователя криптографии из компании «Криптонит» прокомментировать наш выбор.


Под катом безопасные решения для шифрования файлов при помощи браузера, для быстрой защиты, пересылки, загрузки в облако шифрованных данных, криптографические контейнеры с двойным дном, десяток консольных инструментов для криптографии и комбайн, объединяющий их под единым графическим интерфейсом. А еще ответы на животрепещущие вопросы, например: «Что лучше AES, Кузнечик, Serpent или Twofish»?

Читать дальше →

KDD 2018, день пятый, завершающий

Reading time9 min
Views2.1K


Вот и завершился пятый, последний день KDD. Удалось услышать несколько интересных докладов от Facebook и Google AI, помайнить футбольные тактики и погенерировать немного химикатов. Об этом и не только — под катом. До встречи через год в Анкоридже, столице Аляски!
Читать дальше →

Few-Shot NER, или Как перестать размечать и начать жить

Reading time8 min
Views14K

Всем привет! Наша команда SberIDP занимается задачей извлечения сущностей и фактов из текстовых данных. В банке исторически обрабатывается большое число неструктурированных документов и автоматизация в этой области позволяет сэкономить много времени и ресурсов, а также улучшить клиентский путь. Например, с помощью предварительной обработки документов мы ускорили выдачу кредитов до 7 минут.

Современные методы, основанные на глубинном обучении, требуют от сотен до тысяч примеров для получения приемлемого качества в задачах NER. Сегодня мы разберем направление Few-Shot, которое позволяет решать данную задачу всего лишь на нескольких примерах, и поделимся результатами наших экспериментов. Мы смогли достичь state-of-the-art результатов на датасете Few-NERD и выложили полученные веса на HuggingFace для всех желающих.

Читать далее

Применение нейросетей в распознавании изображений

Reading time10 min
Views244K
Про нейронные сети, как один из инструментов решения трудноформализуемых задач уже было сказано достаточно много. И здесь, на хабре, было показано, как эти сети применять для распознавания изображений, применительно к задаче взлома капчи. Однако, типов нейросетей существует довольно много. И так ли хороша классическая полносвязная нейронная сеть (ПНС) для задачи распознавания (классификации) изображений?
Читать дальше →

Предварительное обучение новой модели CoCa на мультимодальных объектах

Reading time5 min
Views2.2K

Новаторская работа в области компьютерного зрения показала эффективность моделей с одним кодером, предварительно обученным классификации изображений, для захвата обобщённых визуальных представлений, эффективных в других задачах. Подробности рассказываем к старту флагманского курса по Data Science.

Читать далее

Контроллер дистанционного управления для ПК-сервера с текстовой консолью, без паяльника и Arduino

Reading time27 min
Views85K

Аннотация


Хотя один из героев второго плана — ИК-порт на материнской плате, не стану я рассказывать про пульты от телевизоров и переключение ими треков в любимом медиаплеере. В продолжение истории про сервер FreeNAS, построенный из старого железа, я расскажу, как снабдить его столь же нехитрым бортовым контроллером с последовательным портом (консолью) поверх IP (Serial-over-LAN), дистанционным сбросом (RESET) и управляемым питанием. Спрашивается: зачем? Ведь *nix и так неприхотлив в дистанционном управлении: включил тот же SSH и управляй себе на здоровье. Но что будет при аварии? Стартовом сбое операционной системы? Что, если надо нажать RESET? Сделать апгрейд системы? Или запустить fsck в single user? Или восстановить спиленный сук неверно настроенный firewall? Не ехать же на площадку каждый раз, подключать монитор, клавиатуру и торчать ночью в офисе на регламентных работах… или мозолить глаза днём сердитому Бизнесу.

Ещё один NAS своими руками, часть 4: призрак Чернобыля


Я давно понял, что лень — основной двигатель человеческого прогресса. Наверное, самые изящные формы лени встречаются в самой прогрессивной области: сфере информационных технологий, где лень уже часть профессии. Это мы внедряем сложные helpdesk-регламенты, чтобы не устанавливать пользователям нужные программы. Это мы два дня отлаживаем скрипт, чтобы потом сэкономить себе полчаса. Это мы управляем рабочим столом в соседней комнате, используя для этого сервер на соседнем континенте. Это мы придумали мораторий на работы, чтобы отдыхать ещё за неделю до Нового Года. Кто это там ждёт лифт в вечерний час пик, чтобы чинно спуститься на нём со второго этажа на первый? Бизнес снисходительно зовет нас айтишниками, но мы гордо величаем себя Инженерами ИТ…

Напрашивается устройство, часто именуемое off-band (baseboard) management controller, или автономный бортовой контроллер дистанционного управления. Это такая серебряная посеребрённая пуля, уменьшающая чрезмерные нагрузки на священный сисадминский зад. По функциям наше изделие близко к IPMI за некоторым вычетом, и до настоящих серверных продуктов вроде iLO или DRAC тут, конечно, далеко. Да, лучше купить готовый контроллер за половину стоимости старого компьютера (или серверную платформу за пятикратную стоимость), если того требует важность данных и связанные риски. Я же собрал рабочее устройство немногим дороже $70, которое к моменту публикации поста успело выручить меня уже несколько раз, чего и всем желаю.

Используете старый ПК-сервер Linux дома или в офисе? Некому нажать RESET? Не хватает денег на серверную платформу? Возможно, вы узнаете новые способы упростить себе жизнь. Программировать почти не будем, паяльник и Хор Друидов не потребуются, зато вспомним весёлые 90-е. Микроэлектроника — это просто!

Читать дальше →

Шифры замены

Reading time9 min
Views7.2K

В предыдущей статье были рассмотрены простые шифры, использующие алфавиты естественных языков (ЕЯ). Автоматическая обработка сообщений в компьютерных и сетях связи предусматривает использование искусственных языков (ИЯ), что более эффективно во многих отношениях. Ранее описывалась классификация шифров и для некоторых из них было показано как они применяются в области информационной безопасности. Здесь продолжим такое рассмотрение, но для более сложных шифров.

Читать далее

Греческая мифология и астрономия

Reading time14 min
Views20K
image

Астрономия — вполне себе точная наука. Она базируется на физике (в самом полном её виде — никакая другая наука не взаимодействует с физикой столь же широко). Все астрономические вычисления совершаются на основе самого сложного математического аппарата. А фиксация наблюдательных данных производится посредством самых чувствительных и точных приемников излучений всех диапазонов электромагнитного спектра. И сами наблюдения ныне все чаще производятся за пределами атмосферы, чтобы свести к минимуму всевозможные искажения.

Казалось бы, нет суровее науки. В ней не может быть никаких «ученым показалось…» или «ученые думают, что…» — ученые теперь лишь публикуют 100 раз проверенные данные и 100500 раз перепроверенные выводы из этих данных.

Есть и гипотетическая сторона астрономии, где — действительно — есть место непроверенным до конца догадкам. Но все равно идеи, возведенные в статус гипотезы многократно просчитаны на мощнейших компьютерах с глубочайшим по точности математическим моделированием физических процессов.

Но есть у астрономии одно удивительное свойство, которого нет ни у какой другой точной или естественной науки.

Астрономия насквозь мифологична.

Читать дальше →

JS-код, римские цифры, геометрические загадки: как мы шифруем свой возраст

Reading time3 min
Views6.1K


Каждый год ко дню рождения DataArt мы дарим коллегам фирменные футболки. В год нашего двадцатиления традиции исполнилось 10 лет. Мы отыскали и сфотографировали футболки, с которых все начиналось, и модели последних лет. В некоторых зашифрованы загадки, о которых успели забыть даже их авторы.
Читать дальше →

Необычные задачи по физике развивающие научное мышление (для школьников)

Reading time3 min
Views28K
Возможно вы уже читали мои статьи:


А сегодня я хочу поделиться своим давним но интересным проектом и его идеей.

Когда я учился в аспирантуре, и работал в “Лаборатории методики преподавания физики” при Харьковском национального университета им. В.Н.Каразина, я обеспечивал свою семью за счет репетиторств. Хотелось давать ученикам возможность увидеть физику не только в учебнике но и в реальной жизни, удивить и завлечь их наукой. Тогда и пришла идея сделать простенький сайт, в помощь мне и учителям, которые приходили в нашу лабораторию на курсы повышения квалификации.



С тех пор прошло более 10 лет, сайт не развивался, но актуальность свою сохранил. Данный пост будет интересен как преподавателям, так и родителям, которые хотят, чтоб их ребенок любил и знал физику. Заодно сможете проверить и свои навыки.

Генератор факельного разряда на MOSFET-транзисторе

Reading time7 min
Views21K

Всем хеллоу, сегодня речь пойдет о младшем брате катушек Теслы, генераторе факельного разряда, или "факельнике". Этот экземпляр был собран мной больше года назад, но тогда мне не хватило терпения настроить его до конца, да и были существенные косяки в конструкции и исполнении. Недавно же я довел устройство до ума, и, раз уж пошла речь о высоковольтных устройствах, таких как ZVS-генератор и генератор Ройера, описанных в недавних статьях, решил написать статейку на Хабр, может кому будет интересно.

Читать далее

Information

Rating
Does not participate
Location
Екатеринбург, Свердловская обл., Россия
Date of birth
Registered
Activity