Как стать автором
Обновить
4
@Alex_MEread⁠-⁠only

Пользователь

Отправить сообщение

Как-то я пытался раскурить какой-то графический компонент с гитхаба (то ли под Qt, то ли под Avalonia) для рисования графов. Хотел узнать, как это они трансформацию делают (зум и все такое).

Пришлось продираться через длинные цепочки наследования и композиции всяких Painter'ов и прочих подобного, в которой каждый очередной класс содержал строк 100 всякого бойлерплейта (прокидывания конструкторов, методов) и задавать себе раз за разом вопрос: "так, блин, логика где?". И это довольно распространенный случай.

ИМХО, все хорошо в меру.

Не могу говорить за всех, но лично я пытаюсь максимизировать некую функцию "полезности". Конечно, строго я ее не сформулирую, но грубо можно представить в виде взвешенной суммы разных факторов: деньги, интерес, польза итп.

Например, я работаю в сфере около-embedded/системной разработки, потому что интересно. Несмотря на то, что в различном web/mobile и бОльшие зарплаты, и бОльшее количество вакансий.

Много раз видел, как вы хвалили своё место обитания - и красиво, и чисто, и безопасно, и налоги низкие. Можете приблизительно сказать, где это (конечно же, я не прошу у Вас адрес/индекс), чтобы для общего расширения кругозора по гугл картам побродить, цены посмотреть (если они есть где-нибудь в общем доступе), вакансии неподалеку?

Осторожно, актуальное

А еще можно попасть "на учения" и "срочники в Украине не служат". И там и остаться.

Не очень понятно, эта инициатива предполагает визы для научных работников или для специалистов с соответствующим образованием, но не задействованных в научной деятельности, тоже подходит? Иными словами, может ли этим воспользоваться программист, имеющий диплом магистратура/докторскую степень в указанных областях? У многих они есть.

Если честно, мысль не до конца понятна.

Но если этот же самый человек начнет интересоваться что там под капотом,
что там происходит в ассемблерных вставках и куда девается бит
переноса, то это уже гораздо интереснее.

Почему? Вы

  • чувствуете интерес, потому что копание под капотом интереснее привычных тем?

  • чувствуете опасность, потому что кто-то может наломать дров со своим велосипедом (см "вы опасно некомпетентны в криптографии")

  • чувствуете опасность, потому что, если возникла потребность лезть под капот, вероятно, лезущий делает что-то не так/решает не ту проблему/не так?

  • ???

Разве это не практикуется повсеместно, когда официальная ЗП минимальна, а остальное - в конверте, что позволяет работодателю вертеть работником как угодно.

Понятно, спасибо.

Насколько я знаю, у гоночных/фристайл квадрокотперов пропеллеры не балансируют (это осталось в прошлом), а требования к шумам там довольно высокие, потому что фильтры увеличивают задержку.

К сожалению, я не знаю, как там реализован режим стабилизации, я использовал только т.н. acro mode, т.е. стабилизация только угловых скоростей по гироскопу. И я бы не сказал, что он нешумный, как раз на гироскоп вешают программные фильтры, помимо встроенного в сенсор. Кстати о сенсорах, почему-то (вроде, наименее шумный и менее подверженный помехам) самым лучшим сенсором для квадов считается MPU-6000.

А это перегружает сенсоры вибрациями, снижая их точность.

А вы пробовали добавить фильтрацию данных гироскопа до подачи на вход ПИД-регулятора? Существующие популярные прошивки полетных контроллеров квадрокоптров (betaflight, inav итп) используют различные фильтры и их комбинации:

  • Low-pass filter/Фильтр низких частот: отсекает выскоеи частоты шума

  • Notch filter/Полосовой фильтр

  • Dynamic notch: notch фильтр, частота которого выбирается автоматически как частота наиболее "громкой" гармоники шума

  • RPM-filter: фильтр из betaflight, который с помощью протокола bidirectional DSHOT получает от регуляторов двигателей их текущие обороты и применяет динамический notch фильтр на частоте, соответствующей скорости вращения двигателей

  • Matrix filter: фильтр из inav, по-сути dynamic notch, который применяет notch фильтр каждой оси для всех остальных (yaw, pitch, roll), что позволяет учитывать взаимное влияние шумов по разным осям

  • Фильтр Калмана (в inav называется unicorn filter)

Помимо этого, есть отдельно фильтр (вроде low-pass) по D-компоненте ПИД-регулятора.

И так, гранулярность, с которой я решил начать эксперименты = 1ч. А
значит твитты также были распределены по часам. Итого за три года получилось: 26246 записей.

...

А значит сконкатенированные твитты нужно было преобразовать в индексы. Я воспользовался керасовским Tokenizer'ом и создал словарь, задав при
этом максимальный индекс=15000. Вначале я пробовал 10000, затем 15000.
Разницы в финальных результатах после обучения нейронки выявлено не
было. При этом Tokenizer обнаружил 47 742 уникальных значения. Далее в
целях нормализации я преобразовал индексы в OneHotEncoding (OHE). Таким
образом в качестве X я получил numpy матрицу 26246Х15000 со значениями 0
и 1.

Эта часть не очень понятна. Т.е. вы разбили твитты на слова/токены (каждый твитт представляется как вектор из токенов), верно? Как тогда вы закодировали последовательность токенов в виде one-hot вектора? Или весь твитт - это один токен? Т.е. получается, что вы подаете на вход нейросети информацию о том, какие слова есть в твитте, без структуры (порядка слов)?

Я не датасайентист, но, ИМХО, ваша модель (2 млн параметров) просто не в состоянии обрабатывать язык. Для этого я бы рекомендовал вам использовать _языковые модели_, такие как BERT (или что-то более новое). Это существенно более объемная сеть специально для Natural Language Processing.

Берете предобученный BERT, к выходу BERT добавляется классификатор из нескольких (одного? я не датасейентист) полносвязанных слоев с выходами как у вас (растет, не изменна, падает) и дообучаете на своем датасете. Примеры есть в интернете. Я так делал задачу оценки тональности текста (негативный, нейтральный, положительный). Выглядит точно так же, только данные другие.

На ваших графиках явное переобучение: на тренировочной выборке работает хорошо, на валидационной - нет. Видимо, емкость сети достаточная, чтобы просто "запомнить" все соответствия между конкретной матрицей слов конкретного твитта и изменением курса, но не способна к генерализации. Как я выше предполагаю - потому что "не понимает" язык.

У вас три класса, вероятность угадать ~33%. Accuracy 0.5 (в последнем случае где-то как раз около 0.3). Иными словами, ваша сеть не лучше просто случайного выбора.

С 2019 года биткоин вырос более, чем в 10 раз. Можно утверждать, что количество выборок, где курс растет больше, чем тех, где он падает или нейтрален. Проверьте эту гипотезу! Если у вас классы в датасете представлены не в равных долях, то нейросеть обучится плохо. Условно, она может всегда выдавать ответ "растет" вне зависимости от входных данных и угадывать лучше, чем случайный выбор (наверное, этим и объясняется, что accuracy 0.5, а не 0.33)

Ну в экономе-то вообще не понятно зачем ездить.

Ехать куда ОТ не ездит, ехать когда ОТ не ездит, ехать, когда нужно быстрее или перевезти вещи.

Чем плохи условные Гранта, Солярис, Логан и другие? Да и сколько езжу на "экономе", ни разу не сталкивался с проблемами со стороны водителя. В 95% водитель всегда просто молчит и едет.

Будут требовать не Scopus и WoS, а ВАК и РИНЦ. Их сейчас требуют, просто менее не так высоко котируются, как зарубежные. Просто произойдет перенормировка KPI.

Есть сервисы одноразовых российских (+7) номеров.

Простите, я не очень понял, как это работает.

Допустим, если я выставляю на Авито стол, потому что переезжаю, и он мне не нужен больше, за 4000р, то это автоматически означает, что я автоматически согласен на покупку такого же (?) стола за 3600р? Выглядит, как глупось, уничтожающая сам принцип подобных "из рук в руки" площадок.

В качестве лайфхака – мы старались реализацию каждой новой версии дообученного алгоритма делать раз в два дня.

пришлось в выборку подмешивать (и достаточно много) ложные кадры, где, используя известные инструменты, мы сообщали сетке, что «тут точно нет пешеходного перехода».

Я ненастоящий сварщик, задам автору статьи (и комментаторам) вопрос дилетанта, на который, я понимаю, нельзя дать краткий и однозначный ответ: как вообще настоящие ML/AI инженеры/исследователи решают прикладные задачи, создают архитектуру сетей итп? Если почитать какой-нибудь учебник, гайды, курсы итп по ML, можно встретить (в разных пропорциях): матстат и прочий матан в основе, классы решаемых задач, основные существующие архитектуры, способы решать различные проблемы обучения (нормализация итп итд).

А что дальше? Мои потуги поучаствовать в паре конкурсов любопытства ради окончились тем, что беру сеть, обучаю, получаю отвратительный результат, который непонятно как улучшать.

Если коротко: нехрен вставлять закладки в телекоммуникационное оборудование. И тем более нехрен отжимать территории соседа, а потом и вовсе нападать на него и бомбить города.

Нормально делай - нормально будет.

Более развернуто.

Да, нельзя исключать, что самый сильный игрок на мировой арене будет диктовать (или диктует) свои правила, не только аналогично вышеприведенным, довольно однозначным, случаям, но и просто в рамках своих интересов.

ШТОШ, говоря языком интернет-мемов.

Мы пока не достигли идеального мироустройства, и приходится играть по правилам, пусть даже эти правила кажутся не частными. Но играть по своим правилам - себе дороже. Буквально дороже - обеспечение каждый стране себе "базы суверенитета" задача неподъемная.

Одним из компонентов этой базы вы называете ЯО. Хорошо, предоставим, что все страны ядерного клуба хотят обеспечить и другие аспекты суверенитета, втч микроэлектронное производство. Это США, РФ, Китай, Индия, Великобритания, Франция, Израиль, Пакистан, КНДР. И все они должны делать свою базу. Со всеми сложностями, описанными в этой статье. Без массового производства, видимо, очень дорогое и очень устаревшее. К этому добавим сегментацию отрасли между странами, ведь у всех всё своё. Перспектива очень не радужная, куча мировых ресурсов - впустую.

Вернемся на путь глобализации и многовекторности, не нужны нам свои технологии, ни автопром, ни электроника, ни производство.

Все, абсолютно все страны зависят от импорта в той или иной мере. В этой статье утверждается, что даже США не может производить микроэлектронику с техпроцессом меньше 90 нм.

Может быть, у Украины своё производства всего и вся, свой автопром, свои станки и свои процессоры? Может, у Польши, Чехии, Эстонии свои процессоры? Может, у Германии (если не ошибаюсь, первая экономика Европы) свои процессоры и отсутствует зависимость от импорта?

Вроде нет. Почему же тогда Россия вечно хочет какой-то свой особый путь и всё своё? Почему нельзя, как все, импортировать то, что другие делают лучше, и производить что-то своё? Без непонятных амбиций, замашек, аналоговнетов, догоним и перегоним?

Будем продавать ресурсы нашим западным друзьям а сами жить как цари.

При этом, аналоговнетами занимаются государственные и квази-государственные конторы. Тем временем, в России вполне существуют (пока что) коммерческие организации, которые выпускают "продукцию" мирового уровня. Или просто что-то достойное. Простите, что я всё про IT, профдеформация да и мы на профильном ресурсе:

  • JetBrains (международная, основана в России, главный офис в России). Их IDE, скорее всего, лучшие. И Kotlin.

  • Yandex много чего делает, втч их разработки в области беспилотных автомобилей на уровне с аналагами от других компаний (поправьте, если ошибаюсь)

  • Cognitive Pilot (была представленна на хабре: https://habr.com/ru/company/cognitivepilot/blog/).

  • ...

Пока высокие чины рассуждают об импортозамещении, о том, что это очень плохо - зависеть от других стран, о том, что нам нужны суверенные процессоры, интернеты и всё-всё-всё, люди делают бизнес, делают технологии и деньги. Да, на базе импортных технологий. И что? Так все, блин, делают! Весь мир! Надо не аналоговнеты рисовать, а создавать условия для развития бизнеса. В том числе, в это входит стабильная и предсказуемая политиическая система и экономика, потому что риски.

Но все это в прошлом. В результате известных действий всё пошло под откос, а действительно достойные проекты, скорее всего, загнутся. Нарисованный в отчетах мир победил.

Не знаю. Вбив в поиск на ютубе "Война на украине" получил в результатах как, видео, в которых говорится о победах российской армии, о нацистах итп итд, так и видео, в которых показывают противоположенную точку зрения. Втч, о об одних и тех же событиях (напр., о бомбежке Мариуполя).

Кроме того, видел на некоторых ресурсах призывы подавать жалобу на про-российские каналы с пропагандой. Заметье - это не заговор ZOG, YouTube, Google, госдепа США или иных подобных сторон, а свободное волеизъявление граждан. В основном, Украины и России. Насколько это правильно и этично - это другой вопрос. Добро ли цензура в ответ на цензуру и введение в заблуждение?

Да, open source распространяется as-is, но держится на доверии. Высказывать свою политическую позицию (пусть даже она истиннее, чем у оппонентов) через Open Source - это не только неэтично, но и подрывает доверие ко всему Open Source.

Бэкдоры и прочее в Open Source и так были. [Например](https://habr.com/ru/news/t/553712/). Подобные действия только больше дискредетируют Open Source.

Для крупных корпораций Open Source - палка о двух концах. С одной стороны, его использование позволяет снизить затраты на разработку за счет использования результатов труда других разработчиков. С другой - мешает диктовать свою единоличную волю в векторе развития продукта. Особенно, это касается GPL проектов, таких, как Linux.

Ниже немного похоже на теорию заговора, простите

Несмотря на популярность Open Source решений, процесс некоторого "придушивания" свободного софта наблюдается: это и попытки дискредитации людей (Столлман, Торвальдс), и переход на permissive лицензии, и "окукливание" в своих проектах (Fuchsia).

А подобные действия со стороны разработчиков только могут подтолкнуть крупный бизнес к отказу от Open Source.

А какая философия Яндекса? Собирать олимпиадников за ЗП ниже рынка, потому что престижно, это же Яндекс и за забором еще очередь олимпиадников стоит? (Ну, я так на хабре слышал).

Информация

В рейтинге
Не участвует
Откуда
Волгоградская обл., Россия
Зарегистрирован
Активность