Pull to refresh
17
0

Development Team Lead

Send message

Big Data мертвы, да здравствуют Smart Data

Level of difficultyMedium
Reading time10 min
Views1.3K

Big data is dead. Во всяком случае, так утверждает генеральный директор MotherDuck в статье, перевод которой собрал 140 плюсов на Хабре. Обработку и использование больших данных обсуждали в течение последнего десятилетия, но они потеряли актуальность как драйвер развития компаний. Означает ли это их окончательную смерть?

Есть и другое мнение: концепция не умерла, а эволюционирует. Фокус смещается от количества собираемой информации к ее качеству. Этот сдвиг парадигмы привел к появлению понятия Smart Data — «умных» данных, которые являются продуктом интеллектуальной обработки и эволюции Big Data.

Давайте рассмотрим концепцию Smart Data и выясним, действительно ли Big Data превращаются во что-то более интеллектуальное.

Читать далее
Total votes 18: ↑14 and ↓4+13
Comments5

Не удержался. Ответ на статью про «где лучше платят»

Level of difficultyMedium
Reading time10 min
Views46K

Это ответ, точнее мысли по статье, опубликованной на Хабре: «Зарплаты в IT: сравнение Германии и России — где программисты и айтишники получают больше». Советую сначала ее прочитать и потом уже здесь продолжить.

Читать далее
Total votes 332: ↑307 and ↓25+340
Comments842

Записываем PNG без мам, пап и внешних библиотек

Reading time9 min
Views13K

Я решал очередную техническую задачу и столкнулся с проблемой: нужно сохранять изображения, а у меня нет сериализаторов и я не могу использовать готовые библиотеки. Ситуацию ухудшает, что из доступных форматов только PNG, JPEG и WebP. Выбор пал на PNG.

Формат изображения PNG известен с 1996 года, а на Хабре опубликовано несколько статей о декодировании этого формата. И ни одной — о кодировании. Я расскажу, как сохранить PNG своими руками на случай, если вам тоже придется это делать. Например, в академических целях.

Под катом вас ждет подробный разбор каждого байта на множестве иллюстраций.
Читать дальше →
Total votes 110: ↑110 and ↓0+135
Comments18

Фальшивые… резисторы

Level of difficultyEasy
Reading time6 min
Views45K

Эта заметка — небольшая лабораторная работа по измерению «тонких» параметров самых обычных синих металлопленочных резисторов с разбросом в 1% типа MF-25. Особенностью этих резисторов является то, что они — подделка из Китая. К сожалению, сейчас эта поддельная «металлопленка» продается повсеместно, так что если не в ближайшем радиомагазине, так на маркетплейсах вы скорее всего купите именно ее. Наверняка для многих это уже не тайна, но многие до сих пор пребывают в блаженном неведении, думая, что «все детали делают в Китае и разливают из одной бочки».

Читать далее
Total votes 134: ↑134 and ↓0+166
Comments122

«Где хуже всего оставлять свои секреты?» — что происходит с учетными данными AWS, которые плохо лежат

Reading time11 min
Views2.3K

ИБ-энтузиаст «теряет» на разных публичных площадках ключи AWS API, чтобы выяснить, как быстро до них доберутся злоумышленники, — и приходит к неутешительным результатам.

Читать далее
Total votes 18: ↑18 and ↓0+22
Comments2

Международные стандарты безопасной разработки: ликбез

Level of difficultyEasy
Reading time11 min
Views2.5K

DevSecOps — это не просто модное словечко, а целая философия, объединяющая разработку, безопасность и операции. Но как применить эту философию на практике? Здесь на помощь приходят международные стандарты.

В этой статье мы рассмотрим пять основных международных DevSecOps-стандартов: DSOMM, BSIMM, OWASP SAMM, Microsoft SDL и NIST SP 800-64. Мы разберем их особенности, сильные и слабые стороны, а также поговорим о том, как адаптировать эти стандарты к российским реалиям.

Неважно, работаете ли вы в крупной корпорации или небольшом стартапе, — понимание этих стандартов поможет вам выстроить более безопасный и эффективный процесс разработки. 

Читать далее
Total votes 15: ↑14 and ↓1+15
Comments0

Искусство аугментации: как улучшить модели компьютерного зрения без сбора новых данных

Level of difficultyMedium
Reading time22 min
Views3K

Представьте, что вы разрабатываете модель компьютерного зрения для распознавания кошек на фотографиях. Чем больше разных фото кошек вы покажете модели, тем лучше она будет справляться с задачей. Но что делать, если у вас не хватает фотографий? Вы же не пойдете делать 10000 фотографий вашего питомца? На такой случай существует решение — метод аугментации данных.

Сегодня подробно разберемся в том, как работает аугментация: рассмотрим ее влияние на точность моделей, разберем основные методы и инструменты для ее реализации, обсудим лучшие практики и типичные ошибки при работе с этим методом. Надеемся, что наш материал будет полезен как начинающим специалистам, так и опытным практикам машинного обучения и компьютерного зрения.

Читать далее
Total votes 16: ↑16 and ↓0+20
Comments1

Синдром режимного объекта: как сделать удаленку безопасной без ущерба комфорту

Reading time7 min
Views8.6K

Удаленная работа — не просто тренд, но и вечная головная боль для безопасников и специалистов по персоналу. Многие сотрудники Бастиона работают удаленно, и мы на собственном опыте убедились, что защита информации в таких условиях — это комплексная задача, охватывающая технологии, корпоративную культуру и психологию сотрудников. 

Сегодня расскажем, как в Бастионе подходят к созданию безопасной и продуктивной рабочей среды для удаленщиков. Выясним, почему чрезмерный контроль может быть неэффективным, зачем безопасникам поддерживать командный дух, и почему важно защищать корпоративные данные без ущерба для удобства работы. В общем, посмотрим на проблему удаленки и с позиций HR, и с точки зрения ИБ.

Читать далее
Total votes 21: ↑16 and ↓5+14
Comments9

Можно ли доверять GPT-4o конфиденциальные данные?

Level of difficultyMedium
Reading time6 min
Views11K

Разбираемся в политике конфиденциальности Open AI и выясняем, почему эксперты окрестили GPT-4o «турбопылесосом данных».

Читать далее
Total votes 16: ↑15 and ↓1+21
Comments3

Как сделать так, чтобы ваши открытые данные были никому не интересны

Level of difficultyEasy
Reading time5 min
Views17K

Публикация открытых данных — благородное занятие, которое стимулирует исследования, инновации и прозрачность. В то же время заниматься этим бывает утомительно, а пользователи могут делать с вашими данными все, что им угодно. Такая утеря контроля над данными может быть нежелательной, но в некоторых случаях закон обязывает публиковать их именно под открытой лицензией. 

Лучший выход из подобной ситуации — опубликовать формально открытые данные, но сделать так, чтобы они никому не были интересны. Специально для таких сценариев я составил перечень стратегий, которые помогут избежать нежеланного внимания пользователей, заинтересованных в работе с вашими данными. 

Читать далее
Total votes 35: ↑31 and ↓4+34
Comments9

Посмотрел как работают лыжи и срочно вложил 97 млн в этот бизнес

Level of difficultyEasy
Reading time8 min
Views6.4K

Вы знаете, как работают лыжи? По какой причине лыжа не проваливается в сугробе, когда ботинок проваливается?

Рассмотрим участок сугроба площадью So. На него действует сила давления со стороны ботинка или лыжи вниз, а вверх выталкивает сила реакции опоры сугроба (остальные части сугроба до какого-то предельного момента “подпирают” площадку So).

Как давит ботинок: сила давления ботинка — это давление ботинка умножить на площадь So. А давление ботинка в каждой точке поверхности — это его вес, разделенный на площадь ботинка. Итого для силы давления ботика имеем формулу:

Читать далее
Total votes 26: ↑17 and ↓9+14
Comments21

Современным самолётом невозможно управлять

Reading time5 min
Views63K

И это даже не кликбейт. Ну ладно, частично кликбейт: если вы захотите полетать на каких-нибудь пассажирских или транспортниках, они будут вас слушаться. Но вот современные истребители совсем не такие. Даже опытные лётчики не могут подчинить их дикий нрав, и если бы не танцы с бубном от шаманов-инженеров, летали бы они значительно хуже. И чтобы понять, почему чем хуже летает истребитель, тем ему лучше, потребуется небольшое погружение в теорию.

Читать далее
Total votes 214: ↑197 and ↓17+232
Comments111

«А можно быстрее?»: разбираем методы ускорения обучения нейронных сетей

Level of difficultyMedium
Reading time21 min
Views4.7K

Современные нейросетевые архитектуры достигают впечатляющих результатов в сложных задачах ИИ благодаря росту объемов данных и вычислительных мощностей. Однако обратной стороной медали стала высокая ресурсоемкость обучения.

Например, последняя версия GPT-4 от OpenAI обучалась на большом GPU-кластере. По некоторым данным, она содержит около 1,8 триллиона параметров, а ее обучение обошлось более чем в 100 млн долларов. А модель Llama 3.1 405B, вроде бы оптимизированная под ограниченные ресурсы, все равно требовала более 15 триллионов токенов и свыше 16 тысяч GPU NVIDIA H100.

И хотя нынешнее качество работы LLM уже можно действительно назвать выдающимся, на практике они подкидывают разработчикам широкий ряд проблем производительности: от запредельных объемов данных до оптимизации гиперпараметров. Все это приводит к потребности в ускорении обучения.

Мы подготовили серию материалов, которые помогут разобраться в ускорении обучения нейросетей. В этой статье рассмотрим различные теоретические аспекты от аппаратного ускорения до правильной организации самого обучения, в следующей — поговорим о практике. В общем, нас ждет глубокое погружение в тему. Приятного прочтения! 

Читать далее
Total votes 26: ↑24 and ↓2+28
Comments0

Шифры «Тысячи и одной ночи»: криптография древних арабов

Level of difficultyEasy
Reading time11 min
Views7K

Древнеарабская история – это не только «дворцы и песок», «яд и булат», волшебство «Тысячи и одной ночи». Это еще и небывалый расцвет просвещения. К примеру, именно благодаря древним арабам математика впервые стала «царицей наук». В игры разума с цифрами пускались арабские ученые, государственные деятели, военачальники и даже исламские богословы, которые изучали и толковали Коран. А где математика – там и криптография. 

Начиная с VIII века нашей эры и вплоть до европейского Возрождения арабы удерживали пальму первенства в шифровании и дешифровании информации. Недаром само слово «шифр» – арабского происхождения.

Мы снова побеседовали со старшим научным сотрудником московского Музея криптографии, кандидатом исторических наук Анастасией Ашаевой. Эксперт рассказала о достижениях древних арабов в криптографии и поделилась конкретными примерами шифров. Передаем ей слово.

Читать далее
Total votes 32: ↑31 and ↓1+35
Comments13

От сирен до SIEM: разбираем архитектуру и защиту локальных систем оповещения

Level of difficultyMedium
Reading time11 min
Views2.2K

9 марта 2023 года в российском теле- и радиоэфире прозвучало объявление о воздушной тревоге. Пугающий знак радиационной опасности, звук сирены на заднем фоне, напряженный синтетический голос, призывающий спрятаться в укрытии… Спустя несколько часов в МЧС отчитались о том, что тревога была ложной: трансляцию запустили хакеры, взломавшие сервера нескольких радиостанций и телеканалов. 

Ситуация, прямо скажем, не из приятных. Еще более неприятным может оказаться взлом ЛСО — локальных систем оповещения на предприятиях. В этом сценарии атаки есть все, что может сделать больно бизнесу: репутационные и финансовые потери, риск лишиться лицензии на дальнейшую деятельность, угроза жизни и здоровью людей. 

В статье расскажу функциях ЛСО и о том, как спроектировать защиту подобной системы на производстве.

Читать далее
Total votes 14: ↑14 and ↓0+17
Comments0

Как удерживать пользователей в мобильных играх

Level of difficultyEasy
Reading time16 min
Views2.1K

Игры успешно конкурируют за внимание пользователей с соцсетями, новостями и кино. Борьба жесткая — лучшие проекты зарабатывают больше, чем фильмы-блокбастеры. Еще в 2018 году интернет взорвала новость о том, что GTA V заработала более $6 млрд. Для сравнения: фильм «Аватар», самый кассовый за всю историю кино, собрал $2,8 млрд. Сегодня рост игровой индустрии сместился в мобильный гейминг, а смартфоны в период с 2021 по 2026 год станут самой быстрорастущей категорией устройств.

Среди мобильных игр конкуренция не менее жесткая: в одном только Google Play доступно около 370 тысяч проектов. И даже очень талантливо сделанные игры могут легко остаться без внимания, если не увлекут пользователя с первых минут. Этот показатель — удержание игроков — оказывает значительное воздействие на рентабельность инвестиций в разработку и напрямую влияет на успех проекта. Но как удержать пользователей в мобильной игре? И можно ли здесь переборщить? Чтобы получить ответы на эти вопросы, мы расспросили наших партнеров, разработчиков из компании PRISMA.

Читать далее
Total votes 23: ↑20 and ↓3+21
Comments10

Секреты переговорщика с хакерами

Level of difficultyEasy
Reading time18 min
Views16K

Когда хакерские группировки из даркнета приходят за выкупом, большинство компаний впадает в панику. Этот человек обводит злоумышленников вокруг пальца.

Читать далее
Total votes 34: ↑29 and ↓5+29
Comments18

Как реагировать на атаки шифровальщиков: рекомендации для CISO

Level of difficultyEasy
Reading time12 min
Views5.2K

Атаки вирусов-шифровальщиков остаются серьезной угрозой информационной безопасности компаний. От них не застрахованы даже корпорации с многоуровневыми системами защиты, целыми армиями ИБ-специалистов и арсеналами СЗИ.

Если корпоративная сеть подверглась такой атаке, ИБ-службе и CISO лучше поскорее подключить команду реагирования. Однако бизнес и штатные сотрудники службы безопасности могут самостоятельно снизить риск атак программ-вымогателей, дополнительно защитить критичные файлы и облегчить расследование, если избежать инцидента все же не удалось. Как именно? Рассказывает Семен Рогачев, руководитель отдела реагирования на инциденты Бастиона.

Читать далее
Total votes 18: ↑16 and ↓2+15
Comments12

Уроки, извлеченные из масштабирования до многотерабайтных датасетов

Level of difficultyMedium
Reading time9 min
Views2.2K

В этой статье я расскажу об уроках, которые вынес при работе с многотерабайтными датасетами. Объясню, с какими сложностями столкнулся при увеличении масштабов датасета и как их удалось решить.

Я разделил статью на две части: первая посвящена масштабированию на отдельной машине, вторая — масштабированию на множестве машин. Наша цель — максимизировать доступные ресурсы и как можно быстрее выполнить поставленные задачи.

Читать далее
Total votes 15: ↑13 and ↓2+14
Comments1

Защищаемся от непрошеных звонков и рассылок — внимательно читаем закон о персональных данных

Level of difficultyEasy
Reading time12 min
Views7.5K


Персональные данные стали ценным ресурсом, за которым, кажется, охотятся все. От безобидного «‎анонимного» опроса‎ до навязчивых рекламных звонков — путь личных сведений может быть непредсказуемым.


Давайте разберемся в тонкостях обработки персональных данных, научимся читать между строк пользовательских соглашений и узнаем, как противостоять большому брату в лице жадных до информации компаний. Приготовьтесь к погружению в лабиринты закона «О персональных данных» и хитросплетения документов, которые так часто подписывают не глядя. Вашим проводником выступит Анастасия Буренкова — специалист по защите персональных данных Бастион.

Читать дальше →
Total votes 21: ↑16 and ↓5+15
Comments18

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Works in
Date of birth
Registered
Activity

Specialization

Fullstack Developer, Software Architect
Lead