Разработка

Repeater - планировщик для анализа данных, упрощенный Apache Airflow.

Repeater запускает задачи по расписанию. Задачи - последовательности консольных программ - описываются в toml-файлах. Запуски отображаются в веб-интерфейсе.

Пример задачи - запуск скриптов wiki_stats.py и wiki_pageviews.py импорта верхнеуровневой статистики Википедии в локальную базу.

title = "wiki"
cron = "0 55 * * * *"

[[tasks]]
name = "wiki_stats"
cmd = "python3 ./examples/wiki_stats.py"   

[[tasks]]
name = "wiki_pageviews"
cmd = "python3 ./examples/wiki_pageviews.py --end_date={{.scheduled_dt}}"

Бэкэнд написан на Go. Команды ниже запустят Докер-контейнер с сервисом и окружение для примеров:
- Repeater http://localhost:8080 - планировщик
- ClickHouse http://localhost:8123 и http://localhost:9000 - база данных
- ch-ui http://localhost:8001 - веб-интерфейс к базе данных
- Streamlit http://localhost:8002 - дашборды

git clone https://github.com/andrewbrdk/Repeater
cd Repeater
docker compose up --build

В примерах импорт количества просмотров страниц Википедии, курса биткоина, статистики репозитория Линукса на Гитхабе. Графики в Streamlit http://localhost:8002 .

Интересны применения проекта. Попробуйте! Впечатления пишите в комментариях. Спасибо!

Репозиторий: https://github.com/andrewbrdk/Repeater

🔒 Ваш сервис готов к "Кузнечику"?

У нас в РФ есть ГОСТ 34.12-2018, в котором описана реализация этого алгоритма и еще одного "Магма" - это импортозамещение международного AES.

Как думаете, как скоро дадут приказ переходить на данные алгоритмы?

Есть среди нас программисты?

Можете обновить модификацию Telegram: MDGram?

Мод очень полезный в плане дизайна, разработчики забросили дальнейшие обновления. Буду очень благодарен

Из разговора с потенциальным клиентом…

Клиент: Сколько страниц будет входить в аудит?
Я: Неизвестно. Почему неизвестно? Потому что у меня нет цели написать определённый объём правок и замечаний. Сколько их увижу — столько и зафиксирую. Если бы я проаудировал систему и не нашёл в ней ни одной проблемы — размер документа не превышал бы одной страницы.

Тут сразу пара моментов, которые хотел бы подсветить.

Я раньше, когда работал над документацией, считал, что «чем объёмнее — тем лучше». Это ещё со школы и универа. Реферат должен быть на пять листов. Эссе на семь. Доклад на три.

Акцент был на форме, а не на содержании. И это ужасно. В начале двухтысячных, когда работал в компании Webmaster.Spb проектировщиком, клиентам нравились толстые ТЗ. Точнее, представителям клиентов. Менеджерам. Сами-то клиенты эти ТЗ не читали, насколько мне известно.

Из строительной тематики тоже была клёвая байка, которую мне рассказал один из клиентов: «Я однажды сдаю своему шефу пачку документации высотой в два сантиметра. А он смотрит на неё и пальцами показывает три сантиметра. Вот столько, говорит, надо. Возвращайся, когда будет пачка высотой в три сантиметра».

Это первый момент. А второй — если во главе стоит форма, а не содержание, то это сродни проектированию главной страницы сайта, когда всё остальное ещё не готово. Спроектировал главную за час, а потом пятьдесят часов подгоняешь остальные сто страниц под неё. Вместо того, чтобы сделать всё без ограничений, а главную рисовать уже в самом конце, когда весь проект будет понятен. В виде вишенки на торте.

Иногда ещё, знаете, решишь написать статью. И придумываешь ей заголовок «пять ошибок начинающих проектировщиков». И вот четыре ошибки легко расписал, а пятую никак придумать не можешь. И сидишь, мучаешься, тратишь время. А мог сначала статью написать, ограничившись четырьмя ошибками, а затем уже заголовок придумывать.

Прикиньте, кто-то сначала бы придумал тематику: пять начал (законов) термодинамики. И после четвёртого сидел бы и страдал.

Возвращаясь к моим аудитам: у меня нет задачи найти конкретное количество косяков. Задача — проверить, достигают ли пользователи интерфейса своих целей. Если достигают — и отлично! Радоваться надо, что в моём документе будет одна строчка текста («Всё идеально, красавчики»). Это как на чек-ап пойти ко врачу и переживать, что ничего не нашли.

К сожалению, на практике такого ещё ни разу не было. Всегда что-то нахожу.

П.С.
Представляете, я бы сказал, например: «Четыре страницы». Сделал бы аудит и нашёл бы ошибок на две страницы. И что бы делал? То же, что в школе и универе? (здесь должна быть какая-нибудь эмодзи с льющейся бессмысленной водой)

Буквально, вчера, вспоминал об этом замечательном сайте, в связи с неприятной особенностью в работе основного сайта по numpy, но что-то проверить не полез, а он нас, оказывается, клаудфронтит, чего бы это ни означало.

_{Для фанатов офиса, из числа российских работодателей, это - дополнительный способ покрепче прибить гвоздями, к офису, тех сотрудников, что не пользуются трёхбуквенными обозначениями всепланетного доступа. В офисах то, я слышал, вообще всё есть. Ну прям вообще... (я против принуждения работников к любому из вариантов - должны быть доступны, и офис, и гибрид, и удаленка, если позволяет характер работы)}

GPT — мать. Отец — open-source. Хабраредактор локально пророс

Вначале представление о финальном продукте весьма расплывчато: нужен ИИ-помощник, который будет обладать полной информацией обо всех текстах в блоге YADRO и отвечать на вопросы по ним в формате чат-бота. Когда я начинал пост, в блоге было 223 статьи, что открывает большой простор для кросслинковки. Хочу, чтобы помощник подсказывал, на какие из предыдущих статей блога я могу сослаться в новой. Было бы здорово получать тематические подборки статей, что мы иногда добавляем в анонсы связанных митапов. Еще какие-нибудь сценарии я, наверно, придумаю на ходу.

Другая задача, как мне кажется, будет сложнее — аналитика в разрезе тем и других атрибутов статей, особенно качественных, а не количественных. Но не буду грустить заранее: это пет-проект, take it easy. К тому же в итоге получилось наоборот: именно в качественных, а не количественных вопросах прогресс чат-бота оказался заметнее.

Создаю новый диалог с GPT-4o и закладываю в нее требования. Нейросеть бодро предлагает несколько вариантов реализации.

GPT-4 + LangChain (или ChatGPT API с RAG). «Минусы: платно (и затраты могут вырасти при больших объемах)». Тот же минус — и в варианте «решения под ключ (SaaS-инструменты): writer.com, jasper.ai, copy.ai». А есть что-нибудь на open source?

Да, причем это был первый вариант в списке: open-source LLM + векторная база (например, LLaMA 3 + FAISS / Weaviate / Qdrant). При сравнении трех опций GPT даже подчеркнул преимущества этой: «максимальная точность, контроль, гибкость». Честно говоря, ожидал от OpenAI больше саморекламы, приятно удивлен. Давай остановимся на open source, но смогу ли я осилить это в одиночку?

«Да, ты вполне можешь создать такую систему сам, особенно если у тебя есть базовые навыки Python и немного понимания в работе с API или веб-разработке». Два года назад я прошел базовый месячный курс по Python. С веб-разработкой все точно не лучше, а с API… в общем, здесь уже только вера в себя осталась.

Редактор блога YADRO Николай Землянский создал локального ИИ-помощника, который анализирует статьи на Хабре, выделяет темы и делает подборки со ссылками. Что получилось в MVP и как будет развиваться проект — читайте в статье.

Вебинар по использованию DLP-системы — уже завтра

8 июля в 11:00 начнется вебинар InfoWatch на тему «Интенсив по анализу событий в DLP-системе: методика и практика». 

Вебинар будет полезен ИТ и ИБ специалистам с небольшим опытом работы с DLP. Обучение поможет:

• выявлять скрытые инциденты в «серой зоне»;

• использовать расширенный анализ и запросы;

• строить графы связей и применять предиктивную аналитику;

• визуализировать результаты — просто и наглядно.

Регистрация.

Как обеспечить надежную защиту персональных данных клиентов в облаке и избежать финансовых и репутационных потерь? Разберем на вебинаре.

📆 Когда: 10 июля в 11:00 мск

📍 Где: онлайн

С 30 мая 2025 года в России ужесточилась ответственность за нарушения в работе с персональными данными — штрафы выросли в разы.

На вебинаре от экспертов по методологии кибербезопасности Cloud.ru вы узнаете:

• почему защита персональных данных — это не только про штрафы, но и про доверие клиентов;

• изменения ответственности: ужесточение требований при обеспечении безопасности данных в информационных системах;

• стратегия безопасности облака: что проверяют регуляторы? Какие нарушения чаще всего находят при проверках? Основные источники рисков;

• аудит IT-процессов: какие параметры контролировать для митигации рисков в случае инцидентов;

• практика Cloud.ru: меры защиты данных в облаке (от шифрования до мониторинга инцидентов).

Будет полезно руководителям и сотрудникам ИБ-служб, IT-директорам, архитекторам инфраструктуры, юристам и всем, кто хранит данные клиентов в облаке.

Зарегистрироваться 👈

Штраф - не только за утечку персональных данных, но и за иные пользовательские данные

30.05.2025 в силу вступили поправки в КоАП 13.11. Среди прочего - добавлены пункты про утечку идентификаторов (п 12-14). И здесь же - пояснение что такое "идентификаторы":

уникальное обозначение сведений о физическом лице, содержащееся в информационной системе персональных данных оператора и относящееся к такому лицу.

Возможно, причина в том, что на практике юридический вопрос "что есть персональные данные" компании трактуют очень субъективно (оставляя на откуп триажерам и не привлекая юристов). И законодатель решил, что теперь всё, что так или иначе относится к пользователю - если не персональные данные, так идентификаторы (id пользователя, номер транзакции, размер платежа и т.д.).

Пример из собственной практики: один известный банк на мой отчёт в багбаунти об утечке данных индивидуальных предпринимателей (совокупность: ФИО, телефон, размер перевода, электронные почты - личная и компании) ответил:

раскрывается нечувствительная и общедоступная информация о мерчанте. Платежных карт там нет, адрес email и телефон юрлица являются публичными данными.

Это при том, что согласно статьи 5 ФЗ "О государственной регистрации юридических лиц и индивидуальных предпринимателей" от 08.08.2001 N 129-ФЗ - в общедоступных гос реестрах нет телефонного номера, а адрес электронной почты - только при указании таких сведений в заявлении о государственной регистрации.

Вот что бывает, когда вопросы юридического характера адресуют техническим специалистам.

Я работаю в финтехе AppSec инженером. В т.ч. участвую в триаже закрытой багбаунти программы. И со своей стороны стараюсь влиять на безопасность кода: в т.ч. так, чтоб и идентификаторы лишний раз не утекали.

Присоединяйтесь к публичной программе Bug Bounty Альфа-Банка на платформе BI.ZONE

Теперь у багхантеров есть возможность протестировать сервисы Альфа-Банка на предмет уязвимостей и получить вознаграждение. Размер вознаграждения зависит от критичности найденной уязвимости.

Максимальная сумма вознаграждения составляет 400 тысяч рублей.

Альфа-Банк выплачивает вознаграждение за выявление разных уязвимостей, таких как:

• удалённое выполнение кода (Remote Code Execution, RCE),

• проблемы контроля доступа (Broken Access Control, IDOR, Broken Session Management), 

• ошибки аутентификации и авторизации (Missing Authorization, Improper Authorization), 

• захват учётной записи (Account Takeover), 

• раскрытие конфиденциальной информации (Sensitive Data Exposure) и многих других.

Для исследования доступны веб- и мобильные приложения сервисов Альфа-Онлайн, Альфа-Инвестиции, Альфа-Бизнес и другие ресурсы.

По ссылке присоединяйтесь к публичной программе обнаружения уязвимостей в наших сервисах.

Представлен проект для геймеров «Can I Run It?». Это онлайн-ресурс, где можно проверить мощность ПК на соответствие требованиям к различным играм. Сервис поясняет, потянет ли текущий ПК игру на минимальных или рекомендованных требованиях. Также проект может подсказать, какое компоненты ПК нужно улучшить.

Привет, Хабр. Подготовили подборку бесплатных открытых уроков от Otus, которые пройдут на этой неделе по вечерам. Опытные практики проводят вебинары в живом формате, что позволит не только освоить новые знания, но и задать вопросы экспертам. Регистрируйтесь и присоединяйтесь!

7 июля, понедельник:

• Управление рисками ИБ: как избежать инцидентов и защитить бизнес

• Основы многопоточности в Java

8 июля, вторник:

• Дизайн QA‑команды

• Как быстро освоить Vue, если уже знаешь JavaScript

• SOC. Основы

• RabbitMQ. как заставить сообщения летать по сложным маршрутам

9 июля, среда:

• Приложение «‎Фото дня»‎

• Особенности реализации запросов в PostgreSQL

10 июля, четверг:

• Data Science — это проще, чем кажется!

• Ключевые навыки и пути развития бизнес‑аналитика

• Как стать уверенным JavaScript‑разработчиком: план от джуна до мидла

• Архитектура и дизайн систем на основе NoSQL в облаках

• Место Painter в производстве игр

• Первый шаг в Angular — создаем приложение с нуля

14 июля, понедельник:

• От кода до Kubernetes за полтора часа

• Мониторинг распределенных систем

Расписание всех открытых уроков уже доступно в календаре мероприятий. Выбирайте темы, которые вам интересны, и подключайтесь онлайн.

Как Новосибирский государственный университет использует ресурсы облака Cloud.ru Evolution для размещения умного чат-бота в Telegram 🎓

Что за компания

Новосибирский государственный университет — пример эффективной интеграции образовательного процесса и научной деятельности. На базе механико-математического факультета НГУ работает лаборатория прикладных цифровых технологий, в которой проводят разработки на базе искусственного интеллекта.

Какая была задача

Один из проектов лаборатории — умный чат-бот в Telegram на базе больших языковых моделей. На сайте университета есть интеллектуальная база знаний, с помощью которой можно найти информацию или ответ на вопрос. Задача бота — упростить и сократить поиск до нескольких секунд. 

Команда НГУ искала мощное и выгодное решение для размещения бота, а также тестирования других гипотез.

Как ее решили

Сотрудники НГУ самостоятельно перенесли и развернули проект. Для размещения выбрали виртуальную машину с GPU 4 vCPU/64 ГБ RAM/1 GPU V100 на облачной платформе Cloud.ru Evolution, которая идеально подходит для задач машинного обучения, искусственного интеллекта и обработки трехмерной графики. А еще она позволяет масштабироваться по мере необходимости и использовать ресурсы по модели pay-as-you-go.

Что в результате

Чат-бот помогает решить сразу несколько задач университета:

• привлечь абитуриентов,

• разгрузить службу поддержки,

• упростить поиск изображений по внутренней базе знаний.

Среднее время ответа чат-бота — до 10 секунд.

Читать кейс полностью 💼

_{Предвосхищая бурный минусатор, авторитетно заявляю: политики здесь нет и не предвидится, имеет место обсуждение сбоев этих ваших интернетов.}

Hello, numpy?

Москва, ростелеком: уже некоторое время не открывается сайт numpy.org.

Да, есть vpn, пока что, хотя не всегда и не везде (_{советы - "как надо, чтоб всегда работало" не нужны, спасибо}), и вот это вот всё, но как-то сильно разочаровывает. Почти столь же сильно, как разочаровывал официальный сайт mongodb, года два-три назад, когда срочно надо было, без регистрации и смс...

Интересно, заклаудфларили или отроскомнадзорили?

_{upd(2025-07-08): всё-таки, роскомнадзор, уж года два, оказывается, как. а мне казалось, что, буквально с месяц назад, что-то читал на этом сайте, без танцев с бубнами...}

Исследование показало, что некоторые учёные начали оставлять в своих научных статьях скрытые промты для ChatGPT, чтобы нейросеть хвалила их работу.

При проверке научного портала arXiv уже нашлись 17 работ от 14 ведущих вузов мира — в каждой статье были скрытые промпты, которые просили ИИ хвалить её и не подсвечивать минусы. Учёные в научных статьях прячут нужный промпт для ИИ в белом тексте минимального размера, а на выходе получают похвалы и восхищение их трудом от «прочитавших» статью ИИ-сервисов.

О систематизации регламента в прикладном программировании.

Всем привет! Хабр, — ты лучший.

В соседних темах о вечном споре между ООП школой и ФП школой у меня родилась идея создать по настоящему регламентирующий орган, который бы навел порядок в этом «борделе».

Пусть на основе IETF, будь-то на основе ISO, не важно. И вот спустя некоторое время, я читаю о очередной заголовок последней конференции C++, которая оказывается проходит под флагом того самого уважаемого института (организации) ISO. Казалось бы, чего еще тебе надо Сергей, и чем ты так не доволен?…

Вот только это все «фуфло» и сколько бы вы там не встречались, ни одна из вышеупомянутых организаций не осуществила никакого видимого прорыва в главных двух проблемах конечного ПО — это дыры и согласованость. Согласованость это наиважнейшая проблема взаимодействия между вендорами железа, вендорами ОС и собственно вендорами ПО. Такая согласованость, которая реализовано в глубоко и много любимом мной и родной для меня сферой связи. Да-да, я снова врываюсь к вам с моей «писяной торбой» — это сетевая эталонная модель OSI. Это пример на который вы, сильные мира сего в сфере программирования, могли бы и опереться, взять на карандаш, так сказать.

Здесь все строго формализировано. Да вы можете играться как хотите в своей песочнице, но за рамки определенных и прописанных в ПРОТОКОЛАХ правил вы выйте не сможете. Таким образом организуется БАЗОВЫЙ ПОРЯДОК.

И вот вопрос. Вот вы встречаетесь на этих конференциях, опять-таки под эгидой многоуважаемых организаций, но где протоколы?

Вот поэтому это все и «фуфло» эти ваши конференции. Вы там решаете какие-то текущие проблемы, разрабатываете какие-то очередные костыли, вместо того чтобы заложить уже один раз твердый фундамент взаимодействия между вендорами ПО, ОС и железа.

PS: да я понимаю, что кое-кому или даже кое-каким организациям это выгодно — держать все в таком виде в каком оно есть. Ведь всегда можно использовать дыру заложенную в железке или в святом С (на котором написаны ОС), а те чудики что там парятся над всей этой протухшей надстройкой (конечные программисты ООП и ФП) — пусть они заботятся об уязвимостях нулевого дня, о побеге памяти и прочей лабуде. А хомяки что? Хомяки сожрут, подавятся и отрыгнут, им не привыкать (еще и заплатят за ПО, за ОС, и саму железку). Да для бизнеса все стараются, а то что я обычный пользователь все это терплю, теряю бабки, нервы и прочеее — по пофигу (плебс).

Сделайте уже на основе примера сетевой эталонной модели Восьмой уровень — где будут формализованы основные точки поведения вендоров.

PPS: И да ребята, я могу в чем-то заблуждаться, поэтому вы все вольные меня поправить, открыть глаза мне…

Ура, и доброго дня всем!

Компьютерные игроки выяснили, что пользовательское соглашение Ubisoft содержит неоднозначную строчку, что предписывает покупателям игр в случае бана их аккаунта уничтожить все копии игры, которыми они владеют. Условие тут же вызвало критику в сторону издателя — неудивительно, учитывая предыдущие заявления Ubisoft и другие нюансы EULA вроде сбора данных.

Оказалось, что подобный пункт можно найти в пользовательских соглашениях других издателей. Например, он есть в EULA Baldur's Gate 3 от Larian Studios и Phasmophobia от Kinetic Games. Разработчики последней тоже сталкивались с вопросами от игроков — они пояснили, что это стандартная практика для многих игр.

Ресурс Counterpoint Research раскрыл, как Apple тестирует свои гаджеты в различных условиях, включая климатические тесты, водные тесты, краш‑тесты и вибрационные тесты.

Климатические тесты проводятся, чтобы устройства выдерживали разные погодные условия. В лаборатории Apple их подвергают воздействию соли в течение 100 часов, яркого света, а также пыли из пустыни Аризоны, чтобы проверить, как песок влияет на динамики или порты зарядки. Для AirPods даже создают искусственный пот и ушную серу, чтобы смоделировать реальные условия.

Водные испытания Apple проводит для проверки защиту от воды и пыли по стандартам IP. Например, iPhone 16 Pro имеет рейтинг IP68 — это высший уровень защиты, который означает полную устойчивость к пыли и способность работать после погружения в воду на глубину до 6 метров в течение часа.Тесты начинаются с простого сымитированного «дождя», затем устройства обливают водой под давлением и погружают в воду в специальных резервуарах. Apple также тестирует устройства на устойчивость к другим жидкостям, например, газировке, сокам, солнцезащитному крему и духам.

В краш‑тестах на возможные падения Apple использует робота, который роняет устройства с разных высот, углов и на разные поверхности — от гранита до асфальта. Каждый такой тест анализируется через специальное приложение, чтобы понять, как устройство справляется с ударами.

Вибрационные тесты помогают проверить на устойчивость гаджетов к вибрациям, которые могут возникнуть, например, при поездке на мотоцикле по неровной дороге. Для этого используется вибростенд, который имитирует различные частоты и условия, включая транспортировку. По полученным результатам регулируют внутреннюю компоновку элементов и корпус.

ИБ-ДАЙДЖЕСТ INFOWATCH

Сотрудника обвинили в краже данных

На бывшего работника Coupang Play подали иск об утечке коммерческой тайны, которую он слил перед увольнением из компании.

Дайджест новостей по биометрическим ПДн

ЭАЦ InfoWatch подготовили подборку материалов об использовании биометрических ПДн и биометрических технологий в мире.

Новая киберугроза для нефтегаза и энергетики

Центр исследований Trellix обнаружил новую APT-программу ClickOnce, используемой при фишинговых атаках на предприятия энергетического сектора.

Утечка ПДн из страховой Aflac

Против компании подали уже 11 коллективных исков после кибератаки, которая привела к краже данных ее клиентов, бенефициаров, сотрудников и агентов.

Инциденты ИБ во время конфликта на Востоке

Обострение наземного конфликта повлекло развитие взаимных кибератак на различные организации противников.

Запускайте контейнерные приложения в облаке с Evolution Container Apps 💭

❓ Что за сервис? Evolution Container Apps позволяет запускать контейнерные приложения в облаке, причем для этого не нужно разбираться в Kubernetes или развертывать виртуальные машины. Запуск проиcходит на базе Docker-образов.

🖥 Особенности и преимущества. Возможности сервиса применимы для любого стека — контейнеры могут использовать любую среду выполнения и любой язык программирования. В зависимости от нагрузки экземпляры контейнеров создаются или удаляются автоматически. Не нужно настраивать кластеры Kubernetes: достаточно загрузить Docker-образы в реестр и создать контейнеры в личном кабинете. А еще у Evolution Container Apps есть free tier: ежемесячный объем бесплатных ресурсов — 480 ГБ RAM и 120 vCPU, запускать небольшие приложения можно без оплаты.

👨‍💻 Кому будет полезно. Всем, кто использует Docker и хочет облегчить развертывание и масштабирование:

• Разработчикам и DevOps-инженерам, чтобы быстро тестировать и запускать приложения.

• Небольшим компаниям и стартапам, которые хотят сэкономить на инфраструктуре и попробовать бесплатные возможности Evolution Container Apps.

• Большим проектам с микросервисной архитектурой, чтобы облегчить оркестрацию, развертывание сложных приложений за счет контейнеров sidecar и init.

Хотите узнать больше о сервисе? Смотрите запись доклада с GoCloud 2025, где мы рассказали, как сохранить данные в S3 при работе с Evolution Container Apps. А еще сохраняйте пошаговый туториал, как запустить облачное приложение с Evolution Container Apps, без Kubernetes и развертывания ВМ.