Хранение данных *

В прошлом посте мы рассказали о нашем ПО Capsule для считывания, анализа и записи физиологических сигналов мозга и тела. Сегодня — про особенности интерфейса и API Neiry, которые нас радуют больше всего.

Capsule ориентирован на широкий круг пользователей. Научные коллективы могут использовать сырые потоковые или записанные мультимодальные данные для исследований. Те, кто не обладает глубокими знаниями в нейрофизиологии и смежных областях, запросто интегрируют готовые метрики на основе ЭЭГ и ФПГ в продукты. 

Мы храним необработанные мультимодальные данные в формате HDF5. С готовыми метриками можно работать в понятном для продукта виде. Когнитивная нагрузка со шкалой от 0 до 100 — пожалуйста, уровень усталости или расслабления в виде численного значения — запросто.

Нужно проверить гипотезу или разработать алгоритм «с нуля»? Потоковые сырые данные до фильтрации вам в помощь! Не хотите возиться с фильтрацией сигнала? Нет проблем, вот те же данные напрямую с АЦП, но после применения валидированных фильтров.

На устройстве небольшое количество электродов для снятия ЭЭГ, но мы постарались разместить их максимально разумно: два в затылочной области, два в височных, а референтный электрод и датчик ФПГ — на лбу.

Подробности расскажем и покажем на хакатоне BCI Hack Moscow 20–22 сентября. С помощью Neiry Headband Pro и API Neiry соберем игру на Unity, будем управлять устройствами умного дома, техникой и устроим брейн-ралли! Возможно даже покажем «Нейробуханку». Приходите, будет интересно.

Yonote не справляется с нагрузкой

Недавно мы, как и многие, начали переходить с Notion, не торопились, потому что объём информации невелик, в основном, задачи. Импорт небольшого архива был в очереди двое суток. В техподдержке сказали, что нагрузка большая, импорт может быть до 3 суток. Что ж, трое суток тоже к результату не привели, импорт архива на 25 МБ так и не прошёл...

За вчерашний день заполнили сами почти всё заново, оставили неперенесёнными лишь несрочные задачи и уже готовые, документы тоже пока не стали заливать. И вот сегодня yonote с утра: Не удалось загрузить конфигурацию.

Кое-кто оказался не готов. А вот Notion ещё работает. Пока ушли на Affine.

А как у вас?

Всем привет!

Вопрос - где применяется подход DDD?
Аналитика, разработка, тестирование. Конечно архитектура АС, с нее все начинается.
Но это еще не все.
Есть такой класс систем как Data Warehouse (DWH) или аналитическое хранилище данных. В это хранилище попадают данные из всех бизнес-сервисов компании для дальнейшего анализа. Т.об. мы разделяем оперативную БД и аналитическую, снимая лишнюю нагрузку с оперативной БД. Особенность Data Warehouse - технологии обработки и хранения данных отличаются от используемых в системах оперативной обработки данных. Hadoop, Greenplum, ClickHouse... А значит нужны специалисты, которые подготовят хранилище под ваши данные и настроят синхронизацию с оперативной БД. Но эти специалисты не знают ваш домен, в отличие от команды. Плюс они часто становятся "бутылочным горлышком". Плюс структура данных постоянно меняется...
Что делать?
Data Warehouse специалисты готовят инфраструктуру, а за подготовку и синхронизацию данных, актуальность их структуры и способ предоставления этих данных потребителям отвечает бизнес команда. Это же ее bounded context. Подход называется Data Mesh. Вот неплохая статья на эту тему.
P.S. На самом деле DevOps в своем идеальном виде о том же - DevOps инженеры готовят инфраструктуру, а за сборку и деплой отвечает команда.

Как загрузить csv-файл в базу данных. Четыре разных способа

В новой, но уже такой родной рубрике «Базировано» мы рассказываем о базовых вещах, которые должны уметь ИТ-специалисты. В этот раз системный аналитик «Технократии» Руслан Степанов рассказывает о разных способах загрузки csv-файла в базу данных.

Надеемся, что YouTube поправится, и вы сможете познакомиться с тайными знаниями аналитиков «Технократии».

Amazon построит три центра обработки данных в Австралии — компания выиграла контракт на $1,3 млрд от правительства страны, пишет Financial Times. AWS уже предоставляет услуги облачных вычислений правительствам США и Великобритании. 

Новый контракт обеспечит Австралию большими возможностями для обмена разведывательной и военной информацией, также соглашение расширит применение искусственного интеллекта для анализа данных.

Австралия — член разведывательного альянса Five Eyes, в который также входят США, Великобритания, Канада и Новая Зеландия. Министр обороны Австралии Ричард Марлес рассказал, что сделка с Amazon позволит повысить «оперативную совместимость» с США.

Три специализированных дата-центра будут финансировать за счёт существующего обязательства Австралии существенно нарастить расходы на обороны, чтобы подготовиться к вероятной эскалации в Индо-Тихоокеанском регионе на фоне роста геополитической напряжённости вокруг Тайваня.

Правительство Японии наконец отказалось от использования дискет в своих системах.

К середине прошлого месяца Цифровое агентство отменило все 1034 правила, регулирующие их использование, за исключением ограничения, связанного с утилизацией.

«28 июня мы выиграли войну с дискетами!» — заявил министр цифровых технологий Таро Коно, который неоднократно выступал за отказ от факсов и других аналоговых технологий.

В 2021 году власти Японии уже начали переходить от использования дискет к цифровым системам. Это произошло спустя десять лет после того, как Sony прекратила производство устаревших носителей.

В конце января 2024 года Министерство экономики, торговли и промышленности Японии отменило все требования к заявителям использовать старые дискеты при подаче официальных документов. 

​​Управляйте доступом к файловому хранилищу по IP 🔒

Хотите настроить ACL к файловому хранилищу по IP-адресам? Теперь вы можете разграничить доступ для IP выбранной приватной подсети как при создании, так и при работе с уже существующей файловой системой. 

Кому можно открыть доступ:

✔ всем IP-адресам приватной подсети, в которой находится хранилище,

✔ определенным IP-адресам,

✔ другим приватным подсетям.

Уровни доступа зависят от протокола файлового хранилища.

Выбирайте тип хранилища под ваш проект →

В РЕД ОС 8 появилась возможность формировать эталонную базу данных с помощью решения класса Data Quality. Инструмент «Гражданский фактор» от Clean Data настраивает процесс управления качеством данных внутри контура организации: обрабатывает и стандартизирует информацию о физических лицах, очищает базу от ошибок, дубликатов и неточностей.

«Гражданский фактор» обеспечивает единый процесс управления качеством данных при помощи специализированных модулей, справочников, правил и алгоритмов проверок. Интерфейсы дата‑стюарда и контролёра позволяют разбирать неоднозначные случаи в похожих записях — дубликатах.

Модули продукта оперативно анализируют данные, упрощают внедрение дашбордов, BI‑систем и решений на базе искусственного интеллекта, повышают качество оказания услуг. Ранее решение уже было подготовлено к работе с витринами НСУД.

Также пользователям РЕД ОС 28 июня стал доступен российский редактор для отрисовки схем, проведения мозгового штурма и структурирования творческого процесса Графолайт.

Amazon инвестирует €10 млрд в облачные технологии, логистику, исследования и разработки Германии. Порядка €8,8 млрд из этой суммы потратят к 2026 году. Средства пойдут на расширение облачной инфраструктуры Amazon Web Services в стране.

Канцлер Германии Олаф Шольц заявил, что финансирование позволит создать более 4 тыс. рабочих мест и повысит привлекательность страны для инвесторов.

Германия переживает экономический спад, вызванный высокими ценами на энергоносители и процентными ставками, а также недостаточными инвестициями из-за бюрократических сложностей, пишет Reuters.

Общая сумма запланированных инвестиций Amazon в Германию составит €17,8 млрд — компания объявила о намерении вложить €7,8 млрд в мае этого года. Эти инвестиции рассчитаны до 2040 года. К концу 2025 года Amazon обещает запустить несколько центров обработки данных в немецком регионе Бранденбург.

Оставлю в заметках как я структурирую хранимые мной данные. Пришел к этому за 23 года ежедневного пользования и работы с компьютером.

Данные разделяются на 2 большие категории:

1. Публичные (то что не является секретом, что общедоступно и чем можно поделиться).

2. Приватные. То что касается только меня и не должно попасть в чужие руки.

Публичные

1. Софт (включая дистрибутивы ОС).

2. Книги.

3. Музыка.

Ранее хранил фильмы, однако сейчас все доступно онлайн, а смотрю повторно не так часто. Музыку же часто хочется слушать одну и ту же много раз. Привязываться к некому сервису не хочется, т.к. с бесплатных часто удаляют композиции, а платные отбирают ресурсы.

Приватные

1. Ключи и пароли. Используется KeePassXC и VeraCrypt с хранением в облаке и синхронизацией по девайсам.

2. Копии документов (на случай пожара и пр. - помогут быстрее восстановить).

3. Связь с социумом: контакты, сообщения. В основном все в онлайн сервисах, но так же частично есть оффлайн копии, на случай блокировки онлайн-сервиса.

4. Фото, видео из жизни.

5. Информация и исследования в Obsidian. Ранее вел в OneNote - но приобщился к более прогрессивной технологии, старые заметки постепенно переношу, когда в них возникает потребность.

6. Ресурсы, примеры кода, стоковые изображения и пр. По сути относится к п. 5, но требует много места для хранения.

7. Проекты (все что делал). С ними намного проще вспомнить, если столкнешься с чем-то подобным.

8. Задачи.

9. Бухгалтерия.

10. Бекапы систем.

11. Диски вирт. машин.

12. Инфо-мусор, который не успел разобрать. Храню по датам скидывания в архив.

Amazon Web Services инвестирует более €15 млрд в центры обработки данных в Испании. Облачное подразделение Amazon намерено значительно ускорить своё присутствие в южноевропейской стране.

В частности, компания планирует финансировать дата-центры в северо-восточном регионе Испании — Арагоне. Власти автономного сообщества сообщили, что инвестиции будут поступать в течение 10 лет.

Новый план Amazon заменил предыдущий: в 2021 году компания выделила €2,5 млрд для строительства новых ЦОД в Испании. В корпорации уверены, что до 2033 года инвестиции поспособствуют созданию 17,5 тыс. рабочих мест в испанских компаниях ежегодно.

Amazon пообещала, что полностью обеспечит свои дата-центры в Испании возобновляемой энергией.

Пользователи пожаловались на появление старых фото после обновления до iOS 17.5. Некоторые владельцы iPhone сообщают, что удалённые фотографии появляются в альбоме «Недавние». На ту же проблему жаловались и бета-тестеры.

Обычно iOS дает пользователям возможность восстановить удалённые фотографии в течение 30 дней, а потом они удаляются навсегда.

Однако пользователи пишут, что видят снимки, которые удалили «много лет назад». у одного из них фото 2016 года отображались как новое. Ещё один юзер написал, что «около 300» его старых фотографий, некоторые из которых были «компрометирующими», появились на iPad, хотя он удалил их в соответствии с рекомендациями Apple и продал устройство другу. Также описаны случаи, когда на смартфон возвращались фотографии, хотя он не синхронизировался и не использовал iCloud. 

Кроме того, один пользователь указал, что у него восстановились старые голосовые сообщения.

Как обеспечить бесперебойную работу систем и сервисов, чтобы сохранить данные даже во время аварий и катастроф? Для этих целей существует решение Disaster recovery, позволяющее сделать инфраструктуру устойчивой к катастрофам разного рода.

О том, что может привести к катастрофе и как от неё защититься, рассказывает технический директор OXYGEN Михаил Нестеров. В видео — подробный разбор угроз, логика организации Disaster recovery, обсуждение технических нюансов и ответы на каверзные вопросы. Приятного и полезного просмотра!

Этот ролик — запись доклада Михаила на митапе OXYGEN в Санкт‑Петербурге. Подробно про мероприятие можно почитать вот здесь.

А у вас есть опыт организации Disaster recovery? Как вы вообще делаете бэкапы? И какие самые необычные причины аварий встречались в вашей практике? Расскажите об этом в комментариях!

И обязательно подписывайтесь на наш канал в Telegram, там мы не только постим новости про IT, но и рассказываем про облака, дата‑центры и кибербез.

Amazon планирует вложить $148 млрд в центры обработки данных в течение следующих 15 лет, чтобы справиться со спросом на приложения с искусственным интеллектом и другие цифровые услуги. Компания стремится сохранить своё влияние на рынке облачных услуг, где ей принадлежит доля примерно вдвое больше второго игрока — Microsoft.

В 2024 году рост продаж Amazon Web Services возобновился после прошлогоднего спада, поэтому Amazon стремится обеспечить землю и электричество для своих дата-центров. Компания намерена расширить существующие ЦОДы в Северной Виргинии и Орегоне, а также построить новые в Миссисипи, Саудовской Аравии и Малайзии.

Amazon создаёт собственные ИИ-инструменты, чтобы конкурировать с ChatGPT от OpenAI, а также сотрудничает с другими компаниями для поддержки ИИ-услуг на своих серверах. В результате Amazon рассчитывает получить десятки миллиардов долларов доходов, связанных с ИИ.

Однако Amazon, Microsoft и другие компании сталкиваются с проблемой нехватки электроэнергии, а также выступлениями жителей штатов, которые жалуются на шум серверных ферм.

Скидка 20% на комплект сервисов ⚡

Managed Kubernetes, облачные базы данных и объектное хранилище S3.

Запускайте и развивайте веб-проекты любой сложности с помощью отказоустойчивых и масштабируемых сервисов Selectel. До 30 июня подключите три сервиса: Managed Kubernetes, облачные базы данных и объектное хранилище S3 — и пользуйтесь ими со скидкой 20%.

Оплачивайте Managed Kubernetes, базы данных и хранилище по модели pay-as-you-go. Скидка действует в течение всего времени, пока вы используете комплект сервисов.

Как получить скидку?

1️⃣Зарегистрируйтесь в панели управления.

2️⃣Подключите Managed Kubernetes, облачные базы данных и объектное хранилище в подходящих вам конфигурациях.

3️⃣Оставьте заявку в тикет-системе. Напишите, что участвуете в этой акции, и укажите примерную сумму, которую планируете тратить на каждый сервис

4️⃣Дождитесь ответа от поддержки и пользуйтесь сервисами с ежемесячной скидкой 20%.

Подключайте сервисы со скидкой →

С чего начать управление метаданными в облаке?

Конвейеры данных — тренд, уже обросший подходами вроде Data Mesh или Data Streaming. Метаданные в них играют особую роль: повышают качество и доступность данных, например, при поиске. Но вне зависимости от подхода, в работе с метаданными важно учесть два запроса: прозрачность/демократизация данных и безопасность.

Для управления этим балансом в Yandex Cloud появился MetaData Hub — сервис для работы с метаданными. Он позволяет реализовать в облаке популярные сценарии:

• Безопасное подключение к БД. Для защиты подключения важно позаботиться о хранении секретов и настройке прав доступа.

  С этим помогает Connection Manager: пользователи могут делиться подключением к СУБД по ссылке, без необходимости вручную указывать логины и пароли. Все секреты хранятся в секретнице Yandex Lockbox. А управление доступами реализовано на основе RBAC и обеспечивает гранулярность прав.

• Гибридная инфраструктура. В сложных сценариях клиенты могут создавать подключения из облака к сторонней базе, например, on premise, — но в этом случае вопрос безопасности ложится на администратора базы. Облегчить настройку доступа к такой БД также можно через Connection Manager, создав on‑premise‑подключение.

В ближайшее время пользователям MetaData Hub будут доступны функции Schema Registry для упрощения структурирования и управления схемами данных, а также Data Catalog — для описания данных и зависимостей между ними. Сервис бесплатен и находится в стадии Preview.

Как организовать в облаке безопасное хранилище данных, запустить собственные ML-модели и системы скоростной аналитики — обсудим на Union All 

20 марта в Москве и онлайн состоится большая конференция Yandex Cloud для руководителей дата‑проектов и дата‑офисов, а также разработчиков и архитекторов баз данных.

Программа Union All будет посвящена технологиям и эффективным решениям для работы с данными: от создания корпоративных хранилищ в облаке до монетизации данных в конкретных отраслях.

Вместе с приглашёнными докладчиками мы обсудим:

• возможности работы с YandexGPT и запуск собственных ML‑моделей;

• безопасное хранение данных в облаке;

• новые возможности сервиса для визуализации данных DataLens.

Будем рады встрече уже в эту среду на площадке «Синема Парк Мосфильм» и в прямом эфире. Подробная программа и регистрация открыты на сайте Union All.

Как превратить блочное хранилище в объектное — тема доклада на IT-конференции GoCloud про облака 📝

Всем привет! Продолжаем знакомить с программой конференции GoCloud про облака.

📌 Тема: Cloud.ru Evolution Object Storage: как превратить блочное хранилище в объектное

📅 Когда: 21 марта в 14:40 мск

Если вам интересны вопросы масштабирования, версионирования и консистентности в понимании протокола S3 — приходите послушать доклад. Расскажем о том, как написали свое объектное хранилище, какие подходы рассматривали и с какими проблемами столкнулись.

👉 Зарегистрироваться на GoCloud

Что еще интересного есть в блоге:

• Как разработать и запустить приложения с помощью сервисов Cloud.ru Evolution Container Apps

• Технические лидеры «‎Гринатома»‎, «‎Магнита»‎ и «‎М.Видео»‎ поделятся экспертизой 21 марта на IT-конференции GoCloud

• Бесплатный курс по работе с облачными сервисами: осваивайте облака на платформе Cloud.ru Advanced

Интересно, можно ли «здесь и сейчас» имеющимися УФ-лазерами что-то писать на кварцевые диски (с распределённой по объёму взвесью мелкодисперсного технического серебра, если я не ошибаюсь), добившись для начала хотя бы одного-двух гигов за коммерчески доступные деньги — а потом уже покушаться на фемтосекундники и безумные терабайты, как обещает нам не первый год «а-воз-и-ныне-там-5D-запись»?

Кварц дёшев, практически вечен, техническое серебро стоит копейки и количество его там смешное, если не потребуется какая-то ультра-полировка поверхностей и не намудрят каких-то абсурдных параметров (хотя бы тех же габаритов — форм-фактор чуть толще дискеты идеален и от косого взгляда оно уже не переломится) — взлетит как миленькое. Ещё можно контакты на «дискете» сделать и добавить флэшку там же, чтобы не кидаться по всем ящикам «а где у меня темпы и конфиги от этого дистра, блин?», а «прожигать» уже, так сказать, «устаканившиеся» бэкапы. А ещё лучше — гнездо в уголке под оную, чтобы менять её по мере износа.

Короче, не революция, а эволюция. Начинать понемногу, а там ведь, как те же дискеты, от килобайт до мегабайт пройти, то есть от гигабайт до терабайт в нашем случае… и не забыть аппаратную защиту от записи, которая просто выключателем выключает «писательную» мощность. Экологическая ниша долгосрочного хранения данных простых юзеров (той их части, которая об облака уже обожглась больно) — специфическая и требует многих таких вещей не забывать.

Когда строишь потоки обработки в Apache Nifi в основном требуется результат записать в базу данных. Бывают случаи, когда запись в целевую таблицу не проходит по причине несоответствия данных в записи и полей в таблице. Это возникает в случае, если на источнике размер поля увеличился, либо изменился порядок знаков после занятой, либо вы ожидаете "uniqueidentifier" а приходит пустая строка.

Ситуаций много, а решение обычно одно - локализовать ошибку, найти поле, которое не соответствует S2T, внести корректировки в таблицы, либо дополнить трасформации. В случае, если полей в записи две три, понять причину не сложно. Когда же их много приходится тратить время на разбор записи по отдельным полям и проверку каждого потенциального источника ошибки.

Для этого предлагаю скрипт для ScriptedTransformRecord, позволяющий разобрать запись на массив записей, каждая из которых содержит только одно значение, остальные проставляются "null".

results = []

fields = record.getRawFieldNames()
schema = record.getSchema()
fields.each{key -> {
    log.debug("Got key: ${key}")
    nMap = new java.util.HashMap<String, Object>()
    log.debug("create map")
    nMap.put(key,record.getValue(key))
    log.debug("Put to map value")
    newrecord = new org.apache.nifi.serialization.record.MapRecord(schema, nMap)
    log.debug("Сreate new record with field ${key}")
    results.add(newrecord)
}}

results

Полезные ссылки:

• Сообщество Apache Nifi в Телеграм

• Репозиторий с основными скриптами сообщества