Как стать автором
Поиск
Написать публикацию
Обновить
209.81

Хранение данных *

Что имеем, то храним

Сначала показывать
Порог рейтинга

Новых нервных клеток мы вам подарить не можем, но интересную подборку подкастов — всегда пожалуйста!

Слушайте, лайкайте, сохраняйте :)

Путь от отклика до оффера: советы рекрутера
В подкасте рекрутер КОРУСа Ксюша Державина рассказала, какие специалисты сейчас востребованы, где искать вакансии, как проходить собеседования, а еще поделились несколькими рекрутерскими секретами :)

Из инженера судостроения в дата-инженера за полгода
Паша Хлопотин, дата-инженером Департамента аналитических решений (ДАР), рассказал о том, как решиться сменить профессию в 32 года и что для этого нужно.

Про DWH, карьерное развитие и работу в разных форматах
В подкасте с Сашей Зеньковичем, руководителем направления DWH&ML ДАРа, говорим про работу с Data Warehouse в разных форматах — in-house и в консалтинге и подробно рассказываем про плюсы и минусы каждого.

Как эффективно взаимодействовать с заказчиком
Как эффективно взаимодействовать с заказчиком и командами проекта обсудили с Димой Смирновым, директором по консалтингу департамента CRM и BPM, и Таней Веселовой, руководителем направления ELMA. Как работает индивидуальный подход, как его найти, и есть ли какие-то универсальные инструменты для выстраивания отношений на проекте. Дима рассказал про то, как это работает в командах продаж, а Таня — в командах производства.

Про личные и профессиональные кризисы и их преодоление
Очень честный и даже личный подкаст с Мариной Кузнецовой, руководителем направления в Департаменте EPM, про то, как справляться с кризисными ситуациями на работе и в жизни.

Продажи в ИТ: ожидание vs реальность
В этом выпуске подкаста Talk it Easy поговорили с Алексеем Кучиным, директором по развитию бизнеса департамента бизнес-планирования. Обсудили, как прийти в продажи, почему ожидания часто не совпадают с реальностью и как преодолеть кризисы на разных этапах развития.

Вопросы, которые вы хотели, но стеснялись задать
Задаем глупые вопросы Альфии Селезеневой, инженеру третьей линии поддержки и узнаем, как устроена работа техподдержки, как происходит процесс работы над заявками и кому подойдет работа в этой сфере.

Ну и отдельно про наш видкаст!
Развитие: взгляд эксперта и руководителя
Сразу два эксперта из Департамента 1С КОРУСа на личном опыте расскажут о том, как угнаться за постоянно меняющейся ИТ-сферой и как всегда оставаться востребованным специалистом. Евгений Бородин руководитель проектов, и Анна Аджемян, консультант, рассказывают о факапах, страхах, о том, как можно много стараться и не достичь цели и как не опускать при этом руки.
К вопросу развития коллеги подходят с разных сторон. Женя – РП, ему важно не только развивать себя, но и помогать в этом своим коллегам. Аня – консультант, в самом начале карьеры ей пришлось переучиваться на работу с новой системой из-за ухода вендора.

Теги:
Всего голосов 1: ↑1 и ↓0+1
Комментарии0

Представляем YDB DWH компонент для аналитической обработки данных в СУБД Яндекса

В YDB появилась новая функциональность: теперь СУБД Яндекса поддерживает работу со сложными аналитическими запросами (OLAP). Благодаря этому компании смогут не только хранить и обрабатывать в YDB сотни терабайт транзакционных данных, но и выполнять над этими данными запросы и создавать системы для поддержки принятия решений — корпоративные хранилища данных.

Система горизонтально масштабируется за счёт шардирования — автоматического партиционирования по объёму и нагрузке, — а также обеспечивает быстрое выполнение запросов благодаря массивно‑параллельной архитектуре (МРР).

Аналитическая функциональность компонента YDB DWH включает колоночные таблицы с консистентным хранением данных и управление смешанной нагрузкой. В платформу СУБД Яндекса также входит движок выполнения запросов со спиллингом данных на диск, стоимостный оптимизатор, федеративные SQL‑запросы к внешним источникам данных (S3, PostgreSQL, Greenplum, Oracle, Microsoft SQL), что позволяет создавать корпоративные хранилища данных. В планах реализация поддержки SQL-диалекта PostgreSQL для интеграции как в OLAP‑, так и в OLTP‑сценарии.

Платформа распространяется по коммерческой лицензии. Её можно и установить в собственной инфраструктуре (on‑premise), и использовать как управляемый сервис в Yandex Cloud.

Теги:
Всего голосов 5: ↑5 и ↓0+5
Комментарии5

Проверьте точность ваших вычислений 🧮

Привет, Хабр! Мы продолжаем рубрику для тех, кто хочет поразмять мозги. На этот раз предлагаем вам решить задачу посложнее: 

Как нам поведал Дуглас Адамс в «Путеводитель для путешествующих автостопом по галактике», «сверхразумная раса существ создала компьютер Думатель (Deep Thought) — второй по производительности за всё существование времени и вселенной, — чтобы найти окончательный ответ на величайший вопрос жизни, вселенной и всего такого. После семи с половиной миллионов лет вычислений Думатель выдал ответ: «Сорок два».

Оцените накопленное количество ошибок вычислений ответа «Сорок два» под воздействием космической радиации при следующих условиях:

  • Сверхразумная раса – Земляне;

  • Думатель находится на орбите Плутона;

  • размер Думателя 1 * 1 * 1 км;

  • Думатель сделан из водяного льда;

Каждая молекула является вычислительной ячейкой, которая может поменять свое состояние.

Каждая частица галактического излучения, попавшая в Думатель, приводит к изменению состояния вычислительной ячейки (одной ошибке) с вероятностью 100%.

Варианты ответов оставляйте в комментариях 👇 В пятницу Павел Бузин (@pbuzin) — эксперт Cloud.ru по AI и машинному обучению, раскроет правильный ответ под этим постом.

И оставляйте реакции — как вам в целом такой формат, хотите еще задач в будущем?

Вам может быть интересно:

Теги:
Всего голосов 1: ↑1 и ↓0+1
Комментарии10

Тестирование систем и движков массивно-параллельных вычиcлений

Все о подходах к тестированию, которые использует команда Data Sapience, и результатах сравнения движков и систем — в партнерском материале технического идеолога Lakehouse-платформы данных Data Ocean Nova. В центре внимания — гонка зайца Trino и антилопы Impala.

Гонка зайца Trino и антилопы Impala
Гонка зайца Trino и антилопы Impala

Теги:
Всего голосов 1: ↑1 и ↓0+1
Комментарии0

Практический курс по работе с объектным хранилищем

В новом бесплатном курсе рассказываем, что такое S3 и как применить его в своих проектах. Вас ждет 10 материалов, изучение которых займет чуть менее трех часов.

В рамках курса вы научитесь:

  • использовать хранилище в Kubernetes,

  • подключаться к нему из платформы для дата-аналитики,

  • интегрировать хранилище с Tilda,

  • сохранять бэкапы, в том числе игровых серверов,

  • монтировать контейнеры S3 в Windows и Linux.

Переходите в Академию Selectel и изучайте курс.

Теги:
Всего голосов 4: ↑4 и ↓0+7
Комментарии0

Добавили в панель мониторинг дополнительных метрик для пяти СУБД.

Для MongoDB отображаем количество операций с данными, открытые или доступные соединения. В OpenSearch теперь можно отслеживать задержку и скорость индексации/поиска, в ClickHouse — операции вставки и поиска.

И, наконец, в RabbitMQ выводим на графики количество созданных каналов и активных соединений, а также общее состояние сообщений. А для Kafka пропускную способность и скорость запросов.

Все данные собираем через VictoriaMetrics.

Помониторить свои базы → 

Теги:
Всего голосов 8: ↑8 и ↓0+11
Комментарии1

Возможности аппаратного ускорения сети облака OpenStack — доклад на IT-конференции GoCloud Tech ⚙️

Поговорим об облачной сети на примере OpenStack и о том, как к ней могут подключаться виртуальные нагрузки. Расскажем, как выявить узкие места при передаче данных в облаке. Подробно рассмотрим технологию аппаратного ускорения сети ASAP2 от NVIDIA Mellanox. А еще разберем результаты тестов, которые мы получили, и преимущества и недостатки этой технологии.

🕚 Когда: 24 октября с 18:05 до 18:30

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

Полезное в блоге:

Теги:
Всего голосов 1: ↑1 и ↓0+3
Комментарии0

Как мы сделали высокоскоростной RPC с помощью RDMA для собственного SDS — доклад на IT-конференции GoCloud Tech 🦾

На конференции GoCloud Tech расскажем, почему выбрали RDMA RoCE v2 — программный блок для потоковой передачи данных. Посмотрим на внутреннее устройство транспорта с позиции разработчика. Покажем, как изменилась производительность RPC между сервисами SDS. Обсудим недостатки и перспективы решения.

Приходите послушать доклад и обсудить тему в неформальной обстановке.

🕚 Когда: 24 октября с 17:40 до 18:05

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

Полезное в блоге:

Теги:
Всего голосов 1: ↑1 и ↓0+3
Комментарии0

Как мы уворачивались от граблей, пока строили DBaaS — расскажем на IT-конференции GoCloud Tech ☁️

Приходите на конференцию GoCloud Tech, и вы узнаете про плюсы, минусы и особенности нашего решения — Database as a Service (DBaaS) поверх Kubernetes, а также про особенности, которые мы заметили при работе операторов Kubernetes на различных сервисах. Вместе обсудим основные проблемы интеграции DBaaS и Serverless, сложности при работе с Dedicated-кластерами и преимущества концепции Shared-кластеров.

🕚 Когда: 24 октября с 19:05 до 19:30

📍 Где: онлайн и офлайн в Москве в лофт-пространстве Goelro

👉 Зарегистрироваться на GoCloud Tech

Полезное в блоге:

Теги:
Всего голосов 1: ↑1 и ↓0+3
Комментарии0

Data Ocean Nova. Next-gen платформа данных класса Lakehouse.

Что такое Data Ocean Nova? Ответ — в партнерском материале технического идеолога платформы. Вы узнаете об архитектуре, системе хранения данных, возможностях управления ресурсами и других особенностях решения, благодаря которым Data Ocean Nova стала одним из технологических лидеров рынка больших данных.

Читайте по ссылке

Data Lakehouse (Gemeni AI Generated)
Data Lakehouse (Gemeni AI Generated)

Теги:
Всего голосов 3: ↑3 и ↓0+5
Комментарии0

Бэкапы постоянного хранилища /data в Amvera Cloud

Есть поговорка – “Люди делятся на две категории: кто еще не делает бэкапы, и кто их уже делает”.

Но лучше не дожидаться момента, чтобы “уже делать”, а создавать их сразу. 

И в Amvera Cloud появилась такая возможность.

Если раньше мы делали бэкапы всей системы, но управлять ими могли только мы, то теперь каждый пользователь Amvera может скачать бэкапы постоянного хранилища за два последних дня. 

Единственное ограничение - пока бэкапы доступны на тарифах не ниже “Начальный Плюс”. При этом само создание и хранение бэкапов бесплатно.

Бэкапы создаются за два предыдущих дня и сохраняются в независимом ЦОД. 

Amvera - облако со встроенной возможностью развертывания через Git (или интерфейс). Приложения развертываются тремя командами в IDE через git push amvera master, что намного проще настройки VPS. Дополнительно предоставляются managed СУБД, встроенные бесплатные бэкапы, домены с ssl и другие сервисы.

Теги:
Всего голосов 2: ↑2 и ↓0+4
Комментарии0

В прошлом посте мы рассказали о нашем ПО Capsule для считывания, анализа и записи физиологических сигналов мозга и тела. Сегодня — про особенности интерфейса и API Neiry, которые нас радуют больше всего.

Capsule ориентирован на широкий круг пользователей. Научные коллективы могут использовать сырые потоковые или записанные мультимодальные данные для исследований. Те, кто не обладает глубокими знаниями в нейрофизиологии и смежных областях, запросто интегрируют готовые метрики на основе ЭЭГ и ФПГ в продукты. 

Мы храним необработанные мультимодальные данные в формате HDF5. С готовыми метриками можно работать в понятном для продукта виде. Когнитивная нагрузка со шкалой от 0 до 100 — пожалуйста, уровень усталости или расслабления в виде численного значения — запросто.

Нужно проверить гипотезу или разработать алгоритм «с нуля»? Потоковые сырые данные до фильтрации вам в помощь! Не хотите возиться с фильтрацией сигнала? Нет проблем, вот те же данные напрямую с АЦП, но после применения валидированных фильтров.

На устройстве небольшое количество электродов для снятия ЭЭГ, но мы постарались разместить их максимально разумно: два в затылочной области, два в височных, а референтный электрод и датчик ФПГ — на лбу.

Подробности расскажем и покажем на хакатоне BCI Hack Moscow 20–22 сентября. С помощью Neiry Headband Pro и API Neiry соберем игру на Unity, будем управлять устройствами умного дома, техникой и устроим брейн-ралли! Возможно даже покажем «Нейробуханку». Приходите, будет интересно.

Теги:
Всего голосов 4: ↑4 и ↓0+10
Комментарии0

Yonote не справляется с нагрузкой

Недавно мы, как и многие, начали переходить с Notion, не торопились, потому что объём информации невелик, в основном, задачи. Импорт небольшого архива был в очереди двое суток. В техподдержке сказали, что нагрузка большая, импорт может быть до 3 суток. Что ж, трое суток тоже к результату не привели, импорт архива на 25 МБ так и не прошёл...

За вчерашний день заполнили сами почти всё заново, оставили неперенесёнными лишь несрочные задачи и уже готовые, документы тоже пока не стали заливать. И вот сегодня yonote с утра: Не удалось загрузить конфигурацию.

Ответ техподдержки:

Кое-кто оказался не готов. А вот Notion ещё работает. Пока ушли на Affine.

А как у вас?

Теги:
Рейтинг0
Комментарии0

Ближайшие события

Всем привет!

Вопрос - где применяется подход DDD?
Аналитика, разработка, тестирование. Конечно архитектура АС, с нее все начинается.
Но это еще не все.
Есть такой класс систем как Data Warehouse (DWH) или аналитическое хранилище данных. В это хранилище попадают данные из всех бизнес-сервисов компании для дальнейшего анализа. Т.об. мы разделяем оперативную БД и аналитическую, снимая лишнюю нагрузку с оперативной БД. Особенность Data Warehouse - технологии обработки и хранения данных отличаются от используемых в системах оперативной обработки данных. Hadoop, Greenplum, ClickHouse... А значит нужны специалисты, которые подготовят хранилище под ваши данные и настроят синхронизацию с оперативной БД. Но эти специалисты не знают ваш домен, в отличие от команды. Плюс они часто становятся "бутылочным горлышком". Плюс структура данных постоянно меняется...
Что делать?
Data Warehouse специалисты готовят инфраструктуру, а за подготовку и синхронизацию данных, актуальность их структуры и способ предоставления этих данных потребителям отвечает бизнес команда. Это же ее bounded context. Подход называется Data Mesh. Вот неплохая статья на эту тему.
P.S. На самом деле DevOps в своем идеальном виде о том же - DevOps инженеры готовят инфраструктуру, а за сборку и деплой отвечает команда.

Теги:
Всего голосов 2: ↑2 и ↓0+6
Комментарии0

Как загрузить csv-файл в базу данных. Четыре разных способа

В новой, но уже такой родной рубрике «Базировано» мы рассказываем о базовых вещах, которые должны уметь ИТ-специалисты. В этот раз системный аналитик «Технократии» Руслан Степанов рассказывает о разных способах загрузки csv-файла в базу данных.

Надеемся, что YouTube поправится, и вы сможете познакомиться с тайными знаниями аналитиков «Технократии».

Теги:
Всего голосов 2: ↑1 и ↓10
Комментарии0

Amazon построит три центра обработки данных в Австралии — компания выиграла контракт на $1,3 млрд от правительства страны, пишет Financial Times. AWS уже предоставляет услуги облачных вычислений правительствам США и Великобритании. 

Новый контракт обеспечит Австралию большими возможностями для обмена разведывательной и военной информацией, также соглашение расширит применение искусственного интеллекта для анализа данных.

Австралия — член разведывательного альянса Five Eyes, в который также входят США, Великобритания, Канада и Новая Зеландия. Министр обороны Австралии Ричард Марлес рассказал, что сделка с Amazon позволит повысить «оперативную совместимость» с США.

Три специализированных дата-центра будут финансировать за счёт существующего обязательства Австралии существенно нарастить расходы на обороны, чтобы подготовиться к вероятной эскалации в Индо-Тихоокеанском регионе на фоне роста геополитической напряжённости вокруг Тайваня.

Теги:
Всего голосов 2: ↑2 и ↓0+6
Комментарии0

Правительство Японии наконец отказалось от использования дискет в своих системах.

К середине прошлого месяца Цифровое агентство отменило все 1034 правила, регулирующие их использование, за исключением ограничения, связанного с утилизацией.

«28 июня мы выиграли войну с дискетами!» — заявил министр цифровых технологий Таро Коно, который неоднократно выступал за отказ от факсов и других аналоговых технологий.

В 2021 году власти Японии уже начали переходить от использования дискет к цифровым системам. Это произошло спустя десять лет после того, как Sony прекратила производство устаревших носителей.

В конце января 2024 года Министерство экономики, торговли и промышленности Японии отменило все требования к заявителям использовать старые дискеты при подаче официальных документов. 

Теги:
Всего голосов 3: ↑3 и ↓0+5
Комментарии0

​​Управляйте доступом к файловому хранилищу по IP 🔒

Хотите настроить ACL к файловому хранилищу по IP-адресам? Теперь вы можете разграничить доступ для IP выбранной приватной подсети как при создании, так и при работе с уже существующей файловой системой. 

Кому можно открыть доступ:

✔ всем IP-адресам приватной подсети, в которой находится хранилище,

✔ определенным IP-адресам,

✔ другим приватным подсетям.

Уровни доступа зависят от протокола файлового хранилища.

Выбирайте тип хранилища под ваш проект →

Теги:
Всего голосов 3: ↑3 и ↓0+5
Комментарии0

В РЕД ОС 8 появилась возможность формировать эталонную базу данных с помощью решения класса Data Quality. Инструмент «Гражданский фактор» от Clean Data настраивает процесс управления качеством данных внутри контура организации: обрабатывает и стандартизирует информацию о физических лицах, очищает базу от ошибок, дубликатов и неточностей.

«Гражданский фактор» обеспечивает единый процесс управления качеством данных при помощи специализированных модулей, справочников, правил и алгоритмов проверок. Интерфейсы дата‑стюарда и контролёра позволяют разбирать неоднозначные случаи в похожих записях — дубликатах.

Модули продукта оперативно анализируют данные, упрощают внедрение дашбордов, BI‑систем и решений на базе искусственного интеллекта, повышают качество оказания услуг. Ранее решение уже было подготовлено к работе с витринами НСУД.

Также пользователям РЕД ОС 28 июня стал доступен российский редактор для отрисовки схем, проведения мозгового штурма и структурирования творческого процесса Графолайт.

Теги:
Всего голосов 4: ↑4 и ↓0+8
Комментарии0

Amazon инвестирует €10 млрд в облачные технологии, логистику, исследования и разработки Германии. Порядка €8,8 млрд из этой суммы потратят к 2026 году. Средства пойдут на расширение облачной инфраструктуры Amazon Web Services в стране.

Канцлер Германии Олаф Шольц заявил, что финансирование позволит создать более 4 тыс. рабочих мест и повысит привлекательность страны для инвесторов.

Германия переживает экономический спад, вызванный высокими ценами на энергоносители и процентными ставками, а также недостаточными инвестициями из-за бюрократических сложностей, пишет Reuters.

Общая сумма запланированных инвестиций Amazon в Германию составит €17,8 млрд — компания объявила о намерении вложить €7,8 млрд в мае этого года. Эти инвестиции рассчитаны до 2040 года. К концу 2025 года Amazon обещает запустить несколько центров обработки данных в немецком регионе Бранденбург.

Теги:
Всего голосов 1: ↑1 и ↓0+3
Комментарии0

Вклад авторов