Конкретика и практичность — залог успешной миграции из Confluence. Разбираем основные ошибки, которые могут осложнить процесс: от неподготовленных данных до неправильно организации миграции. Делимся советами по организации данных, выбору оптимальных решений и способам минимизации рисков утраты информации.
Всем привет! Сегодня расскажу про Confluent Kafka. Ее любят, ненавидят, но мало кто остается равнодушным.
О себе
Меня зовут Алена, я ведущий разработчик, занимаюсь развитием референсной архитектуры в компании билайн. К основным областям профессиональных интересов можно отнести проблемы распределенных систем, event sourcing и DDD.
В двух словах о Kafka
Kafka - это распределенная платформа для обработки потоков данных, которая используется для построения высоконагруженных решений и обработки данных в реальном времени. По сути, это система, которая может очень быстро и эффективно передавать ваши события. Kafka может работать как на одной машине, так и на нескольких, образующих между собой кластер и повышающих общую эффективность системы. Событием в Kafka может быть любой тип данных, для Kafka это всего лишь последовательность байт. На картинке представлены сущности, которые участвуют в процессе работы с точки зрения архитектуры.
Ранее мы уже писали о возможных способах интеграции 1С и КХД. Также мы подробно рассматривали возможность использования стандартного интерфейса OData, его преимущества и недостатки. В этой статье разберем интеграцию с использованием HTTP (REST) и Web-сервисов (SOAP).
Если ты к чему-то привык, и все кажется удобным и комфортным, при понимании, что это может закончиться в любой момент, надо выбирать, что делать дальше. Так и с решениями, которые мы уже как-то внедрили — несмотря на то, что они прекрасно показывают свою эффективность, наступают моменты, когда их приходится пересматривать, и делать это весьма оперативно.
В данном случае речь о системе с СУБД DSE — удобной, отлично адаптированной к использованию под наши задачи, распределенной СУБД NoSQL-типа на базе Apache Cassandra с пудовыми рисками прекращения лицензирования со стороны Datastax.
При этом пересаживаться на другой «стул» требуется, разумеется, бесшовно, без потерь в вопросах производительности, безопасности и эксплуатационного качества в продукте. Вопрос это для нас особо важный, так как сама система, для которой рассматривалась замена СУБД высококритичная, и требования к решению были неизменными: возможность вертикального масштабирования «на лету» для поддержки значительного увеличения объема хранимых данных, высокая производительность записи и поддержка отказоустойчивости, включая распределение СУБД в нескольких ЦОД. У нас уже был накоплен весомый багаж информации в текущей базе, поэтому сама технология СУБД требовалась сродная по типу для исключения проблемы со сложностью миграции данных.
В статье начальник группы внедрения и тестирования продуктов и услуг Nexign Анна Алешина рассказывает, почему мы выбрали Scylla и решили прокачать ее до собственной «фирменной» СУБД Nexylla. Материал будет полезен всем, кто тоже задумывается о миграции на более надежные с точки зрения лицензирования СУБД.
Имеют ли право на жизнь SAS HDD диски на 15k в современных серверных платформах?
Тестирование RAID массива из 12 SAS HDD 15k и сравнение с производительностью SATA SSD, NVMe и SAS SSD накопителей.
Системный администратор знает: управлять инфраструктурой в крупных компаниях без автоматизации — это как одной лопатой карьер выкапывать. Особенно когда дело касается маппинга томов в СХД. Однотипные действия, повторяемые десятки раз в режиме высокой концентрации, неизбежные крошечные ошибки, способные обернуться часами простоя и восстановлением данных из резервных копий (бэкап же не для слабаков?).
Звучит знакомо? Мы тоже видели такие сценарии. Поэтому, посовещавшись с коллегами, мы в итоге мы решили больше не устраивать чемпионат по спортивному конфигурированию СХД, а организовать альтернативное соревнование, но уже по экономии кликов в особо крупном размере.
Мы оптимизировали процесс работы с маппингом в виде более удобного, продуманного интерфейса, с поддержкой групповых действий, который позволит админам работать быстро, безопасно и без лишних телодвижений.
Более того, подробнее мы поговорим об этом на нашем вебинаре, который состоится 11 февраля в 15:00. Зарегистрироваться вы можете по ССЫЛКЕ.
Приветствуем вас на заключительном этапе в цикле статей о Greenplum. Ранее мы уже обсудили то, как выглядит архитектура системы. Посмотрели «под капот», подробнее обсудили виды хостов и их предназначение, узнали, как обрабатываются запросы пользователей.
Во второй статье погрузились в то, какие виды таблиц бывают, что такое дистрибьюция и партиционирование, как можно начать оптимизировать работу с таблицами ещё на этапе их создания.
Освежить память о содержании предыдущих статей можно здесь и здесь.
В данной статье мы совместно с @omoskvinрасскажем о том, что влияет на оптимальность выполнения запросов, как отслеживать различные проблемы и, конечно же, как с ними справляться.
Всем привет! Это снова мы — направление FI (Financial Intelligence) компании GlowByte. В прошлой статье мы обещали рассказать про отечественные решения класса CPM. Сегодня мы расскажем, почему, на наш взгляд, сейчас лучшее время для внедрения российского софта, а также опишем основные требования заказчиков к подобным платформам.
Мы начали с простой цели: разобраться в небольших операционных данных из нашей среды Oracle E-Business Suite (OEBS). Сначала всё казалось несложным. У нас был классический data warehouse: пакетная обработка, массовые загрузки и привычная реляционная СУБД. Но по мере того как мы углублялись в проект, казалось бы рутинная задача превратилась в исследование и эксперименты с неожиданными поворотами и поиском чего-то действительно универсального.
Под занавес ушедшего в безвременье 2024-го года внимательный читатель спросил в комментариях, что такое метрические программы (МП). Ему нужна была выдержка из закона. Ведь Роскомнадзор просит бизнес предупреждать посетителей сайтов о том, что их персональные данные (ПД) обрабатываются метрическими программами, а что такое метрические программы никто не знает.
Погружаться в бездну философских размышлений о том, почему одни реалии для нас более значимы, а другие – менее, не буду. Вместо этого предлагаю выяснить, существуют ли на самом деле метрические программы, находятся ли они сейчас в этой комнате и, если да, то как с ними работать, чтобы не попасть под штрафы Роскомнадзора.
Стек технологий безопасности для рабочих мест будет неполным без программ управления паролями для сотрудников. Почему?
Недавно решали на работе задачу миграции хранилища данных. Оно у нас одно из крупнейших в отрасли, по крайней мере, в нашей стране. Оказалось, что даже на этапе планирования всё не так просто, как кажется. Делюсь проблемами, их решениями и получившейся дорожной картой.
Привет, Хабр! Меня зовут Татьяна Сеземина. Я — директор портфеля проектов Т1 ИИ и руковожу проектами разработки и миграции больших хранилищ данных, сейчас мои проекты касаются отраслей ритейла и логистики. Каждый проект миграции длится от года до нескольких лет. Одна из моих команд столкнулась с необходимостью детального планирования длительной многолетней миграции хранилища, вплоть до каждого объекта. Расскажу, почему так произошло и как такую проблему решать.
Постоянный рост конкуренции на рынке вынуждает компании учиться глубже понимать клиентов и адаптировать свои предложения под их потребности. В решении этой задачи маркетологам, аналитикам данных и владельцам бизнеса помогают платформы клиентских данных, которые улучшают персонализацию маркетинговых кампаний и повышают эффективность взаимодействия с клиентами. Под катом мы расскажем, как платформы могут помочь в этом процессе, обсудим концепцию агрегатных атрибутов и их роль в оптимизации работы с данными о клиентах.
Редко можно встретить технологии, которые существуют более пятидесяти лет в стремительно меняющейся ИТ-индустрии. Пока одни разработки быстро теряют актуальность, базы данных продолжают играть ключевую роль. По мере увеличения объёмов данных растёт и потребность в инструментах для их обработки, управления и анализа.
Первая СУБД, основанная на иерархическом подходе, была разработана ещё в 1960-х годах. В 1970-х появились реляционные системы, которые и сегодня остаются востребованными благодаря своей универсальности и эффективности.
Сегодня обсудим, каким был путь развития СУБД.
Год назад к инженерам YADRO обратился клиент с просьбой помочь с настройкой мониторинга для СХД TATLIN.UNIFIED. Ему нужно было готовое интегрированное решение, которое бы не нагружало инженеров компании. Так появился Monitoring Appliance — приложение для мониторинга систем хранения данных, которое можно развернуть на сервере за пять минут. В статье рассказываем, как собирать с СХД все возможные данные и где могут быть подводные камни.
Привет! На связи Игорь из техподдержки THE.Hosting! Я продолжаю писать о незаезженных self-hosted приложениях, которые можно легко установить на свой виртуальный сервер. В прошлый раз я рассказывал, как поднять собственную интернет-машину времени с помощью Archive box. В этот раз речь пойдет про Slash — гитаристе группы Guns N’ Roses интересном веб-сервисе для сокращения и кастомизации ссылок.
