Миграция СУБД с одной технологии на другую — сложный процесс, который связан не только с конвертацией кода и переливкой данных из одной системы в другую, хотя и здесь есть неочевидные нюансы. Это часто и вопросы, связанные с совместимостью функциональности, производительностью, безопасностью данных, архитектурными особенностями новой системы и многими другими аспектами.

Меня зовут Станислав Свириденко и я DWH-разработчик AXENIX. В этой статье хочу рассказать об опыте миграции витрины данных с проприетарной СУБД Teradata на свободную СУБД GreenPlum. Поговорим о задачах, подводных камнях, на которые мы периодически натыкались, и способах решений, найденных  в процессе.

Привет техписам и всему ИТ-сообществу. На связи команда «Инферит Клаудмастер», и мы хотим рассказать вам о том, как мы организовали базу знаний о нашем продукте. Для этого мы поговорили с Миленой Балановой, техническим писателем Инферит Клаудмастер, которая в перерывах между «витанием в виртуальных облаках» и написанием документации рада поделиться инсайтами о создании базы знаний:

Когда вы в последний раз впервые смотрели на хранилище данных? Помните то чувство фрустрации, когда вы не знали, что содержат таблицы orders_final_v1? Или как отличить user_uuid от user_id? Любой специалист по данным может понять эти ощущения.

К счастью, dbt (Data Build Tool) значительно упростил задачу документирования хранилищ данных. Все, что нужно сделать, это включить описание наших таблиц и колонок в YAML-файл схемы. Затем вся информация собирается в аккуратный HTML-файл.

Данная статья это перевод с английского с некоторыми адаптациями. Перевод сделан НЕшколой для инженеров Inzhenerka.Tech совместно с автором симулятора по DWH на dbt Павлом Рословцом. Больше материала в нашем сообществе.

Продолжаем рубрику «Где нас нет» о жизни ИТ-специалистов в российских регионах. После рассказов о Дальнем Востоке, Северо-Западе, Кавказе и Урале снова переместимся на восток и узнаем, как живут и работают айтишники в Сибири.

Всем привет. Меня зовут Максим, и уже почти два года я содержу домашний сервер.

На данный момент использую его не только я. Многие сервисы находятся в публичном доступе, также я предоставляю виртуальные машины и много других чувствительных сервисов своим знакомым: дисковое хранилище, базы данных и тд. В связи с чем серьезно встает вопрос безопасности. В этой статье я расскажу про то, как я стараюсь обеспечивать безопасность в своей домашней сети.

Трехмерные модели используют сложный математический аппарат: матрицы Паули или поля из унитарных матриц. К тому же их трудно визуализировать и поэтому они довольно абстрактны. Поэтому в данной статье мы теперь рассмотрим аналогичные, но двумерные и одномерные "настольные модели", которые могут быть реализованы материально. Один из примеров более простой 2D модели — модель Скотта, её вполне можно сконструировать из доступных материалов. Другим примером является магнитный скирмион, который можно наблюдать, например, в микроскопе. Третий пример — модель Эластика Эйлера сделанная из проволоки. Используя более простые модели мы можем развить более интуитивное понимание поведения, стабильности, других сложных концепций топологических солитонов. И хотя эти модели не раскрывают все свойства своих 3D аналогов, они представляют собой более доступную отправную точку для изучения топологических солитонов и развития понимания их свойств.

Кратко: свободный рынок и частные компании могут работать хорошо. И другая модель -когда покупает гос-во за свой счет и делает тоже гос-ва. Кафедра где я учился была связанна с НИИУМС -эта такая гос-айтишка где работало в советское время 7 тыс человек и они разрабатывали ПО для куче предприятия. А вот когда закупается софт за гос счёт, а прибыль частная -ситуация уже хуже. Гос счет это может и бюджет (федеральный/муниципальный) и унитарное предприятие и даже АО полностью или большей частью подконтрольное гос-ву. Которое гос-во же принуждает закупать ПО. Но беда в том, что значительная часть этого ПО стоит неадекватно дорого. И по качеством не вполне конкурентоспособно было бы в условиях свободного рынка. Доходит даже до того, что "В ближайшей перспективе госкомпаниям могут запретить разрабатывать софт для собственных нужд, без его дальнейшей продажи, если у него уже есть аналоги на рынке. Новые ограничения готовит Минцифры, чтобы госсегмент нес свои деньги разработчикам ПО". Нездоровая ситуация, когда расходы общественные (гос-венные), а вот прибыль от продажи софта частные. Логику, гос-во возможно понять, но в условиях развитого конкурентного рынка здесь исчезает фактор который заставлял бы делать 1. Качественно 2. Закладывая в цены адекватную рентабеность. Гос-корпорации ведь не просто так ПО своё пилят. У нас на рынке, как решения, есть которые до 22 года успешно продавались зарубежом, так и "поделки" которые покупают исходя из того что вынуждены и работая с которыми ощущение возникает "это компания разработчик должна нам платить за то что мы бето тестерами выступаем. И аналитиками подрабатываем которые объясняет какой функционал бизнесу крупному требуется. И с глюками мучаемся учась их обходить " .

И неплохо было бы за гос счёт деньги тратить только при условии, если лицензии исключительные и исходники передаются в фонд гос-ва. Разработали систему для одного региона- другой уже может взять её, допилить (вендором, подрядчиком или своими силами) под свои потребности.

Статей на тему что такое git и как им пользоваться на просторах интернета не мало. Я же хочу предложить вам несколько иной взгляд на привычные вещи, а именно, на оформление веток и коммитов, рассмотреть что такое WIP-коммиты, для чего они нужны и как с помощью них можно повысить свою продуктивность и поддерживать чистоту в истории вашего репозитория, в особенности, если вы работаете в команде. Поехали.

Колесо крутится, но хомячок подписки помер. Оно просто крутится.

В начале я хотел бы сказать, что описанные в статье практики очень плохи и неправильны (с тех пор мы добавили надёжные юнит-тесты и интеграционные тесты, а также систему алертов/логирования), что их следует избегать и в первую очередь это человеческие ошибки, которые задним умом кажутся очевидными.

Описанные в статье события произошли в условиях сильного дефицита времени на очень ранних этапах работы компании (первые несколько недель). По большей мере я публикую это как забавную историю с уникальными условиями, связанными с воспроизводимостью бага в продакшене (тоже из-за нашей собственной глупости). Пожалуйста, помните об этом, читая текст.

Впервые мы включили монетизацию нашего стартапа в мае прошлого года. Мы не ожидали многого, но были приятно удивлены тем, что меньше чем за час после запуска у нас появился первый клиент. Это был волшебный момент. Мы отправили ему благодарность, произнесли всей командой тост и пошли спать, ведь на подготовку мы потратили две ночи.

Проснувшись утром, мы увидели больше сорока уведомлений Gmail с жалобами пользователей. Похоже было, что за ночь поломалось всё. Никто из пользователей не мог подписаться. И мы понятия не имели, почему.

На Хабре довольно часто пишут о развитии китайской индустрии разработки и производства чипов. Поднебесная становится всё более самостоятельной в этом отношении, а именно — в плане выпуска современных процессоров. Толчок развитию дали торговые санкции США, после чего КНР пришлось вкладывать серьёзнейшие ресурсы и прикладывать усилия для развёртывания мощной инфраструктуры и создания современного оборудования. На это обращает внимание глава Intel. Он, в частности, заявил, что дальнейшие санкции сделают Китай крайне серьёзным конкурентом для западных компаний. Подробности — под катом.

- Что вы ожидаете от Greenplum 7?
- Postgres 12!

Если бы мы проводили опрос наших заказчиков, ответ на данный вопрос прозвучал бы именно так.

Как известно, Greenplum является одним из многочисленных форков Postgres, кодовая база которого наконец-то догнала ещё пока поддерживаемую версию Postgres (отмечу, что последний релиз Postgres 12 состоится в ноябре текущего года).

Однако наличие какого-либо функционала в Postgres не гарантирует его работу в рамках распределённой системы. В этой статье я начну рассказывать о функциях, которые стали доступны в новой версии, и о том, какой путь пришлось пройти, чтобы обеспечить их работоспособность, а также о возможных ограничениях и причинах их возникновения.

9 новых российских проектов для создания ИИ-ботов в Телеграм, организации мероприятий, создания 2D MMO RPG игр и многого другого. Битва за «Продукт недели» началась!

Product Radar — здесь каждую неделю публикуются лучшие онлайн-сервисы и железки от русскоязычных команд.

Huawei остается одной из немногих компаний, которые не просто выпускают планшеты, но и охватывают практически все ценовые ниши. В ее ассортименте представлены как ультра‑бюджетные «таблетки» с минимальным набором функций, которые отлично подойдут для знакомства с этим типом устройств, так и далеко не дешевые решения для профессионального использования. В этой статье мы постарались отобрать только лучшие планшеты Huawei на любой вкус и кошелек, чтобы вы могли составить представление о текущем ассортименте сенсорных продуктов компании.

По данным ВОЗ, около 4% людей страдают тревожными расстройствами в разной форме. С недавних пор я тоже официально вошла в число этих счастливчиков, хотя с тревогой живу уже очень много лет. И если с «бытовой» тревогой ещё худо‑бедно справлялась, то с «рабочей» всё было намного сложнее: я волновалась из‑за большого количества задач и приближающихся дедлайнов, сомневалась в своих силах и знаниях, постоянно думала о том, что сделала что‑то неправильно. Ну а обычное сообщение от руководителя «Привет, надо кое‑что обсудить» в моей голове превращалось в «Привет, ты уволена».

В какой‑то момент мне это окончательно надоело, и я решила, что пора что‑то делать со своей тревожностью. Так я начала изучать эту тему, подключила терапию у психолога и консультации психотерапевта.

«Дельфин-тамагочи» от Flipper Devices Inc. не нуждается в представлении, но хайп вокруг этого хакерского мультитула уже поутих. Теперь пользователи разделились на два лагеря: одни считают Flipper Zero крутым инструментом, другие не понимают, зачем его купили.

Один из наших пентестеров и социальных инженеров согласился поделиться впечатлениями от использования этого устройства. Он честно рассказал, полезен ли Flipper для проведения тестов на проникновение, какие задачи позволяет выполнять на объектах клиентов и стоит ли устройство своих денег. Рассмотрим плюсы и минусы девайса, с которыми приходится сталкиваться в «полевых» условиях. 

Привет, меня зовут Катя Моисеева, я руководитель направления качества данных в Data Office Tele2. Мы уже рассказывали о том, как с нуля строили процессы качества данных на различных площадках (выступления можно посмотреть по ссылке).

Сейчас для нас остро встал вопрос о ресурсах нашей команды, а точнее их «резиновости» — поток входящих инцидентов растет по мере подключения новых систем к проверкам качества, а команда остается в составе 3 сотрудников. Возникает вопрос — а какая она, идеальная команда качества данных, которая сможет создать процессы с нуля, внедрить и привить культуру внутренним заказчикам, свести к минимуму риски возникновения инцидентов, а еще минимизировать затраты компании?

Под катом поделились своим опытом борьбы с хаосом из потока входящих задач и запросов от бизнеса и о маленьком роботе‑спасителе, который экономит нам ежедневно 5 часов сотрудника DQ и внедрить которого по силам каждому.

Наверняка, многие уже слышали, что новый правообладатель GreenPlum — компания Broadcom — перевела репозитории с открытым исходным кодом на GitHub в архивный статус.

Новые версии оригинального ядра, вероятнее всего, уже не будут выкладываться в публичный доступ, а начнут появляться только в коммерческой версии продукта. Это касается и 6-й, и 7-й версии.

Версии ядра, которые были выложены в open source на момент закрытия репозитория, остались под лицензией Apache 2.0, и их можно легально использовать. Но в оригинальном репозитории не осталось веток, тегов и дистрибутивов.

Мы — ГК «ГлоуБайт» — уже больше двух лет развиваем инструменты над open source GreenPlum 6 и выкладываем их в открытый доступ под лицензией Apache 2.0. Об это мы писали статью, в которой прикладывали ссылки на все наши open source репозитории.

Для сборки исходных кодов GreenPlum и дополнительных утилит мы использовали свои пайплайны и зеркала оригинального репозитория GreenPlum.

Сегодня мы решили перевести эти репозитории в открытый доступ на нашем GitLab.