Как стать автором
Обновить

Как избежать распространенных ошибок при работе с СУБД

Блог компании Selectel SQL *IT-инфраструктура *Администрирование баз данных *

В этом материале мы поговорим о практиках и ошибках при работе с разными СУБД, а также поделимся чек-листом от менеджера PaaS-продуктов Selectel Андрея Андронова.

Мы начнем с планов на проект и серверных комплектующих, пройдем через правила проектирования баз данных и доберемся до уровня доступности.
Читать дальше →
Всего голосов 50: ↑45 и ↓5 +40
Просмотры 9.4K
Комментарии 8

PostgreSQL Antipatterns: простой(?) INSERT… VALUES

Блог компании Тензор Высокая производительность *PostgreSQL *SQL *Администрирование баз данных *

Представим, что у вас есть некоторая табличка статистики, куда вы периодически скидываете таймстамп последнего "текущего" состояния в паре координат - например, (ID организации, ID сотрудника).

Как больно наступить на грабли в совсем простом, казалось бы, запросе?

Читать далее
Всего голосов 37: ↑33 и ↓4 +29
Просмотры 8.6K
Комментарии 32

2003–2023: Краткая история Big Data

Блог компании RUVDS.com Big Data *Хранилища данных *История IT Data Engineering *
Перевод
Когда, играя в ту или иную RPG, я оказываюсь в библиотеке, то обязательно перечитываю все книги на полках, чтобы лучше вникнуть во вселенную игры. Помнит кто-нибудь «Краткую историю империи» в Morrowind?

Большие данные (Big Data) и, в частности, экосистема Hadoop появились немногим более 15 лет назад и развились к сегодняшнему дню так, как мало кто мог тогда предположить.

Ещё только появившись, опенсорсный Hadoop сразу стал популярным инструментом для хранения и управления петабайтами данных. Вокруг него сформировалась обширная и яркая экосистема с сотнями проектов, и он до сих пор используется многими крупными компаниями, даже на фоне современных облачных платформ. В текущей статье я опишу все эти 15 лет1 эволюции экосистемы Hadoop, расскажу о её росте в течение последнего десятилетия, а также о последних шагах в развитии сферы больших данных за последние годы.

Так что пристегнитесь и настройтесь на путешествие во времени вглубь 20 последних лет, поскольку наша история начинается в 2003 году в маленьком городке к югу от Сан-Франциско…

Дисклеймер: изначально я планировал оформить статью логотипами упоминаемых в ней компаний и программ, но на TDS запрещено обширное использование логотипов, поэтому я решил украсить содержание случайными изображениями и справочной информацией. Весело вспоминать, где мы в те времена находились и чем занимались.

Читать дальше →
Всего голосов 36: ↑35 и ↓1 +34
Просмотры 3.9K
Комментарии 6

«PostgreSQL в кейсах» — продвинутый вебинар 28 января

Блог компании Southbridge PostgreSQL *SQL *Администрирование баз данных *Управление разработкой *


Приглашаем на вебинар «PostgreSQL в кейсах».


Уровень сложности — продвинутый, для тех, кто уже использует или обслуживает PostgreSQL.

Читать дальше →
Всего голосов 13: ↑11 и ↓2 +9
Просмотры 2.3K
Комментарии 5

18 марта: DataBase Meetup Online

Блог компании Центр Финансовых Технологий (ЦФТ) Oracle *PostgreSQL *Конференции DevOps *


В четверг, 18 марта, состоится DataBase Meetup Online – встреча для разработчиков и администраторов баз данных.

Начало в 15:00 (время МСК).

Для участия необходимо зарегистрироваться

В ответ на отправленную заявку вы получите ссылку на трансляцию и все явки-пароли.
Читать дальше →
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 565
Комментарии 0

Weekend offer в X5 для системных аналитиков

Блог компании X5 Tech Семантика *Анализ и проектирование систем *SQL *UML Design *

Приглашаем на Weekend Offer в X5 Group. Сокращаем дистанцию для системных аналитиков до двух дней: 31 июля — интервью, 2 августа — оффер.

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 1.4K
Комментарии 1

Укротителям слонов: 30 сентября пройдёт PGConf.NN

PostgreSQL *SQL *Хранение данных *

30 сентября 2021 года в Нижнем Новгороде пройдёт PGConf.NN – техническая конференция по СУБД PostgreSQL, организованная компанией Postgres Professional при активной поддержке партнера соорганизатора – ассоциации IT-компаний iCluster.

Участие бесплатное.

А что там будет?
Всего голосов 9: ↑9 и ↓0 +9
Просмотры 434
Комментарии 3

Внимание! Приглашаем программистов 1С и SQL к участию в Открытом Турнире по программированию

Спортивное программирование *SQL * *

14 октября 2021 года состоится Открытый Турнир по программированию на 1С и SQL.

Самые талантливые программисты 1С и SQL из РФ, Беларуси и Казахстана сразятся в турнире и продемонстрируют свои навыки в разработке на реальных кейсах и бизнес-задачах. А лучшие смогут получить ценные призы.

Главный критерий оценки – работоспособность и результат. Победителем станет тот, кто решит наибольшее количество заданий за наименьшие штрафные баллы.

Воспользуйтесь возможностью заявить о себе в IT-мире

Для участия в конкурсе необходимо зарегистрироваться. Регистрация открыта с 10:00

04 октября 2021 года и продлится до 12 октября 2021 года до 23:00 по московскому времени: https://automakon.ru/

Читать далее
Всего голосов 5: ↑4 и ↓1 +3
Просмотры 2K
Комментарии 4

Бесплатный курс-симулятор: введение в SQL

Блог компании Нетология SQL *Администрирование баз данных *Учебный процесс в IT Data Engineering *

С 15 октября начнётся курс Нетологии «Введение в SQL и работу с базой данных». На пяти занятиях студенты изучат реальный кейс магазина, которому нужно собрать данные, настроить быстрый поиск информации и сформировать отчёты. После каждого урока обязательна практика и домашнее задание для закрепления навыков.

Что будет на курсе →
Всего голосов 5: ↑4 и ↓1 +3
Просмотры 4.4K
Комментарии 0

Ошибка в экспоненциальной форме записи чисел в MySQL сделала клиентов AWS WAF уязвимыми для внедрения SQL

Информационная безопасность *MySQL *SQL *

Этичные хакеры из Go Secure обнаружили ошибку в MySQL, угрожающую безопасности. Из-за неё клиенты AWS Web Application Firewall (WAF) остались незащищёнными от внедрения SQL. Ещё одна исследовательская группа дополнительно подтвердила, что это влияет на безопасность, и предоставила один из способов, как исправить эту ошибку.

Читать далее
Всего голосов 25: ↑25 и ↓0 +25
Просмотры 2.3K
Комментарии 4

Яндекс Практикум запускает курс «SQL для работы с данными и аналитики»

Блог компании Яндекс Практикум PostgreSQL *SQL *Data Mining *Администрирование баз данных *
Яндекс Практикум разработал курс «SQL для работы с данными и аналитики». За полтора месяца студенты с нуля пройдут путь от новичка до уверенного пользователя SQL.

Программа предназначена для начинающих и продолжающих обучение аналитиков, продакт- и проджект-менеджеров, специалистов техподдержки, UX-исследователей и новичков, которые хотят составлять SQL-запросы и работать с СУБД, даже если у них нет опыта в базах данных и html.

Выпускники получат удостоверение о повышении квалификации.


Читать дальше →
Всего голосов 4: ↑3 и ↓1 +2
Просмотры 3.1K
Комментарии 0

SQL Camp — летняя образовательная программа Росбанка для людей с инвалидностью

Блог компании Росбанк SQL *Microsoft SQL Server *Администрирование баз данных *

Второй год подряд мы совместно с благотворительным фондом «Действуй» запускаем летнюю образовательную программу для людей с инвалидностью. В этом году – это SQL Camp.

20 июня мы открываем прием заявок на участие, cтарт обучения - 11 июля 2022 г. Подать заявку можно на сайте rosbanksqlcamp.ru до 8 июля 2022 г.

В проекте могут принять участие слушатели старше 18 лет, желающие получить или обновить свои знания SQL для развития в сфере ИТ. Участники должны иметь возможность работать с визуальным учебным материалом (скриншоты, инфографика, фото и др.).

Обучение будет в онлайн-формате в течение 4 недель. Продолжительность занятий - от 4 до 8 часов в неделю в зависимости от уровня подготовки слушателей.

В составе преподавателей – ИТ-специалисты из нашей команды и внешний эксперт, реализовавший проекты в финтехе для разных стран, автор обучающих курсов и тренингов.

Программа курса включает погружение в основы баз данных и систем управления ими, блок о типах данных и операциях с ними, слушатели смогут изучить вопросы изменения данных (DML) и разрешения конфликтов, смогут приобрести навыки выборки данных (DQL/DRL) и проч.

По окончании летней образовательной программы учащиеся получат сертификат, а лучшие студенты – подарки от нашей команды.

Обучение по летней образовательной программе SQL Camp бесплатное.

Читать далее
Рейтинг 0
Просмотры 429
Комментарии 0

Python, SQL, С и Java стали самыми популярными языками программирования в ежегодном рейтинге IEEE Spectrum

Python *Программирование *Статистика в IT

Американский журнал IEEE Spectrum опубликовал ежегодный рейтинг языков программирования. Для оценки относительной популярности разных языков рейтинг учитывает несколько показателей из разных источников, таких как GitHub, Google, Stack Overflow, Twitter и IEEE Xplore. Всего было составлено три рейтинга с упором на различные ключевые факторы. Самыми популярными языками в этих рейтингах стали Python, SQL, С и Java.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 2.7K
Комментарии 3

В рамках проекта DBOS выпустили распределённую ОС, которая работает поверх СУБД

Open source *Администрирование баз данных *Софт

Исследователи из Массачусетского технологического института, Висконсинского и Стэнфордского университетов, университета Карнеги-Меллона и компаний Google и VMware представили проект DBOS (DBMS-oriented Operating System). В рамках него развивают операционную систему для выполнения масштабируемых распределённых приложений. 

Читать далее
Всего голосов 7: ↑7 и ↓0 +7
Просмотры 1.4K
Комментарии 5

Yandex Query стал доступен для сторонних компаний

Поисковые технологии *IT-компании

Yandex Query стал доступен другим компаниям, сообщили Хабру в пресс-службе Yandex Cloud. Данная технология позволяет с помощью одного запроса одновременно обрабатывать архивные данные и данные, полученные в режиме реального времени. Yandex Query позволит компаниям упростить и ускорить весь цикл работы c большими массивами данных, а также эффективнее реагировать на аномалии в датасетах.

Читать далее
Всего голосов 7: ↑6 и ↓1 +5
Просмотры 1.7K
Комментарии 2

В свободном доступе опубликована локализованная документация к PostgreSQL 15.0

PostgreSQL *Администрирование баз данных *

Компания Postgres Pro опубликовала перевод на русский язык официальной документации к PostgreSQL 15.0. Вместе с этим компания поделилась общедоступными книгами и учебниками по работе с PostgreSQL.

Читать далее
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 3.6K
Комментарии 4

Третий митап X5 Tech по тестированию

Блог компании X5 Tech Тестирование IT-систем *API *

Всем привет! 16 ноября мы собираемся на третий митап X5 Tech по тестированию. В этот раз поговорим сразу обо всём: нагрузочное тестирование в банках, куда и зачем расти тестировщикам, автоматизация в кассовом оборудовании, а также немного посмотрим на практические приёмы работы с GraphQL. Присоединяйтесь!

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 356
Комментарии 0

FORCE INDEX {FOR ORDER BY}

MySQL *SQL *

После обновления марии до 10.9-версии FORCE INDEX перестал работать.

Как известно, оптимизатор запросов не всегда определяет верно индексы, которые нужно использовать. Это происходит ещё и потому, что оптимизатор учитывает объём доступной памяти, а она может быть занята другими выполняющимися запросами. Поэтому часто возникают "плавающие баги", когда один и тот же запрос то использует нужные индексы, то нещадно тормозит. USE INDEX в этом случае бессмысленно использовать — оптимизатор его просто игнорирует.

Почему же FORCE INDEX перестал работать? Оказывается изменился его синтаксис.

Новый синтаксис: FORCE INDEX [{FOR {JOIN|ORDER BY|GROUP BY}] ([index_list]).

Новый синтаксис предполагает, что если проиндексированный столбец находится не в WHERE, а в JOIN или ORDER BY или в GROUP BY, то это нужно указывать явно, иначе оптимизатор и не почешется.

Читать далее
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 520
Комментарии 0

Visiology 3.0 доступна в формате Concept Preview

Блог компании Visiology Высокая производительность *Визуализация данных *Хранение данных *

Компания Visiology совершила неординарный шаг и представила не одну, а сразу две версии своей BI-платформы. Visiology 3.0 Concept Preview дает заказчикам компании возможность познакомиться с обновленной платформой, которая отличается упрощенной миграцией с западных BI, еще более низким порогом входа и реализацией элементов self-service аналитики. Тем временем, Visiology 2.29 открывает для пользователей возможности разграничения прав доступа к базам данных, а также несет в себе улучшения по загрузке информации.

Читать далее
Всего голосов 6: ↑5 и ↓1 +4
Просмотры 575
Комментарии 0

Митап X5 Tech по тестированию: как это было

Блог компании X5 Tech Тестирование IT-систем *API *

Всем привет! На прошлой неделе мы провели наш третий митап по тестированию. Поговорили про нагрузочное тестирование в банковской структуре, о том, как тестируется контрольно-кассовая техника, о применении GraphQL и многом другом. Делимся материалами.

Читать далее
Рейтинг 0
Просмотры 241
Комментарии 0