Обновить

Все потоки

Сначала показывать
Период

Открываем доступ по запросу к Yandex Managed Service for Sharded PostgreSQL — сервису на базе технологии SPQR для горизонтального масштабирования PostgreSQL

PostgreSQL по умолчанию не имеет нативной поддержки горизонтального масштабирования — и это вызывает сложности при достижении пределов единственного экземпляра Postgres. В качестве решения часто используют разделение таблиц по ключам и установку рядом с приложением координатора, который знает, на какой шард направить запрос. 

Однако у такого подхода множество недостатков: сложность миграций, проблемы с масштабированием метаданных и балансировкой и не только. 

Сегодня мы открываем доступ по запросу к управляемому сервису Yandex Managed Service for Sharded PostgreSQL. Новый инструмент создан на базе SPQR (Stateless Postgres Query Router) — это опенсорс‑решение для горизонтального масштабирования PostgreSQL, которое разработано инженерами из команды платформы данных Yandex Cloud и оптимизировано под OLTP‑нагрузки и плавные миграции. 

Управляемый сервис на основе SPQR позволит клиентам облачной платформы Yandex Cloud ускорить обработку миллионов транзакций: так, с Sharded PostgreSQL банки и компании из сферы электронной коммерции могут запускать новые ИТ‑продукты в 3–4 раза быстрее. Надёжность технологии шардированного PostgreSQL проверена на проектах Яндекса.

Подробная история о том, что стало отправной точкой для создания SPQR, какие задачи он помогает решать, на чём основано решение и что помогает ему быть довольно простым в эксплуатации — в статье разработчика команды Managed Sharded Postgres Дениса Волкова на Хабре.

Команда активно развивает технологии PostgreSQL: каждый год в релиз базы данных попадает множество доработок от контрибьюторов из Yandex Cloud:

Инкрементальное улучшение любой популярной технологии зачастую имеет негативные последствия. Построить что‑то новое, ничего не сломав, бывает трудно и в чистом поле, а ядро PostgreSQL в этом смысле — лабиринт с граблями.


Но большинство незавершённых проектов создают инфраструктуру для того, чтобы какие‑то другие проекты могли завершиться и причинить пользу.

Андрей Бородин, руководитель команды разработки СУБД с открытым исходным кодом Yandex Cloud, Major Contributor PostgreSQL

Читайте статью Андрея о том, как не получилось сделать PostgreSQL лучше (и почему это нормально)

Теги:
+8
Комментарии0

Не надо делать по красоте. Надо делать MVP.

Никто так говорить, кроме менеджеров, не любит. А я вдруг внезапно полюбил такой подход в работе. Стал бить себя по рукам и делать дешево.

Оказывается, мозгу легче уйти в кроличью нору, чем просто делать задачу. Через час потной работы начинаешь зарываться в тонны документации, смотреть примеры кода на форумах или в репах на работе, переписывать свои модули по десять раз. Ощущение, будто стек собираешь, и он никак не схлопнется. Это обычная прокрастинация через усложнение.

MVP-подход тут мне стал очень помогать на моем, локальном уровне. Суть очень простая: делаю минимум и быстро. А потом добавляю на кости мяса. Надо сделать сохранение строк файла в БД? Пока сделаю построчно и поставлю # TODO. Потом сделаю батчем. Нужна отправка сотен объектов из БД в API? Пока тоже построчно. Нужна еще одна очередь Redis для этапа в обработке файла — потом. Пока и с одной очередью и воркером справимся.

MVP-подход требует некоей выдержки, особенно на пет-проектах. Код пишешь ты сам с собой. Выступаешь внутренним критиком и, зачастую, самым строгим. Но делать все дешево и сердито стало помогать мне лично держать фокус на цели: дать максимум ценности за минимум усилий. И при этом не сгореть от объема, быть в тонусе.

Риски, конечно тоже есть. У TODO нет хозяев, кроме нас. Дешевое Г становится иногда продом. Техдолг это вообще бесконечная тема и, пожалуй, не для этого поста. Пост про эффективность.

MVP-промтинг работает и с нейронками таким же образом. Берем чистый контекст, делаем простой прототип. А дальше по кускам его обтесываем, заменяем, улучшаем. Может, у нас есть с ними что-то общее?

У каждого человека есть свое определение голого минимума. Поэтому примеры выше могут кому-то показаться тривиальными. Очевидно, и сам подход не для всех. Но мне лично он развязал немного руки и помог выдохнуть на одной из недавних душных задач. Может быть такой ход мысли поможет и вам.

Теги:
+5
Комментарии4

Открытый скрипт для браузера IKEA 3D Model Downloader добавляет на сайте IKEA кнопку «Download 3D» на страницы товаров. Проект позволяет скачать файл с точной 3D-моделью дивана, стола или шкафа. Очень удобно для планирования ремонта. Можно закинуть мебель в 3D-планировщик квартиры, посмотреть, как она встанет по размерам, прикинуть цвета и сочетания, а не покупать вслепую «по картинке» Работает на всех версиях сайта IKEA и с новой версией тоже. По сути — примерка мебели у себя дома, только в цифре.

Теги:
+3
Комментарии2

Web3, блокчейн и геймификация — в новом выпуске ПВЗ

ПВЗ — Почти Всё Знают — наш подкаст о технологиях, которые проникают во все сферы жизни. Его ведут эксперты Ozon Tech: Марина Самойлова, руководитель направления платформы данных, и Виктор Корейша, руководитель направления Managed Services.

Гость нового выпуска — Алексей Авдеев, CTO Mish Design. Алексей объяснил сущность Web3, причины, по которым эта версия не прижилась и потенциал, который может привести к синтезу технологий блокчейна и ИИ.

Также в выпуске: идеология децентрализованных соцсетей, решение скоростных проблем при репликации, уязвимости блокчейнов и тренды геймификации.

Смотрите и слушайте подкаст на любой удобной платформе:

🎞️ YouTube
🎞️ VK Видео
🎧 Аудиоплощадки

Теги:
+2
Комментарии0

Где бесплатно учиться веб-разработке?

Многие боятся пробовать что-то новое, потому что опасаются потратить деньги на обучение впустую, хотя курсы сейчас — отличный способ сменить работу или получить полезный навык.

Хорошая новость: получить полезные навыки можно без рисков и вложений. На Хабр Карьере есть множество бесплатных и полезных курсов.

Присмотритесь к веб-разработке:

Frontend-разработка. HTML, CSS, JavaScript.

Backend-разработка. Python, Node.js, SQL

Fullstack-разработка. JavaScript, React, Node.js

→ Иногда лучший старт — просто начать из любопытства.

Теги:
+2
Комментарии0

Электронные таблицы

Первая компания, где я работал, производила программное обеспечение и доставляла его на компакт-дисках. Курьеры-студенты периодически приезжали в офис, чтобы сдать выручку и получить очередную пачку дисков. Учёт велся в большом бумажном журнале. Постоянно возникала путаница: кто из курьеров сколько дисков взял и сколько денег должен.

Посмотрел я на это дело, открыл Эксель и набросал пару таблиц: журнал выдачи дисков и журнал расчётов. Получился инструмент, который сам считает, сколько дисков и денег на руках у каждого курьера. Задача была несложной, т.к. ещё в старших классах я где-то нашёл учебник по Экселю и прочёл от корки до корки. В итоге электронная таблица заменила бумажный журнал, а я прослыл в офисе главным автоматизатором.

Прошло четыре года, я уже пару лет как работал в другой компании. Раздаётся звонок. «Азат Лаисович, ваша таблица распухла и начала тормозить, можете помочь?» Я не поверил своим ушам. Они до сих пор её используют! Объяснил бывшим коллегам, как удалить исторические данные, таблица снова начала летать.

Умение пользоваться электронными таблицами — один из важнейших навыков. В личной жизни Эксель помогает настроить учёт коммуналки, запланировать путешествие и составить смету свадьбы. Стартапу или малому бизнесу электронные таблицы могут заменить дорогостоящие CRM и ERP. В большой компании Эксель позволяет выгрузить данные из сложной системы и быстро составить необходимый отчёт для аудита.

К сожалению, большинство людей осваивает Эксель методом тыка и продвигаются не дальше красивого раскрашивания ячеек. Хотите за пять минут делать работу, на которую ваши коллеги тратят часы — найдите учебник или курс по электронным таблицам.

Теги:
+2
Комментарии0

На российских маркетплейсах начали продавать игры на флешках — селлеры просто качают тайтлы с торрентов, подгружают на флешки и продают по 1300 рублей за штуку.

Теги:
+1
Комментарии3

Мы достигли точки сингулярности в распознавании ИИ-видео. Теперь люди не лучше подбрасывания монетки распознают видео, созданные искусственным интеллектом.

Самое печальное, что мы теперь даже хуже монетки распознаем ИИ-видео с людьми (говорящие головы), лишь в 46,6% случаев. Это именно те пропагандистские видео, которые вы наблюдаете в своей ленте фейсбук. Для сравнения, точность определения фейков среди пейзажей составляет 54,7%, среди нечеловеческих животных - 51,7%.

Мультимодальность, то бишь видео в сочетании со звуком, немного увеличивает распознаваемость ИИ-видео, но только в случае, если этим звуком является речь на языке, которым респондент свободно владеет. Осведомленность о существовании ИИ-видео никак не влияет на результат, в отличие от возраста. Пожилые люди менее точны в идентификации синтетических медиа, чем молодые, по всем типам медиа.

Данные из исследования: Di Cooke, Abigail Edwards, Sophia Barkoff, Kathryn Kelly. As Good As A Coin Toss: Human detection of AI-generated images, videos, audio, and audiovisual stimuli. DOI: 10.48550/arXiv.2403.16760

Источник: https://www.facebook.com/4everscience

Теги:
+1
Комментарии4

Что нужно знать про Unicode.

Большая часть сложностей с кодировками ушла в прошлое. Сейчас у нас есть Unicode. Он признаётся как универсальный стандарт всеми современными ОС.

Да, сейчас не нужно часто думать про то, какая кодовая страница будет использоваться, какие локали нужно совместить и т.д.

Проблема только в том, что Unicode имеет несколько актуальных видов, которыми он может быть закодирован. И всё же, жизнь стала значительно проще.

Тематику Unicode затронул Джоэл Спольски ещё в далёком 2003 году, но она актуальна и на сегодняшний день.

Его статью можно часто встретить как стартовую рекомендацию, когда речь заходит о Unicode. И к этой рекомендации я могу только присоединиться.

Статья не просто имеет место быть, но обязательна для ознакомления, если Вы работаете с текстом на уровне байт.

Статья на сайте Джоэла Спольски: https://www.joelonsoftware.com/2003/10/08/the-absolute-minimum-every-software-developer-absolutely-positively-must-know-about-unicode-and-character-sets-no-excuses/

Теги:
+1
Комментарии1