Привет-привет :)
В mail.ru я заглянул совсем ненадолго, понял, что мне важнее дух стартапа, и продолжил путь. Там норм, но перевести аналитику на бессерверное облачное решение вроде Snowflake там я бы не смог.
PS. В течении 2-3 месяцев выйдет еще одна статья от моей команды про нашу архитектуру. Anchor Modeling и бессерверная облачная база — далеко не единственный компонент нашего решения, который ранее в такой роли не применялся, но на удивление хорошо себя показал.
Кстати да, колоночность не является препятствием для OLTP. Она просто порождают меньшую эффективность обработки нагрузки, которую можно компенсировать железом.
В SAP Hana, и в одной из новых баз, MemSQL, насколько я знаю, применяется фокус с двойным хранением — данные хранятся дважды, в колонках, и в строках. Строчное хранение держит OLTP нагрузку, колоночное — OLAP нагрузку. Это в некотором роде передний край технологий.
Небольшое уточнение — копии в РФ с приоритетной записью, предшествующей сохранению соответствующих персональных данных за границей, для граждан РФ.
В целом, вполне реализуемо, никакого рокет-сайнса. Благо облака у нас уже и на территории страны есть :)
Статья и так огромная получилась :)… Выше супер-коммент, где разобран именно прайсинг Афины.
Это глубокая тема, если интересно, можно в привате обсудить.
Все аспекты, связанные с деньгами, страшно в публичных статьях обсуждать, можно случайно посчитать не по публичному прайсингу, а по… особым условиям.
Скажем так, для того чтобы админить то, на что хватает 2000$ в AWS, достаточно недельного курса для любого разработчика (или техдиректора? пусть пользу приносит). Главная проблема, чтобы знания как-то повторять, т.к. за месяцы неиспользования легко все забыть.
Или тот, кто планирует каждый год удваиваться.
Экономия на долгосрочном использовании сервера — это звучит реальным для компании, которая уверена, что перспектив роста на 2-3 года у нее нет никаких… По мне звучит достаточно депрессивно… И риск сгорания 1-2 серверов, замена которым будет ехать 90 дней, но бизнес подождет…
Вы прямо глубоко копнули… Мультимастер это уже высшая математика.
Я не уверен, что без DBA даже простейший мастер+пару слейвов получится восстановить после физического сгорания одной из машин… Если машины именно физические, как в посте выше. Покупка нового сервера, настройка, введение его в кластер…
Google Big Query тоже отличный пример реализации аналитической бессерверной базы :)
К сожалению, достаточно старый и дорогой, иначе у аналитических баз платформы AWS не было никаких шансов в честной конкуренции.
Кстати да, DynamoDB с on-demand прайсингом тоже вполне может рассматриваться как бессерверная, не подумал. При этом она может быть поднята и в provisioned режиме, с выделенными серверами.
Про 2020 год — я описываю уровень зрелости этих баз, а не год появления. Athena стартовала в 2016, Snowflake начал писаться в 2012, в 2015 уже мог что-то делать. В 2020 можно без страха рекомендовать ими пользоваться.
Serverless концепция как раз про то, чтобы не платить, пока нагрузки нет :)… Не все типы нагрузки так можно обрабатывать, по состоянию на 2020, но технологии не стоят на месте.
Что касается озвученных костов — т.к. 24к.$ в год… За эти деньги альтернативно можно купить… один? два сервера? + аренда ДЦ.
Не вполне понятен вопрос… 2020 год на дворе. Большинство новых компаний на американском и европейском рынке держат все свои базы в облаках.
Свои ДЦ держат только отдельные старые консервативные компании, вроде не очень крупных банков, которым нужно все переделывать для перехода на облачную инфраструктуру.
Переход в облака (оправданность) можно было обсуждать 5 лет назад, но сейчас то зачем, поезд уехал…
Космической это сколько в $ :)?
Нагрузка началась, расходы не выходят за планируемые.
Описываемые риски были актуальны 5-10 лет назад. Сейчас аргумент за выбор облаков прежде всего финансовый, если расход на команду поддержки не исключать.
Какие проблемы, и как они связаны с облачными провайдерами?
Компания, работающая в Европе и не соблюдающая GDPR, нарывается на неприятности. Работающая, живущая в AWS и соблюдающая — что ей конкурент сделает?
Вы действительно считаете, что все американские и европейские компании, живущие в AWS, имеют проблемы с GDPR, который, к слову, более строг чем 152 ФЗ?
Оно примерно так и обстоит, в контексте Aurora Serverless, только коэффициент не 10, а скорее 3. И поэтому к этой базе много вопросов.
Но по прежнему актуален вопрос — а что если запросов стало 100к? Или 0, на несколько часов?
В mail.ru я заглянул совсем ненадолго, понял, что мне важнее дух стартапа, и продолжил путь. Там норм, но перевести аналитику на бессерверное облачное решение вроде Snowflake там я бы не смог.
PS. В течении 2-3 месяцев выйдет еще одна статья от моей команды про нашу архитектуру. Anchor Modeling и бессерверная облачная база — далеко не единственный компонент нашего решения, который ранее в такой роли не применялся, но на удивление хорошо себя показал.
В SAP Hana, и в одной из новых баз, MemSQL, насколько я знаю, применяется фокус с двойным хранением — данные хранятся дважды, в колонках, и в строках. Строчное хранение держит OLTP нагрузку, колоночное — OLAP нагрузку. Это в некотором роде передний край технологий.
В целом, вполне реализуемо, никакого рокет-сайнса. Благо облака у нас уже и на территории страны есть :)
бэкендеры справляются… Последние годы в современных компаниях позиция DBA исчезает, по моим наблюдениям.
Это глубокая тема, если интересно, можно в привате обсудить.
Все аспекты, связанные с деньгами, страшно в публичных статьях обсуждать, можно случайно посчитать не по публичному прайсингу, а по… особым условиям.
Экономия на долгосрочном использовании сервера — это звучит реальным для компании, которая уверена, что перспектив роста на 2-3 года у нее нет никаких… По мне звучит достаточно депрессивно… И риск сгорания 1-2 серверов, замена которым будет ехать 90 дней, но бизнес подождет…
Я не уверен, что без DBA даже простейший мастер+пару слейвов получится восстановить после физического сгорания одной из машин… Если машины именно физические, как в посте выше. Покупка нового сервера, настройка, введение его в кластер…
К сожалению, достаточно старый и дорогой, иначе у аналитических баз платформы AWS не было никаких шансов в честной конкуренции.
Про 2020 год — я описываю уровень зрелости этих баз, а не год появления. Athena стартовала в 2016, Snowflake начал писаться в 2012, в 2015 уже мог что-то делать. В 2020 можно без страха рекомендовать ими пользоваться.
Что касается озвученных костов — т.к. 24к.$ в год… За эти деньги альтернативно можно купить… один? два сервера? + аренда ДЦ.
Свои ДЦ держат только отдельные старые консервативные компании, вроде не очень крупных банков, которым нужно все переделывать для перехода на облачную инфраструктуру.
Переход в облака (оправданность) можно было обсуждать 5 лет назад, но сейчас то зачем, поезд уехал…
Нагрузка началась, расходы не выходят за планируемые.
Описываемые риски были актуальны 5-10 лет назад. Сейчас аргумент за выбор облаков прежде всего финансовый, если расход на команду поддержки не исключать.
Компания, работающая в Европе и не соблюдающая GDPR, нарывается на неприятности. Работающая, живущая в AWS и соблюдающая — что ей конкурент сделает?
Но по прежнему актуален вопрос — а что если запросов стало 100к? Или 0, на несколько часов?