«Фарш невозможно прокрутить назад» — этой поговоркой инженеры данных могли бы объяснить, как работает классический ETL. Ошибка может случиться на любом этапе: не тот коэффициент применили, не ту валюту подставили, забыли про скидку. Но после того как исходные данные трансформированы и отчет сформирован, но иногда бывают такие ситуации, когда вернуться к первоисточнику по какой-то причину уже нельзя. 

В FinOps эта ситуация — не метафора, а суровая реальность. Данные от облачных провайдеров доступны лишь в ограниченном окне (30–90 дней), а иногда и меньше. Если вы сначала обработали их, а потом поняли, что ошиблись, может так случиться, что перезапросить исходники уже не получится. 

В этой статье мы разберем два подхода к построению процессов обработки и преобразования данных — ETL и ELT — и докажем, почему для FinOps выбор ELT — это не просто вопрос производительности, а вопрос выживания исторических данных.

Есть такая штука: чем больше компания тратит на инфраструктуру, тем меньше она понимает, куда уходят деньги. Казалось бы, парадокс. Но если посмотреть на то, как устроено управление ИТ-бюджетом в большинстве организаций, всё встаёт на свои места. Потому что считать научились, а управлять — пока нет. И проблема тут не в инструментах. Их-то как раз навалом. Проблема в том, что финансы, инженеры и бизнес до сих пор живут в параллельных реальностях и разговаривают на разных языках. А FinOps — это, по сути, попытка эти реальности склеить. Насколько успешная — вопрос открытый.

Вместе с Виталием Глушаковым мы решили разобрать, как это работает (или не работает, пусть будет сюрприз) на практике. Виталий имеет большой опыт управления и FinOps-трансформации отделов разработки и уже опубликовал свою часть на LinkedIn — «FinOps: 5 шагов к зрелости». Обязательно почитайте, там много интересного. А мы, со своей стороны, дополняем каждый тезис практическим контекстом, потому что между тем, как должно быть и как оно бывает на самом деле, иногда помещается целая пропасть.

Присоединяйтесь к нашему сообществу «Практики FinOps» в Telegram.

Знаете, что общего между щенком лабрадора и корпоративным AI-проектом? Оба сначала кажутся милыми и недорогими, а через полгода жрут столько, что хочется плакать. Только щенок хотя бы ласкается, а нейронка просто молча выставляет счет за GPU. В этой статье мы вместе с Александром Меркушевым (AI-консультант, архитектор облачных и AI решений, руководитель экспертной группы по внедрению ИИ в Яндексе) разбираемся, как AI меняет структуру инфраструктурных затрат, что с этим делать уже сейчас и, главное, поможет ли тут FinOps.

Присоединяйтесь к нашему сообществу «Практики FinOps» в Telegram.

Облако по природе своей устроено так, что деньги из него утекают как песок сквозь пальцы. Не потому что провайдеры жадные или инженеры попались безответственные. Всему виной органический рост: тут один сервис поднял новый кластер, здесь команда не выключила стейджинг после релиза, там забыли про снапшот двухлетней давности. По отдельности каждый из этих факапов – вроде не катастрофа. Но в конце месяца счета неизменно напоминают о том, что думать так — большое заблуждение. В прошлых материалах цикла мы уже разбирали типичные боли тех, кто работает с облаками, и рассматривали, почему счета растут, хотя инфраструктура не меняется. А сегодня поговорим про первый и самый важный методологии FinOps, которая должна решить эти проблемы: Inform.

Практики FinOps в Telegram| Бот

Почему начинать с оптимизации — плохая идея

Первая мысль, которая появляется, когда счет за облако в очередной раз оказывается процентов на 40 выше запланированного, — взять и что-нибудь урезать. Неважно что. Лишь бы сократить расходы. Ну, оно вроде и логично. Режем лишнее – оставляем нужное – сокращаем траты.

Вот только вся проблема в том, что без понимания структуры затрат такая оптимизация — это что угодно, только не она. Потому что так можно запросто угробить десяток-другой человекочасов на тюнинг компонента, который дает 2% от общего счета, и не заметить, что 60% уходит на базы данных, про которые никто не вспоминал с момента основания компании. Или, скажем, прибить сервис, который выглядел как заброшенный, но на самом деле держал чей-то продакшн. И ходи потом доказывай, что не верблюд.

У компаний, которые работают в облаке, каждый новый месяц начинается с сюрприза. Его преподносят счета, которые почему-то всегда оказываются процентов на 30-40 больше прогноза. И тут начинается. Финдир смотрит на тимлида. Тимлид — на команду. Команда — в логи. А в логах — тишина. Ничего же не меняли. Или меняли?

В прошлой статье мы собрали типовые сцены из жизни. Помните наших героев?

А вы тоже слышали байку о том, что облако по сравнению с онпрем-инфраструктурой получается едва ли не дешевле электричества из розетки, а PAYG – справедливее коммунизма? Нет, в целом принцип и правда выглядит очень честно: сколько заказал – столько и заплати. Как в ресторане. На практике такого, конечно, чаще всего бывает. Но чего всегда бывает в избытке – так это претензий финотдела, который кого угодно сведет с ума, допытываясь, почему растут счета. А кто бы их знал? Продакшн стабилен, метрики зеленые, архитектура давно устоялась – причин для роста как будто и нет. Но компании то и дело выходят за рамки бюджетов.

Закон Мура, который обещал нам удвоение мощности каждые два года, оказался не вечным. Прямо сейчас мы наблюдаем за тем, как покорение производителями процессоров каждого следующего нанометра стоит все дороже, а прироста дает все меньше. Из-за этого почти половина операционных расходов дата-центров уходит на оплату электроэнергии. И это притом, что земля тоже не дешевеет, а площади под строительство новых ЦОД выкупаются везде и в любом состоянии. А масштабироваться в таких условиях, сами понимаете, весьма и весьма проблематично. Но бизнесу-то это не объяснишь. Значит, надо экономить. И, по возможности, там, где это делать проще всего.

Мы давно перестали воспринимать интернет как что-то необычное. Для абсолютного большинства из нас это нечто настолько же рядовое, как электричество или водоснабжение. Но это, пока пока интернет вдруг не отключат. Совсем как горячую воду. Вот тогда-то и начинается интересное. Именно в этот момент выясняется, что вся ваша работа была возможной только потому, что возможен ОН, и, если ОН пропадет, встанет буквально весь конвейер. 

Несмотря на то что в России последние годы идет явный тренд на импортозамещение, многие компании продолжают пользоваться не только отечественными, но и зарубежными облаками. У кого‑то остались подразделения за границей, кто‑то завязан на legacy‑решения, которые дешевле оставить как есть, чем переезжать, а кому‑то просто лень. Причины у всех разные, но объединяет их одно: необходимость свести этот облачный зоопарк в понятную модель затрат, с которой будет удобно работать всем. 

Еще 3-5 лет назад у многих было полное ощущение, что облака победили. Казалось, что теперь только тарифы, all-in cloud и все такое. Но нет. В какой-то момент некоторые компании вновь начали думать о том, чтобы не выгружать все в облако, а держать у себя под боком и даже возвращать их облака на землю. В результате сложилось два противоположных лагеря, где одни вкладывают миллиарды в строительство ЦОД, а другие продолжают арендовать ресурсы и не парятся. Разница в подходах, понятное дело, не случайна.

У каждой профессии свои приколы. Врачи шутят про пациентов, программисты — про баги, эйчары – про кандидатов. Не смеются только финансисты. Потому что когда видишь забытую dev-среду, работающую три года подряд, понимаешь, что завтра придется как-то объясняться перед финдиром. Но именно из таких ситуаций и рождаются самые смешные мемы. Ведь без самоиронии в нашем деле никак.

Основной метрикой разработки является time-to-market. На него все молятся как на священную корову: считают дни до релиза, выстраивают CI/CD, внедряют DevOps. А вот про то, как быстро можно начать экономить на инфраструктуре после того, как заметили перерасход, почему-то никто не думает. Будто так и надо. Хотя спустить облачный бюджет можно едва ли не быстрее, чем в кафе на Патриках. Стало быть, если time-to-market для облаков не существует, его надо придумать.

Пусть плюнет в меня IT-директор той компании, который ни разу не задумывался о переходе в облако. Ну, а что? С одной стороны, это должно быть выгодно. Конечно, есть кое-какие вопросики к безопасности, но ведь люди пользуются – и ничего. С другой стороны, переход на облачную инфраструктуру вроде как требует пересмотреть модель бюджетирования. А так не хочется. Да и надо ли? В общем, вопросов, ответы на которые формируются на основе слухов или давно неактуальных данных, хватает. Поэтому мы собрали 10 самых распространенных мифов об облаке, чтобы выяснить, где правда, а где домыслы, не имеющие ничего общего с реальностью.

По данным рыночных исследований, только треть организаций точно знает, на что тратится их облачный бюджет. Остальные 80%+ косплеят лося, несущегося по горящему лесу — их ведет судьба. В конце месяца они получают счет за облако, но разобраться, кто и на что потратился, у них не получается. Да и как тут разобраться, если одни команды экономят и оптимизируют, другие боятся пожертвовать ресурсоемкими экспериментами, а третьи просто забывают выключить тестовые среды?

История смешная — ситуация страшная. Ведь когда компания переходит в облако, руководство ждет, что это облегчит контроль за расходами и повысит эффективность финансирования. На деле же нередко оказывается так, что инфраструктура становится, во‑первых, менее выгодной, а, во‑вторых, менее понятной. Все дело в особенностях облачной модели бюджетирования, которая сильно отличается от традиционной. Ну и дались тогда нам эти облака, возразит пытливый финдир?

Против логики, конечно, не попрешь. Но любую проблему при должном усердии можно решить, и чаще всего довольно элегантно. Так, непонятки с бюджетированием легко устраняются при помощи одного простого слова — детализация.

Прямо сейчас российская ИТ-сфера переживает довольно противоречивый период. С одной стороны, объем облачного рынка достиг 165 млрд рублей в 2024 году, прибавив за предшествующие 12 месяцев почти четверть. С другой, мы видим отчетливую тенденцию на строительство собственных дата-центров, к которой присоединяется все больше компаний, в том числе весьма крупных. Они вкладывают миллиарды в создание железной инфраструктуры. То есть фактически речь идет о двух разнонаправленных трендах, развивающихся параллельно друг другу. Вопрос только в том, кто же прав?

Несмотря на то что мы здесь говорим в основном об облачной инфраструктуре для корпораций, для рядового пользователя облако – это никакой не Kubernetes, не Terraform и даже не виртуалка в Selectel. Для большинства это интернет-приложение, куда можно слить 50 гигов фоточек, чтобы освободить память на телефоне. И пренебрегать интересами этой категории наших потенциальных читателей было бы неправильно. Так что представляем вашему вниманию топ-10 облачных сервисов, которые работают в России.

Российский бизнес активно инвестирует в облака, но по сравнению с развитыми странами этот сегмент у нас в стране пока занимает довольно скромное место. В США, к примеру, облачные сервисы уже составляют до половины корпоративных ИТ-расходов, тогда как в России их доля в разы ниже. Однако это лишь значит, что у нас в стране есть огромный потенциал для роста в данной сфере. Только за прошлый год облачный рынок в РФ вырос более чем на 36%, и это определило не только позитивный, но и негативный тренд, который заключается в неэффективном расходовании средств. Стало ясно, что техническим специалистам уже недостаточно просто разрабатывать и поддерживать системы. Теперь нужно понимать экономику каждого виртуального сервера, каждой базы данных, каждого терабайта трафика. Но как? Помогут, как всегда, метрики.

Были времена, когда переход в облако казался прямо-таки идеальным решением. Благодаря ему не нужно было покупать серверы, строить дата-центры, содержать администраторов и делать все, что так сильно нагружало штат и бюджет. Отказ от собственной инфраструктуры действительно сильно облегчал компаниям жизнь – особенно на первых порах – и ускорял запуск проектов. Но со временем затраты на облака стали серьезной статьей расходов, добавив сложностей финансовому планированию. Именно поэтому появилось такое явление как FinOps. А что это такое и с чем его едят – сейчас разберем.

Когда речь заходит о стоимости облачных ресурсов, каждый лишний рубль может стать решающим для бюджета компании. В условиях растущей неопределенности, вызванной резкими изменениями в рыночной конъюнктуре, любая организация стремится сократить издержки.

В этой статье мы разберем преимущества и риски резервного потребления (CVoS) от Yandex Cloud и подскажем, как FinOps-практики могут помочь максимально эффективно использовать этот инструмент.