Буквально за неделю ИТ ландшафт изменился до неузнаваемости. Каждый день появляются новости об уходе или «приостановке работы» той или иной международной ИТ компании. Одномоментно кончились серверные мощности. И если кто-то прикупил с запасом (что делали достаточно редко), то тот оказался молодцом. Стиль работы надо экстренно и радикально менять. Если раньше можно было полгода играть в RFI, потом полгода в RFP, потом полгода бюджетировать, то теперь все схлопнулось до «одного дня» и не на кого возложить ответственность, вендоры исчезли.
Ситуация стабилизируется, но время стабилизации и новая конфигурация пока неизвестны. Очевидно, что новая конфигурация будет отличаться от той, что была последние лет 10-20.
В DS тематике впору вспоминать о «спецназе». Задачи никуда не делись, а только растут. При этом сроки и вычислительные ресурсы резко поджались, частично надо будет замещать решения ушедших производителей в пожарном режиме.
Все предыдущие публикации, которые касались производительности и эффективности, и чаще всего воспринимались как «любопытный анекдот», вдруг оказались весьма жизненными. Оперативная память во многих проектах вся исчерпана, процессоров больше нет и не предвидится в обозримом будущем, облака пролились дождем...
И тут вдруг оказалось, что навыки типовых специалистов «самой привлекальной профессии 21 века» очень слабо годятся для генерации эффективных решений. Уже несколько раз пришлось вспоминать материалы 2019 года «Data Science 'спецназ' собственными силами» и 2021 года «Запросить 100 серверов нельзя оптимизировать код. Ставим запятую». Да, похоже, в цифровой экономике без этого будет затруднительно в ближайшее время, проводить все время в развлекательных совещаниях толпами — вариант так себе...
Для тех, кто сейчас в раздумьях.
Экосистема R позволяет строить крайне эффективные вычислительные решения — есть повод присмотреться.
P.S. Не ожидал такой бурной реакции, отвечаю на комментарии по делу сразу. Смыл публикации следующий:
- Смысл сугубо технический — вижу, как многие уперлись с разгона в бетонную стену. Даже в своем ЦОДе нет возможности расширить виртуалки — сбросишь другого с поезда. Писать небрежный медленный код становится реальной роскошью.
- Всякий технический материал по этому вопросу я неоднократно писал — просто можно пройти по ссылкам. Наступило время вспоминать или изучать (кому как) эффективные алгоритмы и методы решения.
- Выпускники DS курсов справляются с простыми задачами иногда неплохо. Однако, для решения текущих вызовов этой квалификации сильно недостаточно. Для любителей поспорить пишу явно — не «читал где-то на заборе», а постоянно с этим сталкиваюсь на практике.
Ну и соглашусь с отдельными комментаторами. Пройти, плюнуть и пнуть, как оказалось, — милое дело. Непонятно — можно либо прочитать до конца, либо просто пройти и не ставить минусы напропалую. Это называется «культура поведения». Увы, это было ожидаемо, но не сильно беспокоит, я даже не разбирался, на что эти циферки нужны.
Предыдущая публикация — «Неравный join».
