Для многих специальностей, будь то бизнес-аналитика, Data Science или геология и геофизика, эффективная визуализация данных вошла в число принципиально важных навыков. Наглядное представление информации, понятное и эстетически привлекательное, может подтолкнуть целевую аудиторию к определенным мыслям или действиям. Хотя на Python создано несколько библиотек визуализации данных, студенты, изучающие этот язык и аналитику данных, часто начинают с Matplotlib.
Команда VK Cloud перевела руководство, как улучшить диаграммы, созданные в Matplotlib. Все показано на реальных примерах.
Недавно CEO Starburst опубликовал манифест о будущем открытого озера данных. В манифесте он говорит об Icehouse, архитектуре озера данных нового поколения на базе Trino и Iceberg. Глядя на нее, многие разработчики недоумевали: «А чем она отличается от любой другой архитектуры Data Lakehouse?». Команда VK Cloud перевела статью о концепции Icehouse. Вы поймете, почему в ней нет необходимости и почему она подходит далеко не всем, кто работает с открытыми архитектурами озера данных.
Ошибки на уровне кода — бомба замедленного действия с точки зрения безопасности. Даже небольшие факапы, дыры и «костыли» могут обернуться большой проблемой и привести к реализации различных киберугроз.
Сегодня ИИ вызывает интерес у всех, и мир DevOps на базе Kubernetes не исключение. Инструменты искусственного интеллекта вполне органично вписываются в работу разработчиков, которые, как известно, большие любители всё автоматизировать. Под влиянием хайпа вокруг ChatGPT начинают появляться и проекты для операторов Kubernetes.
Команда VK Cloud перевела статью о новых open-source-инструментах, созданных при поддержке OpenAI и ChatGPT, чтобы упростить жизнь операторам Kubernetes. Большинство из них предназначены для работы с терминалом (CLI).
Google и Microsoft представили свои уровни зрелости MLOps — они описывают развитие инфраструктуры ML на основе лучших практик в отрасли. Команда VK Cloud перевела статью, в которой описано лучшее из обоих фреймворков.
Если вы используете Kubernetes, то, наверное, уже слышали про sidecar-контейнеры. Эта концепция лежит в основе нескольких важных строительных блоков облачной экосистемы, прежде всего service mesh. При этом удивительно, что в самом Kubernetes нет собственного понятия sidecar-контейнеров — по крайней мере, не было до сих пор. Наконец-то грядут долгожданные изменения: предложение по добавлению sidecar-контейнеров (sidecar KEP) войдёт в релиз Kubernetes 1.28, и в API Kubernetes они официально появятся.
Команда VK Cloud перевела руководство по sidecar-контейнерам Kubernetes: что это такое, для чего они существуют и что изменилось в Kubernetes 1.28
Команда VK Cloud перевела серию статей о том, как data-инженер принимает вызовы технической команды по работе с платформой данных. Он рассказывает о реальных неисправностях, которые возникают в процессе работы, и о том, как команда работы с данными их устраняет.
Мы давно не рассказывали о переездах, так что исправляемся. Сегодня у нас история от одной из сотрудниц getmatch, Вики. Она переехала из России сначала в Аргентину, а потом в Парагвай, и пока вполне с комфортом там живет. Вика расскажет, почему в Парагвае самая простая натурализация и как здесь живется, что важно сделать до переезда и каково работать c семичасовой разницей во времени и в совершенно чужой стране. Передаем ей слово.
Сегодня в постоянно меняющейся сфере машинного обучения особую важность приобретает возможность управлять полным жизненным циклом моделей без особых усилий. Этот витиеватый процесс поможет упростить Open-Source-платформа MLflow.
ChatGPT стремительно захватывает весь мир. Уже сейчас у нейросети более 100 миллионов пользователей — ни у какого другого приложения не было таких темпов роста. Без сомнения, с его появлением мы будем работать по-другому.
Другие компании тоже почти не отстают от OpenAI — каждый день мы видим революционные достижения генеративного ИИ. За этими инновациями стоят не только NVIDIA, Midjourney и другие ИТ-гиганты, но и стартапы, и Open-Source-сообщество. В ближайшие годы рынок труда ждут кардинальные перемены. ИИ заменит самые разные работы, но, думаю, он же предложит нам новые очень интересные профессии.
ИИ, и в том числе ChatGPT, активно входит в нашу жизнь. Сейчас многие взрослые уже освоились с технологией, а школы решили исследовать, как использовать системы ИИ для обучения детей важному навыку — критическому мышлению. Но и в школе, и в жизни дети сталкиваются не только с чат-ботами. Искусственный интеллект проникает всюду: он рекомендует нам видео на Netflix, помогает Alexa отвечать на вопросы, управляет любимыми интерактивными фильтрами в Snapchat и способами разблокировки смартфона.
Команда VK Cloud перевела статью о том, почему детям важно знать об ИИ как можно больше и понимать принципы работы этих систем. В статье раскрывается, что важно рассказать об ИИ детям — хотя и взрослым это будет полезно.
Команда VK Cloud перевела статью, в которой автор кратко излагает основные мысли книги Джо Рейса и Мэтта Хаусли Fundamentals of Data engineering. Здесь приводится краткий конспект глав и самые важные моменты, которые полезно знать любому человеку, работающему с данными.
Команда VK Cloud перевела конспект конференции InfoQ Live со специалистами мирового класса. В этот раз на ней говорили о безопасности в Kubernetes и облачных средах. Спикеры обсудили распространенные ошибки и передовые методы обеспечения безопасности кластеров Kubernetes, поговорили о том, как начать новичкам, и об инструментах, упрощающих жизнь.
Дата-инженеры, работающие с PySpark, часто сталкиваются с задачей создать логику обработки данных. Обычно речь идет о тестировании набора классов и функций. Современные платформы данных на основе Spark подчас содержат сотни, а то и тысячи разных модульных тестов, которые помогают командам по работе с данными сохранять целостную базу кода. В ежедневные рабочие задачи дата-инженера входит создание небольших датафреймов, которые используются в модульных тестах как входные и выходные значения.
Команда VK Cloud перевела статью о правилах оформления кода в PySpark. Они не обязательны для исполнения, но помогут сделать ваш код более читабельным и удобным для последующих проверок и изменений.
Один бит меняет следующий. Фронтенд ведет диалог с бэкендом. Все в ИТ строится вокруг удостоверения, вокруг того, что с чем взаимодействует и каков результат этого взаимодействия. Команда VK Cloud перевела статью о переходе от IP к identity, или удостоверениям.
Команда VK Cloud перевела расшифровку подкаста Harvard Business Review HBR IdeaCast. В нем Сундар Пичай, генеральный директор Google и его родительской компании Alphabet, рассказывает о генеративном ИИ и других вопросах, касающихся искусственного интеллекта и развития крупных ИТ-компаний в будущем. Сделали краткую выжимку из этого подкаста и делимся с вами.
С тех пор как летом 1956 года на Дартмутском семинаре придумали термин «искусственный интеллект», эта техническая область развивалась на удивление неравномерно. С одной стороны, с ИИ связаны сотни захватывающих дух заголовков. С другой стороны, — такое сильное разочарование, что командам ИИ приходилось скрывать свою суть под другим именем, лишь бы стереть клеймо несбыточных обещаний и мизерных результатов.
Команда VK Cloud перевела статью о том, что на самом деле сейчас происходит с искусственным интеллектом: чего от него ждут, сколько он стоит и как будет развиваться в будущем.
Логирование — это критически важный аспект работы с любым приложением в Kubernetes. Оно помогает отслеживать работоспособность и эффективность приложения, быстро устранять неисправности. Команда VK Cloud перевела статью о логах и лучших приемах логирования в среде Kubernetes.
Команда VK Cloud перевела вторую статью из серии о создании ML-систем. Первую читайте по ссылке. Здесь поговорим о Data-centric ИИ, данных для обучения, разметке и очистке, синтетических данных и еще немного о Data Engineering и ETL.
