Как стать автором
Обновить
85.33
ITSumma
Эксперты в производительности
Сначала показывать

Мы шутили над «опытными пользователями ПК», а ведь они вымирают

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров77K


Пока в Лас-Вегасе проводят киберспортивные турниры по Excel, где сверхлюди уверенно соревнуются в скоростном решении абсурдно сложных рабочих задач при помощи самого универсального офисного софта, весь остальной мир так же уверенно в вопросе офисных задач деградирует. Двадцать лет назад гики и энтузиасты компьютерной техники шутили, что «отбери у современного пользователя компьютерную мышь и он будет беспомощен», и в чем-то они были правы. Когда-то ненавистные многим графические операционные системы «извратили» работу за ПК, превратив ее из ввода-вывода информации с помощью клавиатуры в тыканье курсором мыши по экрану. Нелюбовь к мыши, кстати говоря, через года пронесли многие: есть огромный массив рабочих задач, где использование мыши избыточно. То, что можно было сделать за две секунды, делается мышью минуту.

Но если я скажу вам, что для того, чтобы ввести в ступор молодого пользователя сейчас, ему достаточно открыть на ПК гугл-таблицу? Или даже просто показать персональный компьютер? Отберите у молодого человека смартфон, дайте ему компьютер и наблюдайте за тем, как он впадает в отчаянье. Сейчас та самая Марьивановна из бухгалтерии на фоне людей, выросших со смартфоном в руках, кажется просто гениальным хакером. И это не брюзжание старика про «раньше было лучше». Это реальная проблема, к которой мы не просто летим на сверхзвуке, мы уже в ней по самые уши. Людей, умеющих пользоваться компьютером даже на уровне тыканья курсором мыши по иконкам все меньше и меньше, хотя вычислительной техники вокруг все больше и больше.
Читать дальше →
Всего голосов 300: ↑281 и ↓19+262
Комментарии638

Сборник советов, как упростить работу с YAML-файлами

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров12K

YAML (.yml) — популярный язык для конфигурационных файлов, широко используемый DevOps в подходе «Инфраструктура как Код» (IaC). Несмотря на то, что работать с ним бывает проще, чем с тем же JSON (особенно в контексте взаимодействия с большими объемами данных), иногда использовать его бывает трудно. В этой статье мы рассмотрим несколько советов, которые помогут упростить процесс создания и редактирования yml-файлов.

Читать далее
Всего голосов 26: ↑25 и ↓1+24
Комментарии34

Вакуумируй это: сбор и удаление мусора в базе данных Greenplum

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров1.5K

Всем привет! ITSumma на связи! Недавно — 8 февраля мы провели вебинар о мониторинге и обслуживании реляционной базы данных Greenplum. 

При всех своих достоинствах у Greenplum есть подводные камни, о которых стоит знать разработчикам и администраторам. Один из таких потенциально опасных моментов — процедура сбора и удаления мусора, её ещё называют вакуумирование, потому что она инициируется командой Vacuum. Работать с вакуумированием нужно деликатно, иначе велик риск надолго нарушить работу всей системы. Как раз о том, как этого избежать, правильно мониторить и очищать таблицы, мы и рассказывали на вебинаре.

Это статья — выжимка нашего мероприятия. Вот что вы из неё узнаете:

Читать далее
Всего голосов 6: ↑6 и ↓0+6
Комментарии0

Как проводят оценку качества данных в Airbnb

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров2.3K


Сегодня, когда объем собираемых компаниями данных растет в геометрической прогрессии, мы понимаем, что больше данных — не всегда лучше. На самом деле слишком большой объем информации, особенно если вы не можете гарантировать ее качество, может помешать компании и замедлить процесс принятия решений. Или это приведет к принятию неправильных решений.

Рост показателей Airbnb до 1,4 миллиарда гостей на конец 2022 года привел нас в точку, когда снижение качества данных стало мешать нашим специалистам по работе с этими самыми данными. Еженедельные отчеты по метрикам стало сложно предоставлять вовремя, такие базовые показатели как «Активные объявления» стали иметь целую паутину зависимостей. Для полноценной работы с данными стали требоваться значительные институциональные знания, просто чтобы преодолеть все «подводные камни» в нашем информационном потоке.

Чтобы решить эту проблему, мы внедрили процесс под кодовым названием «Мидас» (Midas), который предназначался для сертификации наших данных. Начиная с 2020 года, процесс Midas, а также работа по реорганизации наших наиболее важных моделей позволили значительно повысить качество и оперативность получения важнейших данных Airbnb. Однако достижение всех критериев качества данных требует значительных межфункциональных инвестиций в такие вещи как проектирование, разработка, проверка и поддержка необходимых информационных ассетов и документации.
Читать дальше →
Всего голосов 32: ↑30 и ↓2+28
Комментарии3

Создание сквозного конвейера MLOps с помощью Open-source инструментов

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров1.9K
MLOps с открытым исходным кодом: TL;DR
Эта статья служит целенаправленным руководством для специалистов по исследованию данных и инженеров ML, которые хотят перейти от экспериментального машинного обучения к готовым к производству конвейерам MLOps. Мы выявим ограничения традиционных систем ML и познакомим вас с основными инструментами с открытым исходным кодом, которые помогут вам создать более надежную, масштабируемую и поддерживаемую систему ML.

Среди обсуждаемых инструментов — Feast для управления функциями, MLflow для отслеживания и версионирования моделей, Seldon для развертывания моделей, Evidently для мониторинга в реальном времени и Kubeflow для оркестровки рабочих процессов.

Введение


Ландшафт машинного обучения постоянно меняется, и переход от разработки моделей к их внедрению в производство сопряжен с рядом трудностей. Хотя блокноты Jupyter и изолированные скрипты полезны для экспериментов, им часто не хватает функций, необходимых для системы производственного уровня. Эта статья призвана помочь вам справиться с этими проблемами, познакомив с концепцией MLOps и набором инструментов с открытым исходным кодом, которые могут облегчить создание готового к производству ML-конвейера.

Независимо от того, являетесь ли вы специалистом по исследованию данных, желающим перейти к производственной деятельности, или инженером ML, стремящимся оптимизировать существующие рабочие процессы, эта статья призвана дать целенаправленный обзор основных практик и инструментов MLOps.
Читать дальше →
Всего голосов 24: ↑24 и ↓0+24
Комментарии0

Переход с ETL на ELT

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров6.9K


ETL (Извлечение-Трансформация-Загрузка) и ELT (Извлечение-Загрузка-Трансформация) — два термина, которые часто используются в области дата-инжиниринга, особенно в контексте захвата и преобразования данных. Хотя эти термины часто используются как взаимозаменяемые, они относятся к немного разным концепциям и имеют различные последствия для проектирования конвейера данных.

В этом посте мы проясним определения процессов ETL и ELT, обозначим различия между ними и обсудим преимущества и недостатки, которые они предлагают инженерам и командам по работе с данными в целом. И самое главное, я опишу, как недавние изменения в формировании современных команд по работе с данными повлияли на ландшафт борьбы ETL против ELT.

Понимание Извлечения (Extract), Загрузки (Load) и Трансформации (Transform) независимо друг от друга


Главный вопрос при сравнении ETL и ELT, очевидно, последовательность выполнения шагов Извлечения, Загрузки и Трансформации в рамках данных.
Читать дальше →
Всего голосов 26: ↑24 и ↓2+22
Комментарии9

Почему OpenAI уволило Альтмана и что будет дальше с GPT

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров48K


Последние дни сеть сотрясает новость об увольнении Сэма Альтмана, руководителя коммерческого подразделения OpenAI. Спикеры наперебой упражняются в красноречии и нагоняют тумана, чтобы собирать трафик и по десять раз перепечатывать одни и те же новости под видом новых публикаций. Почему уволили Альтмана? Что за конфликты внутри OpenAI? Что происходит?

Человек, который не следил за этим увольнением с самого начала, справедливо подумает, что в рядах разработчиков произошел внутренний переворот, но на самом деле все немного проще и очевиднее, если знать один факт: OpenAI, компания-разработчик GPT, которая получила 13 млрд инвестиций только от Microsoft и которая продает подписку на ChatGPT за 20$ в месяц, формально до сих пор является частью некоммерческой организации. И из этого факта проистекают все проблемы, с которыми столкнулся Альтман. А дальше давайте разбираться вместе.
Читать дальше →
Всего голосов 120: ↑116 и ↓4+112
Комментарии281

Главные проблемы сайта, которые показывает нагрузочное тестирование

Время на прочтение9 мин
Количество просмотров3.8K

Всем привет! На связи ITSumma.За 15 лет, что мы делаем нагрузочное тестирование, у нас накопился список самых распространенных ошибок, которые совершают, когда строят и отлаживают инфраструктуру.

Ну список и список скажете вы, но в этой статье мы хотим поделиться не только самими ошибками, но и инструкциями, как их найти. Так что не будем затягивать предисловие и сразу перейдем к делу.

Читать далее
Всего голосов 17: ↑17 и ↓0+17
Комментарии0

Потоковая обработка данных: анализ альтернативных решений

Время на прочтение8 мин
Количество просмотров3.5K

Всем привет! Я Алексей Пономаревский, разработчик решений для платформ сбора и обработки больших данных.

Два года назад мы в ITSumma создали решение для потоковой обработки данных с помощью Apache Spark и базы данных Greenplum — spark-greenplum-connector. Это многофункциональный плагин для Spark, на его основе инженеры могут строить ETL-решения и анализировать данные in-memory.

Изначально мы разработали его, как часть клиентской платформы потоковой обработки данных. Но со временем он прирос одной интересной функциональностью, которая недоступна сейчас в других подобных решениях. В этой статья я хочу сделать краткое сравнение между двумя opensource-продуктами Apache Spark и Flink, а также рассказать об одной интересной особенности Spark, которую мы реализовали в коннекторе.

Читать далее
Всего голосов 23: ↑22 и ↓1+21
Комментарии2

Как мы перевезли на новый сайт 700 тысяч рецептов и 6 миллионов фото пирогов, сырников и овсяноблинов

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров3.1K


На рынке частой историей является поглощение глобальными игроками локальных интернет-сервисов и ресурсов, которые дублируют их функции. Так произошло в 2017 году и с парой «Овкусе» и Cookpad, когда последний решил зайти в русскоязычный сегмент. Тогда слияние произошло успешно: российский проект был куплен и органично влился в инфраструктуру кулинарного ресурса японского происхождения, где активно развивался все эти годы. Ровно до момента, пока головной офис не принял решение уйти из региона, полностью удалив русскоязычную часть Cookpad вместе со всем имеющимся контентом.

Сегодня мы расскажем о том, как нашей команде пришлось переносить данные целого проекта на новую платформу и с чем нам пришлось столкнуться при переезде 6 миллионов фото блюд из 700 тысяч рецептов, которые создали пользователи платформы за 15 лет.
Читать дальше →
Всего голосов 24: ↑23 и ↓1+22
Комментарии7

Как не превратить облако в денежную дыру

Время на прочтение5 мин
Количество просмотров3.5K

Если сейчас запускать проект, то другие идеи, кроме того, чтобы разместиться в облаке не приходят. Облачная инфраструктура дает много преимуществ, но есть проблема — легко не уследить за тратами, забыв про выделенные ресурсы, закупив мощности больше необходимых или используя не самые эффективные решения.

Поэтому мы хотим поделиться советами, как сократить расходы в облаке, они помогут не наступить на грабли тем, кто сейчас в облако переходит и тем, кто уже работает с облачной инфраструктурой. Рекомендации, которые приведены ниже, мы даем нашим клиентам, основываясь на большом опыте работы со множеством облачных провайдеров. Поэтому эти советы вполне можно назвать универсальными.

Читать далее
Всего голосов 27: ↑26 и ↓1+25
Комментарии5

Data больше не Big: как данные перестали быть большими и почему это полезно для бизнеса

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров11K

Большие данные мертвы. В той их части, которая характеризуется как “большие”. Так считает Джордан Тигани, инженер-основатель Google BigQuery, человек, который больше 10 лет рассказывал всем о пользе big data. Что он имеет в виду и что это значит для бизнеса? Давайте разбираться.

Читать далее
Всего голосов 41: ↑38 и ↓3+35
Комментарии8

Как перевезти интернет-магазин на Spree и RoR в облако и улучшить стабильность сайта в 4 раза?

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров2.3K

Всем привет! Меня зовут Сергей Спорышев, я директор направления DevOps-продуктов в ITSumma. В этом тексте я хочу рассказать, как задача по переносу в облако простого на первый взгляд проекта оказалась не такой уж простой и превратилась в целый квест.

Читать далее
Всего голосов 28: ↑28 и ↓0+28
Комментарии6

Переход в SRE — лучший способ сохранить работу в условиях рецессии для DevOps-инженера

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров4.3K


В ноябре прошлого года мы публиковали статью с мнением о том, что сокращения в Twitter — первая ласточка грядущего схлопывания рынка труда в IT. Тогда мнения аудитории разделились: одни соглашались с тем, что сектор вот-вот провалится в глобальную рецессию наравне с прочими сферами деятельности, другие замечали, что инженерам ничего не грозит.

Спустя пять месяцев можно подвести промежуточный итог: как это ни печально, но скептики (и мы в их числе) оказались правы. Рынок труда в IT-сегменте по всему миру начал если не схлопываться, то серьезно сжиматься.

Пока весь мир обсуждает, что отрицательный рост Sillcon Valley Bank не обрушит мировую банковскую систему и является локальной проблемой, IT-сегменту стоит все же напрячься. Напомним, еще в мае 2022 года Y Combinator рассылал своим участникам письма о том, что инвестиций в стартапы без 100% гарантий окупаемости, де-факто, больше не будет.
Читать дальше →
Всего голосов 21: ↑19 и ↓2+17
Комментарии13

Как нагрузочное тестирование помогло Fix Price переехать на собственную платформу

Время на прочтение4 мин
Количество просмотров4.4K


В IT-среде до сих пор живуч стереотип, что нагрузочное тестирование нужно исключительно, чтобы узнать максимальную пропускную способность инфраструктуры. И что нагрузочное делается либо перед масштабной акцией типа Чёрной пятницы, либо после того, как сайт всё-таки не выдержал и упал — чтобы узнать, при каком RPS это произошло.

Однако само по себе знание текущего предельного RPS не даст вам ничего. Да и смысл проводить нагрузочное тестирование ПОСЛЕ аварии, конечно, есть, но гораздо рациональнее сделать его ДО неё. Чтобы она даже не случилась. А уж когда речь идёт не просто об ожидаемой лавине трафика, а о том, что эта лавина хлынет на новую инфраструктуру… Словом, вот в меру захватывающая история о том, как нагрузочное тестирование помогло одному из крупнейших ритейлеров, компании Fix Price, переехать без боли, пожара и бессонных ночей.

Для начала несколько слов про саму компанию. У неё почти 5,5 тысячи розничных магазинов в России и странах СНГ, так что название и логотип знакомы, без преувеличения, каждому читателю этой статьи. Но помимо оффлайновой сети есть сайт с доставкой, личным кабинетом пользователя и электронным каталогом. До недавнего момента основная нагрузка лежала на платформе Битрикс (fix-price.ru), но в 2020 году начались работы по созданию собственной платформы fix-price.com.
Читать дальше →
Всего голосов 34: ↑31 и ↓3+28
Комментарии3

Как решить техническую проблему у медицинской компании за несколько часов с перерывом на кофе

Время на прочтение5 мин
Количество просмотров3.7K


Недавно у нас случился медицинский детектив. Технико-медицинский. Почти в духе доктора Хауса. К нам обратилась компания, которая разрабатывает ПО для автоматизации процессов в медицинских учреждениях — радиологические информационные системы. В частности, софт для лучевой диагностики. Эти системы могут использовать как отдельные медицинские организации, так и целые регионы.

На одном из таких объектов, где работала система, регулярно возникали проблемы с быстродействием, особенно в часы пиковой нагрузки. При этом на других аналогичных объектах, где было установлено такое же ПО и была схожая нагрузка, этих проблем не было.

«Изначально клиент пришел с запросом на нагрузочное тестирование. Но мы предложили сначала провести аудит и починить проблемы со скоростью работы, а после уже — сделать нагрузочное (если потребуется)».
Алексей Алексеенко, главный системный администратор ITSumma.

И вот как мы ставили диагноз…
Читать дальше →
Всего голосов 24: ↑23 и ↓1+22
Комментарии14

Как мы в 3 раза снизили время, которое менеджеры тратили на рутинные задачи

Время на прочтение5 мин
Количество просмотров8K

Для бизнеса, который планирует развиваться и расти, а не извлекать сиюминутную выгоду, система аналитики практически мастхэв. Она помогает строить бизнес-планы, дает более реальное представление о том, как чувствует себя компания; с её помощью можно принимать решение, основываясь на фактах, а не на догадках. В этой статье мы рассказываем о своем опыте внедрения системы аналитики и той пользе, которую она приносит.

Началось все с того, что мы стали собирать данные из разных источников...

Читать далее
Всего голосов 24: ↑19 и ↓5+14
Комментарии11

Жизненный цикл инфраструктурной документации: документируй это от заката до рассвета

Время на прочтение5 мин
Количество просмотров4.5K


О том, что такое инфраструктурная документация и чем она полезна как аутсорсерам, так и владельцам проектов, мы писали в предыдущей статье. Теперь настало время поговорить о грустном: инфраструктурная документация не вечна… Мало того, что она в принципе изменчивая натура, так ещё и случается так, что жизненный цикл её конечен. Или нет?..

Расскажем сегодня, почему не стоит пугаться словосочетания «жизненный цикл» и может ли он действительно закончиться, или всё новое — хорошо забытое?..

Документация живёт и побеждает


Документация не бывает статичной; она всегда претерпевает изменения — обновляется, удаляется, восстанавливается или меняет структуру. Эти изменения и составляют жизненный цикл инфраструктурной документации. Его необходимо сформировать как процесс и приучать к нему сотрудников.

Итак, жизненный цикл документации состоит из нескольких этапов, которые могут варьироваться в зависимости от специфики компании и продукта. Но есть в их перечне обязательные:
Читать дальше →
Всего голосов 22: ↑21 и ↓1+20
Комментарии1

6 универсальных советов, что проверить в инфраструктуре сайта перед Чёрной пятницей

Время на прочтение4 мин
Количество просмотров913


Чёрная пятница уже началась, но ещё можно успеть проверить самое важное в проекте, чтобы не быть крайним, если вдруг что-то случится с сайтом :-)

Ведь как оно частенько бывает: отдел маркетинга\отдел продаж\коммерческий департамент или лично собственник бизнеса вроде просчитали всё перед акцией (типа Чёрной пятницы) — но сайт не выдержал нагрузки, и кто же виноват?..

Впрочем, наша задача — не разбирательствами заниматься, а помочь сделать так, чтобы этого вовсе не случилось. В этой статье мы собрали советы, которые назвали универсальными: с одной стороны, некоторые моменты довольно очевидны, с другой — про очевидное, когда всё в огне, тоже можно забыть. Ну и это всё будет полезно любому проекту, вне зависимости от профиля и масштабов бизнеса.

Итак, поехали.
Читать дальше →
Всего голосов 11: ↑11 и ↓0+11
Комментарии0

Мы на пороге IT-рецессии. Сокращения в Twitter — отражение новой действительности для всего мирового IT

Время на прочтение4 мин
Количество просмотров62K


Главный инфоповод последних недель — закрытие Илоном Маском сделки по Twitter, введение платы в 8$/mo за синюю галочку и, конечно же, массовые сокращения в компании. Новый хозяин соцсети пришел и сразу же стал разгонять сотрудников убыточного Twitter, отправив на мороз одним днем половину сотрудников социальной сети. Знакомая история? Уверены, вы о ней слышали.

Со стороны может показаться, что Маск сошел с ума и вместе с 44$ млрд за Twitter он отдал еще и половину мозга, ведь кто будет сокращать IT-специалистов, да еще так жестко? Понятно, что в числе уволенных были всякие менеджеры проектов, помощники менеджеров, ассистенты помощников, и ассистенты ассистентов, которые любят плодиться в крупных компаниях методом деления. Но и всевозможные технические специалисты тоже попали под огонь.

История с Twitter показательна, интересна и захватывает дух, но самое главное заключается в том, что она, как приманка, отвлекает наше внимание от того, что глобально происходит в американском IT-секторе, а значит, и в IT-секторе всего мира. А происходит там следующее:
Читать дальше →
Всего голосов 153: ↑118 и ↓35+83
Комментарии279
1
23 ...

Информация

Сайт
www.itsumma.ru
Дата регистрации
Дата основания
Численность
101–200 человек
Местоположение
Россия
Представитель
ITSumma