Работаю в Фантехе Яндекса
У нас есть прекрасно работающая стандартная конфигурация серверов. RAID1 для системных дисков, 2 карты по два 25Гб/с порта под сеть. Итого 100 Гб/с, которые мы научились выжимать в предыдущей заметке про iScsi (https://habr.com/ru/companies/beeline_tech/articles/821855/) под цели СУБД.
В то же время сетевое оборудование, расположенное между сервером и СХД, может значительно больше, чем 100Гб/c, как и СХД. Поэтому захотелось посмотреть, можно ли выжать на стороне сервера 200Гб/c
! Спойлер: Можно, но вы этого не захотите.
Привет, это команда МедТех ИИ и дирекции по искусственному интеллекту и цифровым продуктам билайна и врачи-учёные из Сеченовского университета. И это вторая часть нашей статьи из журнала Biomedicines про применение искусственного интеллекта в диагностике рака почки. Первую часть можно прочитать тут.
Дифференциальный диагноз почечно-клеточной карциномы
Для достоверной диагностики и наблюдения за пациентами с различными типами почечно-клеточной карциномы (ПКК) необходимо точно определить гистологический вариант опухоли. Задача представляет собой дифференцирование между основными типами рака почки. Эту проблему тоже можно решить с помощью цифровой патологии. Внедрение искусственного интеллекта в рутинную гистопатологию позволит использовать дополнительные методы анализа для определения гистологического типа рака еще до того, как патологоанатом поставит точный диагноз, что значительно ускорит диагностический процесс.
Вот уже четыре года я работаю на полной удаленке. В самом начале пути у меня, конечно, были совершенно иные мысли об организации домашнего рабочего пространства, времени и других неочевидных вещах. А о чем-то я вообще не задумывалась. В этой статье я собрала все свои ошибки и открытия воедино. Надеюсь, описанный опыт поможет входящим в удаленку избежать моих ошибок.
На хабре переодически появляются статьи про библиотеки для построение своего WYSIWYG редактора. Такая потребность появилась и в моей команде - «билайн дом», для создания новостей. В этой статье взглянем на них более общим взглядом и дополнительно разберем библиотеку LexicalJs.
Всем привет! Меня зовут Сергей Топунов, я работаю фронтенд‑разработчиком в SM Lab на внутреннем проекте по кластеризации магазинов, а в свободное время увлекаюсь ездой и сборкой необычных для нашей страны типов велосипедов — каргобайков или, как их еще называют, грузовелов или грузовых велосипедов. В этой статье я о них и расскажу.
Каргобайк — это название любых грузовых велосипедов. Неважно, какая конфигурация у рамы, грузовой площадки или багажника, сколько колес, есть ли мотор или нет. Такие велосипеды популярны в разных странах мира. Самые известные страны — это, конечно же, Дания и Нидерланды, но сейчас такие велосипеды можно встретить и на постсоветском пространстве, например, в Латвии или Эстонии, в Южной Америке, в США, Западной и Восточной Европе и т. д. По всему миру. Возможно, распространение зависит от степени развития велоинфраструктуры.
Читали книгу «Вредные советы» Остера? Мне порой кажется, что люди иногда достают ее с верхней полки антресоли, начитываются советов из детства и ностальгируют по максимуму и начинают воплощать эти советы в жизнь. Ну или «пластиковый мир победил», все в угоду маркетингу. Казалось бы, причем тут вредные советы и конференции ,подумали вы?
Для большинства читателей эта статья скорей «Байки по другую сторону организации конфы», курьезы, нюансы прочие забавные ситуации, о которых большинство даже не догадывается. Плюс это привет всем деврелам компаний и организаторам конференций, которые прочитают статью и поймут, что они не одиноки, и надо как-то развенчать эти замкнутые уроборосы проблем. Все максимально обезличено, как всегда, на всякий случай :)
Но на этот раз я буду подмечать косяки обеих сторон — как организаторов, так и партнеров конференций, вдруг вы думали, что партнеры все такие хорошие, а организаторы кругом такие плохие.
В предыдущих статьях я поделился своими соображениями о том, почему UI-проекты в одночасье превращаются в легаси.
Все было сведено к двум ключевым неудовлетворенным потребностям: мгновенная обратная связь и правильные шаблоны проектирования. Что касается шаблонов проектирования, то особое внимание было уделено жесткому разделению представления и логики.
Я даже предположил, что Elm MVU — это тот путь, который данные потребности закроет.
Однако, несмотря на то, что MVU является архитектурой, позволяющей жестко разделять представление и логику, я пришел к выводу, что MVU (и функциональное программирование в целом) страдают от некоторой чуждости естественному процессу мышления и программирования.
Под словом «естественный» я подразумеваю нечто, что коррелирует с языком, который мы используем в повседневной жизни. Функциональное программирование не всегда можно описать таким языком (например, несмотря на то, что монады, включая Observable streams, являются относительно простым понятием, мы вряд ли сможем выразить это понятие на таком языке). Я убедился, что программирование, которое лучше коррелирует с естественным языком — это многопарадигменное программирование, где вещи не строго OOP и не строго функциональны, а то или другое в зависимости от ясности и удобства работы.
После тестирования NVME over TCP, описанной тут https://habr.com/ru/companies/beeline_tech/articles/770174/, решили проверить, насколько хорошо iScsi в L3-сети работает по сравнение со специализированным решение на FC.
Настройки iScsi
TL/DR
Машина в Bios переведена на профиль HPC (был пустой).
На уровне OS и iscsid сделаны такие изменения
Всем привет!
Рады анонсировать начало нашего большого спецпроекта «SM Lab в лицах» о людях, которые работают в SM Lab. Мы хотим показать их не только как высококлассных профессионалов в IT, но и как творческих, интересных личностей, которые умело совмещают работу с разнообразными увлечениями. Из этого спецпроекта вы узнаете каково восстанавливать ретроавтомобиль,как работает мультиинструменталист, побываете в шкуре фотографа, познакомитесь с каргобайкерством и многое другое)
Регулярно мы будем делиться историями наших сотрудников о том, чем они занимаются в свободное время, как это помогает им отвлечься от работы и достичь настоящего баланса между работой и личной жизнью. Ведь это одна из ключевых ценностей нашей компании.
Следите за нашими обновлениями и вдохновляйтесь историями наших work-life balance героев! А начнем мы наш спецпроект с ретроавтомобилей.
Привет. Меня зовут Николай Шувалов, я занимаюсь коммерческим программированием около семи лет, владею Rust, JavaScript, PHP. Сейчас я работаю в отделе данных билайна. Наша платформа позволяет делиться с партнерами данными, не раскрывая их. Например, можно расширить данные с помощью фильтра Блума.
Arrow в сравнении со строковыми форматами
Возьмём простую таблицу, которая состоит из трех столбцов: телефона, даты и имени. Рассмотрим, как она будет выглядеть в строковом и столбчатом форматах. Для строкового формата мы возьмем csv и json, для столбчатого формата структура будет одинаковой. Если же таблица состоит, например, из миллиона строк, а нужно получить имя на строке с номером 10 000, то придется бежать по всей строчке. В json то же самое. А в столбчатом формате ситуация иная — значения привязаны к столбцам. Когда мы хотим получить имя на строке 10 000, то сразу обращаемся к этому столбцу и получаем все его данные.
Существуют RA (random access) файлы, в которых можно пропускать заданное количество строк, но все равно парсеру нужно читать и анализировать пройденные строчки.
Всем добрый день!
Меня зовут Иван Хахарев и я работаю ведущим системным аналитиком в команде WEB Campaign, это внутренняя разработка Спортмастера для формирования маркетинговых логических цепочек. Я в команде уже полгода, и на момент моего прихода ребята уже почти год двигались к веб-версии. В команде на текущий момент семь человек, трое из которых — разработчики.
Прежде чем мы поговорим про новую команду, хочу рассказать небольшую предысторию. Ранее, я почти пять лет, я работал в другом продукте, в рамках которого мы прошли полный процесс трансформации этап перехода на по методологии по Agile и DevOps. Ниже представлены все список мероприятий, которые мы смогли внедрить за два с половиной года. (слайд 2.24)
Привет, Хабр! Меня зовут Сергей Евсеев, сегодня я расскажу, как в Apache NiFi настраивается ETL-пайплайн на задаче с JSON’ами. В этом мне помогут инструменты Jolt и Avro. Пост пригодится новичкам и тем, кто выбирает инструмент для решения схожей задачи.
Что делает наша команда
Команда работает с данными по рекрутингу — с любой аналитикой, которая необходима персоналу подбора сотрудников. У нас есть различные внешние или внутренние источники, из которых с помощью NiFi или Apache Spark мы забираем данные и складируем к себе в хранилище (по умолчанию Hive, но есть еще PostgreSQL и ClickHouse). Этими же инструментами мы можем брать данные из хранилищ, создавать витрины и складывать обратно, предоставлять данные внутренним клиентам или делать дашборды и давать визуализацию.
Описание задачи
У нас есть внешний сервис, на котором рекрутеры работают с подбором. Сервис может отдавать данные через свою API, а мы эти данные можем загружать и складировать в хранилище. После загрузки у нас появляется возможность отдавать данные другим командам или работать с ними самим. Итак, пришла задача — нужно загрузить через API наши данные. Дали документацию для загрузки, поехали. Идем в NiFi, создаем пайплайн для запросов к API, их трансформации и складывания в Hive. Пайплайн начинает падать, приходится посидеть, почитать документацию. Чего-то не хватает, JSON-ы идут не те, возникают сложности, которые нужно разобрать и решить.
Ответы приходят в формате JSON. Документации достаточно для начала загрузки, но для полного понимания структуры и содержимого ответа — маловато.
Мы решили просто загружать все подряд — на месте разберемся, что нам нужно и как мы это будем грузить, потом пойдем к источникам с конкретными вопросами. Так как каждый метод API отдает свой класс данных в виде JSON, в котором содержится массив объектов этого класса, нужно построить много таких пайплайнов с обработкой разного типа JSON’ов. Еще одна сложность — объекты внутри одного и того же класса могут отличаться по набору полей и их содержимому. Это зависит от того, как, например, сотрудники подбора заполнят информацию о вакансии на этом сервисе. Этот API работает без версий, поэтому в случае добавления новых полей информацию о них мы получим только либо из данных, либо в процессе коммуникации.
По каждому из направлений в ИТ есть свои так называемые «приколы» и особенности в части поиска и обучения сотрудников, взаимодействия с софтом, заказчиками и так далее. В моей области, то есть в области информационной безопасности, все еще обсуждают такой вопрос: «Должен ли безопасник расти из программиста?». Имея 25+ лет в области ИТ и ИБ ответственно заявляю — должен. Для меня это не вопрос, но многие со мной не согласятся. Сегодня раскрою свою позицию и объясню, почему безопасникам жизненно необходимо быть программистами.
Небольшое уточнение — для удобства я называю программистами всех, кто пишет код, манифесты, какие‑нибудь конфиги и так далее.