Как стать автором
Обновить
0
0

Пользователь

Отправить сообщение

Переезжаем на ClickHouse: 3 года спустя

Время на прочтение19 мин
Количество просмотров22K
Три года назад Виктор Тарнавский и Алексей Миловидов из Яндекса на сцене HighLoad++ рассказывали, какой ClickHouse хороший, и как он не тормозит. А на соседней сцене был Александр Зайцев с докладом о переезде на ClickHouse с другой аналитической СУБД и с выводом, что ClickHouse, конечно, хороший, но не очень удобный. Когда в 2016 году компания LifeStreet, в которой тогда работал Александр, переводила мультипетабайтовую аналитическую систему на ClickHouse, это была увлекательная «дорога из желтого кирпича», полная неведомых опасностей — ClickHouse тогда напоминал минное поле.

Три года спустя ClickHouse стал гораздо лучше — за это время Александр основал компанию Altinity, которая не только помогает переезжать на ClickHouse десяткам проектов, но и совершенствует сам продукт вместе с коллегами из Яндекса. Сейчас ClickHouse все еще не беззаботная прогулка, но уже и не минное поле.

Александр занимается распределенными системами с 2003 года, разрабатывал крупные проекты на MySQL, Oracle и Vertica. На прошедшей HighLoad++ 2019 Александр, один из пионеров использования ClickHouse, рассказал, что сейчас из себя представляет эта СУБД. Мы узнаем про основные особенности ClickHouse: чем он отличается от других систем и в каких случаях его эффективнее использовать. На примерах рассмотрим свежие и проверенные проектами практики по построению систем на ClickHouse.


Всего голосов 35: ↑35 и ↓0+35
Комментарии9
Привет, Хабр! 7 сентября стартовал новый набор на SafeBoard – программу оплачиваемых стажировок в сфере информационной безопасности от «Лаборатории Касперского». Кандидатов в стажёры ждут несколько этапов отбора, успешное прохождение которых откроет дорогу к обучению и обкатке навыков на боевых задачах в команде профессионалов. Самые толковые из ребят пройдут «пятилетку за год» и смогут продолжить свою карьеру в «Лаборатории Касперского». Так, в прошлом году были приняты 273 стажера. Более 45 % из них получили оффер и были приняты в штат.

Программа рассчитана на студентов любых вузов в Москве и Московской области, в том числе первокурсников. Направления, по которым идёт набор: исследование угроз, разработка, системное администрирование, DevOps, тестирование и др.

С чем идти на стажировку и чего от неё ждать? Об этом расскажут «бывалые» ребята из наборов прошлых лет. Их истории, а также напутствие руководителя Kaspersky Academy для кандидатов этого года – под катом.
Читать далее
Всего голосов 8: ↑7 и ↓1+18
Комментарии5

Планка найма для инженеров: что это за зверь?

Время на прочтение19 мин
Количество просмотров28K
Последние пять лет Рекурсивный Кактус трудился фулстек-разработчиком в топовой технологической компании, но сейчас решил сменить работу.

За последние полгода Рекурсивный Кактус (так он представился при регистрации на нашем сайте) готовился к будущим собеседованиям, выделяя каждую неделю минимум 20-30 часов на упражнения LeetCode, учебники по алгоритмам и, конечно, практику интервью на нашей платформе для оценки своего прогресса.

Типичный рабочий день Рекурсивного Кактуса:


Время Занятие
6:30 – 7:00 Подъём
7:00 – 7:30 Медитация
7:30 – 9:30 Решение задач по алгоритмам
9:30 – 10:00 Путь на работу
10:00 – 18:30 Работа
18:30 – 19:00 Путь с работы
19:00 – 19:30 Общение с женой
19:30 – 20:00 Медитация
20:00 – 22:00 Решение задач по алгоритмам
Всего голосов 30: ↑28 и ↓2+38
Комментарии105

[Личный опыт] Работа в Uber в Амстердаме: как устроена разработка, карьерный рост, подготовка к интервью

Время на прочтение9 мин
Количество просмотров22K

В нашем блоге мы уже не один раз рассказывали о переезде в Нидерланды (раз, два). Разработчики, которые оказались в Амстердаме в один голос говорят о том, что с точки зрения технологий и подходов к разработке среди местных ИТ-компаний в лучшую сторону выделяется Uber.

Сегодня нам удалось поговорить Алиной Коваленко, которая работает в компании в должности Software Engineer II. Алина поделится своим опытом переезда и даст несколько полезных советов.

Поехали!
Всего голосов 24: ↑17 и ↓7+19
Комментарии20

Как я строил карьеру в Amazon, куда меня взяли по ошибке

Время на прочтение10 мин
Количество просмотров53K
Сегодня я праздную пять лет работы в Amazon. За это время я передал в продакшн боле 500 000 строк кода, проводил инспекцию чужого кода более 500 раз, проектировал, разрабатывал, развёртывал и поддерживал масштабные системы, которыми пользуются тысячи клиентов со всего света. Меня считают одним из ведущих технических лидеров в команде.

Но так было не всегда. В 2015 году меня устроили разработчиком ПО первого ранга. И напрасно. Я был самым настоящим самозванцем. Но мои скудные инженерные навыки не помешали мне в конце концов добиться повышения до второго ранга. Я хочу поделиться своей историей, чтобы помочь и другим самозванцам добиться успеха в компаниях FAANG – ну, или любых других.
Читать дальше →
Всего голосов 29: ↑29 и ↓0+29
Комментарии54

Сколько зарабатывают IT-шники в Великобритании и сколько при этом тратят

Время на прочтение5 мин
Количество просмотров61K


Аве, Кодер!

Не так давно у нас на канале выходило видео (https://youtu.be/OC4nDT7J31Q), где я разбирал усредненные годовые зарплаты программистов в Великобритании, а также некоторые основные траты, сравнивая Лондон и (относительная глубинка) — Ноттингем.

Думаю, и многие читатели хабра найдут эту информацию полезной, хотя бы, просто для ознакомления и расширения кругозора.
Читать дальше →
Всего голосов 33: ↑25 и ↓8+30
Комментарии561

Новости Intel Arch Day 2020: Intel Xe GPU в ассортименте

Время на прочтение2 мин
Количество просмотров3.7K


Мы продолжаем свой репортаж о новостях, которые принес прошедший всего день назад Intel Architecture Day 2020. Сегодняшняя их порция касается графических процессоров Intel Xe — стал известен весь ассортимент их микроархитектур на ближайшую перспективу. Не обошлось без дополнений и обновлений.
Читать дальше →
Всего голосов 6: ↑5 и ↓1+8
Комментарии3

5 алгоритмов регрессии в машинном обучении, о которых вам следует знать

Время на прочтение7 мин
Количество просмотров42K

Источник: Vecteezy

Да, линейная регрессия не единственная

Быстренько назовите пять алгоритмов машинного обучения.

Вряд ли вы назовете много алгоритмов регрессии. В конце концов, единственным широко распространенным алгоритмом регрессии является линейная регрессия, главным образом из-за ее простоты. Однако линейная регрессия часто неприменима к реальным данным из-за слишком ограниченных возможностей и ограниченной свободы маневра. Ее часто используют только в качестве базовой модели для оценки и сравнения с новыми подходами в исследованиях.

Команда Mail.ru Cloud Solutions перевела статью, автор которой описывает 5 алгоритмов регрессии. Их стоит иметь в своем наборе инструментов наряду с популярными алгоритмами классификации, такими как SVM, дерево решений и нейронные сети.
Читать дальше →
Всего голосов 19: ↑18 и ↓1+29
Комментарии3

Как можно и как нельзя использовать нулевой указатель в С++

Время на прочтение5 мин
Количество просмотров14K


Некоторым этот банальный вопрос уже набил оскомину, но мы взяли 7 примеров и попытались объяснить их поведение при помощи стандарта:


struct A {
    int data_mem;
    void non_static_mem_fn() {}
    static void static_mem_fn() {}
};

void foo(int) {}

A* p{nullptr};

/*1*/ *p;
/*2*/ foo((*p, 5));                     
/*3*/ A a{*p};
/*4*/ p->data_mem;
/*5*/ int b{p->data_mem};
/*6*/ p->non_static_mem_fn();
/*7*/ p->static_mem_fn();

Читать дальше →
Всего голосов 28: ↑28 и ↓0+28
Комментарии18

Расчет факторов в антифроде. Доклад Яндекса

Время на прочтение16 мин
Количество просмотров8.1K
Антифрод — сервис по поиску и нивелированию случаев эксплуатации других, общедоступных сервисов Яндекса. Три года назад мы начали проектировать платформу, позволяющую быстро и легко развернуть антифрод где угодно в компании. Сложность задачи в том, что многим сервисам нужны максимально строгие гарантии по скорости, надежности и качеству; часть из них оперирует очень большими объемами данных. Команде антифрода, в свою очередь, важна гибкость системы, простота поддержки и выразительность факторов, на которых будет строиться машинное обучение.


Руководитель антифрода Андрей Попов Nox_andry выступил с докладом о том, как мы смогли выполнить все эти противоречивые требования. Центральная тема доклада — модель вычисления сложных факторов на потоке данных и обеспечение отказоустойчивости системы. Также Андрей кратко описал следующую, еще более быструю итерацию антифрода, которую мы сейчас разрабатываем.

Команда антифрода, по сути, решает задачу бинарной классификации. Поэтому доклад может быть интересен не только специалистам по борьбе с фродом, но и тем, кто делает разнообразные системы, в которых нужны быстрые, надежные и гибкие факторы на больших объемах данных.
Читать дальше →
Всего голосов 8: ↑8 и ↓0+8
Комментарии3

Статический анализ в GCC 10

Время на прочтение10 мин
Количество просмотров8.6K

Я работаю в Red Hat над GCC, GNU Compiler Collection. Для следующего основного релиза GCC, GCC 10, я реализовывал новую опцию -fanalyzer: проход статического анализа для выявления различных проблем во время компиляции, а не во время исполнения.

Я думаю, что лучше выявлять проблемы как можно раньше по мере написания кода, используя компилятор, как часть цикла компиляции-редактирования-отладки, а не использовать статический анализ в качестве дополнительного инструмента «на стороне» (возможно, проприетарного). Поэтому, представляется целесообразным иметь встроенный в компилятор статический анализатор, который видит код в точности такой же, какой видит компилятор — ведь это и есть компилятор.
Читать дальше →
Всего голосов 20: ↑19 и ↓1+26
Комментарии26

Яндекс.Диск запретил использование open source утилиты rclone. UPD — снова работает

Время на прочтение6 мин
Количество просмотров108K

Предыстория


Привет, Хабр!


К написанию этого поста привела довольно странная ошибка, которую вчера вечером на ноутбуке с Linux (да, я из тех странных людей, кто использует GNU/Linux на ноутбуке) я получил вместо содержимого своего Яндекс.Диска:


$ ls -l /mnt/yadisk
ls: reading directory '.': Input/output error
total 0
Читать дальше →
Всего голосов 257: ↑247 и ↓10+305
Комментарии381

У отростков нейронов человека обнаружились неожиданные способности к вычислениям

Время на прочтение8 мин
Количество просмотров15K

Дендриты, отростки некоторых нейронов в мозге человека, могут производить логические вычисления, на которые, как считалось ранее, способны лишь целые нейронные сети



Тонкие дендриты, напоминающие корни растения, расходятся во всех направлениях от тела клетки этого коркового нейрона. Отдельные дендриты могут самостоятельно обрабатывать сигналы, получаемые от соседних нейронов, перед тем, как передать их на вход клетки

Часто нам рассказывают о том, что способность мозга к обработке информации кроется в триллионах связей, соединяющих его нейроны в сеть. Но в последние несколько десятилетий всё больше исследований постепенно переводят внимание на отдельные нейроны, которые берут на себя гораздо большую ответственность за вычисления, чем можно было представить ранее.

Самое новое из этих многочисленных свидетельств связано с открытием учёными нового типа электрического сигнала, проходящего по верхним уровням коры мозга человека. В лабораторных исследованиях и на моделях уже было показано, что крохотные отсеки дендритов, отростков нейронов коры мозга, сами по себе способны выполнять сложные операции из области математической логики. Однако теперь, судя по всему, оказывается, что отдельные отсеки дендритов могут также выполнять особую операцию – "исключающее ИЛИ" (XOR) – которая, как считалась ранее, недоступна для отдельных нейронов.
Читать дальше →
Всего голосов 21: ↑17 и ↓4+21
Комментарии32

Неблагодарный opensource: разработчик самого быстрого веб сервера удалил его репозиторий

Время на прочтение5 мин
Количество просмотров135K


Краткая суть ситуации: наш соотечественник fafhrd91 на протяжении 3 лет практически самостоятельно (см. кдпв) писал actix-webодин из популярнейших крейтов в инфраструктуре раста, лидер в большинстве различных бенчмарков, и за это время подвергался как минимум трём волнам гонений за "неправильное использование раста". После последнего раза автор психанул, и перенес репозиторий к себе в аккаунт с пометкой "Планирую скрыть репозиторий". Конечно, куча людей сразу наделало зеркал и бекапов, но на мой взгляд это не сильно исправляет ситуацию.


На месте репозитория автор оставил единственный postmortem, который я ниже и цитирую целиком:

Читать дальше →
Всего голосов 197: ↑190 и ↓7+244
Комментарии925

Keras Functional API в TensorFlow

Время на прочтение17 мин
Количество просмотров20K


В Keras есть два API для быстрого построения архитектур нейронных сетей Sequential и Functional. Если первый позволяет строить только последовательные архитектуры нейронных сетей, то с помощью Functional API можно задать нейронную сеть в виде произвольного направленного ациклического графа, что дает намного больше возможностей для построения сложных моделей. В материале перевод руководства, посвященного особенностям Functional API, с сайта TensorFlow.
Читать дальше →
Всего голосов 18: ↑17 и ↓1+21
Комментарии0

Топ-10 докладов конференции C++ CoreHard Autumn 2019

Время на прочтение9 мин
Количество просмотров8.7K


CoreHard – C++ конференция, проходящая в Минске дважды в год, весной и осенью. С 2015 года мы выросли из небольшого сообщества энтузиастов в крупную региональную конференцию. Мы стараемся совмещать знания признанных мастеров мира С++ с развитием локального С++ движения, активно привлекая докладчиков из местных белорусских, российских и украинских компаний.

Спешим поделиться с хабровчанами топ-10 свежеиспеченных видео с нашей недавно отшумевшей конференции.

Итак, поехали: топ-10 докладов по оценкам зрителей.
Всего голосов 31: ↑31 и ↓0+31
Комментарии1

Тестирование SSD на надёжность: 3dnews vs JEDEC vs здравый смысл. Где правда, брат?

Время на прочтение13 мин
Количество просмотров51K


Всем известно легендарное тестирование SSD на надёжность от 3dnews (публикация от 2018.01), по результатам которого некоторые бюджетные накопители превзошли заявленный производителем ресурс в десятки раз.

После этого исследования в народе появилась конспирологическая теория, что производители занижают ресурс у бюджетных SSD, а также распространилось убеждение, что практически все SSD умеют делать и качественно выполняют выравнивание износа.

Узнать истинный ресурс бюджетных накопителей
Всего голосов 35: ↑32 и ↓3+55
Комментарии56

Linux Kernel Library: ядро Linux в форм-факторе so или dll

Время на прочтение13 мин
Количество просмотров14K

Когда-то читал статью о выборе файловых систем «чтоб везде-везде работало». В ней в очередной раз увидел жалобы, что Ext4 замечательная файловая система, но на Windows есть только кривые неточные проприетарные драйверы. Но отмотаем ленту ещё на пару лет назад: тогда на Хабре (а в те времена — Гиктаймсе) пролетала новость про LibOS — попытку превратить Linux kernel в обычную библиотеку пользовательского режима. Упор там делался на вынос сетевого стека в user space. Как-то раз я решил поглядеть, а жив ли вообще проект, и в их блоге увидел ссылку на своего рода конкурента — проект Linux Kernel Library (LKL). По сути, это порт ядра, так сказать, на аппаратную архитектуру «библиотека пользовательского режима POSIX / Win32».


Чем интересна LKL? Во-первых тем, что она живёт и здравствует, пусть и не в основной кодовой базе ядра. Во-вторых, это более-менее честная поддержка «архитектуры», автоматически делающая доступной бОльшую часть ядра. Более того, прямо в комплекте идут утилиты-примеры: cptofs/cpfromfs, fs2tar, lklfuse. В этой статье мы протестируем LKL на хостовом Linux, заглянем в файл с образом Ext4 (Btrfs, XFS...) без рута и виртуалок и коротко обсудим, как её можно попробовать на Windows.

Читать дальше →
Всего голосов 22: ↑22 и ↓0+22
Комментарии5

Cool WSL (Windows Subsystem for Linux) tips and tricks

Время на прочтение3 мин
Количество просмотров4.5K
It's no secret I dig WSL (Windows Subsystem for Linux) and now that WSL2 is available in Windows Insiders Slow it's a great time to really explore the options that are available. What I'm finding is so interesting about WSL and how it relates to the Windows system around it is how you can cleanly move data between worlds. This isn't an experience you can easily have with full virtual machines, and it speaks to the tight integration of Linux and Windows.

Look at all this cool stuff you can do when you mix your peanut butter and chocolate!

Read more →
Всего голосов 5: ↑3 и ↓2+1
Комментарии1

Переезд в Европу: приключение и выводы

Время на прочтение5 мин
Количество просмотров50K
Переезд в Европу — это как приключение, в которое попал Джим Хокинс в книге «Остров Сокровищ». Джим получил колоссальный опыт, много впечатлений, но все происходило не совсем так, как изначально он себе представлял. В Европе хорошо, но могут возникнуть ситуации, когда ожидания расходятся с реальностью. Хорошая новость в том, что можно заранее подготовиться к этому. Итак, представим, что наш Джимми из России получил оффер на работу в небольшой IT-компании в Берлине. Что случится дальше?


Читать дальше →
Всего голосов 88: ↑71 и ↓17+54
Комментарии699

Информация

В рейтинге
Не участвует
Откуда
Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность