User
Релокация — не просто переезд

Сегодня многие россияне столкнулись с необходимостью переезда в другую страну. Дело это непростое, поэтому опыт тех, у кого все сложилось удачно, безусловно полезен.
Меня зовут Тимур Рахматуллин и я программист c более чем 10 летним опытом. Год назад наша IT-команда переместилась в Таиланд. Сегодня я, наверное, уже могу считать себя опытным “релокантом” и давать полезные советы тем, кому это только предстоит.
Автоматический подбор параметров для Spark-приложений

Всем привет! Меня зовут Валерия Дымбицкая, я технический руководитель команды дата-инженеров в OneFactor. В этой статье я расскажу о том, как мы научились автоматически подбирать параметры для Spark-приложений на основе логов.
Проблема, которую мы решали, может встретиться при регулярном, предсказуемом, интенсивном использовании Hadoop-кластера. Я расскажу, как мы простыми средствами сделали рабочую автономную систему тюнинга, сэкономив в итоге 15-16% ресурсов кластера. Вас ждут детали с примерами кода.
В первой половине статьи я расскажу про то, какая перед нами стояла задача, и разберу ключевые пункты для её решения. Во второй половине будет рассказ о том, как это решение подготовить к работе на продуктиве и что мы из этого всего получили.
Зачем нам вообще понадобился автоматический тюнинг?
Начнём с инфраструктуры. Сетап у нас "классический": ограниченный Hadoop-кластер из купленных серверов. В нём на тот момент, когда мы начали всё это делать, было около 30Тб RAM и 5к CPU. В этом кластере запускается множество разноплановых приложений на Apache Spark и в какой-то момент им стало тесновато. Всё больше приложений висели в PENDING значительное время, потребление памяти утроилось за последние 4 месяца. Сохранять такую тенденцию не хотелось.
Довольно много приложений были от продукта Лидогенерация. Базово он устроен так: есть список номеров телефонов (база) и есть Spark ML Pipeline, который каким-то образом отбирает из этой базы лидов абонентов для некоего целевого действия – например, для предложения продукта клиенту. База может меняться от раза к разу. Вот такую пару из
Попробуй пройди за 4 часа тестовое задание в канадскую компанию

Поделюсь своим свежим опытом непрохождения интервью в канадскую компанию, может кому поможет пройти отбор и получить работу. Либо же узнать что творится с рынком труда с точки зрения разработчика в реальном мире.
Как реализовать символьную языковую рекуррентную нейронную сеть
В одном своём гисте Андрей Карпаты сделал кое-что впечатляющее. Чуть больше чем в 100 строках кода на Python — без тяжеловесных фреймворков для машинного обучения — он прописал довольно полную реализацию языковой модели для обучения символьно-ориентированных рекуррентных нейросетей (РНС). Гист включает полное обучение методом обратного распространения с оптимизацией Adagrad. Подробности — к старту флагманского курса по Data Science.
Ноябрьская электроника: 5 мини-ПК для работы и дома, с которыми стоит иметь дело

За прошедший со времени нашей последней подборки миниатюрных ПК месяц производители электронных устройств представили немало новых моделей. В этой подборке, как обычно — мини-ПК, на которые, как нам кажется, стоит обратить внимание. Некоторые из них мощные, другие — нет, но все они способны решать важные задачи. Все самое интересное — под катом. Возможно, у вас есть варианты, о которых мы не рассказали. В этом случае давайте обсудим их в комментариях.
Девочка, храбро борющаяся с биполярочкой. Часть 2

Психиатр сказала «всё будет хорошо, но не с нами». Биполярная зависимость. Лечение.
Что происходит, когда ставят диагноз «Б.А.Р.»?
Я узнала, что у меня БАР I типа в 2020. Спады-подъемы со мной с 17 лет. То есть между первым эпизодом и диагностикой прошло 15 лет.
Новые крипто-кочевники: как эмигранты из России выживают на чужбине с помощью криптовалют

7 историй от подписчиков: Анна выяснила, что в банках Таиланда даже не знают слова «комплаенс», Игорь потерял из-за скачков рубля 25% финансовой подушки и уехал в Армению, а Иван вручную пересчитал в поле на Бали чемодан рупий и теперь не мыслит жизни без блокчейна.
10 “яблочек” для iPhone: настройки, которые нужно поменять сразу

Привет, Хабр! Сегодня мы поговорим о том, как сделать iPhone более удобным гаджетом, просто поменяв несколько настроек. В этом посте — 11 пунктов, которые на наш взгляд, нужно пройти каждому яблоко-владельцу, независимо от модели и возраста его iPhone. А всех, кто считает себя и так умудренным опытом пользователя Apple, приглашаем под кат оценить, сколько из 10 пунктов вы используете в своей практике.
Как услышать голос клиента: внедряем Data Driven подход в управление клиентским опытом

С 2010 года мировая экономика проходит трансформацию от рынка товаров к рынку впечатлений. Клиентам уже не так важен сам продукт и его цена. В приоритете простота, доступность продукта и лёгкость использования на каждом этапе CJM. Системная работа с обратной связью, положительной и отрицательной, помогает завоевать лояльность, усилить позиции, закрепить лидерство.
Ещё один современный тренд — клиентский опыт становится цифровым. Трансформируются не только стандарты общения, но и технологии сбора обратной связи, аналитика данных.
По статистике только 3% клиентов участвуют в опросах и заполняют анкеты обратной связи. Альфа-Банк вывел этот показатель на космический уровень. Наши опросы регулярно проходят более 10% физических и юридических лиц. Как достичь такой конверсии и настроить сбор и обработку информации для управления клиентским опытом — расскажем в статье.
Самое уязвимое место Интернета

Интернет-кабель Азия-Африка-Европа-1 (ААЕ-1) проходит по морскому дну 25 тысяч километров, соединяя Гонконг с Францией. Извиваясь через Южно-Китайское море, Аравийское, Красное и Средиземное, кабель обеспечивает интернетом больше двадцати стран, от Индии до Греции и Италии. Когда 7 июня кабель вдруг обрубило, больше ста миллионов людей столкнулись с внезапным отключением интернета. Хуже всего дела были в Эфиопии, которая потеряла 90 процентов своей связи, и в Сомали, где упало 85 процентов.
AAE-1 разорвался в том месте, где кабель недолго проходил по суше через Египет. В этом же инциденте был поврежден еще один кабель. Причина обрыва точно неизвестна (подозревают диверсию). Но эффект был немедленным. Управляющий директор SAEx International Management Розалинд Томас заявила, что их организация планирует проложить новый подводный кабель, соединяющий Африку, Азию и США. Организацию поддержали IT-гиганты. И это понятно: в результате обрыва кабеля работа облачных сервисов, принадлежащих Google, Amazon и Microsoft, также была нарушена, как показал последующий анализ.
Хотя подключение было восстановлено через несколько часов, сбой подчеркивает чрезвычайную хрупкость всех 550 подводных интернет-кабелей в мире. А еще — огромную роль именно Египта и Красного моря в интернет-инфраструктуре. Через него проходит главная магистраль, соединяющая человечество.
Организация видеонаблюдения при помощи Raspberry Pi и веб камеры Logitech

В данной статье хотелось бы поделиться одним простым и доступным способом как мне удалось организовать видеонаблюдение за подъездом при помощи малинки и бытовой веб камеры. Думаю, у многих нынче в закромах завалялись уже не нужные вебки. Сужу по себе, раньше, в эпоху преобладаня десктопов такая камера была вещью весьма необходимой для желающих показать себя собеседнику, а то и миру. Однако время идет, десктопы все больше заменяются ноутбуками, планшетами и телефонами, имеющими на борту свою камеру. Но зачем же добру лежать без дела?
И вот пришла идея подключить к малинке валяющуюся без дела вебку Logitech C270. Далее следовал период гугления, проб и ошибок, который в итоге привел к тому, что я и собираюсь описать.
История этого проекта началась с покупки Raspberry 3b+. После получения и первичной настройки сего чудо-девайса встал нетривиальный вопрос: "Хорошо, ну а дальше то что?". Ведь покупал я ее не с конкретной целью - а скорее как катализатор погружения в волшебный мир компьютерных технологий. Забегая вперед, скажу, что план оказался отличным и работает по сей день).
Астрономический словарик: светимость, сейфертовская галактика, сильное взаимодействие, спектроскопия в астрономии
Светимость

Болометр на основе паутины для измерения реликтового излучения
Какое отношение имеют пауки к космосу? На основе паутины можно собрать болометр – прибор, позволяющий измерять интенсивность теплового излучения. В болометрах используется материал, электрическая проводимость которого меняется в зависимости от температуры.
Первый такой прибор изобрёл в 1878 году Сэмюэл Пирпонт Лэнгли — американский астроном, физик и пионер авиации. Он, правда, не использовал паутину, а взял два отрезка металлической фольги и покрыл их техническим углеродом. Один отрезок был защищён от излучения, а второй – подвергался ему. Отрезки фольги формировали измерительный мост, оснащённый чувствительным гальванометром и подсоединённый к батарее. Попадавшее на открытую фольгу электромагнитное излучение разогревало её и меняло сопротивление.
К 1880 году Лэнгли усовершенствовал свой болометр так, что тот мог улавливать тепло коровы, находящейся на расстоянии в полкилометра. Такой детектор был чувствителен к изменениям температуры на 0,00001°C.
«Амперка» и буковки: как магазин хобби-электроники сформировал своё сообщество при помощи ярких контентных проектов

«Порезать детальки», «прогреть жало», «к станку», «царский корпус» — такое вероятнее встретить в разговоре с хорошими знакомыми, чем на официальном сайте. Если конечно это не сайт «Амперки». Когда-то создатели магазина радиоэлектроники просто захотели общаться со своей аудиторией на нормальном живом языке, и получилось очень неплохо. О сайтах и контент-проектах для «упоротых механиков», о том, как важно всё делать по-человечески, что вообще происходит сейчас с «Амперкой» — в интервью с одним из сооснователей проекта Михаилом Белогорцевым.
VR разработка вместо антидепрессантов
Хочу поделиться своим опытом выхода из выгорания, возможно кому либо будет интересно. Надеюсь у меня получится помочь Вам решить для себя проблемы "я ж прогать начал чтобы игры делать, а не инвестиционные платформы", "время разрабов-одиночек прошло", "ничего нового не придумать".
Апоптоз
Апоптоз - странно звучащее слово. Не зная его смысла (или не зная греческого), невозможно догадаться что оно означает. Непосвящённым может навеять мысли о филейных частях тела. Но все даже более романтично. Апоптоз означает самоубийство клетки. Помните, как древние императоры избавлялись от неугодных? Присылали вежливую записку с пожеланием смерти и законопослушный гражданин выпивал яду или резал себе живот или вскрывал вены. Так и клетки в какой-то момент своей жизни могут получить указание от высшей власти умереть, которое, как и полагается истинным самураям, беспрекословно выполняют.
Правило Хебба всё-таки не требует внешнего подкрепления

Само правило Хебба звучит следующим образом: «Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B, и неоднократно или постоянно принимает участие в её возбуждении, то наблюдается некоторый процесс роста или метаболических изменений в одной или обеих клетках, ведущий к увеличению эффективности А, как одной из клеток возбуждающих В». Взято здесь.
Уже из самого правила видно, что ключевым фактором развития нейронной сети является повторяемость сигнала возбуждения. И этот фактор, оказывает влияние не только на два связанных нейрона а на всю цепочку передачи сигнала. Из этого можно сделать вывод, что правило Хебба будет работать только в тех нейронных сетях, где возможно распространение сигнала по слою. Что не сложно показать на примере обучения простой модели.
Фундаментальная нестыковка двух отличных теорий: гравитация и квантовая физика

Иногда приходится встречать статьи, в которых прямо или косвенно заявляется – дескать, физика «кончилась», всё уже открыто и всё понятно. Ну или почти всё. На самом деле нет: мы, конечно, давно и довольно успешно пытаемся понять и разложить по полочкам нашу Вселенную, но притворяться, что нам уже практически всё понятно, нет никакого смысла. Вот вам простой пример: у нас есть две невероятно хорошо работающие теории, которые мы уже много лет успешно подтверждаем экспериментами, и мы ещё ни разу не видели ни одного экспериментального факта, нарушающего либо Общую теорию относительности (ОТО) Эйнштейна, либо Стандартную Модель (СМ) физики частиц.
Автономный LTE роутер своими руками | Часть 2 – Логистика и сборка платы

А вот и продолжение тепло принятого блокбастера дипломного проекта одного студента. В этой части: разберёмся с логистикой, займёмся серовозом до того, как это стало мейнстримом и проверим несколько производителей печатных плат. Затем наконец-то соберём печатную плату, проверив все основные узлы.
6 перспективных российских стартапов за октябрь 2022 года

Дайджест перспективных проектов за прошлый месяц с короткими описаниями, чтобы вы точно не пропустили ничего интересного, а может и вспомнили о полезных вам продуктах.
Information
- Rating
- Does not participate
- Registered
- Activity