Сегодня многие россияне столкнулись с необходимостью переезда в другую страну. Дело это непростое, поэтому опыт тех, у кого все сложилось удачно, безусловно полезен.

Меня зовут Тимур Рахматуллин и я программист c более чем 10 летним опытом. Год назад наша IT-команда переместилась в Таиланд. Сегодня я, наверное, уже могу считать себя опытным “релокантом” и давать полезные советы тем, кому это только предстоит.

Всем привет! Меня зовут Валерия Дымбицкая, я технический руководитель команды дата-инженеров в OneFactor. В этой статье я расскажу о том, как мы научились автоматически подбирать параметры для Spark-приложений на основе логов.

Проблема, которую мы решали, может встретиться при регулярном, предсказуемом, интенсивном использовании Hadoop-кластера. Я расскажу, как мы простыми средствами сделали рабочую автономную систему тюнинга, сэкономив в итоге 15-16% ресурсов кластера. Вас ждут детали с примерами кода.

В первой половине статьи я расскажу про то, какая перед нами стояла задача, и разберу ключевые пункты для её решения. Во второй половине будет рассказ о том, как это решение подготовить к работе на продуктиве и что мы из этого всего получили.

Зачем нам вообще понадобился автоматический тюнинг?

Начнём с инфраструктуры. Сетап у нас "классический": ограниченный Hadoop-кластер из купленных серверов. В нём на тот момент, когда мы начали всё это делать, было около 30Тб RAM и 5к CPU. В этом кластере запускается множество разноплановых приложений на Apache Spark и в какой-то момент им стало тесновато. Всё больше приложений висели в PENDING значительное время, потребление памяти утроилось за последние 4 месяца. Сохранять такую тенденцию не хотелось.

Довольно много приложений были от продукта Лидогенерация. Базово он устроен так: есть список номеров телефонов (база) и есть Spark ML Pipeline, который каким-то образом отбирает из этой базы лидов абонентов для некоего целевого действия – например, для предложения продукта клиенту. База может меняться от раза к разу. Вот такую пару из

Поделюсь своим свежим опытом непрохождения интервью в канадскую компанию, может кому поможет пройти отбор и получить работу. Либо же узнать что творится с рынком труда с точки зрения разработчика в реальном мире.

В одном своём гисте Андрей Карпаты сделал кое-что впечатляющее. Чуть больше чем в 100 строках кода на Python — без тяжеловесных фреймворков для машинного обучения — он прописал довольно полную реализацию языковой модели для обучения символьно-ориентированных рекуррентных нейросетей (РНС). Гист включает полное обучение методом обратного распространения с оптимизацией Adagrad. Подробности — к старту флагманского курса по Data Science.

Психиатр сказала «всё будет хорошо, но не с нами». Биполярная зависимость. Лечение.
Что происходит, когда ставят диагноз «Б.А.Р.»?

Я узнала, что у меня БАР I типа в 2020. Спады-подъемы со мной с 17 лет. То есть между первым эпизодом и диагностикой прошло 15 лет.

7 историй от подписчиков: Анна выяснила, что в банках Таиланда даже не знают слова «комплаенс», Игорь потерял из-за скачков рубля 25% финансовой подушки и уехал в Армению, а Иван вручную пересчитал в поле на Бали чемодан рупий и теперь не мыслит жизни без блокчейна.

Привет, Хабр! Сегодня мы поговорим о том, как сделать iPhone более удобным гаджетом, просто поменяв несколько настроек. В этом посте — 11 пунктов, которые на наш взгляд, нужно пройти каждому яблоко-владельцу, независимо от модели и возраста его iPhone. А всех, кто считает себя и так умудренным опытом пользователя Apple, приглашаем под кат оценить, сколько из 10 пунктов вы используете в своей практике.

С 2010 года мировая экономика проходит трансформацию от рынка товаров к рынку впечатлений. Клиентам уже не так важен сам продукт и его цена. В приоритете простота, доступность продукта и лёгкость использования на каждом этапе CJM. Системная работа с обратной связью, положительной и отрицательной, помогает завоевать лояльность, усилить позиции, закрепить лидерство.

Ещё один современный тренд — клиентский опыт становится цифровым. Трансформируются не только стандарты общения, но и технологии сбора обратной связи, аналитика данных.

По статистике только 3% клиентов участвуют в опросах и заполняют анкеты обратной связи. Альфа-Банк вывел этот показатель на космический уровень. Наши опросы регулярно проходят более 10% физических и юридических лиц. Как достичь такой конверсии и настроить сбор и обработку информации для управления клиентским опытом — расскажем в статье.

Интернет-кабель Азия-Африка-Европа-1 (ААЕ-1) проходит по морскому дну 25 тысяч километров, соединяя Гонконг с Францией. Извиваясь через Южно-Китайское море, Аравийское, Красное и Средиземное, кабель обеспечивает интернетом больше двадцати стран, от Индии до Греции и Италии. Когда 7 июня кабель вдруг обрубило, больше ста миллионов людей столкнулись с внезапным отключением интернета. Хуже всего дела были в Эфиопии, которая потеряла 90 процентов своей связи, и в Сомали, где упало 85 процентов.

AAE-1 разорвался в том месте, где кабель недолго проходил по суше через Египет. В этом же инциденте был поврежден еще один кабель. Причина обрыва точно неизвестна (подозревают диверсию). Но эффект был немедленным. Управляющий директор SAEx International Management Розалинд Томас заявила, что их организация планирует проложить новый подводный кабель, соединяющий Африку, Азию и США. Организацию поддержали IT-гиганты. И это понятно: в результате обрыва кабеля работа облачных сервисов, принадлежащих Google, Amazon и Microsoft, также была нарушена, как показал последующий анализ.

Хотя подключение было восстановлено через несколько часов, сбой подчеркивает чрезвычайную хрупкость всех 550 подводных интернет-кабелей в мире. А еще — огромную роль именно Египта и Красного моря в интернет-инфраструктуре. Через него проходит главная магистраль, соединяющая человечество.

В данной статье хотелось бы поделиться одним простым и доступным способом как мне удалось организовать видеонаблюдение за подъездом при помощи малинки и бытовой веб камеры. Думаю, у многих нынче в закромах завалялись уже не нужные вебки. Сужу по себе, раньше, в эпоху преобладаня десктопов такая камера была вещью весьма необходимой для желающих показать себя собеседнику, а то и миру. Однако время идет, десктопы все больше заменяются ноутбуками, планшетами и телефонами, имеющими на борту свою камеру. Но зачем же добру лежать без дела?

И вот пришла идея подключить к малинке валяющуюся без дела вебку Logitech C270. Далее следовал период гугления, проб и ошибок, который в итоге привел к тому, что я и собираюсь описать.

История этого проекта началась с покупки Raspberry 3b+. После получения и первичной настройки сего чудо-девайса встал нетривиальный вопрос: "Хорошо, ну а дальше то что?". Ведь покупал я ее не с конкретной целью - а скорее как катализатор погружения в волшебный мир компьютерных технологий. Забегая вперед, скажу, что план оказался отличным и работает по сей день).

Светимость

«Порезать детальки», «прогреть жало», «к станку», «царский корпус» — такое вероятнее встретить в разговоре с хорошими знакомыми, чем на официальном сайте. Если конечно это не сайт «Амперки». Когда-то создатели магазина радиоэлектроники просто захотели общаться со своей аудиторией на нормальном живом языке, и получилось очень неплохо. О сайтах и контент-проектах для «упоротых механиков», о том, как важно всё делать по-человечески, что вообще происходит сейчас с «Амперкой» — в интервью с одним из сооснователей проекта Михаилом Белогорцевым.  

Хочу поделиться своим опытом выхода из выгорания, возможно кому либо будет интересно. Надеюсь у меня получится помочь Вам решить для себя проблемы "я ж прогать начал чтобы игры делать, а не инвестиционные платформы", "время разрабов-одиночек прошло", "ничего нового не придумать".

Апоптоз - странно звучащее слово. Не зная его смысла (или не зная греческого), невозможно догадаться что оно означает. Непосвящённым может навеять мысли о филейных частях тела. Но все даже более романтично.  Апоптоз означает самоубийство клетки. Помните, как древние императоры избавлялись от неугодных? Присылали вежливую записку с пожеланием смерти и законопослушный гражданин выпивал яду или резал себе живот или вскрывал вены. Так и клетки в какой-то момент своей жизни могут получить указание от высшей власти умереть, которое, как и полагается истинным самураям, беспрекословно выполняют.

Само правило Хебба звучит следующим образом: «Если аксон клетки А находится достаточно близко, чтобы возбуждать клетку B, и неоднократно или постоянно принимает участие в её возбуждении, то наблюдается некоторый процесс роста или метаболических изменений в одной или обеих клетках, ведущий к увеличению эффективности А, как одной из клеток возбуждающих В». Взято здесь.

Уже из самого правила видно, что ключевым фактором развития нейронной сети является повторяемость сигнала возбуждения. И этот фактор, оказывает влияние не только на два связанных нейрона а на всю цепочку передачи сигнала. Из этого можно сделать вывод, что правило Хебба будет работать только в тех нейронных сетях, где возможно распространение сигнала по слою. Что не сложно показать на примере обучения простой модели.

А вот и продолжение тепло принятого блокбастера дипломного проекта одного студента. В этой части: разберёмся с логистикой, займёмся серовозом до того, как это стало мейнстримом и проверим несколько производителей печатных плат. Затем наконец-то соберём печатную плату, проверив все основные узлы.

Дайджест перспективных проектов за прошлый месяц с короткими описаниями, чтобы вы точно не пропустили ничего интересного, а может и вспомнили о полезных вам продуктах.