Есть ли способ оптимизировать рабочий процесс проекта Data Science всего в несколько строк кода? Да. Это Prefect. Делимся кратким руководством по работе с этим инструментом, пока у нас начинается флагманский курс Data Science.
Пользователь
Как я разблокировал Upwork профиль и заработал более $250k за год
Мне было страшно писать об этом до недавнего времени.
Upwork стал одним из основных источников дохода для меня лично и для моего агентства, поэтому после восстановления аккаунтов я боялся, что если я опубликую это - меня снова заблокируют.
Но в этой статье я поделюсь историей от блокировки агенства до создания своей бизнес-империи вокруг платформы Upwork.
Обновление данных в ClickHouse
Всем привет! Эта статья продолжает первую часть, где я рассказывал о том, как мы в Just AI переводили пользовательскую аналитику на новую СУБД ClickHouse. В ней я на примерах показывал, как менялась схема данных и sql запросы, какие возникали сложности и удалось ли добиться прироста производительности.
Одной из сложностей, с которыми мы столкнулись во время перехода, оказалось обновление данных. ClickHouse не поддерживает привычную реляционным базам операцию UPDATE, и, хотя существуют различные альтернативы, каждая из них имеет свои недостатки.
В рамках данной статьи я хочу рассмотреть, какие есть способы обновления данных в ClickHouse и на каком из них остановились мы.
Lighthouse. Руководство по оптимизации сайтов для начинающих
Быстрые сайты любят и пользователи, и поисковики.
С первыми всё просто: если страница долго грузится, пользователь её закроет и перейдёт на другой сайт. С поисковиками похожая история: скорость загрузки, скорее всего, влияет на ранжирование сайта в поисковой выдаче.
Lighthouse — один из известных инструментов для проверки производительности сайтов. Он тестирует сайт, показывает оценку производительности и даёт конкретные рекомендации: что можно улучшить, чтобы сделать сайт быстрее.
Lighthouse можно запустить тремя способами:
С помощью Node CLI. Для этого установите в свой проект пакет Lighthouse с помощью команды npm install -g lighthouse
.
Через расширение для браузера Chrome или Firefox. Установите расширение, затем откройте свой сайт и запустите проверку с помощью кнопки Generate report.
С помощью инструментов разработчика — Chrome DevTools. Чтобы запустить проверку, откройте инструменты разработчика, переключитесь на вкладку Lighthouse и нажмите на кнопку Generate report.
Как самостоятельно выучиться на дата-саентиста — адаптированная подборка
"Cтоит ли тратить деньги на тот или иной дорогой курс с codename «Стань DS за два месяца» или все же выучиться на дата-саентиста самостоятельно и бесплатно, и в таком случае, с чего начать?" такие вопросы я получаю от аудитории своего блога. Меня зовут Айра, я делаю проекты в DS&ML, продюсирую курсы по созданию ML-проектов и веду блог по теме.
Недавно собрала ответ на этот вопрос достаточно развернуто, чтобы поделиться им с широкой аудиторией. Не все платные курсы плохие (хотя большинство — да — из-за механизмов отбора, продаж и слабой программы), но о них напишу отдельно. Мне кажется, нужно учитывать больше персонализированных параметров для того, чтобы грамотно выбирать хороший курс за деньги.
Как Discord стал нашим основным инструментом для сбора фидбека и позволил наладить систему саппорта почти без вложений
Сейчас наш Discord-сервер — это самый эффективный способ сбора фидбека у социально активной кор-аудитории PvP-шутера. Сервер начинался как простой эксперимент, мы не понимали, насколько он будет полезен, но результаты превзошли ожидания. Настолько, что мы сделали еще и отдельный сервер, куда полностью перевели весь саппорт.
В обоих случаях нам помогают сами игроки (которых на сервере уже почти 150 тысяч), это особенно актуально, когда комьюнити занимаются не очень много сотрудников.
Ниже расскажу про внутреннюю организацию Discord-сервера Pixel Gun 3D — в первую очередь материал будет полезен КМ и саппортам, которые не работали с этим инструментом (или работали, но не получали максимум профита), а также геймдизайнерам. Затронем роли участников, каналы, ботов и способы защиты, активности и конкурсы, повышающие вовлеченность, а также решение тикетов, когда игроки сами помогают друг другу.
Заметки бэкенд-разработчика: как мы создавали новую программу лояльности
Привет, Хабр! В Dodo Engineering мы любим ставить амбициозные цели и проводить эксперименты. В этой статье я хочу рассказать, как небольшая фича-команда за три месяца сделала и запустила новую программу лояльности в Додо Пицце.
Хотите взглянуть на проект целиком глазами бэкенд-разработчика? Тогда заваривайте чай, мы начинаем путешествие в страну спринтов, хотфиксов, миграций и блестящих додокоинов!
Как я на порядок ускорил переподключение к мастер-узлу в Redis Sentinel
Не так давно, развернув в Kubernetes уже привычный инфраструктурный компонент в виде кластера Redis Sentinel + redis-sentinel-proxy, мы столкнулись с интересными проблемами. При тестировании времени переключения мастера выяснилось, что оно составляет полторы минуты. Это очень долго.
Расскажу, как получилось ускорить процесс.
Новый Brave Wallet — встроенный в браузер криптокошелёк без всяких расширений
Мы запустили Brave Wallet, криптокошелёк, встроенный в десктопную версию нашего браузера, который позволяет пользователям Brave хранить, управлять, накапливать и обменивать свой криптопортфель. В отличие от других криптокошельков, наш не требует установки расширений: он встроен в браузер, что увеличивает безопасность и уменьшает нагрузку на железо. Пользователи могут совершить транзакции практически с любой криптой, не теряя в безопасности и производительности, а также подключать другие кошельки и приложения веб 3.0. Вскоре кошелёк Brave станет доступен и в наших мобильных приложениях.
Дефицит есть, а денег не дают. Почему?
Мы уже выяснили, что у нас есть дефицит рабочих рук во всех отраслях. На примере СССР увидели, что дефицит легко закрывается деньгами и плюшками, что сейчас и происходит в IT. Однако при дефиците рабочих рук в остальных отраслях зарплаты остаются на уровне Румынии и никак не подтягиваются. Почему?
Как алгоритмы распознавания лиц помогут в лечении сотен заболеваний
Вычислительный биолог Анна Карпентер разработала первый алгоритм профилирования клеток на основе полученных с микроскопа изображений. Сегодня такие алгоритмы, в основе которых лежит технология распознавания лиц для социальных сетей, помогают медикам быстро классифицировать тысячи клеток.
Под катом к старту курса по ML и DL делимся интервью Анны Карпентер для Quanta Magazine, где она рассказывает о возникновении первого алгоритма профилирования и рассказывает о большом эксперименте с сотнями типов клеток.
Вечная борьба с парсерами, которую мы, кажется, выиграли
Каждый более или менее крупный сайт хоть раз, но пытались атаковать. Такое было и с нашим сервисом Rusprofile, люди пытались спарсить финансовые и юридические данные о компаниях, которые мы агрегируем у себя последние 5 лет. Поэтому наша команда написала неплохую систему защиты с несколькими эшелонами проверок В этот Новый год случилась DDoS-атака, которую наша система смогла отбить меньше чем за час. Сегодня расскажем, почему другим нужны ваши данные и можно ли защититься от подобных атак (спойлер: можно).
Книга «Паттерны разработки на Python: TDD, DDD и событийно-ориентированная архитектура»
Гарри Персиваль и Боб Грегори познакомят вас с проверенными паттернами, чтобы каждый питонист мог управлять сложностью приложений и получать максимальную отдачу от тестов. Теория подкреплена примерами на чистом Python, лишенном синтаксической избыточности Java и C#.
В этой книге:
- «Инверсия зависимостей» и ее связи с портами и адаптерами (гексагональная/чистая архитектура).
- Различия между паттернами «Сущность», «Объект-значение» и «Агрегат» в рамках DDD.
- Паттерны «Репозиторий» и UoW, обеспечивающие постоянство хранения данных.
- Паттерны «Событие», «Команда» и «Шина сообщений».
- Разделение ответственности на команды и запросы (CQRS).
- Событийно-управляемая архитектура и реактивные расширения.
Как устроены мобильные номера. Давайте разберемся
Привет всем. Последнее время я писал код полей ввода input для номеров телефона и др. И мне пришлось углубиться в эту тему и разобраться как устроены мобильные номера телефонов. И в этой статье я хочу с вами поделиться своим опытом. Я постараюсь очень кратко, так что присоединяйтесь, потратьте 15 минут, если вы этого не знаете и вам любопытно.
Если вы занимаетесь программированием на vue.js, то вот вам ссылка на компонент, который включает различные input поля в том числе для номеров телефонов. Мне кажется данный компонент может сильно облегчить вам жизнь, ниже ссылка на github и гифка как работает одно из полей. На этом по вступлению все, дальше только по теме.
Увеличивает ли соседство простых чисел количество делителей числа?
В последнее время я думал о числе 60.
Вавилонские счетоводы и землемеры основывали свою арифметику на шестидесятеричном счислении, возможно потому, что эта система помогает в работе с дробями. Если упорядочить объекты в группы по 60, их можно делить на половины, на трети, четверти, пятые, шестые, десятые, двенадцатые, пятнадцатые, двадцатые, тридцатые и шестидесятые части. Ни одно меньшее число не имеет такого количества делителей, и благодаря этому число 60 относится к элитному классу высокосоставных чисел (этот термин и его определение были предложены в 1915 году Сринивасой Рамануджаном.)
Но у числа 60 есть и другая особенность, которую я заметил только несколько недель назад, хотя о ней могли знать вавилоняне, а уж Рамануджан знал точно. Число 60 с его выдающимся количеством делителей тесно расположено между двумя другими числами, вовсе не имеющими делителей, за исключением 1 и самого себя: и 59, и 61 являются простыми. Такие пары простых чисел, разделённые одним промежуточным целым, называются числами-близнецами. Примерами таких чисел являются пары (5, 7), (29, 31) и (1949, 1951). На протяжении многих лет исследователи теории чисел внимательно изучали числа-близнецы. Меньшего внимания удостоилось число посередине — непрошенный гость, отделяющий близнецов друг от друга. Рискуя выглядеть немного слащавым, я назову это число посередине братом близнецов, или просто братом.
Почему каждому Дата-сайентисту нужен Инженер данных?
Дата-сайентист назван «самой сексуальной профессией 21-го века». The Harvard Business Review обьясняет это тем, что такой «гибрид хакера, аналитика, переговорщика и ценного советчика» — очень редкое сочетание навыков, и высоко оплачивается.
Слишком хорошо, чтобы быть правдой? По данным Forbes, да. Оказывается, что большую часть времени (до 79%) дата-сайентисты занимаются ненавистной им работой.
Чаты на вебсокетах. Теперь про бэкенд
Продолжаем рассказывать про чаты на вебсокетах, но уже со стороны бэкенда. Когда-то использовали сторонний сервис, но было важно решить ряд моментов, которые он не мог покрыть. Выбирать особо не пришлось, и мы принялись разрабатывать собственное решение.
Ниже подробности о том, что было до написания кастомных чатов и какие стояли требования к реализации, из каких компонентов они состоят, как вписываются в нашу инфраструктуру и что получилось в итоге. А в конце статьи — ссылки про особенности разработки наших чатов на вебсокетах для iOS и Android.
WordClock — от вдохновения до воплощения
Однажды увидел картинку необычных часов, которые пишут время. Это были QlockTwo.
Поиск в интернет по производителю предоставил информацию, которой я был огорчен.
Стоимость часов в форм-факторе 450 x 450 мм. начиналась от 1500$ за версию с пластиковой лицевой панелью. Версия со стальной сатинированной панелью стоила 2000$, именно ее я изначально увидел и она мне понравилась.
Платить такие суммы не было возможности и я загорелся идеей создания аналога данных часов.
Автоматизируем все с Github Actions (Никита Соболев)
Никита Соболев покажет множество функций Github Actions, поделится собственными впечатлениями и болями от первых месяцев использования, покажет, как сделать собственные инструменты.
«Я больше не могу»: 5 причин эмоционального выгорания программиста и что с этим делать
Андрей Н. начал кодить 8 лет назад, и готов был работать сутками напролет, набирая «шабашки» на выходные, а в свободное от работы время изучая новые фреймворки. Работа приносила удовольствие, он наконец-то нашел себя! Спустя 8 лет Андрей с трудом заставляет себя встать с кровати утром, работа не приносит радости, как не приносит ее ничто другое: все виды развлечений, которые развеивали ранее, больше не интересны. У Андрея эмоциональное выгорание, которое предшествует депрессии.
Меня зовут Ксения Корзун, я психолог, специализируюсь на работе с программистами и, в частности, много работаю с эмоциональным выгоранием, апатией и депрессивными состояниями. Проанализировав множество кейсов, проведя терапию с такими клиентами как Андрей, я выделила несколько причин возникновения эмоционального выгорания и в этой статье хочу привести их и сразу же предложить несколько «антидотов».
Информация
- В рейтинге
- Не участвует
- Откуда
- Екатеринбург, Свердловская обл., Россия
- Дата рождения
- Зарегистрирован
- Активность