• Личный опыт: Data Engineering на Upwork

      Я много лет работал Data Engineer'ом и Data Scientist'ом, решал сложные бизнес-кейсы, строил большие системы, выводил это все в продакшен. В начале 2017го я бросил пить, курить и работать в офисе и ушел фрилансить, экспериментировать с альтернативными формами занятости. Довольно много времени я провел на Upwork. Судя по многочисленным комментариям, уважаемая аудитория не до конца представляет себе, что это такое. Вещаю.

      Upwork это крупнейшая в мире биржа фриланса. Дата сатанисты и дата инженеры мало кому в этом мире нужны (по сравнению с переводчиками, веб-мастерами и переписывателями текстов), так что задач для нас относительно мало, так что они тяготеют к крупнейшей бирже в мире. Других фриланс-бирж с постоянным потоком задач для дата саентистов в мире нет — ни Guru, ни Toptal, ни отечественный fl.ru спросом похвастаться не могут. Что важно — для специалистов более массовых специальностей опыт фриланса может сильно отличаться.
      Читать дальше →
    • Blue Origin вернула на Землю и многоразовую ступень, и капсулу экипажа

      • Новость


      Частная компания Blue Origin провела самые тяжёлые испытания многоразовой ракеты New Shepard. 18 июля 2018 года инженеры впервые проверили процедуру отделения капсулы экипажа от ракеты. Всё прошло как запланировано: капсула запустила аварийный двигатель в нужное время на высоте около 76 000 м, поднялась на рекордную высоту 118 825 метров, а затем осуществила мягкую посадку.

      Это важное достижение для ракетной компании Джеффа Безоса, по некоторым оценкам, самого богатого человека в истории человечества. Ранее компания заявляла, что если испытание пройдет хорошо, то Blue Origin может приступить к пилотируемым запускам до конца 2018 года, а первых туристов отправит в космос уже в 2019 году.
      Читать дальше →
    • Прощай, Google Maps

      • Перевод
      Google решил сделать из Google Maps новый миллиардный бизнес, подняв цены в 14 раз и уменьшив лимит бесплатного использования почти в 30 раз, всё с минимальным периодом уведомления. К счастью, это немедленно стимулировало конкуренцию. Apple Maps, MapBox, TomTom — что выбрать?

      Наш стартап GdziePoLek.pl позволяет пациентам находить нужные лекарства в обычных аптеках. И даже по названию («где найти лекарства») понятно, насколько важно отображение на карте. Работу сервиса легко объяснить одной картинкой, на фоне которой всегда были карты Google Maps:


      Типичная страница нашего сервиса показывает наличие лекарства в аптеках
      Читать дальше →
    • Устаревший код – сторонний код

      • Перевод
      image

      В TDD-сообществе существует совет, который говорит о том, что мы не должны использовать mock-объекты для типов, которыми не владеем. Я считаю, что это хороший совет, и стараюсь следовать ему. Конечно, есть люди, которые говорят, что мы вообще не должны использовать mock-объекты. Независимо от того, какого мнения вы придерживаетесь, совет «не имитировать то, что не ваше» – содержит в себе еще и скрытый смысл. Люди часто пропускают его мимо ушей, видя слово «mock» и впадая в ярость.
      Читать дальше →
    • Оптимизация рендеринга сцены из диснеевского мультфильма «Моана». Часть 1

      • Перевод
      Walt Disney Animation Studios (WDAS) недавно сделала сообществу исследователей рендеринга неоценимый подарок, выпустив полное описание сцены для острова из мультфильма «Моана». Геометрия и текстуры для одного кадра занимают на диске более 70 ГБ. Это потрясающий пример той степени сложности, с которой сегодня приходится иметь дело системам рендеринга; никогда ранее исследователи и разработчики, занимающиеся рендерингом вне киностудий, не могли поработать с подобными реалистичными сценами.

      Вот, как выглядит результат рендеринга сцены с помощью современного pbrt:


      Остров из «Моаны», отрендеренный pbrt-v3 в разрешении 2048x858 с 256 сэмплами на пиксель. Общее время рендеринга на 12-ядерном/24-поточном инстансе Google Compute Engine с частотой 2 ГГц с последней версией pbrt-v3 составило 1 ч 44 мин 45 с.

      Со стороны компании Disney это был огромный труд, ей пришлось извлечь сцену из собственного внутреннего формата и преобразовать в обычный; особое спасибо ей за время, потраченное на упаковку и подготовку этих данных для широкого использования. Я уверен, что их работа будет хорошо вознаграждена в будущем, потому что исследователи используют эту сцену, чтобы изучить проблемы эффективного рендеринга сцен такого уровня сложности.
      Читать дальше →
    • Всё, что нужно знать о сборщике мусора в Python

      • Перевод
      Как правило, вам не нужно беспокоиться о сборщике мусора и работе с памятью когда вы пишете код на Python. Как только объекты больше не нужны, Python автоматически освобождает память из под них. Несмотря на это, понимание как работает GC поможет писать более качественный код.

      Менеджер памяти


      В отличие от других популярных языков, Python не освобождает всю память обратно операционной системе как только он удаляет какой либо объект. Вместо этого, он использует дополнительный менеджер памяти, предназначенный для маленьких объектов (размер которых меньше чем 512 байт). Для работы с такими объектами он выделяет большие блоки памяти, в которых в дальнейшем будет хранится множество маленьких объектов.

      Как только один из маленьких объект удаляется — память из под него не переходит операционной системе, Python оставляет её для новых объектов с таким же размером. Если в одном из выделенных блоков памяти не осталось объектов, то Python может высвободить его операционной системе. Как правило, высвобождение блоков случается когда скрипт создает множество временных объектов.
      Читать дальше →
    • Ой, у вас баннер убежал!

      Ну. И что?
      Реклама
    • Тяжкое наследие прошлого. Проблемы командной строки Windows

      • Перевод
      Предисловие от автора, Рича Тёрнера из Microsoft. Это статья о командной строке: от её появления и эволюции до планов капительного ремонта Windows Console и командной строки в будущих версиях Windows. Будь вы опытным профессионалом или новичком в IT, надеемся, что вы найдёте статью интересной.

      Давным-давно в далёкой-далёкой серверной...


      С первых дней развития информатики людям нужен был эффективный способ передавать компьютеру команды и данные и видеть результат выполнения этих команд/вычислений.

      Одним из первых по-настоящему эффективных человеко-машинных интерфейсов стал Tele-Typewriter или «телетайп». Это электромеханическая машина с клавиатурой для ввода данных и каким-нибудь устройством вывода — сначала использовался принтер, позже экран.
      Читать дальше →
    • Признания взломщика дисков для Apple II: секреты 4am

      • Перевод

      Интервью с имеющим дурную репутацию энтузиастом, собирающим коллекцию дисков для Apple II, о его целях и мотивации




      Почему вы решили активно взламывать, архивировать и распространять ПО для Apple II?


      Есть соблазн переписать историю и приписать себе какую-нибудь благородную цель, послужившую мотивацией для этого хобби, но в данном случае правда звучит лучше. Мои родители купили себе Apple //e [так стилизованно обозначали модель Apple IIe / прим. перев.], когда мне было 10 лет, и он быстро начал занимать всё моё свободное время. Пиратство процветало, и я идеализировал кракеров, чьи имена я видел проносящимися по экранам краков у тех игр, что я обменивался с друзьями. Я также восторгался людьми, описывавшими свои методы в обучающих материалах по взломам, которые изначально распространялись в виде текстовых файлов через BBS, а затем были собраны и распространялись на диске. Подростком я провёл множество вечеров, ковыряясь в командах PEEK, POKE и CALL, но у меня почему-то не получалось свести это всё воедино.
      Читать дальше →
      • +26
      • 9,5k
      • 7
    • Справочная: госкорпорация «Роскосмос» и ее работа

        image

        У «Роскосмоса» длинная история, в которой много интересных моментов. Не так давно организации исполнилось уже 26 лет. Официальная дата рождения — 25 февраля 1992 г. Солидный срок для любой организации. Но что собой представляет “Роскосмос”? Очередная «Справочная» расскажет об истории создания организации и некоторых аспектах ее работы, включая, например, планы по созданию орбитальной лунной станции.
        Читать дальше →
      • OpenAI преодолела значительные ограничения в ИИ для игры в Dota 2

          ИИ для игры в Dota 2 от компании OpenAI нашумел в прошлом году, когда обыграл топовых мировых игроков. Но только в матчах 1v1 и с кучей ограничений, отчего не все воспринимали успех всерьез.

          После этого компания поставила амбициозную цель — создать ИИ для командной игры и сыграть на турнире The International в конце августа 2018 на профессиональном уровне. Пока они укладываются в график.
          Читать дальше →
        Самое читаемое