Эта статья посвящена всем практикующим специалистам по данным, заинтересованным в освоении запуска, стандартизации и автоматизации пакетных конвейеров данных в Netflix.

О Dataflow мы писали в статье под названием Data pipeline asset management with Dataflow. Та статья представляла подробное знакомство с одним из наиболее технических аспектов Dataflow, но сам этот инструмент толком не описывала. На сей раз мы оправдаем заявленное вступление, после чего сосредоточимся на одной из основных возможностей Dataflow — образцах рабочих потоков. Для начала же мы коротко разберём Dataflow в общем.

На рубеже веков и тысячелетий… проще говоря, около 2000 года русскоязычная сеть была юной и населённой в основном программистами, гиками, а именно — гиками-программистами. С дорогим и сложнодоступным Интернетом уверенно спорил Фидонет, который некоторые порывались сделать векторным и гипертекстовым, а о понятии сетевого мема или медиавируса тогда слышали в основном ну очень закопавшиеся в предмет нёрды.

Тем не менее, шушпанчиков, зародившиеся в пучинах прочно вошедшей в анналы истории рунета эхи Su.Kaschenko.Local, можно с уверенностью назвать одним из важнейших сетевых мемов начала нулевых. Правда, есть небольшая проблема. О шушпанчиках написаны сотни шушпанишад и шушпанизмов, однако «основная характеристика шушпанчиков состоит в том, что никто точно не знает, что это такое и как они выглядят».

Чёрная дыра в галактике M87 в поляризованном свете. Линии обозначают ориентацию поляризации, связанной с магнитными полями в тени чёрной дыры. Скорее всего, излучение сверхмассивных чёрных дыр будет нести на себе отпечаток поляризации

Удивительно, насколько сильно наше понимание Вселенной продвинулось и поменялось с начала XX века. В 1900-х годах физики только начинали раскрывать квантовую природу реальности, ещё не вышли за пределы ньютоновского понимания гравитации и не подозревали о таких астрономических объектах, как чёрные дыры. К 1970-м космологи уже представляли себе Вселенную, управляемую принципами Общей теории относительности, начавшую своё существование с Большого взрыва, заполненную галактиками, звёздами и их останками, а также её квантовую природу, удивительно точно описываемую Стандартной моделью.

Для Pinterest СУБД HBase является одним из самых критически важных бэкендов хранения, лежащим в основе многих онлайн-сервисов хранения наподобие Zen (база данных графов), UMS (wide-column-хранилище) и Ixia (вторичный сервис индексации, работающий почти в реальном времени). Несмотря на то, что экосистема HBase имеет различные преимущества, например, высокую согласованность на уровне строк при высоких объёмах запросов, гибкую схему и низкую задержку доступа к данным, интеграцию с Hadoop и так далее, она не сможет отвечать потребностям наших клиентов через 3–5 лет. Это вызвано высокими эксплуатационными затратами, излишней сложностью и отсутствием такой функциональности, как вторичные индексы, поддержка транзакций и так далее.

Выполнив оценку более десятка различных бэкендов хранения данных, проведя бенчмарки трёх лучших бэкендов при помощи теневого трафика (асинхронным копированием трафика продакшена в среду вне продакшена) и тщательно оценив производительность, мы решили использовать в качестве окончательного кандидата на роль Unified Storage Service (унифицированного сервиса хранения) СУБД TiDB.

Расшифровка визуальной информации из активности мозга — это способ узнать больше о том, как работает зрительная система человека, и как заложить основу для создания системы, в которой люди и компьютеры могут общаться друг с другом с помощью сигналов мозга. Однако создать чёткие и точные изображения из записей мозга может быть сложно, потому что сигналы мозга сложны и часто не хватает данных для должного обучения.

В этой статье мы разберём работу MinD-Vis, опубликованную Стэндфордским, Гонконгским и Сингапурским университетами в Ноябре этого года.

В 2010 году одно из крупных издательств объявило конкурс на лучшее произведение в стиле офисного романа. Мне об этом рассказала моя уже бывшая коллега за обедом. Она собралась писать и подавать рукопись. На моё удивление она ответила: «А что здесь сочинять? Бери и описывай наш коллектив, тот ещё офисный детектив с элементами хоррора». И то правда: офис из полтысячи сотрудников был богат на интриги, конфликты, локальные серпентарии и уничтожение самооценки человека. Самое интересное, что речь шла об IT-компании, одной из лучших на тот момент. В этой компании было немало ребят, которые задавались вопросом, а можно ли просто спокойно поработать, не ввязываясь в баталии и битвы с местными сколопендрами. Как показал дальнейший опыт, этот вопрос звучит почти везде. Так что же мешает работать, кроме устаревшей техники и медленного интернета, которые почти повсеместно удаётся извести?

Добро пожаловать в молодую, успешную, позитивную, динамично развивающуюся команду!

В 2013 году вышли самые горячие (до 220 Вт) и частотные (до 5 Ггц) процессоры AMD — FX-9000 серии. Немного ностальгии, интересных фактов и разгона ниже.

Многие люди (включая меня) называют футбол «непредсказуемой игрой», потому что в футбольном матче есть множество факторов, влияющих на окончательный счёт. И это верно… в определённой степени.

Сложно спрогнозировать окончательный счёт или победителя матча, однако при прогнозировании победителя в соревнованиях всё не так. За последние пять лет «Бавария» выиграла все Бундеслиги, а «Манчестер Сити» выиграл 4 Премьер-лиги.

Совпадение? Не думаю.

На самом деле, в середине сезона 20-21 годов я создал модель для прогнозирования победителя Премьер-лиги, Чемпионата Испании, Чемпионата Италии и Бундеслиги, и она успешно спрогнозировала всех победителей.

Прогноз сделать было не так сложно, потому что на тот момент было сыграно уже 19 матчей. Теперь я запущу ту же модель для прогнозирования результатов Чемпионата мира 2022.

Джон Кармак вместе с тёзкой Джоном Ромеро стали родоначальниками игрового жанра FPS. На слабеньких 486SX, без видеокарт (!) они выдали настоящий 3D-шутер без лагов с эффектом присутствия, что стало бомбой для 1993 года — в эпоху пошаговых стратегий и отсутствия скроллинга. Казалось, тут вмешалась чёрная магия…

В принципе, примерно так и есть. В разработке Wolfenstein 3D, Doom и движка Quake Джон Кармак действительно использовал кучу нестандартных приёмов вроде конверсии указателей или выхода за границы объектов, чтобы в циклах получать доступ к другому объекту, который гарантированно идёт следом.

Уровень программирования Doom и Quake до сих пор считается непревзойдённым образцом хакерских оптимизаций, а сам Джон Кармак — эталон сверхэффективного разработчика. Благодаря высочайшему качеству программирования Doom стал феноменом, который изменил мир.

starlink.sx v0.1 pre-pre-alpha

Прошло 18 месяцев с того момента, как я запустил свой проект starlink.sx, в первую очередь нацеленный на расширение моего понимания принципов работы комплекса Starlink от SpaceX, а также изучение возможностей его применения в Кении. В этой стране мой стартап – Poa Internet – предлагает доступный широкополосный доступ непривилегированным сообществам, используя фиксированный беспроводной доступ (FWA). Учитывая отсутствие хорошей оптоволоконной структуры в большей части Африки, использование Starlink в качестве транзитного соединения для распределения FWA выглядит вполне годным.

И хотя я ожидал, что это будет короткий проект на пару-тройку месяцев, судя по моему трекеру Loon вскоре стало ясно, что запуск низкоорбитального (LEO) комплекса на негеостационарной орбите (NGSO) сопряжён со множеством областей – не только с аэрокосмической инженерией, орбитальной механикой или беспроводными коммуникациями, но также с юридическими, финансовыми, регуляторными нюансами и прочим. Мне предстоял непростой путь.

Сегодня я выпустил v2.0 сайта, впервые предложив возможность моделирования потенциальных мощностей для обслуживания потребителей в выбранной стране.

Хорошо, когда у DevOps заканчиваются задачи. Это значит, что все крупные преобразования уже позади. Однако это легко может превратиться в пугающую проблему, способную привести к деградированию навыков и выгоранию. Ради душевного спокойствия себя и своих коллег прочитайте эту статью, если вы чувствуете себя потерянным, не знаете, что делать и как оставаться проактивным.

В идеале работа DevOps должна замедляться. Вся автоматизация работает отлично, CI/CD функционирует настолько хорошо, что вы уже забыли, когда в последний раз приходилось вмешиваться после развёртывания. Кажется, что инфраструктура и процессы достигли идеального состояния, когда осталось лишь несколько мелких улучшений, которые могут и не стоить приложенных усилий.

Это настоящая мечта — не делать ничего, в то время как ваша инфраструктура функционирует подобно хорошо смазанному механизму. Однако в реальности, если вы долго ничего не делаете в роли инженера DevOps, ваши навыки и знания начинают теряться.

Отбракованные фотографии на блошином рынке средней школы Фэрфакса, Калифорния. Иллюстрация из статьи про вещизм и скопидомство в Los Angeles Times (2014 год)

Имея в своём распоряжении петабайтные диски, появляется соблазн сохранять абсолютно всё. Все интересные фильмы и музыку, которые мы видели и слышали, семейные видео и фото. Прочитанные книги, написанный код. Письма, полученные и отправленные. Документы, мысли, заметки в Obsidian или Evernote (система типа «второй мозг»). Действительно, зачем удалять хоть один файл, если места хватает?

Противоположный подход — изначально ограничивать себя в потреблении информации, игр, фильмов, любого контента, чтобы не захламлять диск (и сознание) ненужной информацией. И хранить только самое лучшее, в минимальном количестве.

Когда, играя в ту или иную RPG, я оказываюсь в библиотеке, то обязательно перечитываю все книги на полках, чтобы лучше вникнуть во вселенную игры. Помнит кто-нибудь «Краткую историю империи» в Morrowind?

Большие данные (Big Data) и, в частности, экосистема Hadoop появились немногим более 15 лет назад и развились к сегодняшнему дню так, как мало кто мог тогда предположить.

Ещё только появившись, опенсорсный Hadoop сразу стал популярным инструментом для хранения и управления петабайтами данных. Вокруг него сформировалась обширная и яркая экосистема с сотнями проектов, и он до сих пор используется многими крупными компаниями, даже на фоне современных облачных платформ. В текущей статье я опишу все эти 15 лет¹ эволюции экосистемы Hadoop, расскажу о её росте в течение последнего десятилетия, а также о последних шагах в развитии сферы больших данных за последние годы.

Так что пристегнитесь и настройтесь на путешествие во времени вглубь 20 последних лет, поскольку наша история начинается в 2003 году в маленьком городке к югу от Сан-Франциско…

Дисклеймер: изначально я планировал оформить статью логотипами упоминаемых в ней компаний и программ, но на TDS запрещено обширное использование логотипов, поэтому я решил украсить содержание случайными изображениями и справочной информацией. Весело вспоминать, где мы в те времена находились и чем занимались.

Сообщения об ошибках — чуть ли не единственное место, где пользователь программы может напрямую пообщаться с её автором. Ну как пообщаться… Ответить он всё равно ничего не сможет. Даже если сильно хочется. А иногда в сообщениях об ошибках такой треш, что действительно очень хочется ответить. Или просто взглянуть в глаза того инженера, который это сочинил.

Планировалось, что эта публикация будет открывать цикл «Операционные усилители». Однако при работе над циклом оказалось, что туда просто необходимо включить большой объём данных и писать очень сухо, чтобы не превращать его в нечитаемый лонгрид. Усложнять и без того сложный материал решениями на устаревшей элементной базе очень не хотелось.

При этом и конструктивные, и схемотехнические решения операционного усилителя K2-W отлично иллюстрируют техническую культуру того времени и заслуживают подробного описания. Я долго подбирал слова, многократно эту статью переписывал, и только сейчас решил её опубликовать.

История эта началась в январе 1952 года, когда Джордж Филбрик (George Philbrick) и его компания GAP/R (George A. Philbrick Researches, Inc) выпустили операционный усилитель K2-W на двух лампах 12AX7.

Термин «операционный усилитель» появился задолго до этого, ещё в ранние сороковые. Лампы 12AX7 стали массово выпускаться, начиная ещё с 1948 года. Для усиления сигналов электронные лампы стали применяться прямо с момента их создания в 1906 году. Что же изменилось?

Отредактировать фотографию, убрать случайные дефекты, отрегулировать яркость и контрастность, повысить чёткость изображения и добавить утраченные фрагменты — что может быть проще? Если под рукой, конечно, имеется верный «Фотошоп»! Однако этот самый «Фотошоп» придумали в 1990 году, а вот фотографию изобрели чуть раньше: Нисефор Ньепс создал свою легендарную работу — «Вид из окна в Ле Гра» — в 1826-м. Но ведь как-то же решали эту задачу наши отцы, скажем, в 70-х и 80-х годах?

На «Хабре» уже публиковался короткий двухминутный фильм о «советском Фотошопе», с помощью которого музейные и научные работники ретушировали и восстанавливали редкие архивные снимки. Хабровчане опознали в нём аппаратно-программный комплекс PERICOLOR-1000 производства французской компании Numelec, но о самом этом наборе устройств известно очень мало — практически ничего. Сохранилась лишь обрывочная документация советского периода, представляющая собой не слишком качественный перевод с французского, в котором, ко всему прочему, используется совершенно непривычная современному айтишнику терминология. Мне стало жутко интересно выяснить как можно больше подробностей об этой удивительной системе, и я принялся целенаправленно искать информацию о ней. Результатами своих поисков я хочу поделиться с вами.

Мёртвый ЖЖ стал мемом ещё десять лет тому назад. Платформа технически продолжает жить и здравствовать, там по сей день есть читаемые и популярные блоги, но эпоха «Живого Журнала» как главной дискуссионной площадки рунета безвозвратно ушла в прошлое. А ведь было, было время!

Именно там кипели бурные страсти и жуткие ср*чи, рождались мемы и дискурсы, вспыхивали звёзды знаменитых блогеров и афедроны комментаторов. Кащениты тгавили пейсателя, падонки учили олбанскей, аффтарами писались тонны лытдыбров, а с многострадальным головным убором Антона Носика чего только ни происходило.

ЖЖызнь кипела во всех формах и расцветках — и казалось, не будет этому конца и края. Конец таки пришёл куда быстрее, чем можно было предположить, но ЖЖ остался в сердцах ветеранов рунета и в истории его развития.

Смахнув скупую слезу ностальгии, попробуем вспомнить некоторые из славных и не очень страниц истории русскоязычного LiveJournal.

В этой статье я расскажу о своём опыте работы над большими приложениями и о том, как в мою работу пришёл мониторинг, когда я начал создавать ПО, предназначенное для решения критичных для бизнеса задач.

Решение критических проблем клиентов может создавать отличные возможности для бизнеса, однако в таких случаях высоки и требования клиента.

Я вскоре осознал, что для удовлетворения потребностей таких клиентов нужно автоматизировать большинство повседневных задач, которые занимали много моего времени, отрицательно влияя на продуктивность.

Новые клиенты появляются у нас каждый месяц; приложения становятся всё более и более сложными, усиливается бюрократия, а срочные ситуации, ранее возникавшие раз в месяц, теперь заставляют нас задерживаться на работе ежедневно.

Я не узнаю о том, что моё приложение сломано благодаря тому, что клиент сообщит об ошибке напрямую. Такие клиенты не сообщают о багах или ошибках; они просто перестают пользоваться приложением и ищут другую команду, которая работает более слаженно.

За более чем десять лет работы разработчиком ПО я много времени тратил на поиск лучших инструментов для повышения моей продуктивности.

В 2002 году, пока всё прогрессивное человечество ждало выхода заявленной ещё в 1997 году игры Duke Nukem Forever, дабы скрасить ожидание, на рынке появился платфомер Duke Nukem: Manhattan Project. Игра была в целом хорошо встречена игроками и критиками. Duke Nukem: Manhattan Project является четвёртой в серии игр про Дюка Нюкема для ПК, а если брать все платформы, то аж десятой. Игра разработана компанией Sunstorm Interactive, известной серией симуляторов охоты Deer Hunter и выпуском дополнений для Blood, Shadow Warrior и самого Duke Nukem 3D. Так что люди знали, что делали, и эстетика Duke Nukem 3D тут чувствуется. 3D Realms продюссировала проект, а компания Arush Entertainment выступила в роли издателя.

В декабре 2021 года в мировых СМИ появились публикации о том, что правительство тихоокеанской страны Тувалу обсуждает цифровизацию государства. «Мы обсуждаем технологии, с помощью которых сможем создать цифровую нацию, чтобы мы могли продолжать действовать сообща, даже находясь в другом месте», — заявил министр юстиции, связи и иностранных дел Саймон Кофе.

Речь шла не только о том, чтобы перевести все сервисы «в цифру», что с 2010-х становится общепринятой практикой во множестве стран мира, а для Тувалу с расстояниями между островами в десятки километров выглядит особенно актуальным. Нет, всё куда серьёзнее: правительство Тувалу объявило о планах превратить свою страну в цифровую копию внутри метавселенной. Да ещё и с полным общественным и государственным функционалом, который можно будет использовать из любой точки планеты посредством VR.