Интернет родился в недрах DARPA/ARPA — Управления перспективных оборонно-исследовательских проектов министерства обороны США (Advanced Research Projects Agency, с то появляющимся, то исчезающим первым словом Defence, «оборонных») — утверждение по банальности и общеизвестности сравнимое с «Земля вращается вокруг Солнца». Даже его первая итерация Интернета, заработавшая 29 октября 1969 года, называлась ARPAnet — «сеть ARPA». Однако не только созданием этих наших интернетов знаменито DARPA. Если вбить слово DARPA в поиск Хабра, мы получим множество публикаций: смесь исторических обзоров и новостей о всевозможных разработках повышенной степени масштабности и безумности (от боевых насекомых-киборгов до беспилотного преемника «Шаттлов»).

Граф – это математическая структура данных, представляющая собой множество связанных элементов. Поскольку графы, по своей сути, являются очень гибкими и позволяют сохранять информацию в знакомой и удобной для восприятия форме, они всегда активно использовались в компьютерной науке и сфере технологий. С появлением же машинного и глубокого обучения, графы обрели ещё бо́льшую популярность, создав новое направление — машинное обучение на графах.

В этой статье я расскажу вам о наиболее полезных библиотеках Python, которые использовал для сетевого/графового анализа, визуализации и машинного обучения. Если говорить конкретнее, то это будут:

• NetworkX для общего анализа графов;
• PyVis для интерактивной визуализации графов прямо в браузере;
• PyG и DGL для решения различных задач в области машинного обучения на графах.

Точнее даже на одной, потому что вторая служит выходным усилителем звуковой частоты.

Привет, Хабр! Сегодня продолжаем играть с электронными лампами. На этот раз попробуем построить настоящий ламповый радиоприёмник.

Картинка Freepik

В нашей жизни достаточно широко используются элементы на базе пьезоэлектрического эффекта. Без них невозможно представить себе современные мобильные телефоны (микрофоны и динамики), разнообразные тензодатчики (датчики давления) и даже генераторы электричества (например, в зажигалках). Мы же, в свою очередь, зададимся таким странным вопросом: а реально ли создать подобный пьезоэлемент самостоятельно?

Количество поисковых запросов по профессиям

Что таит в себе будущее дата-инжиниринга? В этой статье я поделюсь своими прогнозами на 2023 и последующие годы.

Статьи с прогнозами на следующий год — это банально, но у них есть своя цель. Они помогают нам подняться над повседневной рутиной и подумать над тем, что принесёт выгоду в долгосрочной перспективе.

Кроме того, они обычно бывают упражнениями в смирении: мы пытаемся нарисовать целостную «общую картину» отрасли, стремительно эволюционирующей во множестве направлений. Попробуйте-ка найти отрасль, в которой людям сильнее нужно поддерживать актуальность своих знаний!

Эти возможные направления развития становятся ещё более важными, когда занимающиеся данными организации начинают оценивать и переоценивать свои приоритеты в свете экономической рецессии и когда от инвестиций в дата-инжиниринг зависит способность компании оставаться гибкой, инновационной и конкурентоспособной.

Привет, чемпион!

Возможно, ты сейчас готовишься к собеседованию в какую-нибудь IT-компанию. Скорее всего, тебе будут задавать технические вопросы, поэтому тебе приходится готовиться. Но, возможно, ты всё равно не сможешь ответить на все вопросы правильно. Как быть?!

А слышал ли ты про новую умную chatGPT? А что, если Я тебе скажу, что больше готовиться к собеседованиям так усердно не нужно! Что?! Задаваемые тебе вопросы можно делегировать chatGPT.

В общем, нет времени объяснять, давай устроим собес для chatGPT по Data Science и узнаем, сможет ли сетка его пройти?! Всё по классике — спрашиваем вопросы по 4 секциям:

• Программирование — Python и алгоритмы,
• Написание SQL-запросов,
• Data Science и статистика,
• ML System Design.

Это серия статей о том, что такое математическая оптимизация, и как она может быть применена в бизнесе на примере компании Recruit. Другие части доступны здесь:

• Введение в математическую оптимизацию на примере компании Recruit. Часть 1
• Введение в математическую оптимизацию на примере компании Recruit. Часть 3

В данной статье рассказывается о мышлении и ключевых моментах при использовании математической оптимизации для решения одной из самых важных проблем в ресторанах, а именно «задержки приготовления».

❖ автор Рёсуке Судо

Многие люди (включая меня) называют футбол «непредсказуемой игрой», потому что в футбольном матче есть множество факторов, влияющих на окончательный счёт. И это верно… в определённой степени.

Сложно спрогнозировать окончательный счёт или победителя матча, однако при прогнозировании победителя в соревнованиях всё не так. За последние пять лет «Бавария» выиграла все Бундеслиги, а «Манчестер Сити» выиграл 4 Премьер-лиги.

Совпадение? Не думаю.

На самом деле, в середине сезона 20-21 годов я создал модель для прогнозирования победителя Премьер-лиги, Чемпионата Испании, Чемпионата Италии и Бундеслиги, и она успешно спрогнозировала всех победителей.

Прогноз сделать было не так сложно, потому что на тот момент было сыграно уже 19 матчей. Теперь я запущу ту же модель для прогнозирования результатов Чемпионата мира 2022.

starlink.sx v0.1 pre-pre-alpha

Прошло 18 месяцев с того момента, как я запустил свой проект starlink.sx, в первую очередь нацеленный на расширение моего понимания принципов работы комплекса Starlink от SpaceX, а также изучение возможностей его применения в Кении. В этой стране мой стартап – Poa Internet – предлагает доступный широкополосный доступ непривилегированным сообществам, используя фиксированный беспроводной доступ (FWA). Учитывая отсутствие хорошей оптоволоконной структуры в большей части Африки, использование Starlink в качестве транзитного соединения для распределения FWA выглядит вполне годным.

И хотя я ожидал, что это будет короткий проект на пару-тройку месяцев, судя по моему трекеру Loon вскоре стало ясно, что запуск низкоорбитального (LEO) комплекса на негеостационарной орбите (NGSO) сопряжён со множеством областей – не только с аэрокосмической инженерией, орбитальной механикой или беспроводными коммуникациями, но также с юридическими, финансовыми, регуляторными нюансами и прочим. Мне предстоял непростой путь.

Сегодня я выпустил v2.0 сайта, впервые предложив возможность моделирования потенциальных мощностей для обслуживания потребителей в выбранной стране.

Во второй половине ноября 2022 года в ТикТоке внезапно завирусился мем про «даблуны» или «даблоны» (dabloons). Так назвали воображаемую валюту, на которой за считанные дни стихийно возникла экономическая система — пародирующая одновременно стереотипы фэнтезийных RPG и увлечение криптовалютами.

Уже 24 ноября про новое интернет-явление писала The New York Times. К этому моменту хэштег #dabloons набрал в TikTok более 417 миллионов просмотров. Число просмотров на тот момент росло более чем на 150 миллионов за 24 часа.

Если описывать новую забаву тиктокеров вкратце, это выглядит примерно так: люди в TikTok при просмотре роликов увлечённо «получают» и «тратят» не просто виртуальные, а напрочь вымышленные деньги, известную как эти самые «даблуны».

Первые лучи восходящего Солнца у нас в стране Камчатка встречает одной из первых. Но жителей Петропавловска-Камчатского, административного центра этого дикого и отдалённого края, с лучезарными улыбками ассоциируются трудно. И в общем-то, зря — камчатцы, живущие здесь вопреки суровому климату — достойны восхищения. Здесь жил и будет жить русский человек. Просто потому, что надо. Попробуем взглянуть на формирующуюся Авачинскую агломерацию с точки зрения градостроителя. Это ответит на вопрос, почему столицу Края нельзя сравнивать и оценивать, — город такой как есть.

Привет, Хабр! Прошлой осенью мы завершили большой тест шести российских и шести импортных аккумуляторных батарей (АКБ) в корпусе типоразмера L2.

В этом году мы тоже не сидели без дела, и настал черёд аккумуляторов D23, предназначенных для любимых нашим народом азиатских автомобилей. В испытаниях приняли участие 5 АКБ разных брендов:

• Furukawa Battery Super Nova 55D23L,
• Panasonic (Yuasa) N-75D23L/JE,
• Solite 85D23L,
• Mazda (Exide) PE1T-18-520 9B,
• Exide Premium EA654.

Хорошо, когда у DevOps заканчиваются задачи. Это значит, что все крупные преобразования уже позади. Однако это легко может превратиться в пугающую проблему, способную привести к деградированию навыков и выгоранию. Ради душевного спокойствия себя и своих коллег прочитайте эту статью, если вы чувствуете себя потерянным, не знаете, что делать и как оставаться проактивным.

В идеале работа DevOps должна замедляться. Вся автоматизация работает отлично, CI/CD функционирует настолько хорошо, что вы уже забыли, когда в последний раз приходилось вмешиваться после развёртывания. Кажется, что инфраструктура и процессы достигли идеального состояния, когда осталось лишь несколько мелких улучшений, которые могут и не стоить приложенных усилий.

Это настоящая мечта — не делать ничего, в то время как ваша инфраструктура функционирует подобно хорошо смазанному механизму. Однако в реальности, если вы долго ничего не делаете в роли инженера DevOps, ваши навыки и знания начинают теряться.

В современном мире нас окружает огромное количество электронных устройств различной степени сложности. Если устройство более или менее сложное, например, телевизор, маршрутизатор, смартфон, то с большой долей вероятности оно работает под управлением операционной системы Linuх, и эта мысль не даёт мне покоя.

Ещё больше не даёт покоя мне тот факт, что все ядра операционной системы Linux, которые работают на различных устройствах и серверах, собраны из исходного кода, находящегося в репозитории на сайте kernel.org.

Такие разные устройства, а операционная система, работающая на них, собрана из одного и того же исходного кода! Это утверждение, конечно, верно лишь отчасти, так как фактически ядро обычно расширено и модифицировано разработчиками конкретных дистрибутивов Linux, а также разработчиками конкретных устройств, но общего исходного кода достаточно много.

Мне всегда хотелось собрать операционную систему Linux самому из исходного кода, но процесс этот всегда казался сложным и запутанным, да и многого я не понимал. Но всё-таки в определённый момент времени я накопил достаточное количество знаний, чтобы осуществить свою мечту. В этой статье я хочу рассказать вам, как собрать минимальную Linux из исходного кода и запустить её у себя на компьютере.

Всем привет. Эксперименты с эмуляцией сети продолжаются. В этот раз, как и обещал, будем делать вид, что в нашей виртуальной сети завелась машина с честным snmp-агентом.

Возможно, вы слышали, что 90% моделей ML не добираются до стадии продакшена. На самом деле, любой человек из сферы ИТ знает, что внедрение ПО в продакшен — долгий и сложный процесс. Однако с того момента, как люди впервые написали условный оператор, происходили постоянные совершенствования процессов, способов разработки, развёртывания и обслуживания. Это привело к появлению процессов и инструментов, называемых DevOps. Сегодня они стали неотъемлемой частью практически любой компании, создающей серьёзное ПО, будь то в игровой, производственной, финансовой или медицинской отрасли. По этой теме написаны сотни, если не тысячи веб-страниц и статей.

Однако в последние годы в мире появилось новое подмножество типов ПО, а именно системы на основе AI. Они используют существенно отличающийся подход к решению задач, основанный на статистике, вероятности и, что самое важное, большом объёме данных. Это создаёт новые сложности, которые невозможно эффективно устранять при помощи стандартных методологий DevOps (потому что процессы тем или иным образом различаются). Многие компании, пытавшиеся использовать их, потерпели поражение.

Когда, играя в ту или иную RPG, я оказываюсь в библиотеке, то обязательно перечитываю все книги на полках, чтобы лучше вникнуть во вселенную игры. Помнит кто-нибудь «Краткую историю империи» в Morrowind?

Большие данные (Big Data) и, в частности, экосистема Hadoop появились немногим более 15 лет назад и развились к сегодняшнему дню так, как мало кто мог тогда предположить.

Ещё только появившись, опенсорсный Hadoop сразу стал популярным инструментом для хранения и управления петабайтами данных. Вокруг него сформировалась обширная и яркая экосистема с сотнями проектов, и он до сих пор используется многими крупными компаниями, даже на фоне современных облачных платформ. В текущей статье я опишу все эти 15 лет¹ эволюции экосистемы Hadoop, расскажу о её росте в течение последнего десятилетия, а также о последних шагах в развитии сферы больших данных за последние годы.

Так что пристегнитесь и настройтесь на путешествие во времени вглубь 20 последних лет, поскольку наша история начинается в 2003 году в маленьком городке к югу от Сан-Франциско…

Дисклеймер: изначально я планировал оформить статью логотипами упоминаемых в ней компаний и программ, но на TDS запрещено обширное использование логотипов, поэтому я решил украсить содержание случайными изображениями и справочной информацией. Весело вспоминать, где мы в те времена находились и чем занимались.

В этой статье объясняется, как делать копии списков Python, массивов NumPy и датафреймов Pandas при помощи операций получения срезов, списочного индексирования (fancy indexing) и логического (boolean indexing). Эти операции очень часто используются при анализе данных и должны рассматриваться всерьёз, поскольку ошибочные предположения могут привести к падению быстродействия или неожиданным результатам.

Python кажется простым, но всякий раз, возвращаясь к его азам, ты находишь новые для освоения вещи. Здесь на ум приходит известное изречение Эйнштейна:

«Чем больше я узнаю, тем больше понимаю, как много я ещё не знаю».

Отредактировать фотографию, убрать случайные дефекты, отрегулировать яркость и контрастность, повысить чёткость изображения и добавить утраченные фрагменты — что может быть проще? Если под рукой, конечно, имеется верный «Фотошоп»! Однако этот самый «Фотошоп» придумали в 1990 году, а вот фотографию изобрели чуть раньше: Нисефор Ньепс создал свою легендарную работу — «Вид из окна в Ле Гра» — в 1826-м. Но ведь как-то же решали эту задачу наши отцы, скажем, в 70-х и 80-х годах?

На «Хабре» уже публиковался короткий двухминутный фильм о «советском Фотошопе», с помощью которого музейные и научные работники ретушировали и восстанавливали редкие архивные снимки. Хабровчане опознали в нём аппаратно-программный комплекс PERICOLOR-1000 производства французской компании Numelec, но о самом этом наборе устройств известно очень мало — практически ничего. Сохранилась лишь обрывочная документация советского периода, представляющая собой не слишком качественный перевод с французского, в котором, ко всему прочему, используется совершенно непривычная современному айтишнику терминология. Мне стало жутко интересно выяснить как можно больше подробностей об этой удивительной системе, и я принялся целенаправленно искать информацию о ней. Результатами своих поисков я хочу поделиться с вами.

Картинка rawpixel, Freepik

Периодически у каждого человека бывают такие ситуации, когда необходимо надолго уехать и запереть технический шкаф, гараж, дачу и т. д. и т. п.

Но дело осложняется тем, что навесной или врезной замок может быть нерационально размещать по тем или иным причинам, основной из которых является возможность взлома.

Любые электромагнитные замки требуют для своей работы питающего напряжения, а также недюжинной уверенности владельца в том, что всё «не замкнёт и не сгорит к чертям», пока владелец в счастливом неведении путешествует где-то «в прекрасных далях».

Несмотря на кажущуюся странность и парадоксальность вынесенного в заголовок утверждения, подобная возможность (удержания без питания) всё-таки есть, и именно о ней мы и поговорим ниже…