Pull to refresh
5
Karma
0
Rating

тестер-автоматизатор

Миллион одновременных соединений

Server optimization *Network technologies *Server Administration *
Translation

Я слышал ошибочные утверждения о том, что сервер может принять только 65 тысяч соединений или что сервер всегда использует по одному порту на каждое принятое подключение. Вот как они примерно выглядят:

Адрес TCP/IP поддерживает только 65000 подключений, поэтому придётся назначить этому серверу примерно 30000 IP-адресов.

Существует 65535 номеров TCP-портов, значит ли это, что к TCP-серверу может подключиться не более 65535 клиентов? Можно решить, что это накладывает строгое ограничение на количество клиентов, которые может поддерживать один компьютер/приложение.

Если есть ограничение на количество портов, которые может иметь одна машина, а сокет можно привязать только к неиспользуемому номеру порта, как с этим справляются серверы, имеющие чрезвычайно большое количество запросов (больше, чем максимальное количество портов)? Эта проблема решается распределением системы, то есть кучей серверов на множестве машин?

Поэтому я написал эту статью, чтобы развеять данный миф с трёх сторон:

  1. Мессенджер WhatsApp и веб-фреймворк Phoenix, построенный на основе Elixir, уже продемонстрировали миллионы подключений, прослушивающих один порт.
  2. Теоретические возможности на основе протокола TCP/IP.
  3. Простой эксперимент с Java, который может провести на своей машине любой, если его всё ещё не убедили мои слова.

Если вы не хотите изучать подробности, то перейдите в раздел «Итоги» в конце статьи.
Читать дальше →
Total votes 103: ↑101 and ↓2 +99
Views 41K
Comments 26

30 лучших Python-проектов на GitHub на начало 2022 года

Cloud4Y corporate blog Website development *Open source *Python *GitHub
Translation

Наверняка многим из вас любопытно было бы узнать, какие Python-проекты являются самыми популярными на начало 2022 года. GitHub, безусловно, лучшее место для получения этой статистики. Пусть здесь можно найти не все проекты, но ему нет достойной альтернативы.

UPD: добавили ссылки.

Читать далее
Total votes 50: ↑44 and ↓6 +38
Views 34K
Comments 15

Классика фантастики и фэнтези, которая лишь недавно добралась до русскоязычного читателя

Science fiction

В фэнтези и фантастике есть целый пласт произведений, которые уже давно считаются классическими и хорошо известны читателям. Большая часть таких книг давно переведена на русский язык, ведь в 90-х годах в наших палестинах очень активно издавались книги популярных фантастов. Однако некоторые романы, по праву имеющие на Западе статус классических, на русском языке впервые увидели совсем недавно. Иногда из-за того, что пик их популярности пришелся на время до распада Советского Союза, когда с переводами западной фантастики все было гораздо сложнее, иногда из-за неформатности или предполагаемой сложности для читателя, иногда по финансовым причинам. Рассказываем о нескольких таких произведениях, с которыми русскоязычные читатели смогли познакомиться только в последнее время.

Читать далее
Total votes 124: ↑117 and ↓7 +110
Views 52K
Comments 22

Не выбрасывайте старые электронные игрушки

DIY Electronics for beginners
Tutorial

Наверняка у тех, кто имеет детей накапливается куча старых сломанных игрушек. Где-то отломаны колеса, сломаны пулты. Дети в них уже лавно не играют, и все это барахло валяется под ногами.

Читать далее
Total votes 147: ↑144 and ↓3 +141
Views 40K
Comments 86

Как у нас устроено A/Б-тестирование. Лекция Яндекса

Яндекс corporate blog Interfaces *Industrial Programming *Web services testing *Mobile applications testing *
A/Б-тестирование на сервисах Яндекса проводится постоянно. «Раскатить на такую-то долю аудитории» и посмотреть на реакцию людей — настолько стандартная практика, что ни у кого в команде не возникает вопроса, зачем это нужно. А чтобы не было проблем с самим тестированием, у нас есть специальная инфраструктура для экспериментов. Подробности рассказывают разработчики Сергей Мыц и Данил Валгушев.


Сергей:
— Я попробую упрощенно описать задачу A/Б-тестирования. Есть абстрактная система с пользователями, в нее мы вносим какие-то изменения, и нужно уметь измерять в ней пользу. Пока все просто, но слишком абстрактно. Пример. Есть веб-сервис по сравнению пары фотографий котов. Пользователь должен выбрать наиболее понравившуюся фотографию. При этом он может выбрать не только левый или правый снимок, но и «против всех». Значит, мы подобрали картинки не очень хорошо. Наша задача — обоснованно улучшать сервис, доказывая это цифрами.
Total votes 51: ↑50 and ↓1 +49
Views 32K
Comments 2

Как устроено A/B-тестирование в Авито

Авито corporate blog Mathematics *Data visualization Web analytics *Mobile App Analytics *

Всем привет. Меня зовут Данила, я работаю в команде, которая развивает аналитическую инфраструктуру в Авито. Центральное место в этой инфраструктуре занимает А/B-тестирование.


А/B эксперименты — ключевой инструмент принятия решений в Авито. В нашем цикле продуктовой разработки А/B-тест является обязательным этапом. Мы проверяем каждую гипотезу и выкатываем только позитивные изменения.


Мы собираем сотни метрик и умеем детализировать их до бизнес-разрезов: вертикали, регионы, авторизованные пользователи и т. д. Мы делаем это автоматизированно с помощью единой платформы для экспериментов. В статье я достаточно подробно расскажу, как платформа устроена и мы с вами погрузимся в некоторые интересные технические детали.


Читать дальше →
Total votes 53: ↑48 and ↓5 +43
Views 44K
Comments 32

Квантовая мультивселенная, убийство своего дедушки и другие сюжеты: обзор книг физика Дэвида Дойча

RUVDS.com corporate blog Reading room Popular science Physics Quantum technologies

Возможно, у каждого есть свой собственный список «Топ-10 книг, оказавших самое большое влияние». Особенность моего списка в том, что в него входят аж две книги, написанные одним автором. И это не самоповтор, книги действительно независимые, и каждая из них по отдельности может полностью перевернуть мировоззрение читателя.



Знакомьтесь: Дэвид Дойч. Профессор Центра Квантовых Вычислений (CQC) в Кларендонской лаборатории Оксфордского университета. Один из основоположников теории квантовых вычислений, наряду с другим учёным, Полом Беньоф, создавшим концепцию квантовой машины Тьюринга. Автор алгоритма Дойча-Йожи, позднее усовершенствованного Йожей. Лауреат премии Дирака, медали Дирака (это не одно и то же!), премии Micius Quantum Prize (ею награждён также Питер Шор), член Лондонского Королевского общества (ведущего научного общества Великобритании).


Что может рассказать такой учёный о Вселенной, месте в ней человека, науке, и вопросах, которыми издревле задаются пытливые умы?


Наверное, что-то интересное!
Total votes 114: ↑112 and ↓2 +110
Views 24K
Comments 72

Как писать bash-скрипты надежно и безопасно: минимальный шаблон

System administration *Programming **nix *Development for Linux *DevOps *
Translation

Скрипты на Bash. Как много в этом слове. Любому разработчику рано или поздно приходится их писать. Почти никто не скажет "да, я люблю писать bash-скрипты", и поэтому этой теме уделяют мало внимания.

Я не буду пытаться сделать из вас эксперта в Bash, а просто покажу минимальный шаблон, который поможет сделать ваши скрипты более надежными и безопасными.

Читать далее
Total votes 109: ↑109 and ↓0 +109
Views 45K
Comments 27

Как я получил офферы в Google, Amazon, Microsoft, Яндекс и Box, не завалив ни одного собеседования (ну, почти)

Studying in IT IT career IT-companies

Клибейт, кликбейт!

Эта статья – пересказ моего треда в твиттере с небольшими доработками. Тут нет ограничения по символам, поэтому некоторые мысли я могу раскрыть лучше.

Читать далее
Total votes 188: ↑183 and ↓5 +178
Views 99K
Comments 165

Список ноотропов, покупка которых не окажется пустой тратой денег

Brain

Небольшая подборка веществ помогающих нашим мозгам работать чуточку лучше. Большинство из них продается в ближайшей аптеке, отпускается без рецепта, имеют доказательную базу и плюс-минус универсальны, так как «качают» самое важное — мотивацию, энергию и память.

Читать далее
Total votes 121: ↑85 and ↓36 +49
Views 202K
Comments 234

Кунг-фу стиля Linux: регулярные выражения

RUVDS.com corporate blog Configuring Linux *System administration *
Translation
Если вы считаете, что умеете готовить, то может, вы знаете о том, как сделать суфле или пахлаву, а может — и не знаете. Но есть кое-что такое, чему вы, вероятно, научились, просто готовя разные блюда. Например, вы, скорее всего, можете вскипятить воду, можете правильно разбить яйцо, можете поджарить мясо. Если говорить о работе в Linux или Unix, то тут тоже можно сделать похожие наблюдения. Возможно, вы не знаете о том, как установить сервер Wayland, или о том, как написать модуль ядра. Но есть определённые базовые навыки, вроде работы с файлами или редактирования текстов, которые люди осваивают независимо от того, чем они занимаются, навыки, которые помогают им в самых разных ситуациях. Один из навыков, полезных в самых разных ситуациях, овладение которым часто вызывает определённые сложности, это — умение пользоваться регулярными выражениями. Многие программы используют их в качестве средства описания шаблонов поиска чего-либо. Обычно — для поиска данных в строках, например — в файлах с каким-то текстом.



Если вы не очень хорошо умеете пользоваться регулярными выражениями, знайте, что это легко исправить. Их не так уж и сложно изучить, кроме того — существуют замечательные инструменты, которые способны помочь при работе с регулярными выражениями. Сами регулярные выражения используются во многих утилитах. При этом везде используются одни и те же базовые синтаксические конструкции регулярных выражений. Источником путаницы, правда, являются особенности устройства регулярных выражений в разных средах. То, что выходит за рамки базовых синтаксических конструкций, в разных местах может различаться.

Разберём основы регулярных выражений, то, что нужно для того, чтобы хорошо их понимать и эффективно использовать.
Читать дальше →
Total votes 39: ↑36 and ↓3 +33
Views 16K
Comments 6

Практическое руководство по разработке бэкенд-сервиса на Python

Яндекс corporate blog Python *Programming *System Analysis and Design *Web services testing *
Tutorial
Привет, меня зовут Александр Васин, я бэкенд-разработчик в Едадиле. Идея этого материала началась с того, что я хотел разобрать вступительное задание (Я.Диск) в Школу бэкенд-разработки Яндекса. Я начал описывать все тонкости выбора тех или иных технологий, методику тестирования… Получался совсем не разбор, а очень подробный гайд по тому, как писать бэкенды на Python. От первоначальной идеи остались только требования к сервису, на примере которых удобно разбирать инструменты и технологии. В итоге я очнулся на сотне тысяч символов. Ровно столько потребовалось, чтобы рассмотреть всё в мельчайших подробностях. Итак, программа на следующие 100 килобайт: как строить бэкенд сервиса, начиная от выбора инструментов и заканчивая деплоем.



TL;DR: Вот репка на GitHub с приложением, а кто любит (настоящие) лонгриды — прошу под кат.
Читать дальше →
Total votes 70: ↑68 and ↓2 +66
Views 115K
Comments 50

Сбер выложил русскоязычную модель GPT-3 Large с 760 миллионами параметров в открытый доступ

Сбер corporate blog SberDevices corporate blog Machine learning *Artificial Intelligence Natural Language Processing *
Последнее десятилетие в области компьютерных технологий ознаменовалось началом новой «весны искусственного интеллекта». Впрочем, ситуацию в индустрии в наши дни можно, наверное, охарактеризовать уже не как весну, а полноценное «лето ИИ». Судите сами, за последние неполные 10 лет только в области обработки естественного языка (Natural language processing, NLP) произошли уже две настоящие технологические революции. Появившаяся в результате второй из них модель GPT-3 произвела настоящий фурор не только в технологических медиа, но стала знаменитой далеко за пределами научного сообщества. Например, GPT-3 написала для издания «The Guardian» эссе о том, почему ИИ не угрожает людям. GPT-3 сочиняет стихи и прозу, выполняет переводы, ведёт диалоги, даёт ответы на вопросы, хотя никогда специально не училась выполнять эти задачи. До недавних пор все возможности GPT-3 могли по достоинству оценить лишь англоязычные пользователи. Мы в Сбере решили исправить эту досадную оплошность. И сейчас расскажем вам, что из этого получилось.


Источник изображения
Читать дальше →
Total votes 165: ↑160 and ↓5 +155
Views 140K
Comments 241

Квантовая теория. Вселенная из волн вероятностей

Popular science
Квантовая теория является одной из самых точных моделей, описывающих окружающий нас мир, а технические решения, разработанные благодаря применению аппарата квантовой механики, прочно вошли в повседневную жизнь современного общества. И тем удивительнее, что понимание даже базовых концепций этой сферы знаний вступает в серьезные противоречия с интуицией, не только людей далеких от науки, но и самих исследователей, подтверждением чему является большое количество различных интерпретаций. В этой статье, предлагаю рассмотреть основные понятия квантовой теории с показавшейся автору наиболее интуитивно-понятной точки зрения, несколько модифицированной теории вероятностей.

image Что будет, если по аналогии с двущелевым опытом, все пространство на пути частицы до экрана будет заполнено щелями?
Читать дальше →
Total votes 74: ↑71 and ↓3 +68
Views 55K
Comments 153

Новая библиотека для уменьшения размерности данных ITMO_FS — зачем она нужна и как устроена

ITMO University corporate blog Python *Programming *Algorithms *Machine learning *
Студенты и сотрудники лаборатории Машинного обучения Университета ИТМО разработали библиотеку для Python, которая решает ключевую задачу машинного обучения.

Расскажем, почему появился этот инструмент и что он умеет.

Читать дальше →
Total votes 23: ↑22 and ↓1 +21
Views 8.2K
Comments 8

Любовь, смерть, роботы и Пелевин

Science fiction
image

В прошлом году, вернувшись с тренировки, я засел перед компьютером, чтоб посмотреть пару забавных мемов про котиков. И, обнаружив новость о выходе нового сериала Любовь, смерть и роботы– «Love, Death & Robots», я лениво потрогал её мышкой — глянуть одним глазком.

Пришел в себя я под утро. С красными глазами, затекшим, от сидения в кресле телом — но совершенно счастливым.

18 коротких фантастических историй — разноплановых, разных жанров и стилей, были невообразимо хороши. С многими я уже был знаком — часть эпизодов была снята по рассказам известных писателей, но увиденные вживую, они смотрелись как в первый раз. Впрочем, это вы, наверняка, знаете и без меня.

При пересмотре сериала, мои впечатления, впрочем, были уже не столь радужны — во мне проснулась писательская зависть. «Почему такое не снимают в России — возмущенно бормотал я, — я бы подобрал рассказы для сериала ничуть не хуже!»

«Я сниму свой сериал! — сказал я, чтоб справиться с завистью, — точнее, соберу 18 рассказов, ничуть не уступающих подборке сериала».
Читать дальше →
Total votes 66: ↑55 and ↓11 +44
Views 68K
Comments 56

Профессия: программист. Не всё однозначно

RUVDS.com corporate blog Programming *IT career
Мы писали о фронтендерах и бэкендерах, о мобильной разработке и о тестировании, но это были частные случаи. Когда человек подходит к первой или очередной профессии, он редко говорит, что станет разработчиком под iOS или проктологом, как правило это звучит «программистом» и «врачом». Специализация приходит позже, с опытом. Но чтобы твёрдо заявить, что ты хочешь стать программистом, врачом, архитектором, геологом и т.д., нужно избавиться от романтизации профессии и подойти к ней здраво и осмысленно. Даже если вы вдруг решили стать программистом, чтобы «войти в айти после 35-ти». Если говорить о программистах с позиций романтики, то это люди, которые превращают наши замыслы в код и делают жизнь лучше, проще, удобнее. Если говорить прямо, то работа программиста — напряжённый, зачастую рутинный труд с множеством плюсов и минусов. Об этом и поговорим.

Читать дальше →
Total votes 73: ↑69 and ↓4 +65
Views 66K
Comments 45

Как стать долларовым миллионером за 30 лет, лежа на диване

Reading room Finance in IT Lifehacks for geeks


На Хабре недавно вышел пост ״Новичкам фондового рынка: честные разговоры о трейдинге״. Этот пост, опубликованный в одном из самых читаемых блогов Хабра, вводит людей в заблуждение и создает у них ложное представление о том, что игра на бирже — хороший способ заработка. Это вынудило меня написать комментарий, постепенно переросший в целую статью, с детальным разбором того, почему трейдинг — это не способ разбогатеть, а способ потерять деньги, и о том, как на самом деле заработать на инвестициях.
Поехали!
Total votes 308: ↑291 and ↓17 +274
Views 230K
Comments 557

Вычисления на GPU – зачем, когда и как. Плюс немного тестов

Технологический Центр Дойче Банка corporate blog High performance *Algorithms *GPGPU *Video cards
🔥 Technotext 2020
Всем давно известно, что на видеокартах можно не только в игрушки играть, но и выполнять вещи, никак не связанные с играми, например, нейронную сеть обучить, криптовалюту помайнить или же научные расчеты выполнить. Как так получилось, можно прочитать тут, а я хотел затронуть тему того, почему GPU может быть вообще интересен рядовому программисту (не связанному с GameDev), как подступиться к разработке на GPU, не тратя на это много времени, принять решение, нужно ли вообще в эту сторону смотреть, и «прикинуть на пальцах», какой профит можно получить. 


Читать дальше →
Total votes 33: ↑33 and ↓0 +33
Views 52K
Comments 29

Ученые из MIT разрабатывают устройство, которое позволит хотя бы частично управлять своими снами

Madrobots corporate blog Popular science The future is here


В сети много информации о том, как научиться видеть управляемые сны. Возможно, у кого-то это и получается, но в большинстве случаев человек просто «плывет» по той реальности, которую ему показывает мозг во время сна. Сейчас наука пытается научиться управлять сновидениями — в частности, ученые из MIT разарабатывают устройства для обеспечения обратной связи во время сна.

И это не фантазии — у MIT есть специализированное подразделение, которое называется Dream Lab. Оно было основано еще в 2017 году. Что касается устройств, которые разрабатывают его представители, то их стараются сделать как можно более портативными. Оптимально — носимыми. Цель подразделения — создать гаджет или их систему, которая позволяет сделать сны своеобразной виртуальной реальностью.
Total votes 25: ↑24 and ↓1 +23
Views 9.5K
Comments 49

Information

Rating
Does not participate
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Date of birth
Registered
Activity