All streams
Search
Write a publication
Pull to refresh
4
0
Konstantin Safonov @kasthack_phoenix

User

Send message

Docker, например. Elasticsearch с большими словарями синонимов память есть, как не в себя.

Так как на форуме сидел. Явно с головой не в порядке. У парня.

Да. Если человек потратил сотни и тысячи часов(а с текущим количеством моделей за меньшее и не получится посмотреть и запомнить хоть сколько-то значимую долю), чтобы узнать модель в реальной жизни, если они случайно встретятся — у него серьёзные проблемы.

есть ведь наверное и бесплатные

Им весело — посмотрите на имиджборды, на которых регулярно акции устраивают, например, историю про флаг Шайи Лабафа.

Однако, вебкам модель даёт им моральное право на это,

Вы случайно не из тех, кто считает короткие юбки причиной изнасилований?

Они используют Яндекс как нижележащий поисковик для русскоязычных запросов, для английского у них внутри Bing — своего поиска у них нет.

Оно работает из коробки — без настроенного DKIM сейчас ни один почтовый сервис не принимает письма.

Ага, править их можете только вы

Не можете, DKIM-валидация не пройдёт.

Мега доказательство, особенно если адрес отправителя подделать можно!

DKIM для конкретного домена, PGP для тела письма. Подделывайте, чо.


У нас все на работе в Телеграмме все вопросы решаются.

В телеграме можно удалить сообщения из чужой истории / поправить в любой момент — замечательный способ, чтоб сделать 'я этого не писал' в любой момент. Гугл сейчас пытается пропихнуть AMP for Mail, позволяющий обновлять контент писем, но с этим раком борются активно. Удачи потом доказывать, что человек/организация что-то обещали.


Боже. Что там простого и понятного?

Идея, что пришедшие и отправленные письма надёжны и иммутабельны. Собеседник не может их отредактировать или удалить из вашего ящика. Письмо ушло и не пришёл в ответ error с неудачей разрешения имени — оно попало к адресату. Письмо пришло — оно останется навсегда в неизменном виде. Вы можете загрузить его в сыром виде на локальный компьютер и открыть в любом почтовом клиенте. В мессенджере оно может быть модифицировано автором, скрыться из истории(так, например, любит делать Teams), выпасть за лимит поиска в тарифе(тема из Slack), быть удалено сервисом, потому что AI решил, что CPв тексте это не команда копирования, а аббревиатура child porn; у вас нет возможностей его нормально экспортировать(экспорт в телеграме — это совсем не то).

Так что с условиями-то? Вы готовы платить на уровне Европы / Штатов, дать гарантии, что после получения грантов не отправят под суд или исследователям не дадут невыездной статус, если родина решит, что так надо?

Какие именно QPS?

Автор описывает условный GramInsta, там и будут в основном запросы к


  • ленте подписок
  • конкретным фото / комментариям / лайкам
  • профилям пользователей / постам пользователя

Ничто из этого не является тяжёлым запросом — селекты с парой джойнов по индексированным числовым полям и order by.

Как масштабироваться с 1 до 100 000 пользователей

StackOverflow при 10MAU(т.е. на два порядка больше) работает на 22 серверах, загруженных процентов на десять и иногда проводит стресс-тесты с запуском на двух машинах, так что цифры бы неплохо увеличить и задуматься над релевантностью этого текста среднему читателю.


В некотором смысле это напоминает нашу среду разработки: один инженер запускает базу данных, API и клиент на одном компьютере.

Один инженер запускает приложение поверх kubernetes / swarm, которое абстрагировано от физических машин и это заменяет пункты '10 пользователей: вынос БД в отдельный уровень' и '100 пользователей: вынос клиента в отдельный уровень', сводя их к добавлению машин в кластер. Шаг '1000 пользователей: добавить балансировщик нагрузки' тоже происходит по большей части сам за счёт round robin'а и nginx на edge.


10 000 пользователей: CDN

Разве закрыться Cloudflare — не шаг по умолчанию?


100 000 пользователей: масштабирование уровня данных

Немного покопавшись в метриках, мы видим, что CPU на сервере базы данных загружен на 80-90%. Мы на пределе.

Вы уверены, что это 100k пользователей? Даже достаточно примитивная MySQL легко выдерживала тысячи QPS ещё на восьми ядрах в 2017-м. В 2020-м, когда у Амазона можно взять машину с 96 физическими ядрами(IO bound с NVME-дисками быть достаточно сложно) за $4 в час, можно говорить о 100K+ QPS на чтение с одной машиной. Это миллионы пользователей онлайн и ближе к масштабам какого-нибудь фейсбука. На запись, очевидно, так не получится, но идея понятна.


Также, задолго до того, как вы упрётесь в производительность записи, у вас появится проблема, что данные физически не помещаются на одной машине и их нужно шардить(не говоря о том, что вообще-то, неплохо с самого начала иметь реплику, чтобы когда диски в raid в основном сервере бд умрут, не потерять все данные сервиса).


В случае Database As A Service, о котором вы говорите в самом начале, эта проблема обычно уже решена за вас в некоторой мере.


Кэширование

Опять же, разве это не дефолтное действие? Вы столкнётесь с ним ещё на первых шагах, когда у вас будут какие-нибудь тяжёлые запросы. Поправить одну строку в конфиге, чтобы нацелить хранение кэша в кластере redis вместо памяти, не особо сложно.


Мы также хотим установить сервис мониторинга и аналитики вроде New Relic или Datadog

За New Relic не скажу, но Datadog не очень хорошо работал под нагрузкой ещё пару лет назад: я внедрял его на не очень сильном хайлоаде(до полутора тысяч запросов в секунду) и форвардящая нода давилась буквально сотней мегабит логов в секунду, а их облачный UI насиловал браузер неадекватными запросами(дэшборд с дюжиной графиков мог отправлять десятки запросов в секунду, возвращающих мегабайты json'ов, полля новые данные).

XP-Pen какой-нибудь. Wacom потому и лидер, что заранее решает проблемы, от которых страдают конкуренты.

А что мешает написать производителю приложения?

То, что обычный пользователь этим не будет заморачиваться и ждать месяц фикса. Он пойдёт и сдаст свежекупленый планшет в магазине и возьмёт другой.


Производитель такого результата не хочет, потому и следит за тем, чем пользуются его клиенты, чтоб у них всё работало сейчас.

И что мы делать будем с этими данными?

Конкретно в этом кейсе — скорее всего, проверяют совместимость приложений с планшетом.

Есть бесплатный Google Archive — они мне так файлик на 50GB прислали.

Потому что IT-компания может десятилетиями терять деньги на каждой продаже / работать в ноль, как это делают(делали) Uber / Lyft / WeWork / AirBnb / Github и стоить миллиарды долларов, а сеть пиццерий с такими показателями инвесторам не нужна даже бесплатно.

Во-первых, давайте сравнивать яблоки с яблоками, и если вы про Питер, то и я Сан-Франциско возьму — и тогда удачи снять квартиру меньше чем за 2500 в городе или за 1500 меньше, чем в полутора часах езды — как-то тоже не остаётся ничего. А если мы про Алабаму, то и сравнивать надо со орловской областью.

2500 в городе или за 1500 меньше

С минималкой семья попадёт на жилищные субсидии, что делает цены менее неприятными.


меньше, чем в полутора часах езды

Дорога в офис с утра заняла 1:20 и это я ещё в черте города живу, а люди из Девяткино / Кудрово / Колпино / прочих пригородов по 2+ часа ездят в каждую сторону.


Какой ужас, человеку, который не осилил зарабатывать больше минимальной зарплаты, приходится довольствоваться условиями, в которых живёт вся планета, а не ходить по красной ковровой дорожке! Самая маленькая скрипка в мире играет специально для него.


Во-вторых, я устал слушать сказки про дешёвую еду и все прочее — я тут (в Калифорнии) шесть лет живу и каждый день хожу в магазин, цифры уже много раз приводил, в 2-20 раз все дороже (в 20, конечно, мало что), за исключением электроники и отдельных глобальных услуг типа путешествий. А некоторые услуги дороже в сотни раз (образование, например, особенно дошкольное).

я устал слушать сказки про дешёвую еду и все прочее

Видел я эти цены. В соседней Финляндии(как, кстати, и в Италии / Германии / Нидерландах) всё тоже дорого на первый взгляд, а если походить по магазину и повыбирать, то чек не сильно выше питерского выходит на тот же набор продуктов. Придётся покупать не artisan organic cruelty-free еду в Whole Foods, а ехать в Волмарт за обычной(между прочим, его сайт доступен из России и цены сравнить не особо сложно).


А некоторые услуги дороже в сотни раз (образование, например, особенно дошкольное).

Частный садик в Питере в черте города, куда нет очереди на годы и где преподавателю не наплевать на детей, обойдётся от $250 до $1000 в месяц, то же самое относится к транспорту, аренде жилья, услугам(к парикмахеру сходить, например) — сравнимый уровень стоит сравнимых денег.


Вы почему-то полностью игнорируете разницу в уровне цен и структуре расходов, что меня изумляет совершенно.

структуре расходов

Вы когда последний раз в России были / хотя бы читали новости отсюда? Каждому второму на еду(PDF с исследованием) денег не хватает. Не машину, садик для ребёнка или аренду, а на то, чтоб не умереть от голода. Купили еду — всё, бюджет закончился и нечего больше структурировать. Все ваши примеры для большей части планеты звучат, как 'бриллианты мелкие'.


Про цены на страховку б ещё рассказали, сравнив их с российской 'бесплатной' медициной, в которой вам, когда вы придёте с укусом дикой собаки, скажут: 'Молитесь, чтоб у неё не было бешенства, иначе вы умрёте. Вакцины в области нет'.

Information

Rating
Does not participate
Date of birth
Registered
Activity

Specialization

Backend Developer
Lead
From 500,000 ₽
.NET
SQL
Elasticsearch
Redis
Apache Kafka
Kubernetes