Pull to refresh

Comments 73

Тогда можно продавать подписки как на VPN, отзывать доступ у отдельных пользователей, ограничивать использование и отслеживать уровень активности.

Платить за доступ к мессенджеру? Который при этом продолжит показывать мне рекламу и контролировать, о чем я общаюсь в каналах - и если его это не устроит, может меня забанить?

Да я лучше на email полностью перейду ;)

А как же rss? Я, кстати, уже давно rss юзать опять стал. И, надо признаться, хорошая замена каналам в мессенджерах. Жаль только, что сейчас сайты потихоньку отказываются от rss каналов. Это грустно.

Собственно, rss + email + СМС. И общение организовано. Только вот непонятно пока как большие файлы передавать.

В Telegram ещё и чаты под каждым постом имеют ценность. В RSS (и в Max) этого нет, но есть в ВК.

И всё же до сих пор очень бесит, что в Telegram всё в кучу - просто чаты и каналы. Было бы удобнее иметь две вкладки на это - личные чаты, и подписки на каналы. А когда каналы будут отдельно, останется добавить отображение постов из всех каналов сразу - и вот уже бесконечная лента, как в ВК и других соцсетях. Удивительно, что этого до сих пор там нет.

телеграм не индексируется ничем, как и дискорд, чаты эти одноразовые, как и их ценность

Если я их читаю, и нахожу там интересные для себя вещи - значит они ценны сами по себе.

То что не индексируются самим телеграмом - это плохо.

Ну почему же. В телеграмм есть разные чаты. Есть те, в которых сообщения хранятся по несколько часов, но есть и те, в которых обещают, что вообще сообщения не удалятся никогда. Так вот, по всем чатам как миниум доступен поиск по ключевым словам.

А ещё есть боты, которые может добавить как владелец, так и этот бот может сам (если чат общедоступный, или бота добавят в чат) искать, составлять базы данных (как минимум по ключевым словам, но я думаю, что уже нейронки вовсю используются для этого). Возможно даже такие базы данных в общем доступе имеются.

Вообще в телеграмм много ценной информации, так как, к сожалению, даже те кто на форумах сидели постепенно переползают в телеграмм, делятся там опытом использования некоторых смартфонов, или как там какие-то полезные функции активировать. А затем это всё увязает в болоте бесконечной переписки, которую (к сожалению) редко когда могут проиндесировать поисковики.

Зря они с форумов перешли на общение в телеграмм. Связаться по быстрому, файлик передать — окей. Но остальные кейсы — полный провал. Имхо

дискорд это прямо боль, там даже нормальной прокрутки назад нет.

а индексация в современном интернете к сожалению сломана на уровне пользователя - они приходят задавать 100501й раз вопрос, который может обсуждаться ВОТ РОВНО НАД ИХ СООБЩЕНИЕМ О ВХОДЕ. толку от индексов-то, когда большинство делающих-вид-что-ищут ведут себя как деды из анекдотов, открывавщие яндекс в поиске гугла?

они приходят задавать 100501й раз вопрос, который может обсуждаться ВОТ РОВНО НАД ИХ СООБЩЕНИЕМ О ВХОДЕ.

А может обсуждаться 1000 сообщений вверх. Или 10000.

То что поисковиком не индексируется - найти там что то нереально.

Так и есть. Но есть же поиск по ключевым словам. Впрочем, кому оно нужно…

Что ужасно - интересные посты увязают в болоте однотипных вопросов и/или ответов вроде "спасибо" или "как же так, неужели никто не знает".

Но есть же поиск по ключевым словам

Аж олдскулы свело. Хоть не по regexp ам.

Вот так и живём. И я молчу ещё про то что для поиска нужно предварительно найти чат, в котором этот самый поиск нужно осуществить.

А ещё там есть #хэш🤡тэги современные как говорят.

даже если индексируется, типа форумов - думаете там кто-нить это читает массово?

с одним и тем же вопросом прибегают, получают по башке от модератора и/или комьюнити и убегают обиженные “ААА МНЕ НИПАМАГЛЕ!!!” то, что вопрос отвечен в заглавном посте, в закрепе, и возможно вынесен прям куда-нить в заголовок форума - их торжественно не интересует, потому что они хотя чтоб всё за них сделали.

даже если индексируется, типа форумов - думаете там кто-нить это читает массово?

Конечно читает. Без поисковика как воще попасть на ваш форум?

с одним и тем же вопросом прибегают

Про тех кто не прибегает - науке не известно.

вопрос отвечен в заглавном посте, в закрепе, и возможно вынесен прям куда-нить в заголовок форума

Сначала перечитай весь форум, потом свои вопрос задавай, нуб ;)

они хотя чтоб всё за них сделали.

Бесплатная техподдержка, удобное.

вот именно что - нашли форум, а дальше "сделайте мне всё, а я вам даже спасибо не скажу, вы же обязаны помогать, вы же сами такие были!"

В любом чатике все так же, только значительно хуже. В форуме, проиндексированном гуглом, можно найти ответ сразу. В чатике такой опции нет by design.

мне в дискорд оч нравится идея, что бот может отвечать в общем чате, и это видит только тот пользователь кому оно предназначено.

в дискорде дохрена чего круто сделано, те же уровни доступа к ТЕМАМ, что не надо заводить 4 группы если тебе надо чтоб не все всё видели, кнопки переходов и много чего, но всё ломается об монструозный клиент и фактический запрет любых сторонних вариантов вплоть до бана учеток.

Я вообще не понимаю, как можно поглощать информацию из каналов в телегерам и прочих мессенджерах. Месенджер для связи — текст, звук/видео, файлы передать — точка. Остальное я могу делать на офф сайте интереующей персоны, фирмы.

Нет, эти придурки за чем-то дублируют новости на сайте и на канале в программе которая вообще-то не доя этого.

Абсолютно не юзерфрендли. Абсолютно не удобно что-то искать. Полный бред на который ведутся и хомяки и вы.

две вкладки на это - личные чаты, и подписки на каналы

В Телеграм есть папки, ими это легко решить. Создайте себе отдельную папку где будут только те чаты и группы которые хотите там видеть

Что то типа бесконечной ленты тоже есть. После того как канал прочтён, сделайте свайп вниз тогда перейдёте к следующему каналу

Что то типа бесконечной ленты тоже есть.

Тут проблема в том, что ты можешь читать следующий канал только в том случае, если полностью досмотрел предыдущий. А расположить посты с разных каналов в одной ленте хронологически по времени их появления невозможно.

Извините за непрошенный совет от капитана очевидность. Довольно давно это добавили во все клиенты. Называется Папки. Можно конечно отдельные чаты перетаскивать между папками, а можно включить одноразово настройку для папок: только для чатов с людьми из контактов, только для групп, только для каналов, только для ботов, только для людей, которых нет в контактах. Или их комбинации. И дальше оно будет работать само.

В качестве названия папки можно использовать любой наглядный символ юникода

Интересные каналы кстати можно через https://docs.rsshub.app/guide/ заворачивать в rss. И наоборот, есть бот чтоб рсс в персональный канал собрать. Можно каналы так в единую ленту собирать в тг ))

хм. А кто мешает пользоваться торрент-клиентом? Кинули коллеги/другу торрент-файл и передавайте свои файлы.

Кстати, хорошая штука. Только вот настройка какая-то заморочная и я в реальном использовании ни разу не создавал ссылку на отправку большого файла. И ладно я, может и разберусь через чтение мануалов в течение нескольких дней, а может и за час, если повезёт. Но как на другом конце человеку рассказать как это всё реализовать, если мне, например, нужно от него файл получить?

Иногда, когда мне нужно отправить большой файл я пользуюсь Samsung облачным способном отправки. Оно и работает пока ещё для любой страны (в России и Китае спокойно работает, да и в другие страны тоже можно отправить), так как Samsung сервера пока нигде вроде не блокируют. И скорости шикарные, и не нужно быть онлайн во время передачи, и на другом конце не нужно телефон самсунг, им только ссылки достаточно. Но нюанс в том, что это проприетарная штука, и если сервера Samsung начнут тормозить, или ip этих серверов начнут тормозить, то придётся туго.

Если вы лично не пользуетесь, возможно эта статья позволит вам заработать на тех, кто хочет пользоваться 😄

Благо есть Delta Chat, который работает поверх имейл

Давайте ещё UUCP вспомним....

а давайте. это что?

Unix-to-Unix communication protocol. Сеансовая связь. Это когда ваш клиент отправляет (письмом) серверу команду чтения заголовков, сервер в ответ присылает список постов в группе новостей, ваш клиент опять же письмом отправляет запрос на чтение таких-то постов, сервер отправляет вам почтой посты, вы пишете на них ответы и так же отправляете. При этом серверы, как правило, не глобальные. Ну, точнее, это я описал NNTP, но смысл примерно тот же.

Ну.. тогда все вокруг немного uucp кроме торрентов ;)

так речь о мессенджере дельтачат, средстве общения, а не о блоге. К тому же, сеансовая связь предполагает прямую связь между клиентами

...в те времена понятия "блог" вообще не было. Cеансовая связь в данном контексте означает, что вы что-то кладёте на сервер, а другой абонент это забирает. Только не в реальном времени.

21 первый век. Надо UUCP over TLS

Что угодно можно over tls. Хуже не станет ;)

TLS over TLS...

Error: Stack overflow

  1. Он блокируется уже частично провайдерами почты

  2. Функционал ограниченный

  3. По сути дела в большинстве случаев проще любой удобный почтовый клиент использовать, тот же Gmail не плох и к нему любую почту можно подключить

наверное, не все сервисы так делаю. И пока что на почтовые сервисы охоту не объявили

яндекс и мейлру блокируют, например.

лично проверено? С какими сервисами нет проблем?

Старые протоколы тоже работают, перечисляешь в конфиге какие включить и оно будет пускать подключения и по ним:

{allowed_protocols, [mtp_fake_tls, mtp_secure, mtp_abridged, mtp_intermediate]},

Но именно “персональные” секреты на базе SNI возможны только с Fake-TLS.

Фиксы FakeTLS уже смержены во все официальные клиенты и библиотеки, так что ждём пока раскатится

На Андроид только что прилетел фикс, с красивым номером билда 😈

Скрытый текст

Полёт пока нормальный

Чтобы читать ИИ статьи нужен ИИ reader :)

Видел уже реализации, где секрет разный, можно генерировать для каждого пользователя отдельно.

Автору честь и хвала, конечно. Чем больше реализаций, тем лучше.

Судя по Readme реализовано так же как в Python - последовательным перебором всех секретов по-очереди пока один из них не сработает, на каждый коннект. До 100-200 секретов ещё терпимо, но потом начинает давить на CPU и растут задержки на подклчение.

Реалиация из статьи работает со скоростью O(1). Например прям сейчас в демке уже зарегистрировано за 500 “аккаунтов”, 450 онлайн-соединений и при этом CPU меньше 2% (Amazon t4g.micro).

$ uptime
 <..>,  load average: 0.13, 0.05, 0.01
$ /opt/personal_mtproxy/bin/personal_mtproxy remote_console
Erlang/OTP 25 [erts-13.2.2.5] [source] [64-bit] [smp:2:2] [ds:2:2:10] [async-threads:1] [jit]

Eshell V13.2.2.5  (abort with ^G)
(personal_mtproxy@ip-172-31-13-189)1> maps:get(active_connections, ranch:info(mtp_ipv4)).
456
(personal_mtproxy@ip-172-31-13-189)2> length(pm_registry:list()).
507

При последовательном переборе секретов было бы уже за 30-40%.

Текущая статистика: 950 подключений, ~1600 “юзеров” в базе

$ /opt/personal_mtproxy/bin/personal_mtproxy remote_console
Erlang/OTP 25 [erts-13.2.2.5] [source] [64-bit] [smp:2:2] [ds:2:2:10] [async-threads:1] [jit]

Eshell V13.2.2.5  (abort with ^G)
(personal_mtproxy@ip-172-31-13-189)1> maps:get(active_connections, ranch:info(mtp_ipv4)).
950
(personal_mtproxy@ip-172-31-13-189)2> length(pm_registry:list()).
1591
(personal_mtproxy@ip-172-31-13-189)3> 
User switch command
 --> q
$ uptime
<..>,  load average: 0.02, 0.06, 0.08

по-прежнему CPU ниже 5%

image.png
image.png

Все это прекрасно, но что толку от навороченного mtproxy если тспу блокируют к нему доступ? А создатели телеграм как бы и не собираются исправлять баги в реализации tls чтобы скрыться от тспу.

Круг замкнулся, проще использовать сами знаете какие решения и не мучиться с mtproxy

С одной сторны согласен - с 2018 (после того как дуров договорился с властями и в РФ перестали банить) FakeTLS был заброшен. Но буквально на прошлой и этой неделе сделали обновление, осталось дождаться пока выйдет во всех сторах.

MR в кодовую базу телеграм с исправлением багов не приняли. Один точно закрыли, в десктоп. Второй в ios пока висит открытым, но кажется и его не примут. С андроид непонятно, да и мне лично он не интересен.

работа идёт. код приняли, ios/android в процессе релиза, tdesktop уже в проде

Работа идёт над исправлением десятилетнего бага. Однако есть опасение, что ТСПУ быстро научат банить трафик и без бага.

опасения есть, но пока не нашли легкореализуемых сценариев побанить, не унеся с собой vless + половину легитимного интернета. надеемся, так и будет

Есть стопроцентное ощущение, что сверху давно готовы задушить хоть целиком интернет. И с каждым шагом к этому готовятся все сильнее.

Ps. Android релиз только что вышел.

Есть ещё Telemt - написан на Rust, имеются также FakeTLS, API, возможность создания нескольких юзеров.

Меня немного пугает, что там 50+ тыс строк кода (Erlang всего 3500). Но сообщество там собрали впечатляющее, браво!

даешь поддержку лдап, и можно оставить "корпоративным")

Прокси валидирует каждый входящий ClientHello, вычисляя HMAC пакета с использованием единого общего базового секрета (один на порт). Если дайджест сходится, то прокси считает клиента легтимным.

Очень плохо понял я вот этот момент. С чем сравнивается полученный digest? Если с захардкоженными байтами, то это не лучше memcmp над оригинальным пакетом. Объясните подробнее, пожалуйста.

Я сам это не очень хорошо помню. Но примерно так:

  • в ClientHello есть специальное поле random, оно как-то используется в реальном TLS, но Fake-TLS туда подсовывает, условно SHA256(stripped_client_hello + proxy_secret) где stripped_client_hello это ClientHello в котором тот участок в бинаре где должен храниться этот random забито нулями (в Erlang прокси клиентская часть протокола реализована для юнит-тестов, так что можно посмотреть прям в коде)

  • сервер соответственно при получении ClientHello достаёт это random поле, заменяет его нулями, считает SHA256(stripped_client_hello + proxy_secret) и сравнивает с тем, что в поле random.

Возможно в мелочах ошибаюсь (в поле random кладётся не сырой sha256 а XOR с чем-то), но идея примерно такая.

Продавать подписки на доступ к телеграм - это уже моветон. Есть ресурс поднять mtproto, поднимаем и даем тем, кто нуждается, нет - никто не принуждает и не заставляет. Тем самым сами же подталкиваем людей, у кого нет доступа нормального к мессенджеру - переходить на что-то более простое и бесплатное. Ваша же жадность загоняет вас в позицию, где телеграм будет использоваться все реже и реже.

Можно оправдывать себя тем, что это просто бизнес, но в долгосрочной перспективе, вы под собой же сук пилите.

Проблема в том, что держать большой прокси это дорого - оно жрёт очень много трафика. Я уверен что, если блокировки будут продолжаться, а FakeTLS останется эффективным, то ситуация с прокси будет примерно такая (по опыту наблюдения за ситуацией в Иране):

  • 90% пользователей будет пользоваться прокси, найдеными в различных агрегаторах ссылок на прокси, будут заполнять свои списки прокси десятками. Эти прокси будут постоянно отваливаться, тормозить под нагрузкой и баниться ркн и пользователи будут недовольны нестабильностью. Эти прокси монетизируются через рекламируемые каналы.

  • какие-то прокси будут раздавать большие каналы и будут стараться делать эти прокси стабильными (ротировать IP), чтоб не терять аудиторию

  • какие-то прокси будут поднимать айтишники “для друзей”

  • ну и будут 5-10% кому не хочется бегать искать публичные прокси и они как раз могут искать платную версию в обмен на обещание продавца, что “у нас аптайм 99.99 и нет ограничений по скорости”

Я неглубокий сетевой специалист, а может кто-то поумнее мне маленечко пожалуйста пояснить?

Вот была недавеча статья на хабре про mtproto и fake-tls, с инструкцией по развёртыванию старого образа telegrammessenger/proxy, я сделал таким образом два сервера -- в мск и за бугром. И оба превосходно работали до 1 апреля, в этот день резко деградировали и мои, и сторонние. У кого-то работало, у кого-то наглухо нет, у кого-то работало с компа, но не работало с телефона, у кого-то наоборот -- но стало понятно, что все прокси-серверы резко устарели и замедлились, как говорится.

А вот теперь, уважаемые знатоки, внимание вопрос -- про какое тут всё обновление идёт речь? Клиента? Почему "осталось дождаться пока выйдет во всех сторах."? А как это поможет проксям, которых просто глушатся ТСПУ? Или мне перекачать/переустановить тот контейнер нужно, чтобы он обновился?

Не для себя прошу, для родителей и бабули(

ТСПУ видит подключение от клиента к серверу с прокси, т.к. клиент шлёт заголовок с ошибкой. Соответственно, блокируется именно соединение "клиент->сервер с прокси", а не "сервер с прокси->сервер Telegram". Поэтому ждём обновлений именно Telegram.

Пакет client hello был очень старый и на базе него детектили сразу Fake TLS, сейчас сделали маленький патч и он стал такой же как у Chrome.

Да, как выше написали, телеграм после того как договорился с властями в 2018 и его перестали банить, полностью забил на обновление прокси/FakeTLS. А суть FakeTLS в том, что он должен притворяться СОВРЕМЕННЫМ браузером - не выделяться их толпы. А за те 6 лет браузеры обновились, а телега нет и её трафик выглядит как крестьянин в лаптях и сорочке шагающий по улице современного мегаполиса 😄 Плюс кроме устаревания, там были прям ошибки в реализации TLS.

РКН это подметил и 1 апреля выкатил обновление фильтров, которые это отлавливали. Ну и за прошлую неделю телеграму накидали пулл-реквестов и пинали их чтоб они обновили FakeTLS, что они и сделали, теперь ждём пока обновление разойдётся по аппсторам.

Спасибо за статью. Интересная реализация. Потратил немного времени в ИИ и админку простенькую запилил и заглушку на индекс.

Шикарно 💪

Круто что получилось показать количество онлайн!

Не знаю заметили или нет, но уже после статьи я добавил ещё более хитрую версию персональных секретов, тут можно не бояться, что кто-то найдёт поддомены перебором: https://github.com/seriyps/mtproto_proxy#strengthening-personal-proxies-with-per-sni-derived-secrets

Не то, чтобы получилось прям. Я так понял, выводит количество коннектов, в целом. Не в разрезе 1 IP = 1 соединение. По этому, при открытии Телеграма, пока пингуется прокси, идет к нему подключение и т.п., может показывать до 7 подключений, а это 1 клиент. Но, если сессия стабильна, будет показывать 1 соединение. В общем, скорее, мониторинг самого факта использования прокси.

А в чем смысл домены перебирать? Просто, я хоть и не самый далекий от ИТ человек, но для проекта такого уровня еще "зеленый". Мне и гайд на установку тоже нейронка собирала. По этому, почитал, понял в общих чертах, что реализация интересная и все на этом. (

домены перебирать - как оно сейчас работает:

Допустим Вася оплатил месяц использования, получил ссылку, в этой ссылке ee<общий-на-всех-секрет><поддомен> , скажем ee XXXXXX vasia А есть Петя, он оплачивал доступ ранее и ему выдавало ссылку с ee XXXXXX petya общий секрет XXXXX он достаёт из своей ссылки и потом пробует подключиться к прокси с ee XXXXX lena, ee XXXX dima и т.п. и в какой-то момент находит чужой аккаунт и сидит через него.

А в новой схеме не будет общего секрета, у каждого будет свой ee XXXXXX vasia, ee YYYYY petya и т.п.

Количество подключений - так и есть, приложение Телеграма может открывать/закрывать до 8 подключений. Одно для переписок и остальные - для скачивания картинок / видео и тп

Эту штуку так и не смог. Думаю, пока недорос. Но я сделал метрики, темную тему ну и по мелочи улучшил. Заметил интересную штуку в метриках. Отчего может быть столько ошибок TLS? Прокси работает, отвалоов нет.

Метрики тоже чуть причесал + число подключений именно по учеткам, а не все коннекты.

Очень странные логи пишет данный прокси.

они чуть заточены на ситуации когда у администратора прокси что-то не работает, и он присылает разработчику логи по которым можно примерно понять где проблема. Т.е. много технической информации.

Если вам нужно просто аксесс-лог, то нужно дополнительно фильтровать. Могу подумать над опциями, если опишете ваш сценарий.

Sign up to leave a comment.

Articles