Pull to refresh
33
0
Всеволод Стахов @cebka

Программист, разработчик Rspamd и FreeBSD pkg

Send message
Откуда взять компетентных на такие зарплаты. А так, гранты разворовываются на уровне проректоров, а до реальных людей доходят крохи, если доходят вообще. Единственная надежда в этом плане на бизнес, который заинтересован в воспитании компетентных кадров и имеет реальные рычаги влияния на процесс взращивания специалистов. А что касается государства, то, наверное, всем очевидно, что почти все институты государства в настоящее время становятся все более дискредитированными со стороны общества, и обсуждение этого не имеет отношения к топику.
Начну с последнего. Мне интересно, почему вы экстраполируете сказанное мной про уровень предметов и требовательность преподавателей на меня самого? Мне работа почему-то не слишком мешала делать все по преподаваемым в Бауманке предметам (да еще и писать помогать курсачи друзьям).

Про жесткость, наверное, я совершил ошибку в терминологии. Имелась в виду требовательность, потому что знания необходимо не только преподать, но и проверить адекватность их усвоения. А когда на подавляющем большинстве предметов половина аудитории внаглую списывает (чего я, кстати, практически не делал), а если списывать не дают — идут жаловаться завкафедрой, и препода подменяют (кстати, именно так было на цифровых фильтрах на 6-м курсе, но опять же я все сдал по-нормальному). А смотры, журналы посещения — это бред сивой кобылы, — ничем они не помогают реальному соответствию знаний требуемому уровню. Поэтому и бизнес сейчас редко смотрит на дипломы, потому что знают, как в университетах *проверяют* знания.

Таким образом, это и ведет нас к тому, о чем вы говорите в первом параграфе. Кстати, прибыв в Кембридж, я очень сильно удивил выпускника университета рассказом о пересдачах. Его реакция была примерно такая: «А как это можно пересдать заваленный экзамен?» Думаю, если бы это было справедливо для Бауманки, то учились бы там реально только толковые люди (а государство, вкладывая деньги в бесплатное образование, имело бы не кучу уборщиц с высшим образованием, а реально востребованных специалистов).
Знаете, я закончил Бауманку в 2009-м, и ваш пост вводит меня в некоторое недоумение. Единственный реально крайне проблемный предмет, который я помню (а я работал и учился на ИУ6, начиная с первого курса), — это война. И я очень признателен Рамблеру и конкретно Алексу Капранову, что мне разрешали пропускать день на фуллтайм работе, пока не закончился этот ужас. А уж про строгий отсев — это вообще смешно. У нас не отчисляли даже самых конченных раздолбаев и идиотов, даже те, кто *хотели* отчислиться, не могли это толком сделать.

Уровень же предметов IT направленности был ужасающим. Я могу вспомнить только несколько исключений: спецкурс по архитектуре ядра линукса (от montavista), программирование FPGA (но из-за недостаточной жесткости препода, все на него благополучно забивали) и теорию цифровых фильтров. По базисным же предметам катастрофически мало часов было у базисных математических курсов (та же дискра и теорвер преподавались всего по семестру).

Ну а по зарплате я считаю, что нет смысла ориентироваться на вуз, а есть смысл ориентироваться на опыт и профессииональные навыки. И если в Бауманке к выпуску у большинства уже опыт работы по специальности минимум пару лет, то и требования таких выпускников заметно выше. Хотя, опять же по моему опыту, по специальности работали дай бог половина из трудоустроенных с 4-го курса.
Я, скорее, имел в виду ECN, который могут использовать роутеры, вместо отбрасывания пакетов. Ну а ECN поддерживается много где. В случае же SCTP данные ECN могут включать значительно больше информации, чем 2 бита в TCP, что позволяет реально оптимизировать congestion control.
До тех пор, пока он не делает трансляцию адресов, ресегментацию и не помогает транспортному congestion control, да, наплевать. И все это требует пересчета чексуммы пакета. А последние две функции вообще требуют полного понимания работы транспортного протокола. И в случае TCP мы имеем *фиксированный* формат пакета, расширяемый только опциями до 40 байт (причем тут вы упомянули флаги, я вообще не понимаю), то в случае SCTP мы должны лезть внутрь чанков, которые имеют свои описания.
Он-то понятен, но с точки зрения роутера или firewall'а обрабатывать единый стандарт пакетов намного проще, чем все варианты чанков SCTP.
Понимаете, TCP — это сателлит IP. TCP фактически во всем привязано к IP, вы можете посмотреть все существующие реализации tcp/ip стеков и увидеть модули сопряжения в виде tcp_ip4.c или tcp_ip6.c. Да что говорить, даже контрольные суммы в TCP вычисляются с применением ip заголовков. Поэтому «хак» авторов MPTCP с использованием ip адресов в MP_JOIN и ADD_ADDRESS пакетах вполне рационален. Тем паче, что ASCONF в SCTP работает ну совершенно также, за исключением того факта, что SCTP вообще может иметь собственные чанки для каких-то экзотических сетевых протоколов.
На самом деле, сложность абсолютно одинакова, для аутентификации потоков используется общий ключ, генерируемый на базе HMAC хеш-функции. Так что, разумеется, это не устраняет опасность данной атаки, но и не упрощает ее. А вот то, что хост светит всеми ip сразу, а также, что есть возможность DoS атаки на out-of-order queue, — это реальность.
Принципиальные проблемы SCTP — поддержка offload со стороны железа, причем, как сегментации, так и контрольных сумм, и проблема middlebox'ов. Хотя чексуммы некоторые top level сетевые карты уже умеют делать, то с сегментацией пока что еще все плохо. С другой стороны, у MPTCP самого полно проблем, в частности съедание остатков options space в пакете, невозможность использовать ECN для общего congestion control, наивный подход к добавлению адресов (который, к тому же имеет ряд проблем с безопасностью), отсутствие поддержки FAST OPEN (которая у SCTP из коробки), невозможность правильного управления SACK (хотя у SCTP только сегодня вышел драфт по решению этой проблемы). Ну а вообще, ребята из MPTCP команды сделали много очень правильных улучшений в плане производительности, но в общем случае они неприменимы: отключена поддержка coupled checksums, для отправки данных в сеть используется sendfile ring buffer, который, в общем случае ведет к неконтролируемым расходам памяти, для приема используется NetDMA (который опять же предполагает offloading для контрольных сумм). Но самый большой плюс MPTCP в том, что если middlebox'ы режут нам все опции, режут SCTP, то TCP все равно работает.
И получить все проблемы dummynet в Linux. Правильно использовать flow + ipset или u32 — это быстро и стабильно. Подробнее написано тут.
Самое неудобное в bitbucket, на мой взгляд, это их wiki — очень не хватает возможностей того же gollum из github, не говоря уж о шаблонах mediawiki. С другой стороны, хранение wiki в виде репозитория позволяет придумать собственные инструменты для документирования в wiki, но встроенных все-таки не хватает.
Это и так присутствует. В настройке воркера можно сказать
<mime>no</mime>
и использовать http и json для общения (хотя для этого лучше использовать последнюю версию из hg, так как недавно я исправлял в этом месте некоторые проблемы).
Я допилил сборку со старым glib и проверил ее на CentOS 5.5. Можете попробовать собрать tip репозитория, и если все будет нормально, то я сделаю новую версию.
По поводу последнего вопроса — rspamd создает файлы статистики автоматически при обучении. При классификации их нет особого смысла создавать.

По поводу интеграции с exim, я думаю, лучше продолжить общение по электронной почте. Пожалуйста, опишите, какие в точности ошибки возникли при компиляции и дамп общения exim'а и rspamd при неверной работе. Заранее спасибо!

Я просто везде использую postfix, и у меня нет особо возможности проверять функционал rspamd с exim'ом.
Это не опция конфигурации порта rspamd, это должна быть опция конфигурации порта exim'а. Можно попробовать попросить мейнейнера включить патч rspamd в порт exim'а в виде опции.
Это не опция порта rspamd, это опция порта exim'а. Можно попросить мейнтейнера включить патч для работы с rspamd в OPTIONS.
А в чем заключается проблема? У нас на всем кластере ставится rspamd из этого порта.
Вначале письмо разбирается gmime, в котором парсинг построен на базе конечных автоматов. Далее конечным автоматом в rspamd разбираются Received заголовки, из которых извлекаются полезные для фильтров данные. Но дело даже не в конкретном случае, а в общем подходе — в SA очень мало думают об оптимизации.
Генерация собственных спеков никогда особо не использовалась, так как я решил, что намного лучше сконцентрироваться на стабильности, документировании и популяризации проекта, чем создание пакетов, которые никто не использует.
Гм, я, конечно, не тестировал amavisd, но мне кажется, что он не решает основную проблему SA — отсутствия оптимизации и использование регулярных выражений в совсем неподходящих местах. Например, в SA для разбора Received заголовков в письме последовательно применяется примерно 20 регулярных выражений, соответствующих различным MTA.

Information

Rating
Does not participate
Location
Cambridge, England - East, Великобритания
Registered
Activity