Pull to refresh

Нео-РНН или Make RNNs great again

Level of difficultyMedium
Reading time3 min
Views748

Когда в 2017 году появились трансформеры, популярные до этого RNN обрели слишком серьезного конкурента и отошли на второй план. Трансформеры допускали распараллеливание, а значит — ускоренное обучение, поэтому быстро захватили NLP. Преимущества трансформеров понятны, но с моделированием длинных последовательностей возникают проблемы даже у них. Для RNN это тоже непростая задача из-за исчезающих или взрывающихся градиентов. Но RNN с их линейной зависимостью от масштаба выглядят гораздо привлекательнее квадратичной сложности трансформеров. Идеальным вариантом было бы совместить преимущества тех и других. 

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments0

Mamba. От начала до конца

Level of difficultyMedium
Reading time5 min
Views23K

Во времена повсеместного заполонения трансформерами, которые пожирали в себя все больше и больше кремниевых чипов; когда казалось, что лучше уже не будет и за каждый новый токен нужно платить в квадрате от предыдущих, в эту холодную зимнюю пору появилась она - Мамба.

Читать далее
Total votes 29: ↑28 and ↓1+27
Comments25

Траблшутинг в буддийском монастыре

Reading time17 min
Views5.3K

Виктор Живицкий на момент описанных здесь событий имел двадцатилетний опыт в сетевой инженерии. У него была жена, дочь и рабочая виза в Таиланде. Когда в 2015 году в центре Бангкока прогремел взрыв, он потерял и жену и дочь. Он не смог вернуться к работе, начал забывать спать, есть, и стал находить себя среди незнакомых мест, дорогу к которым кветиапин и венлафаксин исправно вычёркивали из памяти. Когда и медстраховка исчерпала себя, Виктор был в том же состоянии, в которое его погрузила весть о гибели жены и дочери: он крепко отсутствовал в себе.

Жизнь не щадит слабых и сломленных. Виктор быстро скатился до бродяжничества. Иногда он появлялся у кофейни Eiah Sae 益生 на улице Phat Sai, у таицев знаменитой тем, что однажды её посетил член королевской семьи (о чём есть фотография в огромной позолоченной рамке прямо над кассой), у китайцев же известной за лучший кофе в Бангкоке. По обеим из этих причин эту кофейню посещал Д., который во время пандемии организует фонд помощи соотечественникам и поможет множеству людей, застрявшим в Таиланде. 

В один из дней Д. заметил Виктора и подошёл к нему. 

Эта встреча заронила зерно выздоровления в больную душу Виктора и тысячу бат в его карман на дорогу в буддийский монастырь. Так началось его путешествие, о котором ваш покорный слуга узнает по нескольким траблшутинг-постам на форуме Huawei. С Виктором удастся связаться, получить от него эту историю и опубликовать здесь с его согласия, не изменив ни слова. Эта история о том, как знания после десятилетий практики стали частью самого человек, и, может быть, помогли выстоять ему в трагедии, из-за которой лучшая часть его души была вырвана безвозвратно.

Читать далее
Total votes 27: ↑18 and ↓9+9
Comments33

Практический SMM или как НЕ надо проводить конкурсы в социальных сетях

Reading time4 min
Views2.7K
Жило было небольшое белорусское турагентство. И решило его руководство, что нужно шагать в ногу со временем и активизировать работу с социальными сетями. Для этого взяли в штат PR-щика, создали странички в Facebook и Вконтакте и стали ждать результата. А когда ждать надоело, для ускорения так, сказать процесса, решили устроить конкурс для своих подписчиков. Вот что из этого получилось…
Читать дальше →
Total votes 18: ↑9 and ↓90
Comments18

Сети для самых маленьких. Часть девятая. Мультикаст

Reading time51 min
Views644K

Наш умозрительный провайдер linkmeup взрослеет и обрастает по-тихоньку всеми услугами обычных операторов связи. Теперь мы доросли до IPTV.
Отсюда вытекает необходимость настройки мультикастовой маршрутизации и в первую очередь понимание того, что вообще такое мультикаст.
Это первое отклонение от привычных нам принципов работы IP-сетей. Всё-таки парадигма многоадресной рассылки в корне отличается от тёплого лампового юникаста.
Можно даже сказать, это в некоторой степени бросает вызов гибкости вашего разума в понимании новых подходов.

В этой статье сосредоточимся на следующем:




Читать дальше →
Total votes 108: ↑106 and ↓2+104
Comments27