Все потоки

В далёком 2018 году мы представили наше первое умное устройство с Алисой — Яндекс Станцию. С тех пор пользователи успешно взаимодействуют с виртуальным ассистентом с помощью голосовых команд. Но, к сожалению, бывают и сложности. Алиса не всегда правильно понимает запрос: ей могут мешать шумы, сливающиеся голоса или невнятно произнесённая фраза. Эта проблема особенно актуальна для пользователей с различными речевыми нарушениями — например, с заиканием, ДЦП, последствиями инсульта или травмы. Часто речь искажается так, что Алиса не понимает её, а значит, пользователь сталкивается с ограничениями.

Меня зовут Даня, я представляю команду, которая разрабатывает в Алисе технологию распознавания речи. Сегодня я расскажу небольшую историю о том, как мы решали описанную выше проблему. Пожалуй, было бы слишком смело предполагать, что такую сложную задачу можно навсегда победить одним быстрым решением (даже людям не всегда удаётся корректно понимать речь с особенностями). Тем не менее нам удалось сократить разрыв между точностью распознавания обычной речи и речи с искажениями в среднем на 20%. При некоторых лёгких формах нарушений звукопроизношения Алиса теперь понимает речь не хуже человека, а при тяжёлых формах нарушений — даже лучше. Это самый большой шаг в этом направлении с момента создания нашего помощника. 

Под катом вы не найдёте хардкорных подробностей обучения нейросетевых моделей, потому что основная сложность таилась вовсе не в вопросах применяемых технологий. Ключом к успеху стала помощь сообщества и экспертов.

Когда занимаешься каким-то делом достаточно долго, начинаешь ощущать себя сидящим на берегу бурной реки. Мимо проносятся годы, теории, подходы и принципы, можно пронаблюдать весь жизненный цикл каких-то явлений и течений. Одним из таких явлений стало появление бизнес-партнёров по информационной безопасности, которых в англоязычном мире принято величать Business Information Security Officer (BISO). Явлению этому менее 10 лет (если говорить о формировании как института и роли), но оно стало уже достаточно популярным как в российском дискурсе, так и в зарубежном. На пути от олдскульного «специалиста по защите информации» к BISO происходило много событий, но, как известно, дорогу осилит идущий.

Посмотрим на это моими глазами наблюдателя, но начать придётся издалека. Любое созерцание требует некоторого терпения. Путевые заметки расположены не в хронологическом порядке, но в логически связанном. Они посвящены трансформации индустрии и призваны ответить на вопрос: какой способ организации работы ИБ лучше и почему он претерпел именно такую трансформацию?

Начало тут

Что они себе позволяют???

2008 год. Рост замедлился, но не остановился. Просто все стало каким‑то спокойным и контролируемым. Больше нет задачи ворваться на рынок и успеть, пока другие не успели. Есть развитие, оно улучшает покрытие. Есть планы на квартал/год.

Есть план по приросту абонентской базы. До сих пор все шло за счет роста этой самой базы. Теперь операторы все явнее нажинают каннибалить друг друга.

Идут слияния и поглощения. Все явнее оформляется большая тройка. Пока тройкой, Теле2 полноценно примкнет к ним позже.

Привет, меня зовут Рома. Я работаю в KTS на позиции Python backend-разработчика. 

Однажды мне взбрело в голову написать собственную имплементацию алгоритма сжатия RLE. В этой статье рассказываю подробнее про RLE: что это за зверь такой, где используется, чем плох, чем хорош, и какие неожиданные сложности могут возникнуть при попытке имплементации.

Хабр, привет! Я снова пришёл к вам со статьёй, где показываю мои любимые техники вёрстки. Моя цель — поделиться опытом с вами. Я использую не только трюки известных экспертов, есть лично мои придумки. Но, пожалуйста, относитесь к этому контенту, как просто альтернативному мнению. Мои техники не являются единственными правильными решениями.

Сегодня я расскажу:

• какие правила у меня есть при именовании CSS-переменных для дизайн-систем;
• на какие логические свойства вам стоит обратить внимание;
• зачем нужно делать прозрачные рамки;
• как я делаю зависимость значения одного свойства от других более явным;
• про пользу «внутренних» переменных.

Давайте посмотрим, что я вам подготовил.

В этой статье я расскажу, как я смог обучить модель, которая превзошла GPT 3.5 Turbo на русскоязычной части MT-Bench. Также я рассмотрю новую конфигурацию для обучения на двух графических процессорах параллельно с помощью accelerate и deepspeed.

Особенный интерес представляет мой датасет для обучения. Он получен из сабсета мультиязычных промтов набора lightblue/tagengo-gpt4 на русском, английском и китайском, всего 10 тысяч примеров, сгенерированных с помощью GPT-4o. Это в 8 раз меньше, чем исходный набор Tagengo, но обученная на последнем Suzume, как показали бенчмарки, лишь очень незначительно превосходит мою модель на ru_mt_bench, а на англоязычном бенче и вовсе уступает ей. Это значит, что я в разы сэкономил на GPU за счет более высокого качества данных, полученных с помощью GPT-4o. 

Я использовал скрипт для получения ответов по заданным промптам. Для генерации русскоязычной выборки я изменил часть скрипта, чтобы выбрать все промпты на русском из Tagengo (8K примеров), так как основной фокус при обучении модели был на русском языке. 

В итоге я получил датасет ruslandev/tagengo-rus-gpt-4o и приступил к обучению.

Для этого я создал виртуальную машину с NVIDIA H100, используя сервис immers.cloud. Для достижения наилучших результатов по instruction-following (что проверяется на MT-Bench) я взял в качестве исходной модели meta-llama/Meta-Llama-3-8B-Instruct. Именно на ней обучена модель Suzume, у которой высокая оценка на MT Bench. Предыдущие эксперименты показали, что базовая Llama-3 8B,  а особенно ее четырехбитная версия для QLoRA — unsloth/llama-3-8b-bnb-4bit - значительно отстает по оценкам бенчмарка.

В январе 1934 года деревня Валькур (Квебек) имела идиллический вид рождественской открытки. Всё занесено снегом, машины заперты в гаражах до весны, если надо куда‑то съездить — есть сани и лошадь. Там жил 26-летний Жозеф‑Арман Бомбардье, хозяин мастерской по ремонту почти всей техники, которой пользовались сельские жители. Недостаток технического образования (всего два года в ученичестве у механиков и на разных вечерних курсах) он компенсировал врожденным талантом и страстью к конструированию. Еще в 13 лет он построил модель паровоза с двигателем из деталей часового механизма, а в 15 — аэросани с мотором от «форда» и собственноручно выточенным пропеллером.

От вечерних поездок до навигации по дому или парку в темноте — существует так много ситуаций, когда было бы удобно использовать простую пару линз ночного зрения, и мир, выходящий за пределы человеческого оптического восприятия, мог бы быть освещён. Это зрение может стать реальностью благодаря технологическому прорыву, ультратонкой плёнки или линзы толщиной с пищевую плёнку.

Учёные из ARC Centre of Excellence for Transformative Meta-Optical Systems (TMOS) в Австралии пытались сделать ночное видение доступным и носимым, отказавшись от громоздких и дорогих гарнитур и приспособлений для линз.

Их новые открытия позволяют осуществлять всю сложную обработку света по более простому и узкому пути, что, по сути, означает, что эту технологию можно упаковать в виде плёнки ночного зрения, которая весит менее грамма и может быть размещена поверх существующих линз.

Наличие повседневной пары очков ночного зрения, которые выглядят так же, как очки для чтения, может изменить то, как мы работаем и играем после наступления темноты. Тут много возможностей: от поиска собаки без поводка в парке во время ночной прогулки до повышения безопасности за рулем и пешком.

Так почему же мы ещё не ходим в ночных очках? Традиционное ночное зрение включает в себя сложную систему, которая использует световые фотоны, проходящие через объектив в электронный усилитель изображения, состоящий из двух важных частей. Сначала фотокатод преобразует фотоны в электроны, которые затем попадают в микроканальную пластину, состоящую из миллионов отверстий, для массового умножения электронов. Далее электроны попадают на экран с люминофорным покрытием и «светятся» зелёным, освещая сцену, просматриваемую через систему ночного зрения.

Ко мне “приходит” мой напарник, списываемся в телеге, как обычно. Уже работали над игровым сценарием для квеста-приключения, как раз закончилась отрисовка арта… Но напарник, назовем его Мир, исследует рынок и вдруг решает.

- Знаешь Pocket Zone, в таком духе игры?

- Примерно. Представление имею.

- Примкнуть бы к этой нише…

- Карманных постап ролевок?

- А‑га.

Привет, Хабр! Меня зовут Павел Кузьмин, я работаю ведущим разработчиком в РСХБ-Интех. Однажды в своей работе мы столкнулись с острой необходимостью перенести БД объемом 1,4 ТБ (более 1,5 млрд строк) с MS SQL на PostgresSQL не более чем за 20 часов. Неожиданно для нас, все имеющиеся готовые варианты не подходили, поэтому мы решили взять библиотеку Npgsql на C# и написать свой код. В итоге созданное решение справилось с поставленной задачей за 13 часов. Рассказываем, как мы это сделали, и делимся кодом. Возможно, он вам пригодится в работе.

Удаленка - сколько здесь хорошего для просто специалиста ИТ-сферы. Да и любой, где она возможна. Сама мысль о возможности сидеть, где тебе удобно и получать зарплату греет не хуже камина осенним вечером. Сейчас даже кранами в доках рулят на удаленке. Но как мы пришли к этому? Когда все началось? 

Многие из вас помнит зарю ИТ-индустрии, когда было модно стать “фрилансером” и чилить на Бали, под пиво рисуя сайты. Хорошее было время… Для тех, кто успел вкатиться. 

Начиная с 2005, вместе с  ростом запроса от рынка, количество аутсорс-контор стало расти, как грибы после дождя. Фрилансеры остались, но их исключительность начала уходить: ведь галеры предлагают тоже самое (а то и лучше) за примерно тот же самый ценник. Только без гемора для Заказчика.

Можно с пеной у рта спорить, кто больший гад на рынке, но для энтерпрайза и МСБ при адекватных бюджетах фрилансер – рисковый ресурс. В отличии от аутсорс компании. Чтобы начать работать надо подписать рамочный договор с юрлицом (желательно в юрисдикции твоего головного офиса) и все – можно приступать. В случае форс мажора –  отвечает конкретное ООО “Веб Мастера”, а не условный Коля Усов с 543 положительными оценками на FL.RU. Он таки реально рисует твой сайт, сидя на Бали. Но в перерывах между сессиями рехаба и рейвов. Если найдет время. 

Не буду вас пугать и вводить в заблуждение – с фрилансерами все прекрасно. Ковид показал, что толку от них зачастую столько же, а то и больше, чем от штатной команды. А всякие самозанятые и прочие digital nomad visa по прежнему привлекают свежую кровь в стан любителей свободы. Подтверждает мои слова и статистика. 

Серьезные инциденты случаются со всеми, даже с глобальными игроками. Чего стоил один только прошлогодний сбой у Toyota! Тогда переполнение дискового пространства и сбой в СУБД стали причиной остановки всех заводов компании в Японии. А недавно произошла хакерская атака на СДЭК. В таких ситуациях остается надеяться только на бэкапы.

Не удивительно, что мы часто получаем запросы от клиентов о том, как организовать корпоративное резервное копирование. Их интересует, что именно бэкапить, как часто это делать, где хранить резервные копии, какие регламенты нужны и как лучше организовать резервное копирование на предприятии. Особенно много таких запросов стало поступать в последнее время. Поэтому я решил написать серию статей о том, как устроено резервное копирование, как его организовать и защитить. Моя цель — рассказать о best practice и структурировать эти знания. Бэкапы — обширная тема, которая включает множество нюансов, так что я начну с архитектуры и буду постепенно углубляться в детали. 

Привет! Меня зовут Алексей Чурсунов, я работаю аналитиком в команде зарядной инфраструктуры в стартапе, который создает отечественный электромобиль Атом. Непосредственно мы разрабатываем ИТ-платформу, которая будет содержать информацию обо всех электрозарядных станциях в России независимо от их производителя или обслуживающего оператора, а также позволит планировать маршруты, бронировать коннекторы для зарядки и заряжаться по прибытии на место. И именно мы отвечаем за совместимость будущего Атома с зарядными станциями ведущих производителей России.

Наша работа требует изучения пользовательского опыта для понимания сложностей, с которыми сталкиваются владельцы электромобилей. Поэтому мы с коллегами решили проехаться от Москвы до Сочи, чтобы выявить особенности путешествия на дальние расстояния на электромобиле, да и вообще понять, возможно ли такое.

Всем привет! Меня зовут Андрей и в МТС я помогаю другим рассказывать о своём опыте, увлечениях и интересах. А в свободное время балуюсь статьями для души. Одно из моих увлечений — разные интересные геологические артефакты. Все эти мушки в балтийском янтаре, друзы кварца и замещенные аммониты. Когда-нибудь про это будет отдельная статья, а сегодня я расскажу, как Йелоустонский супервулкан законсервировал для нас останки животных, живших 50 млн лет назад. Подробности — под катом.