Сегодняшняя статья посвящена методам быстрого приближенного вычисления двоичного логарифма и экспоненты/степеней двойки. Не все задумывались, как именно реализовано вычисление нелинейных математических функций в компьютере, который вообще-то умеет складывать и умножать, но не вычислять синусы или гиперболические тангенсы. Из школьных институтских времен вспоминаются ряды Тейлора, приближающие функцию полиномом в окрестности заданной точки, или интерполяционные полиномы Лагранжа,  но как добиться действительно высокой точности приближения? А можно ли эти имплементации ускорить? Постараемся сегодня приоткрыть завесу тайны.

Найти организованного человека с проектным опытом в диджитале не за 150 тысяч непросто, а после критики Максима вдобавок начался небольшой PR-кошмар. Рассказываю, как было дело.

На Хабре можно найти немало статей, посвящённых оптимизациям поиска кратчайшего пути на графе. Я расскажу ещё про еще один подход. Речь пойдёт о распараллеливании алгоритма A* и исполнении его на двух потоках, а также о сложностях, с которыми я столкнулся при реализации, и их преодолении.

Охлаждение офиса

Проблема охлаждения перегретого офисного пространства имеет не только техническую сторону, но и в значительной степени социально-психологическую составляющую.

Так  типовым решением охлаждение помещения  является установка настенного или потолочного фанкойла  (вентиляторный охладитель), из которого хлещет компактная струя (струи) холодного воздуха.

Температура такой струи составляет +19С в номинальном режиме, при этом температура в помещении +29С.

В среднем температура в помещении считается около +24С.

То есть у кого-то  жара +29С, а кому-то в шею или в ухо дует поток с температурой +19С.

Именно такой  сильный разброс климатических параметров внутри одного пространства вызывает  серьёзные конфликт между работниками в этом помещении.

ChatGPT генерирует разнообразный и привлекательный для человека текст. Но что делает текст «хорошим»? Это субъективно и зависит от контекста. Например, если вы попросите сочинить историю, нужен творческий подход. Если вы запрашиваете информацию, то хотите, чтобы она была правдивой. А если вы просите написать код, то ожидаете, что он будет исполняемым.

Вы наверняка слышали о том, что OpenAI привлекали сотрудников из Африки для помощи в разметке токсичности их ассистента. Менее известен факт найма реальных разработчиков, чтобы подготовить данные с пояснениями к коду на человечском языке.

Именно данные с фидбеком от людей позволили дообучить их языковую модель и сделать продукт таким «человечным».

Разберем алгоритм, который позволяет согласовать модель машинного обучения со сложными человеческими ценностями.

Все мы временами жалеем о том, что не сделали чего-то в прошлом. Например, не уделили должного внимания изучению иностранного языка: «Эх, вот если бы я тогда не страдал всякой ерундой, а как следует взялся бы за английский, я бы сейчас...». Или не поучаствовали в чём-то, что сейчас принесло бы нам ощутимые дивиденды и бонусы: «Говорил ведь мне тогда Сеня: надо майнить биткойны». Или просто выбрали не ту дорогу: «Надо было поступать в университет А, зачем я сгоряча подал документы в институт Б!»

Проходит время, мы анализируем наши поступки и сокрушаемся по поводу неправильно принятых решений. Нам кажется, что всё могло быть совсем по-другому, если бы в определённой временно́й точке в прошлом мы приняли бы другое решение.

Всё выглядит вполне логичным: вот точка выбора, перекрёсток судьбы. Вот две дороги: направо пойдёшь — будут тебе успех, почёт и богатство. Налево пойдёшь — и окажешься... в общем, там, где ты сейчас оказался. Однако тут есть небольшой подвох: мы никак не можем проверить, что дорожка направо действительно привела бы нас в светлое альтернативное будущее. Давайте попробуем разобраться, что же не так с этой самой дорожкой.

В рамках расширения своих компетенций периодически провожу анализ данных датасетов. В какой-то момент осознал, что трачу время на столбцы с аналитиками, в которых все в порядке. Данные полные, тип данных единый, интерпретация понятна. Если столбцов несколько десятков, то обзорная проверка атрибутов каждого столбца занимает довольно значительное время.

В материале, переводом которого мы решили поделиться к старту курса о машинном и глубоком обучении, простым языком рассказывается о семантическом поиске, статья охватывает шесть его методов; начиная с простых сходства по Жаккару, алгоритма шинглов и расстояния Левенштейна, автор переходит к поиску с разреженными векторами — TF-IDF и BM25 и заканчивает современными представлениями плотных векторов и Sentence-BERT. Простые примеры сопровождаются кодом и иллюстрациями, а в конце вы найдёте ссылки на соответствующие блокноты Jupyter.

Рим пал. Но культура его живет. Люди до сих пор любуются величественным Колизеем, читают истории про борьбу галлов, цитируют Цезаря. Но, к сожалению, в Старом Свете совсем перестали говорить на латинском языке и даже почему-то называют его языком мертвым. К счастью, значительная часть Нового Света сумела сохранить этот красивый язык, почему и носит название Латинская Америка. Год назад я отправился сюда, чтобы посмотреть, как живут прямые потомки римлян, как сегодня звучит их забытый Европой язык, каково там жить и работать.

Машинный перевод — область технологий, которая успешно приближает будущее. Он разрушает языковой барьер и помогает людям, которые говорят на разных языках, понимать друг друга. Один клик — и можно прочитать и понять статью, написанную на незнакомом языке, или сообщения в мессенджере от людей из любой точки мира. А значит, получить больше информации и найти новых знакомых. Это с точки зрения пользователя.

Со стороны разработчиков сервисов тоже, казалось бы, современное машинное обучение уже близко к тому, чтобы достаточно было сделать import model_name from your_favourite_framework — и всё заработало. К сожалению, это не совсем так. Нельзя просто взять готовый претрейн и надеяться, что он будет хорошо переводить все именованные сущности. Нельзя просто обучиться на готовом кусочке WMT-данных и верить в то, что переводчик будет адекватно работать на специфичном домене. Нельзя просто взять обычный токенизатор и трансформер — и рассчитывать на корректный перевод текстов с шумами и опечатками.

Поэтому этот гайд будет немного более сложным, чем импорт моделей. Под катом вы не найдёте серебряной пули — только реальный опыт и подходы, которые помогли нам ВКонтакте справиться со всеми нюансами и запустить собственный переводчик. 

Небольшой рассказ с картинками о проведении тематического моделирования для массива документов, на примере датасета анекдотов на русском языке. В работе применены библиотеки Gensim, Sklearn. Рассмотрены разные способы векторизации токенов bag of words, tf-idf. Получены результаты для обсуждения и продолжения.
Велком...

Nudecrawler - паук для поиска голых женщин.

Что только не придёт в голову, когда её владелец скучает в пробке в час пик. В один прекрасный вечер, наблюдая за пешеходами, с гордостью превышающими скорость автомобильного потока, я почувствовал непреодолимое желание заиметь Bluetooth‑колонку. Тогда я ещё не знал, какой долгий путь мне предстоит пройти, чтобы довести новое приобретение до ума.

Под катом радикальное DIY-решение одной из основных проблем дешевых китайских Bluetooth-колонок.

В прошлой статье я рассказывала, что составила для своего проекта словарь «Властелина Колец», причем для каждого англоязычного терма (слова/словосочетания) хранится перевод и список глав, в которых встречается это выражение. Все это составлено вручную. Однако мне не дает покоя, что многие вхождения термов могли быть пропущены.

В первой версии MVP я частично решила эту проблему обычным поиском по подстроке (\b{term}, где \b – граница слова), что позволило найти вхождения отдельных слов без учета морфологии или с некоторыми внешними флексиями (например, -s, -ed, -ing). Фактически это поиск подстроки с джокером на конце. Но для многословных выражений и неправильных глаголов, составляющих весомую долю моего словаря, этот способ не работал.

После пары безуспешных попыток установить Elasticsearch я, как типичный изобретатель велосипеда и вечного двигателя, решила писать свой код.

Мы решили проверить технологию, на которой основан ChatGPT, посмотреть актуальное состояние open-source GPT-like моделей и ответить на вопрос — можно ли обучить GPT-like модель в домашних условиях?

Для эксперимента выбрали LLaMA и GPT-J и не самый мощный ПК с видеокартой Nvidia GTX 1080TI с 11 GB VRAM. Оказалось, что этого достаточно не только, чтобы загрузить модель, но и дообучить ее (fine-tune). Рассказываем — как мы это сделали.