Автоэнкодеры являются базовой техникой машинного обучения и искусственного интеллекта, на основе которой строятся более сложные модели, например, в диффузионных моделях, таких как Stable Diffusion. Что же такое автоэнкодер?

Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft, и сегодня мы погрузимся в Mojo. Я уже делал обзор данного языка программирования и рассмотрел его преимущества, примеры использования, а также провел сравнение с Python.

Теперь давайте посмотрим, как обучить простую сверточную нейронную сеть, и разберём один из методов машинного обучения — линейную регрессию. В качестве примеров задач возьмем стандартные соревнования машинного обучения: предсказание стоимости жилья и классификацию рукописных цифр MNIST. Для проведения экспериментов на Python используем фреймворк машинного обучения PyTorch. А на Mojo — фреймворк машинного обучения Basalt.

Всё чаще в реализации проектов встречается потребность в классификации входящего текста для дальнейшей обработки. До недавнего бума нейросетей задачи по классификации текста были достаточно трудоемкими, дорогостоящими и требовали глубоких знаний NLP. А готовые решения не давали желаемой точности ответов. К счастью, сейчас практически моментально можно внедрить множество решений. Представьте, автодилер ежедневно получает сотни сообщений от клиентов. Как быстро и точно определить, что хочет клиент? С помощью классификации текста.

Привет, Хабр! Ухудшение работы YouTube стало поистине трагическим событием, которое прибило почти все загрузчики видео, но я нашел легальный способ улучшить ситуацию! Как починить оборудование Google, не привлекая внимание санитаров.

Привет, Хабр! Меня зовут Ирина Николаева и я — руководитель R’n’D отдела машинного обучения в компании Raft Digital Solution. Я внедряла различные ML-модели: от анализа временных рядов и Computer Vision до высоконагруженных дата-инженерных сервисов. Эта статья написана по мотивам моего доклада на Highload ++ 2023.
В статье вас ждёт: обзор LLM-моделей, техники работы с ними через призму MLOps, разбор лицензий и требований к железу. А так же трюки с квантизацией и файн-тюнингом «на сладкое». Главный дисклеймер статьи в том, что данные лидербордов и технических требований актуальны на момент выступления на Highload, то есть ноябрь 2023, но не всё из них актуально до сих пор. Но если бы я обновила всю статью, была ли бы это та же самая статья — вопрос риторический, поэтому было принято решение оставить всё как есть.

В наши дни кажется, что каждый хочет создать свой собственный стартап, привлечь миллиард венчурных капиталов, купить Cybertrack на эти деньги и уехать на нем в голубые дали (данное предложение не является пропагандой нетрадиционных отношений). Это всё хорошо и понятно. Но многие люди испытывают трудности с формулировкой своей идеи в нечто осязаемое, что-то реальное или хотя бы достаточно реальное, чтобы вы могли объяснить это другим, и они не подумали, что вы сумасшедший.

Что если бы я вам сказал, что без понимания того, что такое backpropagation (обратное распространение ошибки), вы никогда не сможете использовать AI эффективно? Тогда я бы, конечно, соврал. Знать такие детали не требуется для использования AI в прикладных задачах, но, тем не менее, это базовый фундамент ML/AI, и понимать, как все устроено, полезно, ну или как минимум, интересно.

Идущие майские учат нас, что шашлык сам себя не пожарит…но это лишь до поры до времени – не далек тот час, когда ИИ автоматизация наверняка придет и сюда! Но пока светлое будущее еще не наступило, поэтому давайте поговорим … о котиках о лошадках 🐴

Слышали ли вы, как скачет конь по монгольской степи? Если нет, то в этой статье мы исправим это упущение и расскажем, как за 'недорого' натренировать облегчённую TTS (Time-to-speech) модель для воспроизведения речи на монгольском языке, очень непривычно звучащим для русского уха и практически непроизносимом для языка 🚑

тыг-дык-тыг-дык… тыг-дык-тыг-дык…ии-го-го … Примерно такого аудио ряда мы ждем на выходе у нашего эксперимента... Чтобы узнать, как мы дошли до такой жизни, что у нас в итого получилось и насколько оно бьется с ожиданиями, поскакали под кат! 😜🚀

«Все имеет свою цену!» внушали нам с детства, на что пытливые умы отвечали вопросами «Что есть цена?», «Как ей управлять?», «Можно ли ее предсказать?». Кого-то эти вопросы увлекают настолько, что они решают связать с ценами всю свою жизнь и становятся кассиром в Пятерочке, кто-то для экспериментов с ценой заходит на всю "котлету" на биржу, мой же путь к освоению азов ценообразования оказался чуть менее тернистым( но это неточно) и начался 15 лет назад с разработки платформы для бухгалтерского и складского учета в Ритейле. В то время понятия predictive analytics и price forecasting стояли в одном ряду с объявлениями вида: “Элитная лоботомия: Долго! Больно! Дорого!”, и гадание на утреннем кофе давало зачастую лучший по точности результат, чем программная имплементация доступных на тот момент предиктивных методов.

Современное развитие технологий AI и ML открывает здесь новые возможности, и мы уже активно применяем наработанную технологическую и аналитическую экспертизу в тех сферах, где вопросы ценообразования наиболее актуальны – в ритейле, на производстве, общепите и других областях.

Сегодня я бы хотел поделиться одним небольшим, но наглядным примером того, как за последнее время эволюционировали подходы, инструментарий и как все это отражается на результатах реального бизнеса.

Архитекторы городов рассматривают город как единую систему с множеством противоречивых целей, каждая из которых развивается со временем, и пытаются создать наилучшее возможное решение, которое может масштабироваться и быть устойчивым к сбоям. Звучит знакомо?

И вот мы подходим ко второму бастиону технологической крепости Америки – Сиэтлу ?. Это дом для Microsoft, Amazon, Boeing, Valve, Expedia и множества других больших и малых технологических компаний. Сюда переезжают многие IT специалисты, особенно если они выбрали в качестве места работы одну из этих корпораций. Как технологический центр с ним может соперничать только Сан-Франциско. Тут я, вынужденно, прожил очень долго.

Итак, стоит ли сюда переезжать?

Вы, вероятно, слышали о Тейлор Свифт и очень креативном наборе изображений, созданных одним из её фанатов. Что могу сказать - это был лишь вопрос времени, когда кто-то это сделает. Как мы знаем - не бывает плохой  рекламы, однако что если вас зовут не Тейлор Свифт, и никто не создает и не ищет ваши изображения в Google?

Хотя это действительно очень печально, по крайней мере вы можете создать свои собственные изображения. Правда если вы хотите использовать генеративные модели для создания последовательных историй с элементами сюжета, это не так просто, как вам могло показаться. Создать одного-двух персонажа с помощью Dall-e или Stable Diffusion довольно просто. Но что, если вы хотите создать целую историю с одними и теми же персонажами в разных обстановках и стилях? Исследователи генеративных моделей неустанно работают над тем, чтобы упростить для вас процесс создания собственного творческого искусства с вашим любимым актером, но пока что это не так просто.

Так что же мы можем сделать сейчас? Давайте посмотрим.

Если, открывая холодильник вы еще не слышали из него про RAG, то наверняка скоро услышите. Однако, в сети на удивление мало полных гайдов, учитывающих все тонкости (оценка релевантности, борьба с галлюцинациями и т.д.) а не обрывочных кусков. Базируясь на опыте нашей работы, я составил гайд который покрывает эту тему наиболее полно.

Итак зачем нужен RAG?

Привет, меня зовут Денис. Я работаю руководителем проектов в компании Raft. Хочу поделиться с вами, насколько просто создать своего ассистента для вашей компании, работы или других вопросов, тем самым экономить на курсах и консультациях. До недавнего времени промпты воспринимались, как поисковые запросы. Но с их помощью можно создать небольшую программу.

Хотите узнать, как это сделать? Добро пожаловать под кат. Там мы с вами разработаем промпт для ассистента. В качестве примера рассмотрим создание ассистента для бизнеса, ориентированного на стратегические вопросы.

Всем привет! Меня зовут Никита, я Data Scientist из Raft. Сегодня я расскажу вам о том, как мы решили задачу перевода каталога товаров большого интернет-магазина с русского на арабский язык с применением искусственного интеллекта. Мы рассмотрим различные подходы и идеи, возникавшие в процессе погружения в эту задачу. Также я объясню, почему мы отказались от готовых решений и выбрали Large Language Models (LLM) в качестве основного инструмента. Как вы, возможно, уже догадались из названия, основным преимуществом нашего финального решения стала значительная оптимизация расходов: нам удалось сократить использование API OpenAI в 4 раза, при этом сохранив высокое качество перевода.

После того, как я написал свое мнение о жизни в Сан-Франциско, многие стали присылать мне вопросы о других городах. "Я неисправимый романтик", - сообщает один читатель, - "и верю что где-то на земле всё-таки есть рай. А как насчет Майами? Я играл в GTA Vice City в детстве, и там все выглядело весьма неплохо".

Если хотите узнать мое полностью предвзятое мнение - читайте дальше.

Если вы не провели последние два года на ферме в Сибири, вы, вероятно, слышали о Stable Diffusion или пробовали генерировать изображения с помощью моделей, вроде Dall-e или Midjourney. Они становятся все лучше каждый день, и по качеству уже сравнимы с людьми, а во многих аспектах даже лучше (например, им не нужно платить).

Исследования в области создания видео уже идут полным ходом во многих лабораториях и компаниях, так что это лишь вопрос времени, когда генеративные модели сместят людей с очередного столпа на котором держится наше общества — порно. Я не вижу чтобы кто то поднимал тревогу об огромном количестве людей, которые потеряют работу из-за этого. Я не такой бессердечный, поэтому, прежде чем наступил этот печальный момент, я решил принять меры и создать базовое руководство, которое даже работник индустрии для взрослых сможет понять и использовать, чтобы оставаться в игре. Давайте посмотрим, что к чему.

Многие из вас, я уверен, слышали о теории игр в какой-то момент своей жизни. Если вы хотите выглядеть умным и произвести впечатление на свою девушку — просто упомяните «игру с нулевой суммой» или «эволюционную стратегию», и ваши шансы отвести её домой сегодня вечером только что подскочили на 50%. Или вы можете использовать теорию игр, чтобы принимать решения в инвестировании своих денег (чтобы их полностью потерять и разориться) или, например решая, на какой девушке жениться (что также очень вероятно вас разорит). Как видите, это очень полезная теория.

Чтобы казаться умным - достаточно выучить эти пару выражений, но чтобы на самом деле что-то понимать - придется разобраться. Оказывается, это не так уж сложно и довольно интересно. Давайте посмотрим.

Дисклеймер: в данной статье нет математического доказательства возможности или невозможности alignment. Приведены рассуждения гуру (см. фото выше) с его философских позиций:

В связи с недавними событиями в индустрии искусственного интеллекта, происходит очень много обсуждений о проблеме выравнивания (alignment). Лично мне кажется, что идея о том, что мы каким-то образом сможем контролировать сверхчеловеческий ИИ, когда он достигнет этой стадии, интересна, но нереалистична. Это все равно как если бы муравьи пытались заалайнить нас в соответствие со своими нуждами (хотя некоторые утверждают, что кошки успешно подчинили себе людей). Однако, кроме кошачьих, никто другой не смог провернуть такой трюк. Конечно, люди все равно будут пытаться это сделать, несмотря на тщетность подобных попыток. Уже написанно немало книг по этой теме, за авторством очень умных людей. По крайней мере это дает нам ложное чувство контроля. Достаточно почитать книги популярных теоретиков типа Ника Бострома, чтобы понять что они ни к чему не пришли.

Уже сейчас есть эксцессы с AI, напримр недавно машина AI стартапа Cruise сбила женщину в Сан Франциско. Печальная история, однако это лишь рябь на воде по сравнению с цунами что идет в нашу сторону.

Для начала давайте ответим на очень важный для многих вопрос - а зачем нам нужен ИИ? 42 не предлагать. Ответ настолько очевиден что его даже не сразу видно. ИИ нам ни для чего не нужен, но это ничего не меняет. Это все равно что спрашивать зачем нужна атомная энергия (и как следствие ядерное оружие)  - она есть вне зависимости от наших пожеланий, мы лишь используем этот феномен природы. ИИ будет несмотря на на что, просто потому что он возможет и такова траектория развития событий. Как только началась гонка в этой области, ее уже невозможно остановить, потому что Равновесие Нэша.

Вы, наверное, уже не раз слышали о тонкой настройке (fine-tuning) моделей. На самом деле, в нашей компании мы настраиваем модель каждые 10 секунд. До написания этой статьи я даже настроил свой завтрак, на всякий случай, потому что, как мы все знаем, все лучше, когда хорошо настроено.

Но что это на самом деле? Это просто другой модный термин или в нем есть смысл? ? Давайте выясним.