Машинное обучение *

Привет от ЮMoney!

В июле мы запустили подкасты ЮVoice о технологиях в финтехе, о найме в IT и об электронных платежах. А тема про нейронки — одна из первых, которую решили обсудить в новом формате: тренд всё-таки. Главные мысли из подкаста собрали в небольшую статью, но если любите формат аудио, то можно поберечь глаза и пойти послушать, о чём мы там рассказали.

Не хочу читать статью, лучше включу подкаст >>

Раскрываем карты: в каких задачах ЮMoney использует ИИ, к чему нейросети всё ещё не готовы, какие эксперименты мы проводили с ChatGPT и чего ждать в будущем от искусственного интеллекта в финтехе.

«Когда Джефф Дин разрабатывает программу, то сначала создаёт бинарник, а потом пишет исходный код как документацию».

«Джефф Дин однажды не прошёл тест Тьюринга, потому что правильно установил 203-е число Фибоначчи менее чем за секунду».

«Джефф Дин родился 31 декабря 1969 года в 23:48. Ему потребовалось 12 минут, чтобы запустить свой первый счётчик времени».

Привет, мир!

Я бы хотел рассказать о своем open-source проекте Wunjo AI с открытым исходным кодом, который позволит вам создавать дипфейк видео и синтезировать речь из текста у себя на компьютере. В этом посте я постараюсь познакомить вас с возможностями Wunjo AI и пригласить вас поддержать проект на GitHub.

Речь пойдет о библиотеках-аналогах numpy, pandas, scipy и sklearn на C++ (np, pd, scipy, sklearn соответственно).

Эти проекты изначально задумывались как хорошее дополнение к портфолио, однако затем наступило всё более и более плотное вовлечение в процесс работы над ними, челенджи становились всё более и более существенными, и проект превратился в несколько отдельных проектов, содержащих десятки тысяч строк кода...

Прочитав статью, вы узнаете, как можно прогнозировать погоду с точностью до двух градусов на 3 месяца вперед, причем здесь преобразование Фурье и машинное обучение

Попадали ли вы в ситуацию, когда вам нужно было срочно записаться к врачу, но по телефону клиники раздавались короткие гудки? А хотели ли вы видеть поднятые от монитора компьютера глаза врача-терапевта и его внимание к вам во время первичного приема? Наша команда решила создать инструмент, который мог бы помочь медикам снизить рутинную нагрузку. Мы разработали систему, которая, получая строчку на естественном языке, анализирует состояние пациента и выдает предполагаемый диагноз, а еще она может сказать, а еще она может маркировать срочность приема. Подробнее об этом - в нашей статье: присоединяйтесь и узнайте, как искусственный интеллект помогает не выгореть медикам, а пациентам не сойти с ума при коммуникации с клиникой.

Представьте, что вы хотите купить акции компании, которая обещает высокий доход. Вы смотрите на графики, анализируете тренды и решаете, что это хорошая инвестиция. Но через неделю вы узнаете, что компания обанкротилась из-за финансового скандала. Вы теряете все свои деньги и остаетесь в шоке. Как такое могло случиться?

Возможно, вы могли бы избежать этого, если бы использовали нейросети, ведь их работу можно увидеть даже в финансах и аналитике. По прогнозам Next Move Strategy Consulting, к концу 2023 года рынок искусственного интеллекта достигнет 208 млрд долларов, а к 2030 году – 1,8 трлн долларов. Финансы — это не просто деньги, это еще и сложные расчеты, риски, клиенты. Нейросети помогают с этим всем справляться быстрее и лучше.

В этой статье рассказываем, как используют нейросети в финансах и аналитике, какие преимущества и недостатки они имеют, и какие перспективы развития они открывают для финансовой отрасли.

Привет, Хабр. Меня зовут Марат Хамадеев. Я — физик-теоретик, хотя кто-то, возможно, знает меня как научного журналиста, писавшего про физику для N + 1. Профессионально я рос в провинциальной академической среде, представители которой довольно скептически относились к применениям машинного обучения и, в частности нейронных сетей, для решения рутинных научных задач. Мне передался этот консерватизм — пока я писал новости про физику, я старался избегать исследований, построенных вокруг этого подхода.

Но жизнь не стоит на месте, и на новой работе я столкнулся с необходимостью поближе познакомиться с искусственным интеллектом и машинным обучением. Мне выпала замечательная возможность послушать лекции на Летней школе Искусственного интеллекта, организованной AIRI, и среди них была серия докладов, посвященных применению машинного обучения для физического моделирования. Они полностью развеяли мои страхи и побудили меня кратко рассказать вам о том, как связаны две эти области.

ИИ уже сейчас заменяет смартфоны в качестве основной движущей силы технического прогресса.

Когда одна из эпох развития человечества подходит к концу, её определяющее достижение не исчезает. И даже продолжает развиваться. Мы по-прежнему сегодня льем сталь, создаем мануфактуры, проектируем двигатели внутреннего сгорания и используем принципы индустриализации. Хотя закон Мура больше и не работает, процессоры продолжают становиться все лучше. Но уже много лет как мы не говорим о том, что новые видеокарты или чипы Intel Core i9 двигают прогресс вперед.

Последние пятнадцать лет технологический прогресс было проще всего отслеживать по смартфонам. Они становились меньше, быстрее, удобнее. Повышалось разрешение и скорость обновления экрана, камера становилась всё четче, появлялось распознавание по пальцу и по лицу. Каждые два года возникала какая-то новая функция, воодушевляющая покупателей.

Но теперь, похоже, смартфон постепенно исчезает как основной двигатель изменений. От презентаций новых девайсов уже мало что ждут. Мир начинает смотреть в другую сторону, на другую индустрию, которая должна повести нас в «более светлое будущее». И это индустрия ИИ. Каждый новый вдох которой, каждая новая Midjourney и GPT-4, сопровождается массовым хайпом и тысячами компаний из разных сфер, пытающихся адаптировать новую технологию под свои процессы.

От переводчика: выражаю огромную искреннюю благодарность Дмитрию Малову @malovdmitrijза консультации по ходу этого перевода, помощь в подборе формулировок, пояснение рисунков и незаменимую человеческую поддержку.

tldr; в статье рассмотрены приёмы, позволяющие ускорить обучение больших языковых моделей (LLM) и нарастить в них логический вывод. Для этого нужно использовать большое контекстное окно, в котором умещается до 100K входных токенов. Вот эти приёмы: ALiBi с подмешиванием в вектор позиции слова в последовательности (positional embedding), разреженное внимание (Sparse Attention), мгновенное внимание (Flash Attention),  многозапросное внимание, условные вычисления и GPU A100 на 80 ГБ.  

Всем привет! Сегодня я хочу показать 5 примеров использования искусственного интеллекта (ИИ) на нейросети OpenAI (GPT-3) применительно к SEO: это кластеризация поисковых запросов, определение степени коммерциализации запросов, оценка качества контента Google E-A-T, генерация статей по ключевым словам и извлечение сущностей из текста.

Все это делается с регистрацией, СМС и только через VPN, но, в отличии от классических способов, применяемых сеошниками – без использования поисковых систем. Только OpenAI, только хардкор!

Создание хорошего конвейера данных, который способен на конструирование признаков (feature engineering), обучение и формирование прогнозов на основе ваших данных, может оказаться довольно сложной задачей. Может, но это совсем не обязательно. В этой статье проведу вас по этому процессу шаг за шагом.

Для обучения и прогнозирования непосредственно в нашей базе данных, будем использовать BigQuery ML. Затем я покажу вам, как мы можем использовать такой инструмент, как DBT, для создания конвейера данных, который конструирует признаки, обучает модель, делает прогнозы, и все это без необходимости извлечения данных из нашей базы данных.

Без лишних отлагательств, давайте разбираться!

Привет, Хабр!

Хочу рассказать вам нашу историю о том, как изначально рутинная рабочая задача закончилась созданием открытой state-of-the-art нейросети, научной работой и новым датасетом.

Основная задача любой мобильной клавиатуры — помогать пользователям в общении, а именно — вводить текст быстро и без ошибок. Этого можно достичь при помощи разных компонентов: подсказок, автокорректа, тап-модели, голосового ввода, ввода свайпом. Все эти компоненты сильно отличаются друг от друга: скажем, тап-модель помогает предугадывать нажатие следующей буквы, а ввод свайпом расшифровывает нарисованные пользователем кривые.

Казалось бы, что между ними нет ничего общего, но это не так. Абсолютно все эти компоненты объединяет одно — языковая модель. Чем выше её качество, тем выше скорость ввода, а значит, и пользователь будет чуточку счастливее.

В этом посте я расскажу, как мы создавали нейроязыковую модель для Яндекс Клавиатуры, ушли от облачных подсказок и научили клавиатуру адаптироваться к приложениям.

Мы думаем, что развитие ИИ идет только в одном направлении. Что они становятся умнее, поглощая больше данных, и всё точнее отвечают на вопросы. Но что если это не так?

Новое исследование из Стэнфорда показало, что за несколько последних месяцев GPT-4 стал ощутимо глупее. Например, ранее он правильно отвечал на простую математическую задачу в 98% случаев, а сейчас — всего лишь в 2% случаев. Рекордный регресс!

Что вообще происходит?

Долгое время я прекрасно обходился без использования технологий искусственного интеллекта. Одни задачи можно было реализовать без всякого ИИ, а для других или готовых моделей не было или это были какие-то коммерческие облачные API.

В последнее время всё сильно изменилось и волна популярности искусственного интеллекта принесла множество крутейших моделей, позволяющих реализовать новые идеи или переосмыслить старые.

Казалось бы, есть и локально запускаемые аналоги ChatGPT или сервисов генерации изображений. Есть библиотеки типа llama.cpp - бери и используй! Но если бы было всё так просто, то не было бы этой статьи.

Для тех, кто не может ждать, можете посмотреть, чего теперь можно добиться относительно быстро:

Меня поразил тот факт, что метод CFG Scale и позволил диффузным моделям родиться. До них были GAN-модели, которые совмещали в себе генератор и дискриминатор. Т.е. моделька сначала генерирует изображение, а потом вторая полноценная модель оценивает его на вшивость и корректирует вместе с первой.