Обновление и ускорение моего GA для FlappyBird!
Теперь все птицы запускаются одновременно, поэтому обучение ускорилось с ~3-5 часов до 5-10 минут при запуске на CPU, то есть в 50 раз!
Шесть прогнозов для ИИ в 2025 году от CEO и Co-Founder Hugging Face
(и обзор того, как сложились мои прогнозы на 2024 год):
Состоится первая крупная публичная акция протеста, связанная с ИИ
Крупная компания увидит, как ее рыночная капитализация сократится вдвое или более из-за ИИ
Будет предварительно заказано по крайней мере 100 000 персональных ИИ-роботов
Китай начнет лидировать в гонке ИИ (как следствие лидерства в области открытого исходного кода ИИ)
Произойдут большие прорывы в ИИ для биологии и химии
Мы начнем видеть экономический потенциал и рост занятости благодаря ИИ, с 15 млн разработчиков ИИ на Hugging Face
Как сложились мои прогнозы для ИИ на 2024 год:
Разрекламированная компания в сфере ИИ обанкротится или будет приобретена по смехотворно низкой цене
✅ (Inflexion, AdeptAI,…)
Открытые LLM достигнут уровня лучших закрытых LLM
✅ с QwQ и десятками других
Большие прорывы в ИИ для видео, временных рядов, биологии и химии
✅ для видео 🔴 для временных рядов, биологии и химии
Мы будем гораздо больше говорить о стоимости (денежной и экологической) ИИ
✅ Денежной 🔴 Экологической (😢)
Популярные СМИ будут в основном сгенерированы ИИ
✅ с NotebookLM от Google
10 миллионов разработчиков ИИ на Hugging Face, что не приведет к увеличению безработицы
В скором времени, пока что в их 7 млн на Hugging Face
«Сюрреалистичная старость»: эксперимент с AI-моделью Sora от OpenAI
Профессиональный фотограф Эудженио Маронью, получивший доступ к альфа-версии Sora от OpenAI, создал проект «Сюрреалистичная старость» ("Surreal Elderhood"). В своей работе автор стремился найти баланс между сюрреализмом и фотореалистичностью.
По отзывам первых пользователей, работа с Sora может быть непростой, а результаты не всегда предсказуемы. Несмотря на противоречивость самой модели, это не останавливает таких людей, как Маронью, от экспериментов с ней.
По словам фотографа, Sora значительно упростила его рабочий процесс. При этом он отмечает, что основные временные затраты пришлись на разработку концепции, тестирование и редактирование – весь проект занял около двух дней.
Как ИИ меняет финтех
Искусственный интеллект (ИИ) становится неотъемлемой частью банковского сектора, принося революционные изменения в обслуживание клиентов и операционную эффективность. Благодаря внедрению таких технологий банки улучшают опыт клиентов по всему миру. Поговорила с коллегами из Data Science and ML ОТП Банка об ИИ-трендах и их реализации в банке.
Гиперперсонализация: новые стандарты обслуживания
В ОТП Банке мы используем подход Next best offer, когда специальный набор ML-моделей рассчитывает оптимальные условия для кредитных или депозитных продуктов, наиболее точно соответствующих профилю клиента в настоящий момент.
Антифрод: инвестиции в безопасность
ИИ способен анализировать множество данных — от транзакций до кредитной истории и собственности клиента. Благодаря этому он может выявить мошенничество ещё до того, как оно произойдёт, а также отслеживать необычные паттерны в сделках. А недавно появился ИИ, который, притворяясь бабушкой, убалтывает и буквально сводит с ума телефонных мошенников, пытающихся узнать личные данные.
Агентский ИИ: управление процессами
Агентский ИИ — новый уровень автоматизации. Он не просто выполняет отдельные задачи, а помогает закрывать целые процессы. Например, в OTП мы внедрили ИИ-агента в HR-рекрутинг. Он сам подбирает кандидатов, а рекрутеру остаётся только провести собеседование и выбрать лучших.
Этика и регулирование
ИИ растёт, а вместе с ним и вопросы безопасности. В России уже появились правила по этичному использованию ИИ, чтобы данные клиентов оставались защищёнными.
Государственная поддержка
Национальная стратегия ИИ до 2030 года помогает компаниям быстрее внедрять технологии, создавать новые продукты и быть конкурентоспособными.
Чат-бот ChatGPT не может дать ответ на вопрос о том, кто такой David Mayer и ещё несколько людей. Причина такой цензуры только на английском языке непонятна. На других языках ИИ отвечает без ошибки.
Python 3.13 на iMac 2011 High Sierra и VScode
Изучал Python на Anaconda/JupyterLab/Notebook/Spider под Windows 11. Возникла потребность все запускать на старом, но прикольном iMac 2011 32 ГБ ОЗУ, 1 ТБ disk, FulHD экран. Оказалось последняя Anaconda для него 2019 года с Python 3.6. Случайно узнал, что есть для Python отличные PyCharm и VScode. Оказалось VScode предпоследней версии работает на этом iMac, причем в ней есть microsoft Python практически новейший версии 3.13 и отладчик работает и pip есть сразу из коробки. Все работает с достойной скоростью. А ведь куплен iMac был за 10 тыс. руб. Добавлю еще, что он тихий даже под рендерингом анимации 3D в VTK и расчетах pandas. Добавлю еще, что с самого офицального python.org на этот iMac смог поставить только Python 3.11, a Jupyter/Spyder отказались работать.
TL;DR: Драма вокруг OpenAI и гонка за AGI (2015–2024)
Илон хотел остановить Демиса и DeepMind от создания "диктатуры AGI"
Назначил себя гендиректором OpenAI
Грег и Илья возразили: «Илон сам может стать диктатором AGI»
Сэм пытался взять контроль, Илья обвинил его в жадности и политике
Карпати предложил объединить OpenAI с Tesla. Илон поддержал, остальные — нет
Илон предложил, чтобы Tesla финансировала OpenAI, сохраняя её некоммерческой
Сэм и Грег искали другие источники финансирования
Сэм предложил ICO, но Илон сказал, что это будет выглядеть как мошенничество
В итоге заключили сделку с Microsoft
Илон ушёл в 2018, прекратив финансирование, и основал X.AI
Сэм стал гендиректором, превратил OpenAI в организацию с ограниченной прибылью, а затем в коммерческую
Илья уволил Сэма за фокус на монетизации
Сэма вернули благодаря Сатье и поддержке в Twitter
Сэм уволил Илью
Илья основал SSI для безопасного AGI
Грег покинул OpenAI, пытался попасть в SSI, но вернулся к Сэму
Но всё это, похоже, уже не имеет значения, так как масштабирование LLM (больших языковых моделей) достигло своего предела и не приведёт нас к AGI.
Недавно Сэм сказал: «Теперь я знаю цену AGI», что многие расценили как шаг для привлечения инвестиций.
Драма продолжается.
Итоги хакатона: ML, ГОСТ, металлургия
Привет! Вот и мы с итогами!
На прошедшем хакатоне участники пытались приручить ГОСТы и создать инструмент, ищущий испытания по заданным характеристикам изделий и материалов. Легко сказать! Подача информации в ГОСТах — настоящий ужас программиста. Все расположено и структурировано нетипично. Запросы пользователей прилетают в произвольной форме. Участникам предлагалось покреативить и подключить ИИ, чтобы разобраться с этим беспорядком. Подробности в анонсе.
В хакатоне приняло участие около 30 человек. Мы протестировали все решения и выбрали три лучших:
3 место занял Андрей Леонов. Его решение основано на создании базы вопросов и ответов. Система ищет пару вопрос-ответ с помощью специального метода без использования ИИ. Мы присудили третье место за оригинальный подход.
2 место досталось Носко Виктору. Он адаптировал готовую ML-модель под наши задачи. Решение отлично понимает запросы, выдает верные результаты, но работает только через веб-интерфейс, а закрытый код усложняет доработку и интеграцию.
А победу мы отдали команде Игоря Пластова и Литаврина Ярослава. Они разработали систему на основе ИИ, которая предобрабатывает тексты ГОСТов в разных форматах и выдает точные рекомендации по запросам в свободной форме. Алгоритм имеет высокую точность и открытый код, то есть готов к интеграции.
Планируем как можно скорее внедрить и проверить решение победителя в деле! Хакатон зашел на ура, так что точно будем проводить такие штуки еще! Следите за анонсами!
Открываем пользователям облака доступ к AI Assistant API — инструменту для быстрого создания умных ассистентов
Сегодня мы запустили AI Assistant API — сервис, который помогает быстро создавать умных ассистентов на базе большой языковой модели YandexGPT. В его основе — объединение LLM с технологией поиска по базам знаний RAG, которая позволяет интегрироваться с внешними системами.
AI Assistant API открыт всем пользователям Yandex CLoud в режиме Public Preview и доступен через ML SDK в сервисе Foundation Models.
Как это работает на примере AI‑ассистента для оформления командировок:
Создание ассистента доступно в удобном интерфейсе, поэтому с сервисом могут работать сотрудники без глубокой экспертизы в Data Science.
Разработчик умного ассистента может выбрать подходящую версию YandexGPT — Lite или Pro, настроить уже обученные версии модели и адаптировать под свои задачи компоненты сервиса: параметры генерации текста и базы знаний, к примеру, в которой хранятся сведения о внутренних процессах оформления командировок.
Пользователь AI‑ассистента формулирует запрос, например на оформление командировки в Санкт‑Петербург. Умный помощник анализирует запрос в контексте всей беседы и обращается к нужной базе знаний. На основе анализа диалога и информации из базы ассистент формирует релевантный ответ с инструкциями.
Также при росте нагрузки сервис автоматически масштабируется. Более подробно ознакомиться с возможностями настройки можно в документации AI Assistant API.
Одна из фич моей читалки новостей — автоматическая генерация тегов с помощью LLM. Поэтому я периодически занимаюсь prompt engineering — хочу чтобы теги были лучше, а платить было меньше.
И вот дотюнил я промпты до состояния, когда вроде всё работает, но осадочек какой-то остаётся: правильные теги определяются, но кроме них создаётся ещё 100500 бесполезных, а иногда даже совсем неверных.
Вариантов действий в таких случаях кот наплакал:
Собрать обучающие данные и дообучить модель делать только правильные теги.
Построить цепочку акторов, где один будет создавать теги, а другой — отсеивать лишние.
Попытаться как-то радикально переработать промпт.
На варианты 1 и 2 нет ни денег не времени. Моя текущая стратегия — использовать только готовые ИИ решения, так как в одиночку за отраслью не угнаться. Поэтому пришлось браться за третий.
В процессе рефакторинга получилось пересмотреть подход к промпту ммм… с developer-cetric точки зрения на user-centric.
На мой взгляд это интересный разворот, поэтому я подробно описал его у себя в блоге:
https://tiendil.org/ru/posts/prompt-engineering-building-prompts-from-business-cases
Генеративный ИИ может предсказывать действительные проблемы с удобством использования в исходном коде, которые легко просмотреть и исправить до выпуска приложения, избегая неудовлетворенности пользователей и ухудшения их опыта. Однако важные проблемы, выявленные экспертами по удобству использования, были упущены UX-LLM.
Яндекс разработал этические принципы синтеза речи
Соблюдение приватности пользовательских данных — одна из ключевых задач сервис‑провайдеров, которая решается с помощью комплекса мер безопасности.
Но при работе с ML‑технологиями могут быть не всегда очевидные риски, о которых должны знать все участники процесса обработки данных. Например, те, чьи голоса используются для синтеза речи.
Для защиты прав дикторов Яндекс создал принципы работы с синтезом речи. Команды Яндекса соблюдают этот кодекс и рекомендуют его к использованию в индустрии.
Принципы синтеза речи
Мы не синтезируем речь людей без их разрешения
Мы информируем дикторов о том, как будут использоваться их голоса
Мы храним и обрабатываем данные таким образом, чтобы они всегда оставались в безопасности
Мы сохраняем за собой право ограничивать сценарии использования нашей технологии синтеза речи
Данные, которые обрабатываются на стороне сервис‑провайдера, например, записи голосов, хранятся в дата‑центрах, отвечающих строгим стандартам в сфере информационной и физической безопасности.
Доступ к данным имеет ограниченное количество сотрудников — только те, кому они непосредственно нужны в работе. Такие сотрудники проходят инструктаж.
Когда пользователи синтезируют речь через API Yandex SpeechKit, сервис‑провайдер не имеет доступа к исходному тексту и результатам синтеза. Если партнёр синтезирует речь с помощью технологии Яндекса на своём сервере, провайдер также не имеет доступа к таким данным.
Валера Бабушкин в новом Sravni Podcast: «Выйдет GPT-5, и я стану плотником!»
Поговорили с Валерой Бабушкиным — экспертом в области ML и анализа данных, автором книги о проектировании ML-систем.
Обсудили будущее машинного обучения, сложности с поиском хороших инженеров и менеджеров, несовершенство собеседований и специфику работы в big tech. А ещё разыгрываем книгу Валеры — смотрите выпуск до конца и участвуйте в конкурсе!
Также в этом выпуске:
Неизвестный бэкграунд Валеры: чем занимался ранее?
Компетенции и карьерный путь ML-специалистов
Как успешно управлять командами в ИТ
Кто самый крутой в ML прямо сейчас — среди отдельных специалистов и компаний
Посмотреть или послушать подкаст можно здесь:
Оперативно узнавать о наших новых подкастах, докладах, лекциях и других полезных ИТ-материалах, можно в тг-канале Sravni Tech.
Ближайшие события
Внедряем модели машинного обучения в мобильное приложение на Flutter
Если Flutter-приложение нужно сделать более удобным и инклюзивным, скорее всего, придется использовать технологии ML. Вот только несколько примеров задач, в которых машинное обучение наверняка понадобится:
классификация изображений: чтобы приложение могло распознавать объекты на фотографиях или видео (например, Google Lens);
обработка естественного языка (NLP): в приложениях с голосовыми ассистентами или чат-ботами ML обрабатывает речь и тексты;
персонализация: алгоритмы ML анализируют поведение пользователей и предлагают персонализированный контент или рекомендации;
распознавание голоса: используется в приложениях для конвертации речи в текст и команд.
Существует несколько способов, как интегрировать модели машинного обучения в приложение. Можно воспользоваться ML Kit от Firebase или библиотеками на Dart. Но самое распространенное решение — фреймворк TensorFlow Lite (TFLite). Его главное (но не единственное) преимущество — что он будет работать в том числе тогда, когда смартфон не подключен к интернету.
В отдельной статье разбираем, как настроить модель для работы с TFLite, как интегрировать TFLite во Flutter-приложение и как оптимизировать модели для мобильных устройств.
Люди часто спрашивают меня, как попасть на работу в ИТ.
Говорят, у вас, айтишников, работа не пыльная и зарплаты высокие. Спрашивают, как быстрее войти в профессию? С чего начать? Может, какие курсы посоветуете?
Мне всегда хочется начать свой ответ словами из песни: «Видишь там на горе возвышается крест, повиси-ка на нём…»
Чтобы быть айтишником, у вас должно быть самое главное качество — вы должны получать удовольствие от работы за компьютером. Удовольствие от программирования или настройки программ. Если вы никогда в жизни не ловили себя на том, что уже 2 часа ночи, а вы не можете оторваться от решения поставленной задачи, то у меня для вас плохие новости — скорее всего, вы не сможете работать в ИТ.
Даже максимально увлеченные профессией люди со временем выгорают. Что уж говорить о человеке, который не горит профессией и в лучшем случае просто может долго сидеть за компьютером. Никакие курсы не сделают такого человека айтишником.
Хотя, не буду скрывать, в отрасли хватает самозванцев, особенно на управляющих должностях.
Я вижу, что людей привлекают высокие зарплаты и комфортные условия работы. Но нужно понимать, что, как и любую другую «хайповую» профессиональную область, ИТ скоро ждет стагнация. Зарплаты выровняются, а конкуренция за рабочие места возрастет.
Не время менять работу, AI специалисты всё ещё на коне.
Недавно вышла статья от одного из крупнейших международных консалтинговых агенств Robert Half, на тему какие профессии будут востребованы в ИТ сфере в 2025 году.
Агенство прогнозирует что ИИ специалисты по прежнему будут занимать лидирующие позиции по востребованности и уровню зарплат.
Так же представлены в алфавитном порядке 12 самых востребованных профессий на 2025 год. Из неинтересного там появилась новая профессия - Специалист по этике ИИ.
А из интересного то что в список попали ИТ Бизнес-аналитики.
Это подтверждает мои догадки о том что 2025 год будет годом в котором косты на Data Science будут срезать.
Список из 12 самых оплачиваемых ИТ профессий в США:
1. AI ethicist
11. QA analyst
Источник: https://www.roberthalf.com/us/en/insights/career-development/highest-paying-it-jobs
Где используется машинное обучение? Примеры использования машинного обучения - на картинке ниже.
Тут писала про бесплатные курсы, которые мне понравились и я рекомендую.
Обзор возможностей распознавания и генерации трехмерных тел с использованием алгоритмов ИИ — Никита Петрушан / Ural Digital Weekend 2024
Опубликовали запись доклада секции «Разработка» с Ural Digital Weekend 2024.
1. Что такое трехмерное тело?
2. Проблема распознавания образов в ИИ.
3. Плюсы и минусы фотограмметрии.
4. Выбор алгоритмов и методов.
Ответы на эти вопросы вы услышите в докладе.
Ссылка на запись доклада в ВКонтакте.
Ссылка на презентацию: https://goo.su/HAhYs
Сможет ли ИИ однажды заменить человека или обрести сознание и реализовать сценарии фантастических романов?
Эксперты SberDevices стали участниками литературного проекта «За ширмой тысячного Ли», где рассказали писателям-фантастам про технологии, которые мы разрабатываем, а также порассуждали о технологичном будущем и перспективах развития искусственного интеллекта.
Чтобы узнать больше о нашем участии в проекте и услышать, что же ответили коллеги из RnD-команды, предлагаем посмотреть выпуск.
🏆 Учёные, выигравшие Нобелевскую премию по физике, предупреждают об угрозах ИИ
Исследователи Джеффри Хинтон и Джон Хопфилд стали лауреатами Нобелевской премии по физике 2024 года за их новаторские исследования в области ИИ. Их работы 1980-х годов по нейронным сетям стали основой для современных систем глубокого обучения, которые обещают революцию, но также вызывают опасения.
Хинтон, известный как "Крёстный отец ИИ", выразил тревогу по поводу возможных последствий технологии, над которой он работал. "Я беспокоюсь, что это может привести к появлению систем, которые станут умнее нас и однажды выйдут из-под контроля", — сказал он. В 2023 году Хинтон ушёл из Google, чтобы предупредить о "глубоких рисках" ИИ для общества.
Потенциал и вызовы
Нобелевский комитет отметил, что искусственные нейронные сети уже стали частью повседневной жизни — от распознавания лиц до автоматического перевода. Но, как заявила Эллен Мунс, председатель комитета, быстрый прогресс ИИ вызывает опасения за будущее. "Человечество несет ответственность за безопасное использование этой технологии," — добавила она.
Хопфилд, в свою очередь, предостерег, что современные ИИ-системы могут содержать непредсказуемые последствия, и призвал к более глубокому пониманию их работы.
Хинтон и Хопфилд были награждены за вклад в разработку систем, таких как сеть Хопфилда и машина Больцмана, которые сделали возможным обучение нейронных сетей выполнять сложные задачи, такие как распознавание образов.
📄 Подробнее: Nobel Prize