AI, ANN и иные формы искусственного разума
Если, открывая холодильник вы еще не слышали из него про RAG, то наверняка скоро услышите. Однако, в сети на удивление мало полных гайдов, учитывающих все тонкости (оценка релевантности, борьба с галлюцинациями и т.д.) а не обрывочных кусков. Базируясь на опыте нашей работы, я составил гайд который покрывает эту тему наиболее полно.
Итак зачем нужен RAG?
В прошлом году(2023) в мире больших языковых моделей(LLM) произошло много нового и нитересного. В новостях появились фразы о гонке искусственных интеллектов, а многие ведущие IT компании включились в эту гонку. Рассмотрим как все начиналось, кто сейчас занимает лидирующие позиции в гонке и когда роботы захватят мир.
Салют! Уже ни для кого не секрет, что GigaChat активно развивается, и обновление моделей не заставляет себя долго ждать. Рады сообщить вам, что новые версии GigaChat Lite и GigaChat Pro получили мощный апгрейд и стали еще более креативными, умными и точными в исполнении инструкций, а также получили более высокую оценку, чем ChatGPT (gpt-3.5-turbo-0613) на бенчмарке MMLU. На сегодняшний день GigaChat используют уже более 2,5 миллионов человек.
В новом обновлении GigaChat Lite получил расширение максимального контекста до 32768 токенов (GigaChat Lite+), а GigaChat Pro — до 8192 токенов. Вместе с контекстом мы улучшили качество ответов, превзойдя ChatGPT на русском SBS и английском MMLU, а также сделали апдейт датасетов по экономике, медицине и праву, добавили экспертные и редакторские данные, а также прокачали функции (улучшили работу запросов).
Узнать, как попробовать самую сильную версию GigaChat бесплатно, можно в конце статьи.
Всем привет! Хочу поделиться необычным кейсом из моей практики – созданием иллюстраций для игровых карточек «Имиджинариума» с использованием нейросети Midjourney. Наша команда визуализировала выражения и понятия из мира ИТ. Мы представили, как может выглядеть на карточках настольной игры Agile, путь пользователя, удаленный доступ, оживили системы видеонаблюдения, пофантазировали над человеческим обличием бекенда, стартапа или дедлайна. Об этом - новая статья в блоге ЛАНИТ. Бонус –под катом вас ждут очень много красивых картинок и ссылка на составленный мной гайд по работе с промтами в Midjourney.
упность и различные преимущества мультикристаллических материалов сделали их широко распространенным сырьем для различных применений в сфере солнечной энергетики и, в целом, полупроводни.ковой индустрии, электроники и медицины, однако работа с ними сопровождается серьезными трудностями
Использование мультикристаллических материалов усложняется наличием дефектов и неоднородностей свойств кристаллов по поверхности материала, связанных с различной кристаллографической ориентацией каждых отдельных зерен. Кроме того, работа с такими материалами требует наличие дорогостоящего оборудования и использование современных методов, затрачивающих много времени и неподходящих для образцов большой площади, что является насущной проблемой.
Другими словами: материал очень востребован во многих сферах промышленности, но имеет ряд особенностей, и не имеет достаточно эффективных способов работы с ними.
В данной статье я расскажу, какое решение данной проблемы было найдено исследователями, и для сравнения опишу современные используемые методы для определения кристаллографических ориентаций в мультикристаллических материалах.
Приятного чтения! :)
Одно из моих guilty pleasure – это нейрофилософия и смежная с ИИ литература, поэтому очень хочется поделиться с вами обзором книги Жильбера Симондона «О способе существования технических объектов». Вдохновилась я также статьей Михаила Куртова с комментариями к этой книге, очень советую ее тоже почитать.
Жильбер Симондон – французский философ, создатель оригинальной философии техники и теории индивидуации. Получил широкую известность в конце XX века, хотя основные его работы были написаны во второй половине 1950-х гг.
Многие, возможно, не слышали об этом философе, а ведь значимость его работ стала особенно очевидной в контексте развития генеративного искусственного интеллекта, ставшего неотъемлемой частью нашей повседневной жизни. Его книги, к сожалению, остались в тени и редко попадают в руки читателей.
Симондон высказывался об искусственном интеллекте еще в 1950-х годах, когда ИИ существовал только в теории. Он утверждал, что различные умные системы, подобные сегодняшнему ChatGPT, могут обрести собственное «существо», и это утверждение оказалось глубоко актуальным для нашего понимания собственной природы и роли человека в этом новом мире.
Французский философ отвергал идею разделения между техникой и культурой, человеком и машиной. Это устаревшее разделение, уходящее корнями в работы древнегреческих философов, до сих пор оказывает влияние на наше отношение к технологии и, следовательно, нашему образу жизни в XXI веке.
В последнее время мы оцениваем на удивление много проектов, так или иначе связанных с 3D-пространством и ML-моделями. По всей видимости по прошествии 2023 года люди воодушевились и начали видеть возможность реализации тех идей, которые ранее просто-напросто казались научной фантастикой - и они не ошибаются! Исследователи и разработчики последних технологий достигли сногсшибательных результатов. В связи с этим хотел бы накидать цикл обзорных статей, которых как мне лично, так и нашей рабочей группе очень сильно недоставало в процессе ресёрча.
Нет времени объяснять! Bytedance тестирует платформу создания АИ ботов, coze.com, в том числе на базе gpt-4/gpt-3.5/Dalle-3 с возможностью интеграции в телеграм/дискорд. На данный момент ограничений практически нет, бесплатный доступ к огромному количеству сервисов, включая платные. Сервис доступен в России и еще в ряде стран.
Есть возможность создавать сложные workflow, добавлять кастомные плагины/апи, да практически что угодно можно сделать. Я покажу на примере нескольких ботов. Простой gpt бот - переводчик, чуть более сложный - для написания кода на питон, с возможностью "гуглить" и очень сложный, для генерации изображений в Dalle, с сложным воркфлоу, кастомными плагинами/вставками кода/условиями и так далее. Поехали!
Процитирую автора древнеримского романа «Сатирикон»: «Чему бы ты ни учился, ты учишься для себя». Актуальности она не потеряла и по сей день. Так что, как вы уже могли понять, речь в статье пойдет про самообразование. А точнее — про то, как его можно разнообразить и попробовать сделать интереснее, при этом получить новые навыки не только в теме, которую изучаем в конкретный момент.
Давайте знакомиться: меня зовут Евгений, мне 30 лет, работаю в сфере ИТ уже более 8 лет и сейчас занимаю позицию ведущего DevOps-инженера в Лиге Цифровой Экономики.
• Разработан новый устойчивый метод создания органических полупроводников
• Химики завязали самый сложный узел из известных, состоящий всего из 54 атомов
• Инструмент наблюдения, использующий ИИ, успешно помогает прогнозировать сепсис и спасает жизни
• Команда обнаружила свидетельства падения кометной пыли на астероид Рюгу
• Хаббл обнаружил водяной пар в атмосфере малой экзопланеты
Цель данной работы – оценить возможность создания эффективной системы распознавания дефектов рельсов по дефектограммам ультразвукового контроля методами ML
Если вы не провели последние два года на ферме в Сибири, вы, вероятно, слышали о Stable Diffusion или пробовали генерировать изображения с помощью моделей, вроде Dall-e или Midjourney. Они становятся все лучше каждый день, и по качеству уже сравнимы с людьми, а во многих аспектах даже лучше (например, им не нужно платить).
Исследования в области создания видео уже идут полным ходом во многих лабораториях и компаниях, так что это лишь вопрос времени, когда генеративные модели сместят людей с очередного столпа на котором держится наше общества — порно. Я не вижу чтобы кто то поднимал тревогу об огромном количестве людей, которые потеряют работу из-за этого. Я не такой бессердечный, поэтому, прежде чем наступил этот печальный момент, я решил принять меры и создать базовое руководство, которое даже работник индустрии для взрослых сможет понять и использовать, чтобы оставаться в игре. Давайте посмотрим, что к чему.
Майнинг и использование для майнинга в этой статье не обсуждается.
У меня есть пара старых статей (про A100, и про 3090 и A10) и также вот есть тоже старое, но всё еще неплохое и актуальное сравнение карточек для расчетов от Selectel. С тех пор прошло примерно два года и пора написать что-то новенькое и попробовать новые ускорители для расчетов. Да, это всё ещё статья про карточку Nvidia, не AMD и не Intel, и не про китайцев и какие-то модные большие чипы, увы.
С тех пор появились новые карточки уже аж двух новых поколений - Ada Lovelace и Hopper. При этом Hopper вроде как должны были прийти на замену очень удачному поколению Ampere (это древняя традиция Nvidia - за супер успешным поколением следует менее удачное), но не пришли. Но возможно из-за торговых войн с Китаем карточки поколения Hopper стали выдавать только нужным вендорам и в виде собранных систем и при этом запретили экспорт в Китай.
В этой статьей мы разберем первые впечатления от карточки NVIDIA RTX 5000 Ada Generation (AD103), но начнем с небольшой дозы юмора.
В конце ноября 2023 года информационная служба Хабра сходила на #Reconfa — конференцию «Яндекс Рекламы». Неформат для Хабра, но в этот раз на конференции обсуждалось применение ИИ и нейросетей, поэтому я решил сходить, посмотреть. Об этом есть отдельный материал. Там же мне удалось поймать директора по искусственному интеллекту (ИИ) «Яндекс Рекламы» Алексея Штоколова. Я задал ему несколько вопросов про ИИ и использование его в рекламе. Плавно разговор перетёк в обсуждение профессии AI‑тренера и возможности автоматизации рутинных задач. Приятного чтения!
На старте 2023 года произошел настоящий бум генеративного искусственного интеллекта (ГИИ). Но так ли все радужно? Или это была разовая вспышка и нас ждет очередная ИИ-зима? А может мы на пороге трансформации ИИ? Давайте разбираться.
Друзья, всем привет, вышла в свет новая удивительная технология, на гите она подписана как InstantID : Zero-shot Identity-Preserving Generation in Seconds. Но по факту это самый крутой генератор аватарок в мире, который по одной лишь вашей фотографии может создать персонализированное изображение с вашим лицом в любом стиле по текстовому запросу используя SDXL модели Stable Diffusion. Так что к концу этой статьи, у вас так же как и у меня будет десяток новых аватарок и совершенно бесплатно.
В статье много красивых и тяжелых картинок.
В сообществе ML-инженеров и дата-сайентистов популярны инструменты с быстрой обратной связью наподобие JupyterLab — они помогают легко и без лишних обвязок проверять гипотезы или создавать прототипы. Но довольно часто бывает, что при разработке ML-пайплайна, будь то инференс или обучение модели, хочется пользоваться установленной локально полноценной IDE, в которой открыт проект со многими зависимостями, окружением, сложной структурой. При написании кода и его отладке хочется пользоваться дебагером и уметь быстро менять код, а при запуске — скейлить ресурсы исполнения и не думать о том, как перенести код и окружение на продакшн-сервера. Всех этих возможностей в Jupyter-экосистеме из коробки нет, поэтому разработчикам часто приходится создавать костыли.
Помочь в решении этих задач могут инструменты для удалённого исполнения кода в ML. Сегодня на конкретном примере покажу, как устроен и как работает один из таких инструментов, созданный нами для пользователей облака, — DataSphere Jobs. А в следующий раз вместе с моими коллегами рассмотрим опенсорс-инструменты для подобных задач.