В наши дни кажется, что каждый хочет создать свой собственный стартап, привлечь миллиард венчурных капиталов, купить Cybertrack на эти деньги и уехать на нем в голубые дали (данное предложение не является пропагандой нетрадиционных отношений). Это всё хорошо и понятно. Но многие люди испытывают трудности с формулировкой своей идеи в нечто осязаемое, что-то реальное или хотя бы достаточно реальное, чтобы вы могли объяснить это другим, и они не подумали, что вы сумасшедший.

С момента написания моей прошлой статьи прошло не так много времени, но прогресс не стоит на месте и произошло несколько важных изменений. Раньше про RAG можно было услышать из холодильника, теперь же ситуация изменилась. Каким образом - читайте дальше.

Что если бы я вам сказал, что без понимания того, что такое backpropagation (обратное распространение ошибки), вы никогда не сможете использовать AI эффективно? Тогда я бы, конечно, соврал. Знать такие детали не требуется для использования AI в прикладных задачах, но, тем не менее, это базовый фундамент ML/AI, и понимать, как все устроено, полезно, ну или как минимум, интересно.

Бывают ситуации, когда жизненные обстоятельства не позволяют использовать ChatGPT и приходится разворачивать LLM локально. Там можно остаться и без AI, а этого мужики точно не поймут. Есть ли какие-то способы решения этой проблемы?

Если у вас такая ситуация – можете выдохнуть, решение есть.

После всех американских городов давайте отдохнем и взглянем на известный райский остров с картинки - Бали.

Зеленые пальмы колышутся под морским бризом, голубая гладь океана и белоснежный песок - где-то тут снимают очередную серию рекламы Баунти.

В последние пару лет на Бали произошел очень сильный приток русскоговорящих ребят, и этому есть причины. Давайте посмотрим почему.

Всем известно, что Кремниевая Долина находится в Калифорнии. Так исторически сложилось что концентрация университетов, приятный климат и большое количество веществ привлекли в регион не только хиппи, но и большое количество талантливых людей.

Подобный успех многим не дает покоя не только за пределами, но в самой Америке, и вот некоторые штаты, включая Техас решили: у нас тоже тепло и есть университеты. Пусть у нас нет веществ, но зато мы запретили аборты, и у нас тут много ковбоев, барбекю и низкие налоги. Чем не рай для IT?

В целом здравая идея (это я не про запрет абортов). Давайте посмотрим, что из этого получилось.

Я провел много собеседований за свою карьеру, возможно, несколько сотен в общей сложности. Мы отбирали и подготавливали людей для собеседований в компаниях вроде Microsoft и Google, так что это были весьма сложные собеседования. В начале я был не очень хорош в этом и делал всяческие ошибки. Надеюсь, за годы я стал лучше понимать на что обращать внимание и теперь смотрю на это под другим углом. Когда я начинал много лет назад, в нашей компании не было формального обучения навыкам проведения собеседований; считалось, что если ты хороший разработчик - ты можешь проводить собеседования. Очевидно, это не так; много отличных инженеров не могут и, что самое важное, не должны проводить собеседования без подготовки.

Архитекторы городов рассматривают город как единую систему с множеством противоречивых целей, каждая из которых развивается со временем, и пытаются создать наилучшее возможное решение, которое может масштабироваться и быть устойчивым к сбоям. Звучит знакомо?

Вы когда-нибудь задумывались о том, что у человеческого мозга есть ограниченная емкость и вы можете выучить этот чертов английский просто потому что в детстве запомнили слишком много покемонов? Или почему обучение с учителем гораздо эффективнее, чем самостоятельное?

Эти вопросы вполне применимы и в области машинного обучения. Для обучения модели диффузии требуется много данных и вычислительной мощности, а затем для создания изображений требуется значительное количество вычислений и серьезное оборудование. Исследователи (у которых обычно нет денег и на доширкак) задали очень хороший вопрос - можно ли достичь тех же результатов с меньшими усилиями?

И вот мы подходим ко второму бастиону технологической крепости Америки – Сиэтлу ?. Это дом для Microsoft, Amazon, Boeing, Valve, Expedia и множества других больших и малых технологических компаний. Сюда переезжают многие IT специалисты, особенно если они выбрали в качестве места работы одну из этих корпораций. Как технологический центр с ним может соперничать только Сан-Франциско. Тут я, вынужденно, прожил очень долго.

Итак, стоит ли сюда переезжать?

Вы, вероятно, слышали о Тейлор Свифт и очень креативном наборе изображений, созданных одним из её фанатов. Что могу сказать - это был лишь вопрос времени, когда кто-то это сделает. Как мы знаем - не бывает плохой  рекламы, однако что если вас зовут не Тейлор Свифт, и никто не создает и не ищет ваши изображения в Google?

Хотя это действительно очень печально, по крайней мере вы можете создать свои собственные изображения. Правда если вы хотите использовать генеративные модели для создания последовательных историй с элементами сюжета, это не так просто, как вам могло показаться. Создать одного-двух персонажа с помощью Dall-e или Stable Diffusion довольно просто. Но что, если вы хотите создать целую историю с одними и теми же персонажами в разных обстановках и стилях? Исследователи генеративных моделей неустанно работают над тем, чтобы упростить для вас процесс создания собственного творческого искусства с вашим любимым актером, но пока что это не так просто.

Так что же мы можем сделать сейчас? Давайте посмотрим.

Если, открывая холодильник вы еще не слышали из него про RAG, то наверняка скоро услышите. Однако, в сети на удивление мало полных гайдов, учитывающих все тонкости (оценка релевантности, борьба с галлюцинациями и т.д.) а не обрывочных кусков. Базируясь на опыте нашей работы, я составил гайд который покрывает эту тему наиболее полно.

Итак зачем нужен RAG?

Если вы не провели последние два года на ферме в Сибири, вы, вероятно, слышали о Stable Diffusion или пробовали генерировать изображения с помощью моделей, вроде Dall-e или Midjourney. Они становятся все лучше каждый день, и по качеству уже сравнимы с людьми, а во многих аспектах даже лучше (например, им не нужно платить).

Исследования в области создания видео уже идут полным ходом во многих лабораториях и компаниях, так что это лишь вопрос времени, когда генеративные модели сместят людей с очередного столпа на котором держится наше общества — порно. Я не вижу чтобы кто то поднимал тревогу об огромном количестве людей, которые потеряют работу из-за этого. Я не такой бессердечный, поэтому, прежде чем наступил этот печальный момент, я решил принять меры и создать базовое руководство, которое даже работник индустрии для взрослых сможет понять и использовать, чтобы оставаться в игре. Давайте посмотрим, что к чему.

После того, как я написал свое мнение о жизни в Сан-Франциско, многие стали присылать мне вопросы о других городах. "Я неисправимый романтик", - сообщает один читатель, - "и верю что где-то на земле всё-таки есть рай. А как насчет Майами? Я играл в GTA Vice City в детстве, и там все выглядело весьма неплохо".

Если хотите узнать мое полностью предвзятое мнение - читайте дальше.

Многие из вас, я уверен, слышали о теории игр в какой-то момент своей жизни. Если вы хотите выглядеть умным и произвести впечатление на свою девушку — просто упомяните «игру с нулевой суммой» или «эволюционную стратегию», и ваши шансы отвести её домой сегодня вечером только что подскочили на 50%. Или вы можете использовать теорию игр, чтобы принимать решения в инвестировании своих денег (чтобы их полностью потерять и разориться) или, например решая, на какой девушке жениться (что также очень вероятно вас разорит). Как видите, это очень полезная теория.

Чтобы казаться умным - достаточно выучить эти пару выражений, но чтобы на самом деле что-то понимать - придется разобраться. Оказывается, это не так уж сложно и довольно интересно. Давайте посмотрим.

Дисклеймер: в данной статье нет математического доказательства возможности или невозможности alignment. Приведены рассуждения гуру (см. фото выше) с его философских позиций:

В связи с недавними событиями в индустрии искусственного интеллекта, происходит очень много обсуждений о проблеме выравнивания (alignment). Лично мне кажется, что идея о том, что мы каким-то образом сможем контролировать сверхчеловеческий ИИ, когда он достигнет этой стадии, интересна, но нереалистична. Это все равно как если бы муравьи пытались заалайнить нас в соответствие со своими нуждами (хотя некоторые утверждают, что кошки успешно подчинили себе людей). Однако, кроме кошачьих, никто другой не смог провернуть такой трюк. Конечно, люди все равно будут пытаться это сделать, несмотря на тщетность подобных попыток. Уже написанно немало книг по этой теме, за авторством очень умных людей. По крайней мере это дает нам ложное чувство контроля. Достаточно почитать книги популярных теоретиков типа Ника Бострома, чтобы понять что они ни к чему не пришли.

Уже сейчас есть эксцессы с AI, напримр недавно машина AI стартапа Cruise сбила женщину в Сан Франциско. Печальная история, однако это лишь рябь на воде по сравнению с цунами что идет в нашу сторону.

Для начала давайте ответим на очень важный для многих вопрос - а зачем нам нужен ИИ? 42 не предлагать. Ответ настолько очевиден что его даже не сразу видно. ИИ нам ни для чего не нужен, но это ничего не меняет. Это все равно что спрашивать зачем нужна атомная энергия (и как следствие ядерное оружие)  - она есть вне зависимости от наших пожеланий, мы лишь используем этот феномен природы. ИИ будет несмотря на на что, просто потому что он возможет и такова траектория развития событий. Как только началась гонка в этой области, ее уже невозможно остановить, потому что Равновесие Нэша.

Я довольно долго прожил в Сиэтле и Калифорнии, и один из первых вопросов, который мне всегда задают: как там, в стране американской мечты? Я всегда отвечаю — это зависит. Пока что этот ответ никого не удовлетворил…

Очевидно, этот вопрос часто задаётся не из пустого любопытства, особенно если я разговариваю с человеком из IT. Многие технические специалисты думают о том, чтобы испытать удачу в США.

Итак, как там на самом деле? Мы видели много разных публичных мнений, от очень хайпового фильма «Кремниевая Долина» Юрия Дудя, изображающего идиллический и солнечный образ, до очень негативного от Артемия Лебедева.

Могут ли они оба быть правдой? Да, могут. Все зависит от того, на какие аспекты вы смотрите и какие из них для вас наиболее важны. В этой статье вы не найдете типичного сравнения зарплат, аренды и цен на продукты тут и там. Я думаю это все не так важно в вопросе заводить ли трактор. Дело совсем не в этих вещах.

Давайте посмотрим что есть что.

Вы, наверное, уже не раз слышали о тонкой настройке (fine-tuning) моделей. На самом деле, в нашей компании мы настраиваем модель каждые 10 секунд. До написания этой статьи я даже настроил свой завтрак, на всякий случай, потому что, как мы все знаем, все лучше, когда хорошо настроено.

Но что это на самом деле? Это просто другой модный термин или в нем есть смысл? ? Давайте выясним.

Итак, функции активации. Что мы знаем о них помимо загадочной тайны ужасных соглашений о наименованиях (о чем поговорим позже 🧐) и зачем они нам нужны (если вас это вообще интересно)?

Идея, собственно, настолько проста, что даже ваш кот может разобраться в этом. Прежде всего, что-то похожее есть в наших головах. Для этого давайте взглянем на упрощенный нейрон (органический и искусственный):

Градиентный спуск лежит в основе большинства методов AI/ML. Звучит как-то странно и пугающе. Спуск? Блин, надеюсь, мне не придется прыгать с парашютом...😒

Не волнуйтесь, возможно, все же придется прыгнуть, но только если вы этого захотите. Это объяснение способен понять даже ваш 10-летний племянник.