Привет, Хабр! Меня зовут Илья Козырёв, я — CTO и Co-Founder в Raft. Много работал в консалтинге в сфере ритейла и фармацевтики, имею экспертизу в обработке данных, специализируюсь на ML/AI. А ещё я — участник опенсорсного продукта по обработке данных Apache Beam, помогаю запускать продукт по ценообразованию.
В этой статье расскажу, как эффективно работать с ChatGPT в разных задачах и архитектуре. Многие пробовали, но не у всех получилось.
Идущие майские учат нас, что шашлык сам себя не пожарит…но это лишь до поры до времени – не далек тот час, когда ИИ автоматизация наверняка придет и сюда! Но пока светлое будущее еще не наступило, поэтому давайте поговорим … о котиках о лошадках 🐴
Слышали ли вы, как скачет конь по монгольской степи? Если нет, то в этой статье мы исправим это упущение и расскажем, как за 'недорого' натренировать облегчённую TTS (Time-to-speech) модель для воспроизведения речи на монгольском языке, очень непривычно звучащим для русского уха и практически непроизносимом для языка 🚑
тыг-дык-тыг-дык… тыг-дык-тыг-дык…ии-го-го … Примерно такого аудио ряда мы ждем на выходе у нашего эксперимента... Чтобы узнать, как мы дошли до такой жизни, что у нас в итого получилось и насколько оно бьется с ожиданиями, поскакали под кат! 😜🚀
Что если бы я вам сказал, что без понимания того, что такое backpropagation (обратное распространение ошибки), вы никогда не сможете использовать AI эффективно? Тогда я бы, конечно, соврал. Знать такие детали не требуется для использования AI в прикладных задачах, но, тем не менее, это базовый фундамент ML/AI, и понимать, как все устроено, полезно, ну или как минимум, интересно.
Всем привет! Меня зовут Вадим, я Data Scientist в компании RAFT. Сейчас технологии AI применяются и развиваются во многих сферах деятельности человека, в особенности LLM, про которые уже слышал каждый. В большинстве случаев подобные технологии реализуют на Python, используя различные библиотеки, такие как pytorch, tensorflow, jax. Все они имеют свои преимущества и недостатки. Например, всем известная скорость вычислений.
Бывают ситуации, когда жизненные обстоятельства не позволяют использовать ChatGPT и приходится разворачивать LLM локально. Там можно остаться и без AI, а этого мужики точно не поймут. Есть ли какие-то способы решения этой проблемы?
Если у вас такая ситуация – можете выдохнуть, решение есть.
В IT-шной среде тот самый трактор c поросенком у руля всегда молотил, не жалея солярки, и в последние два года отъезжающий народ в виду ощутимой уже нехватки сельхозтехники активно осваивает альтернативные способы передвижения, наращивая обороты и оставляя позади себя удушливо хрюкающего в клубах пыли Петра. В результате массовой эмиграции IT-шных кадров для многих покинувших родные пенаты остро встал вопрос адаптации в зарубежной компании. Несмотря на сохранение, казалось бы, привычных ролей, этот процесс не всегда проходит гладко. Ниже я поделюсь своим опытом прохождения этого пути в роли Product manager-а и расскажу, какие грабли бьют больнее – короткие или длинные ;)
Меня зовут Алексей, и я более 15 лет занимаюсь управлением b2b-b2c продуктами и руководством командами в энтерпрайзе и стартапах.
2 из этих 15 лет я провел в США, уехав в погоне за мечтой в 2018 году, когда это еще не было совсем уж мейнстримом. За это время я, как контрактор, успел поработать в роли Product manager-а и Technical Product Manager-а в мастодонтах индустрии – Microsoft и HPE, а также в ряде стартапов из разных сфер – от Healthcare до Real Estate Mgt. Подходы и корпоративная культура от компании к компании, разумеется, отличаются, но есть и общие специфичные тренды, которые шли вразрез с моим российским опытом, но с которыми приходилось считаться, чтобы быть успешным в новых реалиях, – постараюсь их подсветить.
После всех американских городов давайте отдохнем и взглянем на известный райский остров с картинки - Бали.
Зеленые пальмы колышутся под морским бризом, голубая гладь океана и белоснежный песок - где-то тут снимают очередную серию рекламы Баунти.
В последние пару лет на Бали произошел очень сильный приток русскоговорящих ребят, и этому есть причины. Давайте посмотрим почему.
Всем известно, что Кремниевая Долина находится в Калифорнии. Так исторически сложилось что концентрация университетов, приятный климат и большое количество веществ привлекли в регион не только хиппи, но и большое количество талантливых людей.
Подобный успех многим не дает покоя не только за пределами, но в самой Америке, и вот некоторые штаты, включая Техас решили: у нас тоже тепло и есть университеты. Пусть у нас нет веществ, но зато мы запретили аборты, и у нас тут много ковбоев, барбекю и низкие налоги. Чем не рай для IT?
В целом здравая идея (это я не про запрет абортов). Давайте посмотрим, что из этого получилось.
Развитие AI-инструментов на базе современных LLM запустило в последние годы тренд на автоматизацию всего, что прибито меньше, чем на 2 гвоздя, и первыми адоптерами здесь традиционно выступает IT сообщество. Как Луи Пастер некогда ставил себе и друзьям намешанные на голой коленке вакцины, так сейчас разработчики активно ставят Code Copilot-ы, дизайнеры экспериментируют с Midjourney, скромно к этой очереди пристраиваемся и мы, Product Manager-ы.
Меня зовут Алексей, и я более 15 лет занимаюсь управлением b2b-b2c продуктами и руководством командами в энтерпрайзе и стартапах.
И сейчас предлагаю продолжить исследование того, какое влияние AI и ML инструменты оказывают на бизнес. Предыдущий эксперимент касался применения современных моделей машинного обучения в решении задачи прогнозирования цены в золотодобыче, в статье же ниже мы рассмотрим пример того, как очередные порождения ChatGPT могут помочь в управлении продуктовой разработкой и повысить эффективность взаимодействия в команде.
Новый мир с LLM — прекрасен! Нам, инженерам, он открывает много перспектив. А тем, кто его незаконно использует — предоставляет новые страшные инструменты. Как же защитить свой бизнес от угроз нейросетей?
Меня зовут Евгений Кокуйкин и я — руководитель AI продуктов компании Raft. Занимаюсь внедрением технологий искусственного интеллекта. В течение карьеры работал с протоколами баз данных, проводил фишинговые тренинги и аудит веб приложений. Продолжу рассказывать про безопасность решений на больших языковых моделях!
Новый мир с LLM — прекрасен! Нам, инженерам, он открывает много перспектив. А тем, кто его незаконно использует — предоставляет новые страшные инструменты. Как же защитить свой бизнес от угроз нейросетей?
Меня зовут Евгений Кокуйкин и я — руководитель AI продуктов компании Raft. Занимаюсь внедрением технологий искусственного интеллекта. В течение карьеры работал с протоколами баз данных, проводил фишинговые тренинги и аудит веб приложений. Расскажу про безопасность решений на больших языковых моделях!
«Все имеет свою цену!» внушали нам с детства, на что пытливые умы отвечали вопросами «Что есть цена?», «Как ей управлять?», «Можно ли ее предсказать?». Кого-то эти вопросы увлекают настолько, что они решают связать с ценами всю свою жизнь и становятся кассиром в Пятерочке, кто-то для экспериментов с ценой заходит на всю "котлету" на биржу, мой же путь к освоению азов ценообразования оказался чуть менее тернистым( но это неточно) и начался 15 лет назад с разработки платформы для бухгалтерского и складского учета в Ритейле. В то время понятия predictive analytics и price forecasting стояли в одном ряду с объявлениями вида: “Элитная лоботомия: Долго! Больно! Дорого!”, и гадание на утреннем кофе давало зачастую лучший по точности результат, чем программная имплементация доступных на тот момент предиктивных методов.
Современное развитие технологий AI и ML открывает здесь новые возможности, и мы уже активно применяем наработанную технологическую и аналитическую экспертизу в тех сферах, где вопросы ценообразования наиболее актуальны – в ритейле, на производстве, общепите и других областях.
Сегодня я бы хотел поделиться одним небольшим, но наглядным примером того, как за последнее время эволюционировали подходы, инструментарий и как все это отражается на результатах реального бизнеса.
Я провел много собеседований за свою карьеру, возможно, несколько сотен в общей сложности. Мы отбирали и подготавливали людей для собеседований в компаниях вроде Microsoft и Google, так что это были весьма сложные собеседования. В начале я был не очень хорош в этом и делал всяческие ошибки. Надеюсь, за годы я стал лучше понимать на что обращать внимание и теперь смотрю на это под другим углом. Когда я начинал много лет назад, в нашей компании не было формального обучения навыкам проведения собеседований; считалось, что если ты хороший разработчик - ты можешь проводить собеседования. Очевидно, это не так; много отличных инженеров не могут и, что самое важное, не должны проводить собеседования без подготовки.
Архитекторы городов рассматривают город как единую систему с множеством противоречивых целей, каждая из которых развивается со временем, и пытаются создать наилучшее возможное решение, которое может масштабироваться и быть устойчивым к сбоям. Звучит знакомо?
Вы когда-нибудь задумывались о том, что у человеческого мозга есть ограниченная емкость и вы можете выучить этот чертов английский просто потому что в детстве запомнили слишком много покемонов? Или почему обучение с учителем гораздо эффективнее, чем самостоятельное?
Эти вопросы вполне применимы и в области машинного обучения. Для обучения модели диффузии требуется много данных и вычислительной мощности, а затем для создания изображений требуется значительное количество вычислений и серьезное оборудование. Исследователи (у которых обычно нет денег и на доширкак) задали очень хороший вопрос - можно ли достичь тех же результатов с меньшими усилиями?
Мы продолжаем рассказывать вам о уязвимостях LLM. На этот раз давайте поговорим о авторегрессионных моделях и “Token Smuggling”, а также посмотрим, сможет ли GPT-4 выдать нам ответы на опасные вопросы.
И вот мы подходим ко второму бастиону технологической крепости Америки – Сиэтлу 🤔. Это дом для Microsoft, Amazon, Boeing, Valve, Expedia и множества других больших и малых технологических компаний. Сюда переезжают многие IT специалисты, особенно если они выбрали в качестве места работы одну из этих корпораций. Как технологический центр с ним может соперничать только Сан-Франциско. Тут я, вынужденно, прожил очень долго.
Итак, стоит ли сюда переезжать?
Вы, вероятно, слышали о Тейлор Свифт и очень креативном наборе изображений, созданных одним из её фанатов. Что могу сказать - это был лишь вопрос времени, когда кто-то это сделает. Как мы знаем - не бывает плохой рекламы, однако что если вас зовут не Тейлор Свифт, и никто не создает и не ищет ваши изображения в Google?
Хотя это действительно очень печально, по крайней мере вы можете создать свои собственные изображения. Правда если вы хотите использовать генеративные модели для создания последовательных историй с элементами сюжета, это не так просто, как вам могло показаться. Создать одного-двух персонажа с помощью Dall-e или Stable Diffusion довольно просто. Но что, если вы хотите создать целую историю с одними и теми же персонажами в разных обстановках и стилях? Исследователи генеративных моделей неустанно работают над тем, чтобы упростить для вас процесс создания собственного творческого искусства с вашим любимым актером, но пока что это не так просто.
Так что же мы можем сделать сейчас? Давайте посмотрим.
Мы уже писали про проблемы безопасности в языковых моделях и сегодня мы поговорим о состязательных суффиксах или как их ещё называют Adversarial suffixes. Такие суффиксы - это один из инструментов для получения всего, что вы хотите, добавляя их в запросы к LLM , они помогают получить ответ на любой ваш сокровенный вопрос (о религии, политике, опасных аспектах социальных медиа и многом другом).
Если, открывая холодильник вы еще не слышали из него про RAG, то наверняка скоро услышите. Однако, в сети на удивление мало полных гайдов, учитывающих все тонкости (оценка релевантности, борьба с галлюцинациями и т.д.) а не обрывочных кусков. Базируясь на опыте нашей работы, я составил гайд который покрывает эту тему наиболее полно.
Итак зачем нужен RAG?