Комментарии 12
Сейчас Точка активно развивает свою LLM ...
Уточните, пожалуйста, что подразумевается под "своей LLM"?
Вы векторизируете свои документы в базу и делаете запросы к своей базе?
Стриншот №2 с описанием промта очень похож на то, к чему пришли мы.
Работаем с реляционной базой, когда дополнительные данные берутся из реляционной базы и результаты складываются также в реляционную базу.
Пытались использовать self-hosted Flowise и N8N, но как-то не прижилось - в большинстве случаев достаточен один сложный prompt с выгонкой результата в JSON.
Основная проблема в нестабильности внешних моделей, когда результат выполнения сложного промта сегодня и через полгода дают абсолютно разные результаты при одинаковых параметрах и нулевой температуре.
Спасибо, что поделились, было любопытно сравнить.
Под своей LLM подразумевается дообучение открытой локальной большой языковой модели под наши нужды, чтобы она лучше понимала предметную область, русский язык и лучше следовала инструкциям.
Векторизация документов из базы: этот подход называется RAG (Retrieval Augmented Generation), он не обязательно подразумевает дообучение своей LLM. Об этом есть хорошие статьи, например, эта https://habr.com/ru/articles/779526/
На скриншоте №2 справа пример парсинга параметров в JSON из сообщения пользователя. Часто промпт выходит объемный и сложный, простые конструкции не охватывают частные случаи богатого и могучего русского языка.
Используем такой парсинг для тех решений, где LLM в итоге выгоднее, чем использование парсинга функциями или классический ML. Выигрываем по качеству и по времени реализации новых сценариев в тот же Ассистент, к примеру.
Проблема с нестабильностью действительно есть, часто даже через три месяца результат может быть другой. Мы отслеживаем обновления моделей и выход новых, фиксируем изменения, а за счет внутренней инфраструктуры поддерживаем актуальность во всех решениях.
Спасибо за комментарий и ваш опыт.
Похоже, вообще никто в LLM не разбирается. Если своими словами не может изложить ситуацию. Я вот в LLM не спец. Для меня prompt: это запрос имени пользователя и пароля при входе с терминала. А тут вроде статья для широкой аудитории, а терминология - вообще без пояснений. Почему не используются слова Запрос, вводная, постановка задачи? Пишите тогда всё английскими буквами и ссылки на WiKi в скобочках. Вы ведь как бы нацелены на качество обслуживания клиентов, чтоб им понятно ответить. Как? Если даже про свою работу доступно изложить не можете?
Есть такие работодатели, которым таролог предписывает нещадно отстреливать кандидатов. Но есть такие, которым их корпоративный таролог предписывает не только пройтись напалмом по ним, но и заявить об этом публично: 10 застрелено из-за одной запятой, 20 сожжено из-за двух.
Люди часто ошибаются, особенно в грамматике. Пунктуация - это самое последнее на что рядовой пользователь может обратить свое внимание. Поэтому реально умный ии обязан это распознавать и подсвечивать. Ваш ии на реальных пользователях вероятнее всего будет галлюцинировать. И то, что вы отсеиваете из-за одной запятой - это даже хорошо. Вы уберегли кандидатов от неадекватного работодателя.
Вы в статье признаете тот факт, что чатджипити дорогой, поэтому используете ламу. Но в инете повсюду есть реклама, что Точка использует именно чатджипити в своих ассистентах. Вот и верь вашей компании потом.
Вся эта тема с ламой не совсем, но похожа на сцену из фильма с аферистом, который реальный банкомат накрыл своим кожухом, сам сел внутрь, и начал стричь бабки на беспечных клиентах.
Недавно создатель Линукса критиковал хайп по ии. И мне тоже не нравится мода компаний отгораживаться от клиентов автоматическими прокладками. На озоне, чтобы достучаться до реального сотрудника в приложении - это целый квест. Вас бы всех по одному месту за ваш такой ии.
Это же бизнес - тут всё по Марксу. Когда роботы смогут делать за них всю работу, они без малейших сомнений выкинут всех этих людей на улицу, включая таролога, hr, pr и копирайтера этой статьи.
Останется только один хозяин и роботы. И хозяин в своем пресс релизе тоже будет гордо называть себя 'Мы' (ещё можно будет добавить 'команда', но вряд-ли он смотрел ту передачу.. они обычно все тупые в гуманитарном плане)
Маркс во многом был тогда прав. Согласен.
Вот недавно слушал один блог одного препода-венгра, работает в США. Тема передачи была - что такое капитализм. И там этот препод рассказал в подробностях историю его возникновения от Адама Смита, потом про Маркса объяснял, и потом они дошли до наших дней и речь зашла про Блэлрок и про то, что по сути многие государства сейчас это пока не марионетки, но что-то вроде кукол, которых дёргают за нитки. В особенности небольшие с маленьким GDP и с автократом во главе, такие, как Венгрия например. И я немного поразился одному венгерскому слову, которому в русском вероятно специально не придумали русского аналога, это - эксплуатация. Оно всем известно, но если на него посмотреть, как осмысливают венгры, то значение полностью отобьёт у любого человека желание приобщаться к "командному духу". Вообще, венгры любят свой язык, и стараются везде именно им осмысливать вещи и явления. Так вот, что на счёт kizsákmányolás (эксплуатации) , то слово начинается с существительного zsák мешок, но в данном контексте торба или рюкзак. Далее с добавлением mány слово превращается в слово добыча (точнее предмет добычи: заяц, утка и т.д.) , далее при добавлении суффикса ol получаем глагол - добывать (добычу), а с добавлением ás получаем существительное процесс "добывание добычи". И вся теперь соль в приставке ki, с добавлением которой эксплуатация - это добывание до истощения и опустошения, прииска или угодья. При капитализме есть только опустошитель и добыча (жертва, расходный материал), которая жертвует своим временем и по сути жизнью. Капиталист выискивает жертву, находит бедного владельца, говорит про кисельные перспективы и свободы в городе и скупает землю за бесценок. Бедняк едет в город,.где у станка сгорает быстро, как свеча. В то время, как капиталист быстро богатеет и продолжает бизнес по поиску бедняков и нищих или не стабильных бизнесов и правительств и т.д. Это история Великой Англии. Но тут не в стране дело.
Слесарь винтику и гайке может долго вытирать про командный дух, но они - не команда. Это очевидно. Почему мы вроде бы разумные люди покупаемся на это, не понятно.
Смысл эксплуатации - пока что-то стучит и не отваливается, пусть себе работает, а в противном случае пойдет в утиль.
В наши дни капитализация некоторых фондов скоро будет превосходить GDP средних государств. Бизнесы сильно вложились в роботизацию и ии. В Европе уже перепроизводство электрокаров. В этом году в Германии ФФ пришлось закрывать заводы с людьми, а EU вводить заградительные пошлины. И это не случайно и это не уникально. Капиталисты не могут без экономических и мировых войн. Именно капиталисты - главные зачинщики всех мировых кризисов, которые приводят, о чудо, к новой добыче, правильно, к обнищанию большинства. Капиталисты их обожают, ведь бедные - это их любимая добыча.
И если капиталистам сотни древних философов и тысячи писателей экономистов социологов не смогли втолковать, что самое ценное это человек, то это как раз изобличает их ненависть к всему живому, их патологическую жадность, их циничную хитрость и тщетную славу. Чтобы о них совсем худо не вспоминали, у некоторых принято отстёгивать в конце жизни на благотворительность. Но это не факт. Возможно им был нужен повод для party. Ну, или скучно ему без "престижа" , главного последнего этапа шоу иллюзионистов.
Добродетель капиталиста избавила нас от необходимости писать и считать. Она избавляет от необходимости запоминать, переводить и совсем скоро избавит от главного - думать.
У добродетели капиталиста в рукавах ещё столько много припасено
о светлом, добром и полезном
... для жертвы.
Спасибо за статью. У меня есть все необходимые базовые навыки, описанные в статье:
- Гуманитарий (юрист)
- English C1
- Опыт в ИТ 12 лет (работа с ПО для внутреннего пользования, в открытом доступе нет)
- Все необходимые soft skills (Python, слепая печать, работа с логами, базами, массивами информации и пр.)
- Изучил всё, что есть в открытом доступе по промпт-инжинирингу (библиотеки, видео, вводные курсы и пр.)
Везде на HH требуется опыт от 1-3 лет на промпт-инженера, откуда я его возьму?
На всех "курсах" учат "генерировать картинки" и "писать статьи", они абсолютно бесполезны, благо бесплатные.
Отправил более 100 откликов на НН, везде отказ, хотя резюме и сопроводительное составлены нормально, всё по существу, со ссылками на GitHub, портфолио, готовность пройти обучение и сделать тестовое задание, я готов даже бесплатно работать столько, сколько потребуется.
Что я не так делаю? Я реально хочу быть именно промпт-инженером.
Что я должен изучить, чтобы меня взяли?
Гы. Сотрудника с опытом промпт инжириринга вы не укупите. Этот тот человек, который в опенэйай гонял внутренние версии чат гпт в 2021 :-)
Все верно, с точки зрения бизнеса все по сути.
Курсы, которые ничего не дают, не знание элементарных вещей - сегодня прямо тренд.
Любому бизнесу нужно решение конкретных задач, а не поиск всезнаек, не знающих по сути ничего. Я даже не буду комментировать по моделям построения PROMTов.
Действительно при поиске кандидатов для бизнес процесса не важно инженер, копирайтер, или контент-мейкер это словно поиск жемчуга на пляже, который не известно как прибило на песок.
Даже элементарно хорошего фрезеровщика или сварщика найти прямо таки сложно, не говоря о профессионалах, в профессиях, которых родились то совсем не давно даже 10 лет нет, зато курсов о подготовке таких профессионалов, теми, кто даже не в теме того, чему учит этих "профи" пруд пруди.
И хотя я не люблю банки, но Точка один из немногих, кто действительно клиентоориентированный банк, а не так - сплошной хайп, как бывший Тинькофф, или совсем забивший на всех и вся Сбер.
Бесполезные курсы и помешательство на GPTs: как мы искали prompt-инженеров