Search
Write a publication
Pull to refresh
6
0
Роман Корнеев @Muliwe

LLM-стартапер

Send message

О да, длинные перепалки в комментах PR это прям боль. Особенно в комплекте с подходом "комментарий просто чтобы докопаться". Очень токсичная история и очень демотивирует команду, особенно автора PR, очень важно такое останавливать и переключать на голос.

Мой опыт подсказывает, что конкретный код (без хотя бы кратко расписанных задач, зачем это сделано) имеет мало смысла. Всё-таки целью проекта было не только отработать методологии, а и написать нечто реально работающее с конечной целью (закрыть конкретные таски), иначе три недели работы это как-то дороговато для чистого эксперимента. Я подумаю, как можно при помощи той же LLMки собрать минимальный фреймворк, демонстрирующий архитектуру, но не закапывающийся в детали конкретных конечных юзер-стори. Но боюсь что это только уведёт тему в очередной кодстайлосрач.

Суть эксперимента, как это описано во введении - подобрать набор методик, которые позволяют удобно и быстро код модифицировать, не трогая руками. А не "написать код, который всем понравится". Как эта штука будет вообще кому-то видна из статичного слепка репозитория? Ну вот есть конкретный коммит с конкретным диффом, как из него можно понять, мучился я с ним полдня или с первого промпта получил то, что нужно? Он меня конкретного устроил потому что я такой вот говнокодер, а моя ЛЛМка ничего другого не умеет, или напротив, это ровно то, что было нужно для счастья исходя из конкретной постановки задачи? Видео разве что записывать, с матерными комментариями! Но это уже другой формат, лайв-кодинг в режиме ютуб-стриминга пока не мой жанр, да я и не уверен, что это мероприятие будет таким уж увлекательным для любой реально существующей аудитории, чтобы в итоге окупиться.

В общем, я подумаю над вашим предложением, но не уверен, что это вообще то направление, куда стоит двигаться, поскольку оно на мой взгляд пока только уводит от основной темы публикации, и не факт, что приведёт обратно.

В минимальной обвязке да, храним в бд вектора, формируем на лету интент, генерим из него вектор, ищем ближайшие, подсовываем чатботу. Но на реальных задачах тут появляются дополнительные слои абстракции в виде параметрического поиска, нескольких "сортов" ембеддингов и соответственно правил отбора помимо собственно похожести. Ну и собственно сам "интент" может формулироваться в очень разных терминах, что несомненно влияет на результат поиска, это собственно сама тонкая часть механизма RAG, потому что наиболее существенно влияет на качество работы всего механизма в смысле адекватности выдаваемой кастомеру рекомендации, то, как формулируется намерение пользователя, это самая кастомная часть механики, поскольку требует под капотом и механизма NYC, и просто знаний в предметной области, в нашем случае особенностей тревела, тут быстро вылезает нечто вроде RAG внутри RAG и далее вглубь кроличьей норы.

Еще вчера прошла новость - Оператор быстро научился деплоить код в гитхаб и запускать его удаленно. Так что где гонять свой кастомный код для скрапинга, эта штука уже сообразила. Ну и да, нагрузка на атакуемый сервер всегда выше чем на атакующий. IO-wait состояние фактически бесплатное, в отличие от популярных нынче толстенных CRM-ок и прочих джангов, которые этот запрос обслуживают на той стороне.

локальный кулхацерский слэнг, не обащайте внимания

Столь важный для топикстартера Трамп по многочисленным просьбам читателей был убран из статьи, спасибо фактчекерскому сообществу Хабра!

Соглашусь. Но онпремис-нейросети по своим возможностям быстро догоняют облачные. За каждой видеокартой на планете не набегаешься!

Вы уверены что статья была написана об этом? ))

а у меня вот при помощи этой новой байды получилось. и мне результат крайне не понравился! *убежал срочно всё переделывать*

ну тут отличие в том что теперь чтобы быть мамкиным ботоводом не нужно примерно ничего кроме написания короткого промпта. а сам механизм ну дико умный теперь. никаким классическим ботам не снилось.

Следующий шаг с моей стороны - собрать сюжетное монтажное видео со сменой планов и репликами в кадре. Текущих ограничений на длину видео и средств управления контролем консистентности образов для этих целей более чем достаточно, по моим ощущениям. Мы ж тут не артхаус снимаем, чтобы непрерывным планом 10 минут.

"Способность Mercor предсказывать эффективность работы соискателей, обученная на основе оценок, разработанных экспертами по найму, уже превзошла человеческих рекрутеров в тестах стартапа"

Тут налицо некое самосбывающееся пророчество. Сам себя оценил, какой ты молодец. Но нет, это так не работает.

Information

Rating
1,551-st
Registered
Activity