количество постоянной памяти равно 4 килобайтам (context window), тяжеловато будет с таким багажом знаний выжить)
эмбеддинг/rag как раз и был сделан чтобы преодолеть именно эту проблему
поправьте меня если не прав, но вы так и не смогли ничего полезного извлечь из своего сотрудника кроме пары общих фраз. Может стоит подойти к проблеме как-то по-другому, ведь иначе дальше чем игрушка это занятие не уйдет, как думаете?
К счастью вы тут не правы, с точки зрения высокоуровневости языка rust выше джавы (с ратсом я работаю 2 года с джавой 15 лет). Например в паттерн матчинге, в плане работы с ADT он дал фору даже scala (у меня 3 года опыта со scala). Я бы сказал rust примерно на уровне kotlin-a
>А вот писать то, для чего обычно используют JS, на жс можно спокойно продолжить писать веб компоненты, но всю логику работы - запросы к бакэнду и прочее связанное именно с логикой а не html-е на rust писать на порядок приятнее, в первую очередь из-за мощной системы типов, которая в большинстве случаев легко сравнится с scala, о чем не приходится мечтать ни жс ни тайпскрипту
>Но фанатам Rust, конечно, так не кажется я лично фанат раста, скалы, джавы и джава скрипта одновременно, поэтому ваш аргумент в данном случае не является валидным
>Java: на сервере и в Android из коробки А IOS не из коробки, и вот у нас уже появляется два языка - котлин(джава) и свифт, а мог бы быть раст и совсем чуть чуть котлина и свифта. Мы кстати именно так и делаем сейчас, за UI отвечает: [kmm(compose) | vue/typescript ] + rust (90% вся логика)
>Google Closure Compiler... вы перечислили просто огород технологий, ровно то о чем я и говорил. То есть теперь у нас айос, джава, и еще и кожура в списке появилась и веб ассембли до кучи)
>Python - из коробки на сервере хоссподи помилуй)
>WebAssembly как-то умеет работать на GPU? Я же вам ссылку на обсуждение скинул. Если жс и браузер умеют использовать GPU то и васм умеет. Я так понимаю WebGpu обещает быть в этом плане решением, но я в это не погружался, сказать не могу на сколько там все плохо или хорошо. Если васм сможет работать с моделями используя GPU то и жс по определению сможет, тут нет претензий к жс в этом плане, просто ждем когда браузеры смогут это делать. А вот в плане удобства strong types и вот это вот все, раст будет намного более удобным инструментом.
Да! (ваш уровень аргументации мне нравится, что ж буду пользоваться тем же приемом)
>Это совсем не уникальное преимущество WASM или Rust. Примеров конечно же не будет приведено в качестве аргумента?
>Эээ, я думал, ИИ-модели запускают на CUDA, при чём тут WebAssembly? при том, что если вы сможете запустить модель из браузера и получить ту же производительность, что и если вы запустите из питона используя cuda, это будет невероятное преимущество в плане простоты для конечного пользователя
WebAssembly медленно но верно завоевывает мир, слишком уж много у него преимуществ. Писать логику на расте для браузера вместо джава скрипта это как благословение с небес. Переиспользовать можно 95% одного и того же кода на всех платформах сразу: браузер, мобила, сервер - это просто супер преимущество, тут конечно больше спасибо расту, но тем не менее. Не сегодня-завтра всем понадобится запускать ИИ модели у себя в браузере или на мобиле и производительность там играет решающее значение, wasm и тут должен стать незаменим. Можно видеть зачатки этого всего в hugging face candle.
В общем, докер в браузере уже не за горами (на wasm-е конечно же). Stackblitz работает над этим https://webcontainers.io/ С wasm наконец можно будет сделать хороший serverless победив проблему cold start. Собственно у cloudflare уже все хорошо в этом плане, workers-rs уже пару лет как в продакшене
>>с пунктуацией вообще беда наоборот, вот вам и доказательство, что вот этими вот руками из мяса написан текст)
Согласен с вами по части посыла, очень много сумбура было вчера, но я попытался как минимум передать мысль и направление движения с преодолением сложностей возникших на пути. Надеюсь, те кто столкнется с той же проблемой смогут взять из статьи что-то полезное для себя
Вашу мысль про обучение я не совсем понял, возможно вы намного опытнее меня в этой части, либо мы немного о разном говорим. Я делал первые попытки fine tuning-а, когда я немного разобрался с prompt engineering-ом появилось ощущение, что еще надо хороший датасет (в моем случае специфичный для моей задачи) создать, еще до того как дело дойдет до тюнинга. Как операторы могут видеть что происходит внутри ЛЛМ, это мне к сожалению не ведомо.
>>AI идентифицирует события зафиксированные в логах Тут как раз кроется проблема (см. RAG), впихать больше 32к токенов не получится в модель, надо придумывать другие подходы.
>>LLM оправдано применять для парсинга логов только если записи в логах не стандартизированы во многом соглашусь с этой мыслью, у меня есть дополнительные мысли на эту тему, но это уже детали
При 10-50-ти кратной разнице в зарплате, еда котороая в половине случаев стоит в 2 раза дороже в абсолютных величинах, это конечно звучит как "дорогая еда", но по факту если сравнивать от медианной зарплаты, то еда на порядок дешевле чем в одной великой стране. Сравнивали с ватными друзьями цены на морковку, мясо, яйца и т. д., в итоге друзья чот приуныли по итогу))) не так клево оказалось как им по телевизору вещали
Rust клёвый, я на нем пишу свой проект уже больше года, очень нравится. Rust одновременно в нескольких областях кодинга дает уникальные возожности, и более или менее успешно закрепляется в разных нишах: - AI - huggingface это самый большой и главный проект в опен сорсе по ИИ, и они начали писать некоторые проекты на расте, что очень круто (см. candle, tokenizers). ТО есть, перспективы очень хорошие. - WASM - это вообще крышесносная штука, позволяет творить чудеса в браузере (figma, adobe) - Blockchain - раст закрепился как второй основной язык в крипте, после го. - раст уже в ядре линукса и биг техи пишут на нем супер активно.
И вооще, у раста уникальное преимущество, одним языком можно заменить 5 языков. Я у себя написал один и тот же код для бакэнда, браузера(wasm), ios, android - а это чуть ли не десятикратное снижение сложности как если бы код был раскидан по разным платформам и языкам прогарммирования.
У саммари моделей ведь тоже такие же ограничения как у остальных? В среднем 32к токенов вместимость. Я так понимаю, человек спрашивал о модели которая может в себя вместить большие объемы, например 10мб, такие существуют?
Круто! Спасибо, для новичков хорошее введение. Я смог осилить до 3-го пункта, потом стало не совсем понятно для чего мы начали измерять скорость и я сдался) От заголовка ожидал что в статье будет что-то похожее на инструкцию как запустить hello world
Насколько я понимаю вы подходите к вопросу поиска жилья классическим способом - напарсить как можно больше объявлений (создать как можно более жирную базу) и прикрутить нормальный поиск. Насколько я могу судить, это никогда не работало (помянем choister и locals братья и систры).
Большое и жирное ИМХО: dы смотрите на проблему с точки зрения продавца услуги, а если это так то уже есть яндекс недвига и циан и врядли кто-то сможет их в этом вопросе переплюнуть.
Я когда пытался решить этот вопрос 9 лет назад (о боже прошло уже 9 лет), я смотрел на проблему как на боль со стороны того кто ищет жилье. Так вот проблема в том что весь рынок занят посредниками и чем больше посредников тем больше деградирует рынок, все эти тёти Глаши из подмосковья и студентки Кати из далекого замкадья, борются за клиента и за пол копейки прибыли пытаясь объемами отбить себе зерплату, и 90% прибыли уходит агенствам недвиги а самим агентам жалкие копейки. Абсолютна та же ситуация что была с такси. Убер всех порвал именно кардинально другим подходом а не попыткой оптимизироваться на безнадежном рынке.
Я видел решение в том чтобы люди находили квартиры без посредников, чтобы у тех кто сдает и снимает квартиры были бы рейтинги. Вот это был бы кардинально другой подход к проблеме.
Удачи вам конечно в вашем нелегком деле. Ну и если интересно, то исходники моего проекта в открытом доступе https://github.com/xnull/rent4me
душбэг-ом быть дело нехитрое :) когда ты в доминирующей позиции над кандидатом, ты можешь конечно ему легко доказать что он хеллоуворлщик. В реальной жизни половина этих хелловоурдщиков на собеседовании если будут тебя собеседовать так же точно унизят.
Так что, скорее всего дело не в них а просто у кого-то отсутсвует навык нормального общения с людьми и навык проведения интервью и слишком много высокомерия.
Как-то раз я проходил собеседование, собеседовал меня индус в чалме, он был упоротый в ноль :) Всё конечно прошло очень криво и косо, я весь переволновался, по-сути индус запорол мне собеседование. Под конец я окончательно расстроился и когда пришло время прощаться я по заветам Байдена оговорился так что Фрейд бы от восторга с могилы встал бы, я сказал: thank you very much, that was a good interview, have a good day die...
То чувство, когда перепутал всего лишь одну букву.
Отлично, спасибо, наконец-то стало понятно, что PEFT это вид файн тюнинга а LoRA конкретный подход
количество постоянной памяти равно 4 килобайтам (context window), тяжеловато будет с таким багажом знаний выжить)
эмбеддинг/rag как раз и был сделан чтобы преодолеть именно эту проблему
поправьте меня если не прав, но вы так и не смогли ничего полезного извлечь из своего сотрудника кроме пары общих фраз. Может стоит подойти к проблеме как-то по-другому, ведь иначе дальше чем игрушка это занятие не уйдет, как думаете?
>Rust - это более низкоуровневая штука
К счастью вы тут не правы, с точки зрения высокоуровневости языка rust выше джавы (с ратсом я работаю 2 года с джавой 15 лет). Например в паттерн матчинге, в плане работы с ADT он дал фору даже scala (у меня 3 года опыта со scala). Я бы сказал rust примерно на уровне kotlin-a
>А вот писать то, для чего обычно используют JS,
на жс можно спокойно продолжить писать веб компоненты, но всю логику работы - запросы к бакэнду и прочее связанное именно с логикой а не html-е на rust писать на порядок приятнее, в первую очередь из-за мощной системы типов, которая в большинстве случаев легко сравнится с scala, о чем не приходится мечтать ни жс ни тайпскрипту
>Но фанатам Rust, конечно, так не кажется
я лично фанат раста, скалы, джавы и джава скрипта одновременно, поэтому ваш аргумент в данном случае не является валидным
>Java: на сервере и в Android из коробки
А IOS не из коробки, и вот у нас уже появляется два языка - котлин(джава) и свифт, а мог бы быть раст и совсем чуть чуть котлина и свифта. Мы кстати именно так и делаем сейчас, за UI отвечает: [kmm(compose) | vue/typescript ] + rust (90% вся логика)
>Google Closure Compiler...
вы перечислили просто огород технологий, ровно то о чем я и говорил. То есть теперь у нас айос, джава, и еще и кожура в списке появилась и веб ассембли до кучи)
>Python - из коробки на сервере
хоссподи помилуй)
>WebAssembly как-то умеет работать на GPU?
Я же вам ссылку на обсуждение скинул. Если жс и браузер умеют использовать GPU то и васм умеет. Я так понимаю WebGpu обещает быть в этом плане решением, но я в это не погружался, сказать не могу на сколько там все плохо или хорошо.
Если васм сможет работать с моделями используя GPU то и жс по определению сможет, тут нет претензий к жс в этом плане, просто ждем когда браузеры смогут это делать. А вот в плане удобства strong types и вот это вот все, раст будет намного более удобным инструментом.
>Эээ, нет
Да! (ваш уровень аргументации мне нравится, что ж буду пользоваться тем же приемом)
>Это совсем не уникальное преимущество WASM или Rust.
Примеров конечно же не будет приведено в качестве аргумента?
>Эээ, я думал, ИИ-модели запускают на CUDA, при чём тут WebAssembly?
при том, что если вы сможете запустить модель из браузера и получить ту же производительность, что и если вы запустите из питона используя cuda, это будет невероятное преимущество в плане простоты для конечного пользователя
https://github.com/huggingface/candle/issues/344
WebAssembly медленно но верно завоевывает мир, слишком уж много у него преимуществ. Писать логику на расте для браузера вместо джава скрипта это как благословение с небес.
Переиспользовать можно 95% одного и того же кода на всех платформах сразу: браузер, мобила, сервер - это просто супер преимущество, тут конечно больше спасибо расту, но тем не менее.
Не сегодня-завтра всем понадобится запускать ИИ модели у себя в браузере или на мобиле и производительность там играет решающее значение, wasm и тут должен стать незаменим. Можно видеть зачатки этого всего в hugging face candle.
В общем, докер в браузере уже не за горами (на wasm-е конечно же). Stackblitz работает над этим https://webcontainers.io/
С wasm наконец можно будет сделать хороший serverless победив проблему cold start. Собственно у cloudflare уже все хорошо в этом плане, workers-rs уже пару лет как в продакшене
>>с пунктуацией вообще беда
наоборот, вот вам и доказательство, что вот этими вот руками из мяса написан текст)
Согласен с вами по части посыла, очень много сумбура было вчера, но я попытался как минимум передать мысль и направление движения с преодолением сложностей возникших на пути. Надеюсь, те кто столкнется с той же проблемой смогут взять из статьи что-то полезное для себя
Вашу мысль про обучение я не совсем понял, возможно вы намного опытнее меня в этой части, либо мы немного о разном говорим. Я делал первые попытки fine tuning-а, когда я немного разобрался с prompt engineering-ом появилось ощущение, что еще надо хороший датасет (в моем случае специфичный для моей задачи) создать, еще до того как дело дойдет до тюнинга. Как операторы могут видеть что происходит внутри ЛЛМ, это мне к сожалению не ведомо.
>>AI идентифицирует события зафиксированные в логах
Тут как раз кроется проблема (см. RAG), впихать больше 32к токенов не получится в модель, надо придумывать другие подходы.
>>LLM оправдано применять для парсинга логов только если записи в логах не стандартизированы
во многом соглашусь с этой мыслью, у меня есть дополнительные мысли на эту тему, но это уже детали
При 10-50-ти кратной разнице в зарплате, еда котороая в половине случаев стоит в 2 раза дороже в абсолютных величинах, это конечно звучит как "дорогая еда", но по факту если сравнивать от медианной зарплаты, то еда на порядок дешевле чем в одной великой стране. Сравнивали с ватными друзьями цены на морковку, мясо, яйца и т. д., в итоге друзья чот приуныли по итогу))) не так клево оказалось как им по телевизору вещали
Круто! Красиво конечно, но пока непонятно как и стоит ли применять это в продакшене?
Аттэншн! Купертино-сибиряки в чате!))
Я тоже 7 лет в долине и в купертино и из сибири! Пламенный привет вам)
Rust клёвый, я на нем пишу свой проект уже больше года, очень нравится.
Rust одновременно в нескольких областях кодинга дает уникальные возожности, и более или менее успешно закрепляется в разных нишах:
- AI - huggingface это самый большой и главный проект в опен сорсе по ИИ, и они начали писать некоторые проекты на расте, что очень круто (см. candle, tokenizers). ТО есть, перспективы очень хорошие.
- WASM - это вообще крышесносная штука, позволяет творить чудеса в браузере (figma, adobe)
- Blockchain - раст закрепился как второй основной язык в крипте, после го.
- раст уже в ядре линукса и биг техи пишут на нем супер активно.
И вооще, у раста уникальное преимущество, одним языком можно заменить 5 языков. Я у себя написал один и тот же код для бакэнда, браузера(wasm), ios, android - а это чуть ли не десятикратное снижение сложности как если бы код был раскидан по разным платформам и языкам прогарммирования.
У саммари моделей ведь тоже такие же ограничения как у остальных? В среднем 32к токенов вместимость. Я так понимаю, человек спрашивал о модели которая может в себя вместить большие объемы, например 10мб, такие существуют?
Круто! Спасибо, для новичков хорошее введение. Я смог осилить до 3-го пункта, потом стало не совсем понятно для чего мы начали измерять скорость и я сдался)
От заголовка ожидал что в статье будет что-то похожее на инструкцию как запустить hello world
Насколько я понимаю вы подходите к вопросу поиска жилья классическим способом - напарсить как можно больше объявлений (создать как можно более жирную базу) и прикрутить нормальный поиск. Насколько я могу судить, это никогда не работало (помянем choister и locals братья и систры).
Большое и жирное ИМХО: dы смотрите на проблему с точки зрения продавца услуги, а если это так то уже есть яндекс недвига и циан и врядли кто-то сможет их в этом вопросе переплюнуть.
Я когда пытался решить этот вопрос 9 лет назад (о боже прошло уже 9 лет), я смотрел на проблему как на боль со стороны того кто ищет жилье. Так вот проблема в том что весь рынок занят посредниками и чем больше посредников тем больше деградирует рынок, все эти тёти Глаши из подмосковья и студентки Кати из далекого замкадья, борются за клиента и за пол копейки прибыли пытаясь объемами отбить себе зерплату, и 90% прибыли уходит агенствам недвиги а самим агентам жалкие копейки. Абсолютна та же ситуация что была с такси. Убер всех порвал именно кардинально другим подходом а не попыткой оптимизироваться на безнадежном рынке.
Я видел решение в том чтобы люди находили квартиры без посредников, чтобы у тех кто сдает и снимает квартиры были бы рейтинги. Вот это был бы кардинально другой подход к проблеме.
Удачи вам конечно в вашем нелегком деле. Ну и если интересно, то исходники моего проекта в открытом доступе https://github.com/xnull/rent4me
https://chat.openai.com/share/fa943d61-c6e8-4f8f-8851-d54a93e11d22
>>Но кислород, который производят леса, по большей части потребляется самими лесами и живущими в них организмами.
Если что, леса кислород не вырабатывают, в том смысле что они не вырабатывают дополнительный кислород, сколько вырабатывают столько и потребляют
Anyhow и thiserror это произведения исскусства, которые делают нелегкую жизнь разработчика на расте намного лучше :)
Всегда есть пространство для улучшения, всегда можно попытаться улучшить жизнь человеков, иначе бы на конях ездили бы до сих пор :)
В остальном всё так, конечно же
душбэг-ом быть дело нехитрое :) когда ты в доминирующей позиции над кандидатом, ты можешь конечно ему легко доказать что он хеллоуворлщик. В реальной жизни половина этих хелловоурдщиков на собеседовании если будут тебя собеседовать так же точно унизят.
Так что, скорее всего дело не в них а просто у кого-то отсутсвует навык нормального общения с людьми и навык проведения интервью и слишком много высокомерия.
Как-то раз я проходил собеседование, собеседовал меня индус в чалме, он был упоротый в ноль :)
Всё конечно прошло очень криво и косо, я весь переволновался, по-сути индус запорол мне собеседование. Под конец я окончательно расстроился и когда пришло время прощаться я по заветам Байдена оговорился так что Фрейд бы от восторга с могилы встал бы, я сказал: thank you very much, that was a good interview, have a good
daydie...То чувство, когда перепутал всего лишь одну букву.
FAANG, буква N означает NETFLIX :)
В нетфликсе платят больше чем в нетфликске! - рекурсивное доказательство у вас какое-то получается