Я сделал аналог LM Studio (see http://alensoft.com) специально для Bonsai. Любые GGUF умеет, но бекенд именно для Bonsai. У кого Macos можете позапускать, ну и попинать меня. Приложение правда просто MVP - но работает, это главное.
Моделька Bonsai 8B говорит связно, но для кода конечно слабая. Быстрая. Очень прикольная.
И это.... все вместе в памяти 3 гигабайта. А скорость не 7 токенов а от 25 (M1) до 120 (M4) токена в секунду. Это реально очень даже впечатляет.
Не знаю стоит ли заморачиваться с портом на винду, но на маках - просто огонь
Мне как-то так сильно надо было JavaFX в определенный момент, и так безнадежно убог SceneBuilder, что я аж запилил свой плагин - ActionFX. AI решает todo, плагин визуализирует формочки, контроллеры генерируются, стили визуализируются, навигация работает, подсветка контролов из иконок кода тоже - все как в молодости в дельфях. Сотня форм за неделю намалевана была с контроллерами.
Но писать про такое статью мне даже в голову бы никогда не пришло. Легаси ибо. А GigaIDEшникам - норм, пишут вон и ничего такого.
Но что если ллмки просто следующий слой абстракции? Нас же ждут увлекательные баталии джеминистов против гптшников, и клаудкодовцы угораюшие над олламой. И все повторится.
Весь смысл программирования и программистов сводится к определению "своего" языка с многолетним поклонением оному. С одновременным унижением всех иных в любых формах. Религия. Фанатики. Почти любой холиварный коммент хабра - зловещее доказательство этого непотребства ;)
А он (язык) один. И имя ему - машинный код. В который и нужна трансляция с человеческого. И да, С ближе всех. Так что смысл статьи почти ленинский. Религия - опиум для народа. Долой языки.
Я имел ввиду другой движок - независимость контекста при генерации повышает релевантность - это борьба с галюцинациями. Ну и это... у меня вообще-то докторская по нейросетям еще в 2012 году была защищена. Так что все же я немножечко разбираюсь в вопросе ;)
Как же удивительны все эти рассуждения. И не надоедает же. Подлодка джавовая уже больше года вещает взахлёб аи аи аи...
Чтобы понять инструмент посмотрим под капот. Ембеддинги после многоголовой фокусировки тупо генерируют следующее слово. Это же просто экстраполяция в гиперпространстве. Что мы про нее знаем? Чем точнее опорные точки, тем точнее результат.
Поэтому надо тупо: очень точно и очень подробно в терминах выбранного стека технологий дать ТЗ со всеми ожиданиями и ограничениями. И будет шанс за одну-две итерации получить нужное решение. Причем вторая это не продолжение чата а рестарт с уточнениями. Помним про экстраполяцию, экстраполяция экстраполяции до добра не доведет. В другом чате на этот код строим тесты, в третьем просим ревью. Это уже совсем не вайб, а реально работа примерно как у тимлида.
Наступает момент когда запросы таковы, что тесты будут сходиться с генерацией а в ревью нет того с чем можно однозначно согласиться. Можно считать, что наконец-то пошла польза, все что до этого момента - бирюльки, игрушки, вайб, короче трата времени. Итак, получилась разновидность программирования. Всего лишь. На простых задачах буст по времени будет. На сложных, без декомпозиции будет ад. Ну или если угодно вайб.
Хороший вопрос. Индексация, вспомогательные таблицы, ленивое удаление, ночные Batch Recalculation, триггеры с инкрементальным обновлением индексов, и прочие незабываемые приключения. По каждому способу можно такую же статью написать. А по их комбинации - книгу.
Ну а если серьезно, то каждый случай индивидуален и определяется структурой домена и объемом данных.
Попытка изобрести серебряную пулю для RDB такое же частное явление, как разработка вечных двигателей у мальчиков до изучения физики. И такое же безнадежное. У девочек такие приступы намного реже, с чем их можно только поздравить ;)
Ой, точно! Вежливое и доброжелательное - это же вообще идеально. Огромное вам спасибо за невероятно новые для меня и фантастически точные определения. Дальнейших вам успехов в нужном и важном деле, образование - наш верный друг, помощник и брат. Всячески поддерживаю.
Раз "мнение" и не "я парюсь", то позвольте свое мнение тоже оставить. Возможно окажется небесполезным, хотя и не факт.
Пример. Чтобы плюс-минус раскрутить плагин Amlicode потребовалась большая серия статей на Хабре про Spring и не только, приличный тендер на пару лет от госектора в период разработки, OpenIDE как площадка, учебные курсы на степике, канал на ютубе с постоянным сопровождением и подкастингом, собранная телега с нетоксичным и релевантным комьюнити, опыт и код с Jmix/Cuba/JPA Buddy, конф. активность, free для edu, и ещё наверняка плюс 100500 всего, что осталось просто не замеченным при моем довольно поверхностном анализе и стороннем взгляде.
Так вот. Это же та же целевая аудитория, тот же java рынок, те же разрабы, те же заказчики и понятно что объем ru относительно невелик по сравнению с мировым.
Для сравнимых показателей по лидам нужны будут сравнимые маркетинговые действия. Инженерных уже давно недостаточно. Увы. И это еще с учётом того, что бесплатного аналога Amlicode нет, а JDK есть, и много.
Просто похоже не будет. Госсектор с выходами в него - это возможно и да, а вот остальные - сложный вопрос. Представить себе java разработчика который придет и скажет "мне для работы нужен плагин Amlicode" совсем нетрудно. И как бизнес купит эту лицуху - тоже нетрудно. А сколько из этих людей скажут то же про покупку поддержки Axiom JDK - имхо большой вопрос.
"Кто людям помогает, тот тратит время зря, хорошими делами, прославиться нельзя" - аудитория у хабра более чем специфичная и обычно люди тут оценивают контент по новизне и полезности для себя лично. Практической полезности.
Поэтому заметка о вашей JS в репо имхо была куда как более интересной, то что в ридми и на видео, изложили на живом боевом примере - вот и профит. А про космические корабли которые бороздят - пожалуй тут это каждый первый умеет.
ИИ смотрят на кучу кода окном огромных размеров. И сейчас соревнуются в его размерах, что в массе своей совершенно зря и тупик. Если человек сделает то же самое, то ему плохо будет не то что на миллионе токенов, а намного раньше.
В Idea да и в Vscode есть же поддержка AST, нужно заполнить окно не чем попало, а именно поддеревом от операторов до артефактов. Если это делать не только на генерации но и на файнтюнинге (!), качество просто обязано прогрессировать. Просто? Да. Делают? Нет. Но это настолько на поверхности, что скорее всего не за горами. Производителям IDE тут наверное будет больше пространства для исследований, чем остальным (видео, аудио, обычные тексты), потому что код на статически типизируемых языках с AST идеально согласуется уже по своей природе.
В общем мусор на входе, мусор на выходе - то что сейчас имеем. И основная проблема не число видеокарт, а банально выборка. Точнее методика ее подготовки. Но дотюнить до производственного качества точно можно грамотным наполнением окна. Это уже довольно очевидно даже на генерации. Если сделать то же на тюнинге качественный рост гарантирован.
Я сделал аналог LM Studio (see http://alensoft.com) специально для Bonsai. Любые GGUF умеет, но бекенд именно для Bonsai. У кого Macos можете позапускать, ну и попинать меня. Приложение правда просто MVP - но работает, это главное.
Моделька Bonsai 8B говорит связно, но для кода конечно слабая. Быстрая. Очень прикольная.
И это.... все вместе в памяти 3 гигабайта. А скорость не 7 токенов а от 25 (M1) до 120 (M4) токена в секунду.
Это реально очень даже впечатляет.
Не знаю стоит ли заморачиваться с портом на винду, но на маках - просто огонь
Ага.
Мне как-то так сильно надо было JavaFX в определенный момент, и так безнадежно убог SceneBuilder, что я аж запилил свой плагин - ActionFX. AI решает todo, плагин визуализирует формочки, контроллеры генерируются, стили визуализируются, навигация работает, подсветка контролов из иконок кода тоже - все как в молодости в дельфях. Сотня форм за неделю намалевана была с контроллерами.
Но писать про такое статью мне даже в голову бы никогда не пришло. Легаси ибо. А GigaIDEшникам - норм, пишут вон и ничего такого.
Но что если ллмки просто следующий слой абстракции? Нас же ждут увлекательные баталии джеминистов против гптшников, и клаудкодовцы угораюшие над олламой. И все повторится.
Весь смысл программирования и программистов сводится к определению "своего" языка с многолетним поклонением оному. С одновременным унижением всех иных в любых формах. Религия. Фанатики. Почти любой холиварный коммент хабра - зловещее доказательство этого непотребства ;)
А он (язык) один. И имя ему - машинный код. В который и нужна трансляция с человеческого. И да, С ближе всех. Так что смысл статьи почти ленинский. Религия - опиум для народа. Долой языки.
Мы ж на хабре, вы чего?
Я имел ввиду другой движок - независимость контекста при генерации повышает релевантность - это борьба с галюцинациями. Ну и это... у меня вообще-то докторская по нейросетям еще в 2012 году была защищена. Так что все же я немножечко разбираюсь в вопросе ;)
Как же удивительны все эти рассуждения. И не надоедает же. Подлодка джавовая уже больше года вещает взахлёб аи аи аи...
Чтобы понять инструмент посмотрим под капот. Ембеддинги после многоголовой фокусировки тупо генерируют следующее слово. Это же просто экстраполяция в гиперпространстве. Что мы про нее знаем? Чем точнее опорные точки, тем точнее результат.
Поэтому надо тупо: очень точно и очень подробно в терминах выбранного стека технологий дать ТЗ со всеми ожиданиями и ограничениями. И будет шанс за одну-две итерации получить нужное решение. Причем вторая это не продолжение чата а рестарт с уточнениями. Помним про экстраполяцию, экстраполяция экстраполяции до добра не доведет. В другом чате на этот код строим тесты, в третьем просим ревью. Это уже совсем не вайб, а реально работа примерно как у тимлида.
Наступает момент когда запросы таковы, что тесты будут сходиться с генерацией а в ревью нет того с чем можно однозначно согласиться. Можно считать, что наконец-то пошла польза, все что до этого момента - бирюльки, игрушки, вайб, короче трата времени. Итак, получилась разновидность программирования. Всего лишь. На простых задачах буст по времени будет. На сложных, без декомпозиции будет ад. Ну или если угодно вайб.
Хороший вопрос. Индексация, вспомогательные таблицы, ленивое удаление, ночные Batch Recalculation, триггеры с инкрементальным обновлением индексов, и прочие незабываемые приключения. По каждому способу можно такую же статью написать. А по их комбинации - книгу.
Ну а если серьезно, то каждый случай индивидуален и определяется структурой домена и объемом данных.
Попытка изобрести серебряную пулю для RDB такое же частное явление, как разработка вечных двигателей у мальчиков до изучения физики. И такое же безнадежное. У девочек такие приступы намного реже, с чем их можно только поздравить ;)
Ой, точно! Вежливое и доброжелательное - это же вообще идеально. Огромное вам спасибо за невероятно новые для меня и фантастически точные определения. Дальнейших вам успехов в нужном и важном деле, образование - наш верный друг, помощник и брат. Всячески поддерживаю.
Раз "мнение" и не "я парюсь", то позвольте свое мнение тоже оставить. Возможно окажется небесполезным, хотя и не факт.
Пример. Чтобы плюс-минус раскрутить плагин Amlicode потребовалась большая серия статей на Хабре про Spring и не только, приличный тендер на пару лет от госектора в период разработки, OpenIDE как площадка, учебные курсы на степике, канал на ютубе с постоянным сопровождением и подкастингом, собранная телега с нетоксичным и релевантным комьюнити, опыт и код с Jmix/Cuba/JPA Buddy, конф. активность, free для edu, и ещё наверняка плюс 100500 всего, что осталось просто не замеченным при моем довольно поверхностном анализе и стороннем взгляде.
Так вот. Это же та же целевая аудитория, тот же java рынок, те же разрабы, те же заказчики и понятно что объем ru относительно невелик по сравнению с мировым.
Для сравнимых показателей по лидам нужны будут сравнимые маркетинговые действия. Инженерных уже давно недостаточно. Увы. И это еще с учётом того, что бесплатного аналога Amlicode нет, а JDK есть, и много.
Просто похоже не будет. Госсектор с выходами в него - это возможно и да, а вот остальные - сложный вопрос. Представить себе java разработчика который придет и скажет "мне для работы нужен плагин Amlicode" совсем нетрудно. И как бизнес купит эту лицуху - тоже нетрудно. А сколько из этих людей скажут то же про покупку поддержки Axiom JDK - имхо большой вопрос.
"Кто людям помогает, тот тратит время зря, хорошими делами, прославиться нельзя" - аудитория у хабра более чем специфичная и обычно люди тут оценивают контент по новизне и полезности для себя лично. Практической полезности.
Поэтому заметка о вашей JS в репо имхо была куда как более интересной, то что в ридми и на видео, изложили на живом боевом примере - вот и профит. А про космические корабли которые бороздят - пожалуй тут это каждый первый умеет.
Ошибка скорее всего методическая имхо.
ИИ смотрят на кучу кода окном огромных размеров. И сейчас соревнуются в его размерах, что в массе своей совершенно зря и тупик. Если человек сделает то же самое, то ему плохо будет не то что на миллионе токенов, а намного раньше.
В Idea да и в Vscode есть же поддержка AST, нужно заполнить окно не чем попало, а именно поддеревом от операторов до артефактов. Если это делать не только на генерации но и на файнтюнинге (!), качество просто обязано прогрессировать. Просто? Да. Делают? Нет. Но это настолько на поверхности, что скорее всего не за горами. Производителям IDE тут наверное будет больше пространства для исследований, чем остальным (видео, аудио, обычные тексты), потому что код на статически типизируемых языках с AST идеально согласуется уже по своей природе.
В общем мусор на входе, мусор на выходе - то что сейчас имеем. И основная проблема не число видеокарт, а банально выборка. Точнее методика ее подготовки. Но дотюнить до производственного качества точно можно грамотным наполнением окна. Это уже довольно очевидно даже на генерации. Если сделать то же на тюнинге качественный рост гарантирован.
Как будто когда-то было иначе :)
мы разгребаем, нас разгребают, как это часто не совпадает.....
Если никто не пишет нормальную библиотеку – надо написать её первым. (С)
А еще Jimmer есть. Нормальная библиотека. И Apache License Version 2.0
"До чего довёл планету этот фигляр ПЖ! Пацаки чатланам на голову сели! Кю!!!"
Спасибо за статью. Благодаря ей стало кристально понятно, как правильно назвать инженеров, менеджмент и руководство. И как выражаться.
Классные картинки. Это генерация чем-то типа plantuml или в draw.io/visio делали? Если генерация - то очень интересно узнать тул.
Самое смешное тут: "конч, который просто самоутверждается" :D.
На @Profile("dev") очень похоже.
Куликова, сорри.
Автоисправляторы, будь они неладны.
https://stepik.org/course/217/syllabus