По факту у вас не LLM получилась а просто векторная база по которой вы выбираете ближайшее совпадение. Ничего плохого, сам использую похожий путь.
Идея неплоха и реализуема вполне на таком крайне низкопроизводительном оборудовании. Но почему вы не хотите добавить нейроускоритель к малинке (40-70$) и уже на нем запустить реальную llm типа зафайнтюненую вами на вашем датасете gemma-4b которая даст реальное распознавание даже незнакомых или нестандартных команд и резко уменшит ошибки.
чего демонстрация? применения векторных и графовых баз с совместно с самаризацией текста? ну так то это сейчас вообще тренд в раге. только не рунете смотрите . То что я делаю показать не могу так как это коммерческий проект.
Языки в основном питон и немного шарпа, потому что прототипы проще всего на нем пилить. Знакомый на расте пишет, но мне не удобно.
Чему научился, да просто привык к нему , как правильно подготавливать промпты и ТЗ , что писать в системном промпте, какие линтеры и плагины ставить. самое главное это как формулировать запросы на выполнение. что можно говорить что нельзя (но тут много меняется от времени и модели)
Цыганством не занимаюсь, никого не учу, темболее за деньги.
по количеству сток , бывает по 5-10 к строк в день. Свои деньги отрабатывает на 100%.
А что минусуют, так это время такое. все подсонательно боятся потерять работу или отстать от других. Вот и негатив. Еще многие пытались чтото сделать, но за день не получилось и бросают. Ктото слушает цыган, делают что попало, разочаровываются. Ктото предьявляет завышенные требования.
Извините что с задержкой. но могу писать только раз в сутки.
У меня время на разработу MVP уменьшилось примерно в 10-20 раз
Но для этого пришлось больше года заниматься изучением как правильно работать с "вайбкодингом" . Проблема большинства что они просто хотят сказать что им надо , и ждут что будет реализовано как они хотят. А учится работать и исследовать не хотят.
Сейчас для малых моделей самое выгодное и самое ликвидное это мак мини м4 , стоит недорого, продается легко на вторичке. работает быстрее 3070, памяти больше. стоит как карта с таким же объемом памяти.
Тоесть ты одновременно работал на двух работах, и удивляешься что не прошел испытательный срок на работе с ЗП выше рынка?
Зайдите на чаты по пхп и поищите упоминания про многопоточность и асинхронность.
Да даже просто про JIT поищите.
И там практически не будет. Ибо не нужно никому. Процессы маленькие, короткоживущие, обычно нет никаких нагрузок.
А нет спроса - нет и предложения.
нет . речь про The Hailo-8 edge AI processor, featuring up to 26 tera-operations per second
внешние платы на порядки мощнее.
а стоят не существенно.
По факту у вас не LLM получилась а просто векторная база по которой вы выбираете ближайшее совпадение. Ничего плохого, сам использую похожий путь.
Идея неплоха и реализуема вполне на таком крайне низкопроизводительном оборудовании. Но почему вы не хотите добавить нейроускоритель к малинке (40-70$) и уже на нем запустить реальную llm типа зафайнтюненую вами на вашем датасете gemma-4b которая даст реальное распознавание даже незнакомых или нестандартных команд и резко уменшит ошибки.
чего демонстрация? применения векторных и графовых баз с совместно с самаризацией текста? ну так то это сейчас вообще тренд в раге. только не рунете смотрите . То что я делаю показать не могу так как это коммерческий проект.
рага строит граф со всеми участниками отношениями между ними, взаимодействия . также самаризирует весь текст и выводит главное.
вы же смогли описать вкратце многотомное дело. Почему вы думаете что ллм не может это сделать?
Агент может пройтись по всему тексту множество раз , складывая пазлы в кучу.
Вам не обязательно за один раз все помещать в контекст.
у вас RAG еще не изобрели?
Статья не то что бы не полная, она вообще имеет мало чего общего с реальностью.
90- где турбопаскаль? который просто доминировал в комерческой разработке.
а перл в зарождающемся вебе?
2000 где дельфи ? где php который хоронят до сих пор и все не получается?
Где java ? на которой написано просто невероятное количество кода?
Где наконец то питон ? который сейчас даже в утюгах и чайниках?
Первый раз?
Сам же и нарушил третье правило.
Вовремя релизнулись.
Как раз сатанизм к экстремизму прировняли.
Перечисленные в статье изобретения просто фантастически изменили мир
Куда там несчастным:
Ядерному оружию
Электростанциям
Интернету
Антибиотикам
Искуственным удобрениям
Электро и радио связи
Интегральным схемам
LLM
В основном использую курсор с жпт-5 и клодом .
Языки в основном питон и немного шарпа, потому что прототипы проще всего на нем пилить. Знакомый на расте пишет, но мне не удобно.
Чему научился, да просто привык к нему , как правильно подготавливать промпты и ТЗ , что писать в системном промпте, какие линтеры и плагины ставить. самое главное это как формулировать запросы на выполнение. что можно говорить что нельзя (но тут много меняется от времени и модели)
Цыганством не занимаюсь, никого не учу, темболее за деньги.
по количеству сток , бывает по 5-10 к строк в день. Свои деньги отрабатывает на 100%.
А что минусуют, так это время такое. все подсонательно боятся потерять работу или отстать от других. Вот и негатив. Еще многие пытались чтото сделать, но за день не получилось и бросают. Ктото слушает цыган, делают что попало, разочаровываются. Ктото предьявляет завышенные требования.
Извините что с задержкой. но могу писать только раз в сутки.
У меня время на разработу MVP уменьшилось примерно в 10-20 раз
Но для этого пришлось больше года заниматься изучением как правильно работать с "вайбкодингом" . Проблема большинства что они просто хотят сказать что им надо , и ждут что будет реализовано как они хотят. А учится работать и исследовать не хотят.
А при чем тут шире? ламборгини тоже щебенку не очень хорошо может возить.
Хотите шире кандидатов?
вот вам шире Voigtlander Heliar-Hyper Wide 10mm f/5.6 Aspherical Lens
почти такая же цена, размеры. но с минимальными искажениями. асферическими линзами, современными оптическими схемами.
размер почти тот же , тоже металлический, цена почти та же.
Давайте сравним. где там асферика в руссарах ? где современные схемы? Где мультиспектральное просветление?
Вы польовались лейковской оптикой?
Вы серьезно хотите сравнить ее с руссаром?
А на парковке тоже брать будет?
LM Studio не умеет запускать под мак например Apertus на MLX
Сейчас для малых моделей самое выгодное и самое ликвидное это мак мини м4 , стоит недорого, продается легко на вторичке. работает быстрее 3070, памяти больше. стоит как карта с таким же объемом памяти.