Обновить
1
0

Пользователь

Отправить сообщение

Как по мне из бесплатных универсальных общего назначения сейчас только Gemini:
1. лимиты не могу нащупать при том что сейчас с ним готовлюсь к собесам и кидаю для контроля в него исходники по несколько десятков в день для анализа, разбора и оценки
2. темы волокет, когда бесплатный SWE-1.5 в cascade что-то как-то уверенно стал загонять то что мне показалось не совсем точным, то я скинул диалог Джемини и он подтвердил, что конкурент немного плавает в вопросе.
3. код по крайней мере локальный для решения задачек пишет норм
4. работает быстро
5. контекст хз какой, но несколько дней с ним веду беседу и нет ощущения что он забыл кто я от куда и на куда, всё вроде идет плавно
6. по не ИТ вопросам вроде тоже норм, да ChatGPT возможно лучше в частности в юридических вещах, но там как-то лимиты на раз пробиваются в бесплатном. Кинул в него несколько документов, что бы на их основе составил новый и всё, у него лимит, ждите когда снова можно. У Джемини же пока не заметил кинул в него 6 pdf, без проблем, всосал, проанализировал, предлагает помощь

Да возможно ChatGPT лучше, но лимиты быстро настигают, Клод может еще лучше особенно в коде, но там еще все быстрее заканчивается. Грок нравился, но последнее время часто быстро встает в позу: я под нагрузкой, приходите позже или несите мне денег. Перплексити немного специфичная штука для анализа не особо. Deepseek хоть и мыслит, но ощущение что малость отсталый. Qwen для кода хорош и бесплатен в чате, но думает долгоооо, по этому по общим вопросам не сильно хочется гонять: это при написании кода может не так критично, но в более житейских делах не хочется ждать минуту пока он начнет неспешно писать.

А вот 4% это потому что реально такая доля вакансий и соотв собесов или исследование было направлено на сбор инфы по перечисленным языкам.

Про Kotlin на backend ничего нет? Или на 80% пересечение с Java и только 20% разбег в асинхронщине: потоки пулы (или что там нынче в Java?) с одной стороны и корутины, каналы с другой? Пропорции взял с потолка.

Не так, по вашей логике (аналогию которой я привел ) вы жалуетесь авторам VLC на то что что фильмы отстой и нечего смотреть на их плеере и зачем он нужен тогда, тем более других как грязи, есть MPlayer же, а вы тут велосипед еще городите.
Боль ваша в целом понятна и более того мною возможно разделяема, но скидывать ее на автора сабжа... Реально какой смысл? Как он повлияет на наличие "вменяемых" моделей? Человек выбрал нишу, пилит open source обертку над оберткой некоего ядра, денег не просит, круто чё. Вопросы по ядру, ну явно же не к нему.
Про адаптацию моделей (не знаю что вы конкретно имеете ввиду) кмк лучше авторам движков LLM.
Если бы вы критиковали за сам продукт, что-то в духе: да у вас просто калька OpenCode только еще хуже, ничего вы не поняли в написании такого ПО, подходов не осмыслили, ничего нового не привнесли, а на все ваши заявленные преимущества у меня контраргументы почему тот же OpenCode бьет ваши. Тогда другое дело. Но вы же не про это.

Два сервера полезны по-другому: параллельные задачи. Один агент код пишет, второй тесты гоняет. Или просто два разных проекта одновременно.

Да, я тоже уже это так понял. Но не до конца понятно кто их оркестрирует? Клиент на примере вашего или все же ollama/llama.cpp внутри себя связи пробрасывают через ключи/конфиги и у нас единый endpoint для клиента?

По ускорению на ARM: да, должно дать прирост, особенно на 7B+. При компиляции llama.cpp проверь что NEON включен (на ARM это аналог SIMD). Q4_K_M чуть быстрее Q5_K_M, разница в качестве минимальная. -t 4 явно, по числу физических ядер.

Да, это конечно. Единственное заметил что на моделях начиная с 7В падает на
load_tensors:          CPU model buffer size =  4460.45 MiB
................................ (тут сообщение об ошибке, точно не помню переполнение буфера или тип того)

Нашел где отключать, но не понятно сильно ли от этого деградирует или нет.
30B падает - значит это точно контекст. На 24GB с 30B моделью контекст надо резать жёстко, типа 2048. Иначе OOM.

Спасибо.

Ну, а автор-то тут чем виноват? Он предлагает еще один доступ к модели и её утилизации. Это уж к тем кто модели выпускает, ну максимум запускает (llama.cpp, ollama). А так все равно что авторам VLC предъявлять, что смотреть-то нечего, контент отстой и киноиндустрия в упадке. При том что своих проблем у того же VLC реально может хватать и есть там за что покритиковать. Так и тут может в своей нише их продукт имеет свои проблемы, но уж точно модели не их зона ответственности.

Я там может неточно выразился: на 7B сами модели не падают, падают тесты скорости. А так даже на 30В (или 32В?) взлетела, но ответы я ждал от нее минут по 5-6. Правда вот она довольно быстро падала, я уж не копал что там, но похоже да контекст подъедал ОЗУ и всем пока.
Ну вот я как-то так и прикидывал и на такое примерно и прицеливался что в агентах их запрячь на некоторую автономию. Спасибо, что подтвердили мою гипотезу. Единственное я через llama.cpp всё гонял и, возможно, есть еще небольшой простор для оптимальной компиляции. Так же хочется попробовать переключить на huge страницы 2Мб, но пока что-то ядро не удается заставить перейти на них. ollama не трогал еще.
Кстати, я верно понимаю, что LLM не кластеризуются в смысле не параллелятся в рамках одного запроса? Т.е. если у меня два таких сервера, то это никак не ускорит общую работу? Дольше данные между собой будут гонять. А то было бы неплохо если бы даже прирост был 1,5 раза при еще одном доп сервере.

Я, конечно, не совсем по адресу, но может кто просветит: на Oracle free tier который 4 ядра ARM Ampere и 24Гб ОЗУ (и, разумеется, никакого GPU) можно что-то приличное запускать из моделей с практической пользой? Практическая польза для меня это или не надо уходить курить для ожидания ответа или если ушел, то результат того стоит, тогда можно и на другую задачу переключиться если тут реально агент что-то итеративно может сам приличного наколбасить.
Пробовал и qwen2.5-coder-1.5b-instruct-q5_k_m.gguf и 7B и даже жирнее. Пока curl'ом только щупал, скорость, конечно, не фонтан что-то. Вот пошел искать куда это запрячь что бы в деле посмотреть. Но может такие ресурсы это только мучение, а не агент будет? Ну или максимум какой-то автокомплит в IDE, которых в бесплатных лимитах итак валом?
вот такой тест скорости на 1,5В, на 7В и выше почему-то падают:
./llama-bench -m /home/ubuntu/llm-server/models/qwen2.5-coder-1.5b-instruct-q5_k_m.gguf
| model | size | params | backend | threads | test | t/s || ------------------------------ | ---------: | ---------: | ---------- | ------: | --------------: | -------------------: |
| qwen2 1.5B Q5_K - Medium | 1.19 GiB | 1.78 B | CPU | 4 | pp512 | 26.37 ± 0.55 |
| qwen2 1.5B Q5_K - Medium | 1.19 GiB | 1.78 B | CPU | 4 | tg128 | 15.15 ± 1.33 |

Разве в Kotlin это не решено уже? Я давно спеку него не перечитывал, но раз там убрано разделение, то кажется всë красиво порешали без накладных расходов.

Если блокировка от РКН, то вообще и говорить не о чем, есть bolvan/zapret и всё пробивается, во всяком случае у меня пока. Smart DNS не пробовал, но сам ChatGPT говорит мне что лезть с ним к нему не надежно, легко им палится, ломается: ставь VPN и тогда я твой.

Зерно здравого смысла, конечно, в его докладе есть. Просто чем клеймить NULL надо признать, что как раз таки NULL это то что мы видим в реальном мире: отсутствие чего-то (не всегда равно нулю) или отсутствие информации о чём-либо это и есть NULL. Просто при проектировании языков (особенно не для ФП) мало заморачивались со строгими системами типов, не додумались до Optional<> сразу, что бы запретить программисту не обрабатывать все ситуации. Но ничего, тот же Kotlin живет с этим. И код читаемый и надежный (если через рефлексию не быть ССЗБ).
Так что кажется проблема не в NULL, а в том что не научились с ним жить и не стрелять себе в ногу. Явление открыли, а мат аппарат не проработали и/или не подтянули. Бывает. Комплексной/мнимой единицы i вообще на первый взгляд в природе не существует, ну так и что же, запретить ее?

Хорошо, я возможно не владею терминологией, назовем тогда tunnel on demand. Вся суть что бы не было постоянного туннеля и нечего было палить (собсно я это и описал во первых строках). Шарюсь по рунету - никаких туннелей, все чисто (да не анонимно, но мы не про это), захотел условный ChatGPT - оп (по geoip/site или еще как) система распознала и быстренько подняла мне туннель, не пользуюсь - через определенно время погасила его. Никто же не сидит полный день на закрытых ресурсах. Кажется так он овсе будет несколько чище со стороны.
Про соседа не понял. Про какого соседа? Сосед на моем VPN в смысле еще одного клиента или по хостингу или в доме за стеной? Если первый вариант, то там я командую парадом, второй, ну да есть риск, ну так он везде есть если VPN в датацентре. Но так что же забить на предосторожности со своей стороны? Третий - явно мимо кассы.

А я вот не пойму почему мало внимания уделяется разделенному туннелированию (split tunneling)? Кажется это неплохое подспорье если VPN поднят на своем VPS и на нем сидит полтора землекопа. Что бы у нас не болтался постоянный палевный туннель, а поднимался только по мере необходимости, да будут задержки, но кажется с этим можно жить, сетки итак бывает долго думают прежде чем ответить. Тот же ChatGPT может несколько секунд думать прежде чем ответит, ну будет на 1 сек больше, не беда. Но вот настраивать это... попробовал я его спросить и понял, что тут делов не на 5 минут, в Throne отдельной галочки на это нет. Если не админ, то помудохаться придется. Гайды/маны/статьи может и есть, но в целом хочется что бы шло как-то из коробки при развертывании сервера и клиента.

По недостаткам:

1. Андроид клиент с сайта у меня не грузится, даже под VPN, хотя для Lin/Win загружаются. Можно, конечно, с 4pda, но малость напрягают проги не из официальных источников. Вне Google Play уже напрягает, там хоть гугел как-то смотрит что ему пихают, а тут вообще только левак.

2. Поэтому мне обсидиан не зашел, для меня как-то закат солнца вручную, да, наверно, крайне гибко, но и порог входа выше и ручных действий больше. Хочется жизнь упрощать и что бы создание заметок было легко и просто, как тесты писать, если тесты пишутся корявые и сложные, то все начинают избегать этого. А все эти приседания с git... ну такое.
Я на эти системы смотрю еще через призму того что бы близких подсадить. WizNote я понимаю что с 10-го раза но в самом простом обращении маму научу, с git она точно спросит почему я ее не люблю. Жену/девушку тоже сложно замотивировать изучать вот это всё. Google Keep кое-как удается привить.

3. Работает/не работает это же довольно относительно. Да вроде работает, но и запросы/вызовы растут. Кругом уже ИИ, хочется и тут что-то сродни. Хотя бы умный поиск. Если я сделал заметку как подключить принтер LBP-810 под Линух, но ни разу не употребил слова "принтер", то потом мог найти по слову принтер. А не так что надо проставлять 100500 тегов. Ну или оно автоматом предлагало бы теги. Пусть для этого инет нужен, пусть чуть дольше. Я уж не говорю что бы оно выводило какой-то контекст и как-то стыковалось с имеющимися ИИ движками дабы промпты не расписывать каждый раз, а помогало бы направлять ИИ в нужное мне русло.
Бэкап сделали бы из коробки что бы в меню из клиента прям одной кнопкой сохранить/восстановить.
Так что улучшать/обновлять тут есть куда.
Но это я всё про старый клиент.

6. Да, вроде, обычный поиск.

8. Мы точно про WizNote Plus говорим (который старый клиент на кутях)? Ибо WizNote Desktop (на электроне) у меня тоже вроде норм работает, давно не запускал.
И у меня KDE (Kubuntu). Ну и хоть офтоп, но на счет вяленого не соглашусь, всё ровно. Может пока по функционалу не совсем паритет, но это в специфичных вещах типа захват экрана или FPS в играх, в быту всё чётко.

Кстати, на счет истории изменений согласен, удобно, хоть вроде это и у многих есть.

Да прикольная штука, особенно была лет 7 назад, пока он был официально бесплатным. Я бы добавил еще:
11. Можно шарить заметки с доступом по паролю. Редко надо, но если надо, то прям удобно.
12. Есть (был?) веб клиппер, не помню только насколько хорошо и работает ли в современных браузерах.
Но и минусы тоже:
1. Пропал Андроид клиент из магазина.
2. Настольный клиент который WizNote Plus (на Qt) они забросили и стали пилить WizNote Desktop (на электроне). Вот первый мне прям нравился, а второй не зашёл. У первого, правда, расшарили исходники и его даже форкнул какой-то китаец, но выпустив 2-3 минорных обновления тоже позабросил.
3. Докер образ тоже давно не обновлялся. Во всяком случае под Arm64 (у меня VPS на нём).
4. Местами у WizNote Plus торчат китайские уши, не то что бы много, но есть.
5. У обоих настольных клиентов всё как-то не очень с логином. Норовят зацепиться к оф серваку, а не к личному. WizNote Plus можно принудительно ткнуть, но любит забывать.
6. Нет поиска по локальной базе без подключения к серваку во всяком случае у WizNote Plus. Заявка есть, но делать некому.
7. У меня и судя, по всему у других тоже, потеря подключения к серваку после выхода из спящего режима, надо перезапускать WizNote Plus. Заявка есть.
8. У меня и судя, по всему у других тоже, какие-то странные мерцания. Пробовал и под X11 и под Wayland, всё одно. Малость напрягает.

Видно что люди прям вдумчиво подошли к созданию продукта и не перегружен и не то что: вот вам скелет, а сейчас ищите плагины сами. Но сейчас ощущение, что проект остановился, ну или по крайней мере в части selfhosted. Вот вроде и не придумали ничего другие такого крутого, а вроде хочется что бы дорабатывали.
Для таких как я кто давно там ведёт, да, наверно жить можно, но если с нуля брать, то я бы уже не советовал. Сам взял Joplin, потому что просто и синк можно через облачные диски и пилят его активно. Новые заметки уже в нем веду/дублирую.

Да, спасибо.

Как вы вовремя. Как раз за подобную задачу взялся и стек тот же. Было бы интересно осветить несколько доп моментов:
1) на сколько я знаю, есть практика сравнения сразу снимками экрана по эталону. Вы используете такое? Если да, то насколько это удобно/практично? Можно ли как-то отсечь какие-то динамические куски (скажем баннер крутится)?
2) Так же вроде можно DOM/HTML сравнивать. Насколько это рабочая тема? Или все тут же сломается из-за имен стилей и т.п.?
3) Хорошо бы всё же Allur тут видеть
4) DSL нам тут не поможет? Для меня Kotlin это конечно вот все что вы перечислили, но еще и выразительный DSL. А тут прям так руки и чешутся описывать структуру страницы через свой DSL что бы можно было писать типобезопасные тесты особенно в ситуации если блоки не имеют id/name/уникальных имен классов/стилей. Как к ним навигироваться? Ну и просто люди далекие от кода могли выражать тест примерно перенося картинку в текст теста.
Или структура сайта/страниц меняется чаще и поддерживать DSL в актуальном состоянии все замучаются?

Тоже не пойму, юрисдикция Соединенное Королевство, но стало понятно, что всем там заправляют узбекские или угандские (каждый домысливает сам, но назвать прямо никак нельзя, видимо, для любителей назвать банки/опсосы по цветам) граждане. Вроде начал человек за здравие... Какая разница в какой юрисдикции и на кого оформлено? А если в РФ и на российских граждан, то всё ок? Свои мошенники они родненькие им не жалко всё отдать или как? Зачем эти акценты и накручивание этих фобий?

Бот отдает null в FF и Chromium, хотя VPN нет, DoH нет, zapret нет, белый IP от провайдера на маршрутизаторе есть, от мобильной сети тоже самое.

Информация

В рейтинге
5 378-й
Зарегистрирован
Активность