Pull to refresh
1
Send message

Не понимаю чего минусят? Реально же самое простое решение. Если я, конечно, верно вас понял и вы про встроенный в Firefox бесплатный VPN. Нажал одну кнопку и всё ожило. Любая домохозяйка осилит.

Присоединяюсь к остальным. Про что вообще речь? Что такое Кайтен, от куда он и на куда? Какие проблемы призван решать, какие решает, а какие не очень. Почему был выбран у вас в компании? Какую боль он вам решил, а где пришлось вкорячивать костыли разной степени лютости?
Понятно, что если статья про новую версию Java, то не надо начинать со времен Гослинга, все знают даже те кто фронт, так же все знают что такое 1С, даже те кто ни разу в нее палкой не тыкал. А Кайтен это что? Это как Джира, но с перламутровыми пуговицами или что?
А точно это подходящий для вас инструмент? Точно другие не решают все что вам надо без костылей? Условно можно взять и начать писать "как я в 21-м веке вытащил мертвую технологию типа Java аплеты и сейчас через боль и страдания пихаю ее в веб, пересобирая браузеры с ее поддержкой" - как исследовательский проект круто и интересно, а кому здесь и сейчас в прод - мимо.
А вот эти снимки экрана на которых ничего не разглядеть они какую смысловую нагрузку несут?
Ну я понимаю, что у всех сейчас заджобить таску и мне одному это слух режет, но это как-то на слуху, но "забрифовать интервьюера"... тут мне точно нужен перевод, как по мне это уже какой-то перебор. Это что? Ввести собеседника в курс дела ? Ну если прям русский тут вообще никак, ну тогда уж хотя бы to brief an interviewer. Но это, наверное, мое старперское брюзжание.

Ну а по сути. Выглядит все как-то подозрительно, есть система с гуем, гуй не тот, нам не подходит, забили на него и напилили ботов через ИИ. Ну фиг знает, первое ощущение, что просто или не разобрались и/или дисциплины/культуры использования нет и вместо того что бы выработать какой-то свод правил, порядок использования, начинаются костыли.

По DSA вообще что ли нет на собесах? Разбор equals и hashCode c HashMap явно на то не тянут. Или это за скобками или уже никому не надо или не надо в банках по которым обзор?
А то впервые за карьеру засел все это фигачить ибо обычно это то с чем хуже всего на собесах у меня, а тут ни слова!

Согласен, в целом автор что статьи что продукта никому ничего не должны и тут разные цели у тех кто это публикует и кто читает, первым реклама в первую очередь, вторым "а что там под капотом?".
Про конкурс девушек мимо меня как-то прошло.

Так вот интересно что же такого дал автор чего не дает задарма которой сто лет в обед?
Я не маркетолог ни разу, но хочется какое-то вступление в духе:
1) Была ситуация А где мы имели инструмент А'
2) Настала ситуация B где нет инструмента А', а он многим нужен/любим (подтверждается тем-то и тем-то)
3) На рынке остались решения C', D', E', но они плохи тем-то и тем-то такова моя гипотеза (или подтверждается чем-то).
Я решил взять гипотезу в работу и рискнуть. Гипотеза оправдалась и выстрелила о чем рассказ ниже.

Да, интересно про стык/приземление трафика, а так же биллинг. С последним все предельно понятно в теории, но на практике штука такая, ошибка дорого может стоить, вот звонок не прошел или оборвался это неприятно, но не критично, а если деньги не так у клиента посчитал и он наговорил на халяву или наоборот переплатил, вот это клиент будет зол. Тут тоже вайбкод или готовое?
Я ничего не говорю, чувак молодец и даже если он все готовое взял: SIP от условной задармы, биллинг тоже готовый, все это срастил, решил боль людей и продал, вдвойне круто! Но было бы и вдвойне интересней узнать каков его технический вклад.
А тут про маркетинговые финты ушами, тоже важно, но интересно вначале узнать что он сделал, чего ему это стоило, а потом уже как продавал.

Как по мне из бесплатных универсальных общего назначения сейчас только Gemini:
1. лимиты не могу нащупать при том что сейчас с ним готовлюсь к собесам и кидаю для контроля в него исходники по несколько десятков в день для анализа, разбора и оценки
2. темы волокет, когда бесплатный SWE-1.5 в cascade что-то как-то уверенно стал загонять то что мне показалось не совсем точным, то я скинул диалог Джемини и он подтвердил, что конкурент немного плавает в вопросе.
3. код по крайней мере локальный для решения задачек пишет норм
4. работает быстро
5. контекст хз какой, но несколько дней с ним веду беседу и нет ощущения что он забыл кто я от куда и на куда, всё вроде идет плавно
6. по не ИТ вопросам вроде тоже норм, да ChatGPT возможно лучше в частности в юридических вещах, но там как-то лимиты на раз пробиваются в бесплатном. Кинул в него несколько документов, что бы на их основе составил новый и всё, у него лимит, ждите когда снова можно. У Джемини же пока не заметил кинул в него 6 pdf, без проблем, всосал, проанализировал, предлагает помощь

Да возможно ChatGPT лучше, но лимиты быстро настигают, Клод может еще лучше особенно в коде, но там еще все быстрее заканчивается. Грок нравился, но последнее время часто быстро встает в позу: я под нагрузкой, приходите позже или несите мне денег. Перплексити немного специфичная штука для анализа не особо. Deepseek хоть и мыслит, но ощущение что малость отсталый. Qwen для кода хорош и бесплатен в чате, но думает долгоооо, по этому по общим вопросам не сильно хочется гонять: это при написании кода может не так критично, но в более житейских делах не хочется ждать минуту пока он начнет неспешно писать.

А вот 4% это потому что реально такая доля вакансий и соотв собесов или исследование было направлено на сбор инфы по перечисленным языкам.

Про Kotlin на backend ничего нет? Или на 80% пересечение с Java и только 20% разбег в асинхронщине: потоки пулы (или что там нынче в Java?) с одной стороны и корутины, каналы с другой? Пропорции взял с потолка.

Не так, по вашей логике (аналогию которой я привел ) вы жалуетесь авторам VLC на то что что фильмы отстой и нечего смотреть на их плеере и зачем он нужен тогда, тем более других как грязи, есть MPlayer же, а вы тут велосипед еще городите.
Боль ваша в целом понятна и более того мною возможно разделяема, но скидывать ее на автора сабжа... Реально какой смысл? Как он повлияет на наличие "вменяемых" моделей? Человек выбрал нишу, пилит open source обертку над оберткой некоего ядра, денег не просит, круто чё. Вопросы по ядру, ну явно же не к нему.
Про адаптацию моделей (не знаю что вы конкретно имеете ввиду) кмк лучше авторам движков LLM.
Если бы вы критиковали за сам продукт, что-то в духе: да у вас просто калька OpenCode только еще хуже, ничего вы не поняли в написании такого ПО, подходов не осмыслили, ничего нового не привнесли, а на все ваши заявленные преимущества у меня контраргументы почему тот же OpenCode бьет ваши. Тогда другое дело. Но вы же не про это.

Два сервера полезны по-другому: параллельные задачи. Один агент код пишет, второй тесты гоняет. Или просто два разных проекта одновременно.

Да, я тоже уже это так понял. Но не до конца понятно кто их оркестрирует? Клиент на примере вашего или все же ollama/llama.cpp внутри себя связи пробрасывают через ключи/конфиги и у нас единый endpoint для клиента?

По ускорению на ARM: да, должно дать прирост, особенно на 7B+. При компиляции llama.cpp проверь что NEON включен (на ARM это аналог SIMD). Q4_K_M чуть быстрее Q5_K_M, разница в качестве минимальная. -t 4 явно, по числу физических ядер.

Да, это конечно. Единственное заметил что на моделях начиная с 7В падает на
load_tensors:          CPU model buffer size =  4460.45 MiB
................................ (тут сообщение об ошибке, точно не помню переполнение буфера или тип того)

Нашел где отключать, но не понятно сильно ли от этого деградирует или нет.
30B падает - значит это точно контекст. На 24GB с 30B моделью контекст надо резать жёстко, типа 2048. Иначе OOM.

Спасибо.

Ну, а автор-то тут чем виноват? Он предлагает еще один доступ к модели и её утилизации. Это уж к тем кто модели выпускает, ну максимум запускает (llama.cpp, ollama). А так все равно что авторам VLC предъявлять, что смотреть-то нечего, контент отстой и киноиндустрия в упадке. При том что своих проблем у того же VLC реально может хватать и есть там за что покритиковать. Так и тут может в своей нише их продукт имеет свои проблемы, но уж точно модели не их зона ответственности.

Я там может неточно выразился: на 7B сами модели не падают, падают тесты скорости. А так даже на 30В (или 32В?) взлетела, но ответы я ждал от нее минут по 5-6. Правда вот она довольно быстро падала, я уж не копал что там, но похоже да контекст подъедал ОЗУ и всем пока.
Ну вот я как-то так и прикидывал и на такое примерно и прицеливался что в агентах их запрячь на некоторую автономию. Спасибо, что подтвердили мою гипотезу. Единственное я через llama.cpp всё гонял и, возможно, есть еще небольшой простор для оптимальной компиляции. Так же хочется попробовать переключить на huge страницы 2Мб, но пока что-то ядро не удается заставить перейти на них. ollama не трогал еще.
Кстати, я верно понимаю, что LLM не кластеризуются в смысле не параллелятся в рамках одного запроса? Т.е. если у меня два таких сервера, то это никак не ускорит общую работу? Дольше данные между собой будут гонять. А то было бы неплохо если бы даже прирост был 1,5 раза при еще одном доп сервере.

Я, конечно, не совсем по адресу, но может кто просветит: на Oracle free tier который 4 ядра ARM Ampere и 24Гб ОЗУ (и, разумеется, никакого GPU) можно что-то приличное запускать из моделей с практической пользой? Практическая польза для меня это или не надо уходить курить для ожидания ответа или если ушел, то результат того стоит, тогда можно и на другую задачу переключиться если тут реально агент что-то итеративно может сам приличного наколбасить.
Пробовал и qwen2.5-coder-1.5b-instruct-q5_k_m.gguf и 7B и даже жирнее. Пока curl'ом только щупал, скорость, конечно, не фонтан что-то. Вот пошел искать куда это запрячь что бы в деле посмотреть. Но может такие ресурсы это только мучение, а не агент будет? Ну или максимум какой-то автокомплит в IDE, которых в бесплатных лимитах итак валом?
вот такой тест скорости на 1,5В, на 7В и выше почему-то падают:
./llama-bench -m /home/ubuntu/llm-server/models/qwen2.5-coder-1.5b-instruct-q5_k_m.gguf
| model | size | params | backend | threads | test | t/s || ------------------------------ | ---------: | ---------: | ---------- | ------: | --------------: | -------------------: |
| qwen2 1.5B Q5_K - Medium | 1.19 GiB | 1.78 B | CPU | 4 | pp512 | 26.37 ± 0.55 |
| qwen2 1.5B Q5_K - Medium | 1.19 GiB | 1.78 B | CPU | 4 | tg128 | 15.15 ± 1.33 |

Разве в Kotlin это не решено уже? Я давно спеку него не перечитывал, но раз там убрано разделение, то кажется всë красиво порешали без накладных расходов.

Если блокировка от РКН, то вообще и говорить не о чем, есть bolvan/zapret и всё пробивается, во всяком случае у меня пока. Smart DNS не пробовал, но сам ChatGPT говорит мне что лезть с ним к нему не надежно, легко им палится, ломается: ставь VPN и тогда я твой.

Зерно здравого смысла, конечно, в его докладе есть. Просто чем клеймить NULL надо признать, что как раз таки NULL это то что мы видим в реальном мире: отсутствие чего-то (не всегда равно нулю) или отсутствие информации о чём-либо это и есть NULL. Просто при проектировании языков (особенно не для ФП) мало заморачивались со строгими системами типов, не додумались до Optional<> сразу, что бы запретить программисту не обрабатывать все ситуации. Но ничего, тот же Kotlin живет с этим. И код читаемый и надежный (если через рефлексию не быть ССЗБ).
Так что кажется проблема не в NULL, а в том что не научились с ним жить и не стрелять себе в ногу. Явление открыли, а мат аппарат не проработали и/или не подтянули. Бывает. Комплексной/мнимой единицы i вообще на первый взгляд в природе не существует, ну так и что же, запретить ее?

Хорошо, я возможно не владею терминологией, назовем тогда tunnel on demand. Вся суть что бы не было постоянного туннеля и нечего было палить (собсно я это и описал во первых строках). Шарюсь по рунету - никаких туннелей, все чисто (да не анонимно, но мы не про это), захотел условный ChatGPT - оп (по geoip/site или еще как) система распознала и быстренько подняла мне туннель, не пользуюсь - через определенно время погасила его. Никто же не сидит полный день на закрытых ресурсах. Кажется так он овсе будет несколько чище со стороны.
Про соседа не понял. Про какого соседа? Сосед на моем VPN в смысле еще одного клиента или по хостингу или в доме за стеной? Если первый вариант, то там я командую парадом, второй, ну да есть риск, ну так он везде есть если VPN в датацентре. Но так что же забить на предосторожности со своей стороны? Третий - явно мимо кассы.

А я вот не пойму почему мало внимания уделяется разделенному туннелированию (split tunneling)? Кажется это неплохое подспорье если VPN поднят на своем VPS и на нем сидит полтора землекопа. Что бы у нас не болтался постоянный палевный туннель, а поднимался только по мере необходимости, да будут задержки, но кажется с этим можно жить, сетки итак бывает долго думают прежде чем ответить. Тот же ChatGPT может несколько секунд думать прежде чем ответит, ну будет на 1 сек больше, не беда. Но вот настраивать это... попробовал я его спросить и понял, что тут делов не на 5 минут, в Throne отдельной галочки на это нет. Если не админ, то помудохаться придется. Гайды/маны/статьи может и есть, но в целом хочется что бы шло как-то из коробки при развертывании сервера и клиента.

1

Information

Rating
5,885-th
Registered
Activity