В Яндексе, умные люди?! Эти слова нельзя ставить в одном предложении. Есть там пара хороших продуктов (кликхаус, например), но в остальном чисто маркетинговые сырые поделки, с нерабочим API.
Искал себе хранилище медиафайлов, так чтобы можно было на картинки ссылаться из веба и управлять через API. Перепробовал кучу всего, в том числе immich, nextcloud, и пачку другого с гитхаба. В итоге написал свое, на .net+ffmpeg с конвертацией форматов в заданный нужный набор, и только так получилось что хотел.
Nextcloud медленный, и монструозный, на нем держу бекапы. Immich работает со странными косяками, периодически удаляя мой контент, так и не разобрался почему. У всяких simple gallery недостаточно методов в API. Так что, пришлось исправлять фатальный недостаток)
Диск - загружайте все ваши данные, но загружать через браузер больше пары гигабайт технически нереализуемо (ответ поддержки), API согласно документации не работает (баг подтвержден поддержкой лет 8 назад, так и не исправлен), а десктоп приложение не умеет открывать их же ссылки, дублирует закачки, и крашится случайным образом.
Так она же утверждает что работает на основе yandexGPT. Хотя при этом как и у автора ничего серьезнее времени и погоды осилить не может. Даже поиск музыки для нее слишком сложная задача.
А как насчет следующего явления, примерно 16 часов дня, светло, на горизонте белая сфера примерно с шестую часть луны, двигалась со скоростью градусов 10 в секунду параллельно горизонту. Территориально - крайний север. Облачности не было. Я не утверждаю что это были инопланетяне, но вариантов не подобрал которые объяснили бы.
Использую подписку Max, модели 4.1, начинал с 4. Могу сказать что иногда делает неплохо, но только фронт. Большинство бэкенда задач делает неоптимально, приходится переписывать 90% кода. В итоге, пришел к тому что использую его для быстрых демок, а уже полноценный код пишу самостоятельно. Но для демок очень удобно, окупается полностью. Это касательно C#. Для python дела, конечно, обстоят получше.
Основной плюс данных моделей (в частности тестировал 20b), это единственная локальная LLM до 32b которая четко следует описанному формату вывода. Например, ни разу не ошиблась в структуре JSON описанному в промте. devstral, qwen, phi4, gemma3 размерами до 32b даже близко не справлялись.
Какой версией w64devkit вы собирали? В репозитории llama.cpp сказано брать последнюю версию, но сборка падает, т.к. Makefile deprecated. Пока перебираю версии ниже, уже на 1.23.0, но все еще не нашел на какой бы сборка прошла.
На небольших проектах можно и в файл писать логи. Чем больше наворотов, тем больше времени на настройку и сопровождение инфраструктуры. Если сразу энтерпрайзить сразу в одного то на MVP можно и год убить. Лучше начать с абстракций за которыми будет примитивная реализация, и уже по мере развития менять на что то серьезнее.
В HNSW нет никакого 2x-8x, вы храните центроиды в отдельной базе, а в HNSW используется настраиваемый аналог списков с пропусками, которые менее 100% займут от количества векторов.
Собственно само ваше описание это уже и есть тот же аналог HNSW:
в первой из них, Level Table, хранится иерархия центроидов для быстрого поиска по кластерам. Данные в этой таблице организованы в древовидную структуру, и YDB может быстро найти идентификатор кластера нижнего уровня для вектора, по которому происходит поиск.
Локальные модели хороши для узкого круга задач, но для серьезного продукта не подходят от слова совсем. Локально использую: deepcoder:14b, deepseek-r1:32b, devstral:latest, gemma3:27b, gemma3n:e4b-it-fp16, phi4-reasoning:latest, phi4:14b, qwen3:32b
Ни одна из перечисленных моделей не осиливает работать в строгом соответствии с более менее серьезным системным промтом. Простой пример, я описываю в системном промте формализацию общения пользователя с моделью в JSON формате. Модели пишут в ответ простым текстом. Указываю модели что вообще-то в системном промте указан формат. Пишет plain-текстом извините, вот ваш json, и после него еще пачку текста.
Тому же claude я пишу системный промт просто в чате, и он начинает строго следовать описанному протоколу.
Но если Vist это класс, тогда его поля будут тоже лежать в куче, независимо от своего типа. На стек может падать только в случае если Vist структура. Этот момент не нашел в описании, потому и стало интересно в чем выгода так определять поля. Сам проект не планируете выложить на гитхаб? Было бы интересно посмотреть идеи.
Почему в Vist через поля, а не через массив заданной длины?
public class Vist128<T>
{
private readonly T[] _static = new T[128];
private List<T> _dynamic = default!
private int _index = -1;
public T this[int index]
{
get
{
if(index < 128) // и еще чутка проверок, но для примера неважно
{
return _static[index];
}
return _dynamic[index - 128];
}
}
}
Типа того, и писать в лист по выходу за пределы статичного массива. И предсказание перехода будет быстрее при переборе полей и код сильно сократится.
Еще бы докинуть kinopub, soap и подобные сервисы, которые через VPN тоже работают значительно лучше чем rutube и vk без него.
В Яндексе, умные люди?! Эти слова нельзя ставить в одном предложении. Есть там пара хороших продуктов (кликхаус, например), но в остальном чисто маркетинговые сырые поделки, с нерабочим API.
Искал себе хранилище медиафайлов, так чтобы можно было на картинки ссылаться из веба и управлять через API. Перепробовал кучу всего, в том числе immich, nextcloud, и пачку другого с гитхаба. В итоге написал свое, на .net+ffmpeg с конвертацией форматов в заданный нужный набор, и только так получилось что хотел.
Nextcloud медленный, и монструозный, на нем держу бекапы. Immich работает со странными косяками, периодически удаляя мой контент, так и не разобрался почему. У всяких simple gallery недостаточно методов в API. Так что, пришлось исправлять фатальный недостаток)
Сайт открылся за 30 секунд. Для 90-х это перебор)
HTML/JS/CSS должны в милисекунды укладываться.
В моей практике были windows-2000 сервера которые не перезагружались годами. От системы не зависит и у каждой системы есть свои проблемы.
Диск - загружайте все ваши данные, но загружать через браузер больше пары гигабайт технически нереализуемо (ответ поддержки), API согласно документации не работает (баг подтвержден поддержкой лет 8 назад, так и не исправлен), а десктоп приложение не умеет открывать их же ссылки, дублирует закачки, и крашится случайным образом.
Так она же утверждает что работает на основе yandexGPT. Хотя при этом как и у автора ничего серьезнее времени и погоды осилить не может. Даже поиск музыки для нее слишком сложная задача.
По цвету подходит, если бы шар был идеально круглым, светился, и двигался в сотни раз медленнее.
А как насчет следующего явления, примерно 16 часов дня, светло, на горизонте белая сфера примерно с шестую часть луны, двигалась со скоростью градусов 10 в секунду параллельно горизонту. Территориально - крайний север. Облачности не было. Я не утверждаю что это были инопланетяне, но вариантов не подобрал которые объяснили бы.
Использую подписку Max, модели 4.1, начинал с 4. Могу сказать что иногда делает неплохо, но только фронт. Большинство бэкенда задач делает неоптимально, приходится переписывать 90% кода. В итоге, пришел к тому что использую его для быстрых демок, а уже полноценный код пишу самостоятельно. Но для демок очень удобно, окупается полностью. Это касательно C#. Для python дела, конечно, обстоят получше.
Основной плюс данных моделей (в частности тестировал 20b), это единственная локальная LLM до 32b которая четко следует описанному формату вывода. Например, ни разу не ошиблась в структуре JSON описанному в промте. devstral, qwen, phi4, gemma3 размерами до 32b даже близко не справлялись.
Да, просто кидаете safetensor в модели к остальным и работает.
Какой версией w64devkit вы собирали? В репозитории llama.cpp сказано брать последнюю версию, но сборка падает, т.к. Makefile deprecated. Пока перебираю версии ниже, уже на 1.23.0, но все еще не нашел на какой бы сборка прошла.
На небольших проектах можно и в файл писать логи. Чем больше наворотов, тем больше времени на настройку и сопровождение инфраструктуры. Если сразу энтерпрайзить сразу в одного то на MVP можно и год убить. Лучше начать с абстракций за которыми будет примитивная реализация, и уже по мере развития менять на что то серьезнее.
В HNSW нет никакого 2x-8x, вы храните центроиды в отдельной базе, а в HNSW используется настраиваемый аналог списков с пропусками, которые менее 100% займут от количества векторов.
Собственно само ваше описание это уже и есть тот же аналог HNSW:
В том же Qdrant справились с перешардированием - https://qdrant.tech/documentation/cloud/cluster-scaling/
А сама структура HNSW не ограничивает количество векторов. Миллиарды правда еще не пробовал, но на 60 миллионах векторов поиск занимает миллисекунды.
У нас есть отечественные СУБД? Поиском находятся только на базе Postgres, а Беркли вроде как еще не российский.
Локальные модели хороши для узкого круга задач, но для серьезного продукта не подходят от слова совсем. Локально использую: deepcoder:14b, deepseek-r1:32b, devstral:latest, gemma3:27b, gemma3n:e4b-it-fp16, phi4-reasoning:latest, phi4:14b, qwen3:32b
Ни одна из перечисленных моделей не осиливает работать в строгом соответствии с более менее серьезным системным промтом. Простой пример, я описываю в системном промте формализацию общения пользователя с моделью в JSON формате. Модели пишут в ответ простым текстом. Указываю модели что вообще-то в системном промте указан формат. Пишет plain-текстом извините, вот ваш json, и после него еще пачку текста.
Тому же claude я пишу системный промт просто в чате, и он начинает строго следовать описанному протоколу.
Очень много софта на предмет подсветки кулеров, регулировки скорости вращения.
Но если Vist это класс, тогда его поля будут тоже лежать в куче, независимо от своего типа. На стек может падать только в случае если Vist структура. Этот момент не нашел в описании, потому и стало интересно в чем выгода так определять поля.
Сам проект не планируете выложить на гитхаб? Было бы интересно посмотреть идеи.
Почему в Vist через поля, а не через массив заданной длины?
Типа того, и писать в лист по выходу за пределы статичного массива. И предсказание перехода будет быстрее при переборе полей и код сильно сократится.