У человеческого мозга меняется структура в процессе взаимодействия с реальностью, у нейронок в нынешней реализации - нет. Использование внешней бд для имитации этого процесса - мне кажется, недостаточно. Эдакий костыль, который может на какое-то время замаскировать проблему. Наверное, можно устроить нейронкам что-то вроде сна, когда нейронка дообучается на основе новых данных, произошедших за день.. но я не знаю, какие задачи вообще выполняет сон у людей, чтобы просто так сравнивать его с обучением нейронки.
По мелочи пробовал запускать всякое в подмане, столкнулся с тем, что не работает проброс портов средствами самого подмана. Приходилось использовать виндовую утилиту netsh для этого, пока я не столкнулся с тем, что она не может пробрасывать udp траффик.. в итоге пришлось городить велосипед с использованием опенсорсной утилиты sudpipe. В общем, в итоге всё работало довольно некрасиво (но работало, да), так в итоге докером и пользуюсь.
Этот же самый лист ожидания грозится призвать на их сервак дискорда. Кажется, это будет ещё один пример, как открытый продукт ушёл прятаться за пейвол)
Ну, как-то так. Тут всё через докер, можно и нативно поставить, но я с этим не заморачивался.
Установить дрова для nvidia cuda и докер. Нужно, чтобы из контейнеров докера был доступ к видеокарте, т.е. команда типа docker run --gpus all nvcr.io/nvidia/k8s/cuda-sample:nbody nbody -gpu -benchmark выводила информацию о видеокарте.
Клонировать ollama-webui. Там есть docker-compose.yml с необходимой минимальной настройкой. Разве что порты у сервиса ollama раскомментировать. Также можно добавить локальную папку в volume у ollama, например так. - ./ollama_models/:/models Пригодится, если будете дорабатывать существующие нейронки заменой системного промпта, например.
Выполнить docker compose up -d. Должен заработать ollama-webui на http://localhost:3000/
Библиотека уже готовых моделей тут. Инструкция по ollama конкретно есть в репозитории. Для deepseek coder нужно выбрать подходящий тэг и пуллить командой типа docker exec ollama ollama pull deepseek-coder:6.7b-instruct-q8_0. После чего в webui можно будет поспрашивать по коду. Правда, лично у меня на линуксе из webui конкретно эта нейронка не может выгружать слои в видеопамять. Собственно, почему 1й пункт этой инструкции со ссылкой под винду - я так и не разобрался, из-за чего так.
Для режима копилота в VScode: в папке ./ollama_models создать modelfile - текстовый файл с удобным именем и содержимым типа FROM deepseek-coder:6.7b-instruct-q8_0 После чего выполнить docker exec ollama ollama create deepseeker-copilot-f /models/modelfile Это, возможно, лишнее, но мне кажется, Continue не очень корректно отрабатывает разные теги у нейронок в ollama, он вообще выдаёт ошибку за использование неправильной нейронки в конфиге.
Установить расширение Continue. После начальной настройки в файле в папке пользователя\.continue\config.json добавить в модели свою нейронку и сохранить. , { "title": "DeepSeeker Copilot", "provider": "ollama", "model": "deepseeker-copilot", "api_base": "http://localhost:11434" }
Выбрать DeepSeeker Copilot из нейронок и развлекаться. Кстати, через расширение DeepSeek Coder работает с выгрузкой в видеокарту и в линуксе, так что, вероятно, проблема всё-таки со стороны именно webui у меня.
У deepseek coder есть разные варианты, какая-нибудь вариация из 1.7b может запуститься с использованием видеокарты. Но работает так себе, судя по запросу накодить змейку. Не знаю, будет ли вообще какая-то выгода от запуска нейронки на такой видеокарте, но можно попробовать и 6.7b варианты, с нагрузкой на CPU, ОЗУ может и хватит. Правда, и на моём i7-8700k оно было ощутимо медленнее, чем на видеокарте rtx 4070. Запускаю максимально уместившуюся в 12 гигов видеопамяти 6.7b-instruct-q8_0, но там есть варианты полегче.
Не заметил, что интересует генерация картинок, их я особо не пробовал пока.
Настроил deepseek coder с применением ollama, и подключил к vscode с помощью continue. Ну и дополнительно ollama webui запустил. Очень удобно, хотя, возможно, есть интерфейс и получше, но оно и так работает.
Видел на чужих скринах сторисы, но у меня их не было, так что вроде как можно было жить. Но последняя обнова таки включила это счастье и для меня, выдав нескрываемый сторис от самой солнцеликой телеги, так что в течение минут десяти поиска решения я и удалил официальный клиент в пользу плюса. Особенно меня порадовал официальный ответ на багрепорт с просьбой дать возможность скрыть эти сторисы, мол, нет, сторисы вовсе не мешают пользователям, вы ведь можете их скрывать по одному.
Самое весёлое тут то, что в нормальной версии ФФ под андроид нельзя поставить аддоны не из одобренного списка (по крайней мере, я не нашёл нормального метода, когда исследовал вопрос). Нужно ставить кривую бета версию браузера и наслаждаться сопутствующими проблемами. Теперь после получения более менее стабильного билда нужно запрещать обновления для ФФ и бэкапить приложения руками, чтобы не потерять стабильно работающий сетап. В общем, попросту отвратительный ход со стороны разработчиков, на мой вкус.
Из-за этого приходится вносить кучу подсетей в исключения в wireguard. Правда что-то при этом всё равно может не работать, но какого-то лёгкого способа отследить нужные пакеты не нашёл в винде, Wireshark не может фильтровать трафик по приложению, только весь интерфейс целиком.
Стояла задача настроить удалённый доступ на кучу удалённых компьютеров. Разумеется, бесплатно, но и какую-то безопасность хотелось бы получить. Сам tightvnc рекомендует заворачивать подключение в ssh тоннель, альтернативных vnc решений со встроенным ssh я не нашёл. Так что в итоге пришлось написать скрипт, который задействует комбинацию из bitvise, nssm и tightvnc у клиентов, и openssh для windows на сервере. Tightvnc разрешает подключение для локалхоста, openssh генерирует ключ (и держит сервер ssh), bitvise пробивает ssh тоннель (и по фтп заливает на сервер публичный ключ), а nssm создаёт службу для тоннеля, которая каждую минуту стучится на сервер. На сервере скрипт инициализирует список доверенных публичных ключей для openssh сервера и создаёт кучу ярлыков для tightvnc, которые потом сортируются по имени компа. Потратил месяц на настройку всего этого зоопарка, работает вроде достаточно стабильно (иногда виснет по пока неустановленным причинам, лечится разрывом соединений на порт ssh в микротике). Ну и бонусом - можно на все компы подключаться по ssh через openvpn. Может, стоило bitvise и для сервера ssh использовать, но мне к тому времени проект этот поднадоел и хотелось поскорее ввести его в работу)
У человеческого мозга меняется структура в процессе взаимодействия с реальностью, у нейронок в нынешней реализации - нет. Использование внешней бд для имитации этого процесса - мне кажется, недостаточно. Эдакий костыль, который может на какое-то время замаскировать проблему. Наверное, можно устроить нейронкам что-то вроде сна, когда нейронка дообучается на основе новых данных, произошедших за день.. но я не знаю, какие задачи вообще выполняет сон у людей, чтобы просто так сравнивать его с обучением нейронки.
Ну, я работал из под винды, и описал то, с чем столкнулся.
По мелочи пробовал запускать всякое в подмане, столкнулся с тем, что не работает проброс портов средствами самого подмана. Приходилось использовать виндовую утилиту netsh для этого, пока я не столкнулся с тем, что она не может пробрасывать udp траффик.. в итоге пришлось городить велосипед с использованием опенсорсной утилиты sudpipe. В общем, в итоге всё работало довольно некрасиво (но работало, да), так в итоге докером и пользуюсь.
Ну, если допустить, что все деньги ушли на шлемы по сорок тыщ штука, то выходит 45650 комплектов. Предполагаю, что это максимум.
Этот же самый лист ожидания грозится призвать на их сервак дискорда. Кажется, это будет ещё один пример, как открытый продукт ушёл прятаться за пейвол)
Буквально обучение нейронки
Ну так речь то про 1 ТБ, а не 20 ТБ
Ну, как-то так. Тут всё через докер, можно и нативно поставить, но я с этим не заморачивался.
Установить дрова для nvidia cuda и докер. Нужно, чтобы из контейнеров докера был доступ к видеокарте, т.е. команда типа
docker run --gpus all nvcr.io/nvidia/k8s/cuda-sample:nbody nbody -gpu -benchmarkвыводила информацию о видеокарте.Клонировать ollama-webui. Там есть docker-compose.yml с необходимой минимальной настройкой. Разве что порты у сервиса ollama раскомментировать. Также можно добавить локальную папку в volume у ollama, например так.
- ./ollama_models/:/models
Пригодится, если будете дорабатывать существующие нейронки заменой системного промпта, например.Выполнить
docker compose up -d. Должен заработать ollama-webui наhttp://localhost:3000/Библиотека уже готовых моделей тут. Инструкция по ollama конкретно есть в репозитории. Для deepseek coder нужно выбрать подходящий тэг и пуллить командой типа
docker exec ollama ollama pull deepseek-coder:6.7b-instruct-q8_0. После чего в webui можно будет поспрашивать по коду. Правда, лично у меня на линуксе из webui конкретно эта нейронка не может выгружать слои в видеопамять. Собственно, почему 1й пункт этой инструкции со ссылкой под винду - я так и не разобрался, из-за чего так.Для режима копилота в VScode: в папке
./ollama_modelsсоздать modelfile - текстовый файл с удобным именем и содержимым типа
FROM deepseek-coder:6.7b-instruct-q8_0
docker exec ollama ollama create deepseeker-copilot-f /models/modelfile
Это, возможно, лишнее, но мне кажется, Continue не очень корректно отрабатывает разные теги у нейронок в ollama, он вообще выдаёт ошибку за использование неправильной нейронки в конфиге.Установить расширение Continue. После начальной настройки в файле в папке пользователя\.continue\config.json добавить в модели свою нейронку и сохранить.
,{
"title": "DeepSeeker Copilot",
"provider": "ollama",
"model": "deepseeker-copilot",
"api_base": "http://localhost:11434"
}
Выбрать DeepSeeker Copilot из нейронок и развлекаться. Кстати, через расширение DeepSeek Coder работает с выгрузкой в видеокарту и в линуксе, так что, вероятно, проблема всё-таки со стороны именно webui у меня.
Нашёл сайт для таких расчётов.
У deepseek coder есть разные варианты, какая-нибудь вариация из 1.7b может запуститься с использованием видеокарты. Но работает так себе, судя по запросу накодить змейку. Не знаю, будет ли вообще какая-то выгода от запуска нейронки на такой видеокарте, но можно попробовать и 6.7b варианты, с нагрузкой на CPU, ОЗУ может и хватит. Правда, и на моём i7-8700k оно было ощутимо медленнее, чем на видеокарте rtx 4070. Запускаю максимально уместившуюся в 12 гигов видеопамяти 6.7b-instruct-q8_0, но там есть варианты полегче.
Не заметил, что интересует генерация картинок, их я особо не пробовал пока.
Настроил deepseek coder с применением ollama, и подключил к vscode с помощью continue. Ну и дополнительно ollama webui запустил. Очень удобно, хотя, возможно, есть интерфейс и получше, но оно и так работает.
Видел на чужих скринах сторисы, но у меня их не было, так что вроде как можно было жить. Но последняя обнова таки включила это счастье и для меня, выдав нескрываемый сторис от самой солнцеликой телеги, так что в течение минут десяти поиска решения я и удалил официальный клиент в пользу плюса. Особенно меня порадовал официальный ответ на багрепорт с просьбой дать возможность скрыть эти сторисы, мол, нет, сторисы вовсе не мешают пользователям, вы ведь можете их скрывать по одному.
Для такого можно использовать zerotier. Правда, на телефоне его завести у меня не вышло, но на компе работает.
Самое весёлое тут то, что в нормальной версии ФФ под андроид нельзя поставить аддоны не из одобренного списка (по крайней мере, я не нашёл нормального метода, когда исследовал вопрос). Нужно ставить кривую бета версию браузера и наслаждаться сопутствующими проблемами. Теперь после получения более менее стабильного билда нужно запрещать обновления для ФФ и бэкапить приложения руками, чтобы не потерять стабильно работающий сетап. В общем, попросту отвратительный ход со стороны разработчиков, на мой вкус.
Люди, буквально, этим и занимаются последнее время. Расширения в браузере, боты в телеге, аддоны для программ, моды к играм..
Из-за этого приходится вносить кучу подсетей в исключения в wireguard. Правда что-то при этом всё равно может не работать, но какого-то лёгкого способа отследить нужные пакеты не нашёл в винде, Wireshark не может фильтровать трафик по приложению, только весь интерфейс целиком.
Стояла задача настроить удалённый доступ на кучу удалённых компьютеров. Разумеется, бесплатно, но и какую-то безопасность хотелось бы получить. Сам tightvnc рекомендует заворачивать подключение в ssh тоннель, альтернативных vnc решений со встроенным ssh я не нашёл. Так что в итоге пришлось написать скрипт, который задействует комбинацию из bitvise, nssm и tightvnc у клиентов, и openssh для windows на сервере. Tightvnc разрешает подключение для локалхоста, openssh генерирует ключ (и держит сервер ssh), bitvise пробивает ssh тоннель (и по фтп заливает на сервер публичный ключ), а nssm создаёт службу для тоннеля, которая каждую минуту стучится на сервер. На сервере скрипт инициализирует список доверенных публичных ключей для openssh сервера и создаёт кучу ярлыков для tightvnc, которые потом сортируются по имени компа. Потратил месяц на настройку всего этого зоопарка, работает вроде достаточно стабильно (иногда виснет по пока неустановленным причинам, лечится разрывом соединений на порт ssh в микротике). Ну и бонусом - можно на все компы подключаться по ssh через openvpn. Может, стоило bitvise и для сервера ssh использовать, но мне к тому времени проект этот поднадоел и хотелось поскорее ввести его в работу)
Интересно, этих гугл тоже попросит прекратить разработку?
А вы оптимист, как я вижу. Думаю, по умолчанию подразмевается, что еда должна быть вкусной :)