Консультировался с ИИ по поводу запуска локальных LLM на серверном оборудовании без GPU.
Задача была поднять llm code review, чтобы комментировать PR. На своем оборудовании поднять аналог coderabbit. Утверждал, что можно поднять Llama-3-70B-Instruct, выделить под это 24-36 CPU ядер и до 120 GB ram, распараллеливать и получать удовольствие. Мне нет необходимости получать ответ сразу, а время выполнения максимум 5 минут, т.е. выйдет около 3-5 t/s.
Тут только экспериментировать. Возможно, получится glm 4.5 Air запустить, насколько я понял, он сейчас один из топовых в кодовой базе. Сам проверял решение сложного запроса в Oracle и он один из всех ИИ, дал правильное направление и написал сразу работающий запрос, правда с нюансами.
Если есть возможность что-то внедрить внутри компании и есть свободные ресурсы (без gpu), то насколько оптимально будет развернуть на своих серверах llm, в основном на ram, и использовать roo code на своих моделях? Есть опыт? Или не стоит игра свеч, а проще использовать cursor/windsurf
Каким образом лучше всего организовать проксирование через VPS и выход через свой домашний интернет? Суть в том, что дома интернет за NAT спрятан, поэтому думаю взять модем с OpenWrt подключить к VPS, рабочий комп подключить к VPS и весь трафик гнать через работа -> VPS -> дом
Т.е. цель на работе выходить под домашним IP с учетом обхода попыток "палева" прокси. Может уже есть готовые мануалы/конфиги?
Качаю аккаунты соц-сетей на виртуалках, на которых установлены разные версии мак ос (каталина, бигсюр, монтерей). Все прекрасно работает, даже usb модем 4g пробрасывал и поднимал интернет.
Как никогда актуально для нас, белорусов.
Когда сидишь в РОВД или в момент задержания ОМОНом «просят» ввести пароль для проверки каналов ТГ. Ждем реализации в офф клиенте.
Yii рассматривался как rest для angular, так как хотел изучить эти 2 фреймворка. А нет лучше методов изучения, как сразу практика.
Потом решил перенести все в бд, оставить angular и с чистого написать свой rest. Но время поджимало и на дворе 2016 год, бессмысленно писать с 0, решил использовать phalcon.
весь рабочий процесс(электронный документооборот). Pipeline-функция, грубо, это функция, которая возвращает таблицу (BD oracle).
т.е. запрос вида
SELECT * FROM TABLE(users(ID))
Я не смогу использовать Active Record в таком случае.
В phalcon проще стартануть, но при одинаковых условиях, phalcon быстрее yii2, как по мне. Ничего лишнего больше не надо, я в Phalcon использую только микро-фреймворк.
Не бывает волшебной кнопки, по нажатию которой проект мигрирует с минорной версии на мажорную. И не вижу смысла гнаться за последней версией, которая еще была в бета-версии. Можно просто облегчить себе переход, использую стайл-гайды.
Так, для ознакомления, посоветовал бы выбрать из
Todd Motto's: https://github.com/toddmotto/angularjs-styleguide
John Papa's: https://github.com/johnpapa/angularjs-styleguide
Minko Gechev's: https://github.com/mgechev/angularjs-style-guide
Сам пишу придерживаясь стиля John Papa.
Разрабатываю проект на AngularJS + backend. Долго думал и тестировал какой же выбрать backend. Поставил yii2 и оказалось головной болью, так как вся логика в базе данных, работа через pipeline-функции, все данные обрабатываются через процедуры, нет прямого доступа к таблицам.
В итоге остановился на Phalcon: phalconphp.com/ru. Действительно быстрый и удобный.
Пишу на 1.5.7 Angular, было страшно разрабатывать проект на Angular 2 Beta, решил завершить на ветке 1.х, а потом мигрировать на 2.х
Еще вначале года React не пользовался популярностью, а теперь с чего вдруг на него такая мода пошла?
Консультировался с ИИ по поводу запуска локальных LLM на серверном оборудовании без GPU.
Задача была поднять llm code review, чтобы комментировать PR. На своем оборудовании поднять аналог coderabbit. Утверждал, что можно поднять Llama-3-70B-Instruct, выделить под это 24-36 CPU ядер и до 120 GB ram, распараллеливать и получать удовольствие. Мне нет необходимости получать ответ сразу, а время выполнения максимум 5 минут, т.е. выйдет около 3-5 t/s.
Тут только экспериментировать. Возможно, получится glm 4.5 Air запустить, насколько я понял, он сейчас один из топовых в кодовой базе. Сам проверял решение сложного запроса в Oracle и он один из всех ИИ, дал правильное направление и написал сразу работающий запрос, правда с нюансами.
Если есть возможность что-то внедрить внутри компании и есть свободные ресурсы (без gpu), то насколько оптимально будет развернуть на своих серверах llm, в основном на ram, и использовать roo code на своих моделях? Есть опыт? Или не стоит игра свеч, а проще использовать cursor/windsurf
Каким образом лучше всего организовать проксирование через VPS и выход через свой домашний интернет? Суть в том, что дома интернет за NAT спрятан, поэтому думаю взять модем с OpenWrt подключить к VPS, рабочий комп подключить к VPS и весь трафик гнать через работа -> VPS -> дом
Т.е. цель на работе выходить под домашним IP с учетом обхода попыток "палева" прокси. Может уже есть готовые мануалы/конфиги?
Качаю аккаунты соц-сетей на виртуалках, на которых установлены разные версии мак ос (каталина, бигсюр, монтерей). Все прекрасно работает, даже usb модем 4g пробрасывал и поднимал интернет.
Когда сидишь в РОВД или в момент задержания ОМОНом «просят» ввести пароль для проверки каналов ТГ. Ждем реализации в офф клиенте.
Потом решил перенести все в бд, оставить angular и с чистого написать свой rest. Но время поджимало и на дворе 2016 год, бессмысленно писать с 0, решил использовать phalcon.
Какие проблемы возникли, которые повлияли на решение о переходе на yii2?
т.е. запрос вида
SELECT * FROM TABLE(users(ID))
Я не смогу использовать Active Record в таком случае.
В phalcon проще стартануть, но при одинаковых условиях, phalcon быстрее yii2, как по мне. Ничего лишнего больше не надо, я в Phalcon использую только микро-фреймворк.
Так, для ознакомления, посоветовал бы выбрать из
Todd Motto's: https://github.com/toddmotto/angularjs-styleguide
John Papa's: https://github.com/johnpapa/angularjs-styleguide
Minko Gechev's: https://github.com/mgechev/angularjs-style-guide
Сам пишу придерживаясь стиля John Papa.
В итоге остановился на Phalcon: phalconphp.com/ru. Действительно быстрый и удобный.
Пишу на 1.5.7 Angular, было страшно разрабатывать проект на Angular 2 Beta, решил завершить на ветке 1.х, а потом мигрировать на 2.х
Еще вначале года React не пользовался популярностью, а теперь с чего вдруг на него такая мода пошла?
Тот, про которого мы ничего не знаем.