С правами доступа - соглашусь, доступ к фото, контакты, уведомления работать начинают только после того как сам разрешишь. Без контактов правда все мессенджеры занимаются терроризмом, когда с новым человеком связаться хочешь.
Насчёт сети, увы, не так всё хорошо, per app firewall (даже стороннего) очень не хватает :(
Модель модифицирует скрипты, чтобы заблокировать механизмы собственного отключения.
Ну да, что может пойти не так от смешения control plane и data plane, где control plane правит себя в рантайме? Старый добрый принцип же - то, что исполняется - readonly, что меняется - noexec.
У нефролога, поглядывайте за уровнем креатинина и скоростью клубочковой фильтрации. Если сейчас в норме - круто, постоянно перепроверять не надо, раз в год-три норм.
Тоже месяца два назад с подобным игрался. Небольшой трюк с производительностью: я использовал одну и ту же модель, просто жонглировал контекстом - подменял для второй модели роли в истории диалога assistant, user = user, assistant. Зачем - не надо выгружать модельку из памяти видеокарты, работает существенно быстрее (у меня rtx5060ti16g).
Тему поначалу зашивал в системный промпт, но вышло не очень, поэтому одна из моделей - топикстартер. А в системный промпт я зашиааю чот типа модус операнди - характер, с которым модель должна отвечать. Самое прекрасное было стравить "психотерапевта" с "невротиком" на 300 сообщений.
VPN для работы в белую внутри России вроде большой проблемой не был. Помню новости про всякие реестры/белые списки у РКН, типа достаточно уведомить что организуете удаленку и сообщить IP адреса серверов + протоколы (даже не обязательно православные). Неудобно? Да. Безвыходность? Ну, нет.
Сам сижу на удалёнке при офисе в моём же городе, пользуюсь корпоративным VPN, брат жив. Как именно организовывалось - не знаю, да и выборка из меня и одной компании так себе.
Ну, раньше всратую HTML страничку накодить было сильно дороже, как минимум из-за времени работы мониторов кодера, который несколько часов какие-нибудь технические детали выяснять будет чтобы одну строчку в CSS поправить (а потом ещё и проголодается и пойдёт есть!). Сейчас ≈10000 токенов сгенерировать за 1-2 минуты можно в домашних условиях за те же OPEX'ы, что и при игре в какой-нибудь шутан, даже не ААА-класса.
В статье нет речи про увольнение гениев. В статье речь про увольнение токсичных гениев. С просто гениями всё просто, они никому не мешают. С просто токсиками тоже всё просто - вред очевиден, их увольняют. А вот с токсичными гениями решение принять не легко, о том и статья. Я бы на месте автора и человека-клея убрал, сфокусировавшись на одном явлении.
В защиту автора упомяну, что помимо увольнения ещё был вариант изоляции.
А расскажите про софт, который используете! Как задействуете 2х RTX4060ti? Цель MultiGPU ведь обойти ограничение в объёме VRAM, а не получить параллельную работу нескольких моделей?
Цены и дата начала продаж пока не объявлены Какие новинки показались интересными? Делитесь в комментариях
Приблизительно ни одна. Давно заглядываюсь на AMD AI 395, в качестве замены своей RTX 4060 Ti 16gb для инференса, чтобы бОльшие модели гонять или не настолько сильно квантованные, но пока это добро до ретейла дойдёт...
Не единственный, ещё можно взвесить свою покупательскую способность и расхотеть. А из перечисленного чот ничего миллионного, всё сравнительно бюджетное (недавно хотел купить FL Studio, но не смог из-за stripe/paypal, лол).
Вы абсолютно правы! Мне не стоило жахать ядеркой…
Ну так то тоже делают, просто дольше (подпинывать-направлять в нужную сторону)
На iOS :)
P.S: Если так - не понимаю, что вообще этот island из статьи делает.
С правами доступа - соглашусь, доступ к фото, контакты, уведомления работать начинают только после того как сам разрешишь. Без контактов правда все мессенджеры занимаются терроризмом, когда с новым человеком связаться хочешь.
Насчёт сети, увы, не так всё хорошо, per app firewall (даже стороннего) очень не хватает :(
Ну да, что может пойти не так от смешения control plane и data plane, где control plane правит себя в рантайме? Старый добрый принцип же - то, что исполняется - readonly, что меняется - noexec.
Вот ведь удар в псину, я так ждал 12-14b модель, которая идеально подходит для работы с большим контекстом в пределах 16gb VRAM…
У нефролога, поглядывайте за уровнем креатинина и скоростью клубочковой фильтрации. Если сейчас в норме - круто, постоянно перепроверять не надо, раз в год-три норм.
А блоггер не умирает?
Тоже месяца два назад с подобным игрался. Небольшой трюк с производительностью: я использовал одну и ту же модель, просто жонглировал контекстом - подменял для второй модели роли в истории диалога assistant, user = user, assistant. Зачем - не надо выгружать модельку из памяти видеокарты, работает существенно быстрее (у меня rtx5060ti16g).
Тему поначалу зашивал в системный промпт, но вышло не очень, поэтому одна из моделей - топикстартер. А в системный промпт я зашиааю чот типа модус операнди - характер, с которым модель должна отвечать. Самое прекрасное было стравить "психотерапевта" с "невротиком" на 300 сообщений.
Исходники какой-то ранней версии: https://gist.github.com/strizhechenko/e940ecbe20dfa7d7a8397f2e29bf1c7e
Своей нейронки способной что-то делать почти ни у кого нет. Есть чужая в облаке.
VPN для работы в белую внутри России вроде большой проблемой не был. Помню новости про всякие реестры/белые списки у РКН, типа достаточно уведомить что организуете удаленку и сообщить IP адреса серверов + протоколы (даже не обязательно православные). Неудобно? Да. Безвыходность? Ну, нет.
Сам сижу на удалёнке при офисе в моём же городе, пользуюсь корпоративным VPN, брат жив. Как именно организовывалось - не знаю, да и выборка из меня и одной компании так себе.
Зато память не течёт!
Ну, раньше всратую HTML страничку накодить было сильно дороже, как минимум из-за времени работы мониторов кодера, который несколько часов какие-нибудь технические детали выяснять будет чтобы одну строчку в CSS поправить (а потом ещё и проголодается и пойдёт есть!). Сейчас ≈10000 токенов сгенерировать за 1-2 минуты можно в домашних условиях за те же OPEX'ы, что и при игре в какой-нибудь шутан, даже не ААА-класса.
@
Операция не идемпотентна
В статье нет речи про увольнение гениев. В статье речь про увольнение токсичных гениев. С просто гениями всё просто, они никому не мешают. С просто токсиками тоже всё просто - вред очевиден, их увольняют. А вот с токсичными гениями решение принять не легко, о том и статья. Я бы на месте автора и человека-клея убрал, сфокусировавшись на одном явлении.
В защиту автора упомяну, что помимо увольнения ещё был вариант изоляции.
А что с ними не так? Вполне неплохо влезают в квантованном в Q4 виде в 16гб VRAM.
А смысл 30b гонять, когда 32b есть? или вы неквантованные гоняете?
А расскажите про софт, который используете! Как задействуете 2х RTX4060ti? Цель MultiGPU ведь обойти ограничение в объёме VRAM, а не получить параллельную работу нескольких моделей?
Приблизительно ни одна. Давно заглядываюсь на AMD AI 395, в качестве замены своей RTX 4060 Ti 16gb для инференса, чтобы бОльшие модели гонять или не настолько сильно квантованные, но пока это добро до ретейла дойдёт...
Не единственный, ещё можно взвесить свою покупательскую способность и расхотеть. А из перечисленного чот ничего миллионного, всё сравнительно бюджетное (недавно хотел купить FL Studio, но не смог из-за stripe/paypal, лол).