Модель модифицирует скрипты, чтобы заблокировать механизмы собственного отключения.
Ну да, что может пойти не так от смешения control plane и data plane, где control plane правит себя в рантайме? Старый добрый принцип же - то, что исполняется - readonly, что меняется - noexec.
У нефролога, поглядывайте за уровнем креатинина и скоростью клубочковой фильтрации. Если сейчас в норме - круто, постоянно перепроверять не надо, раз в год-три норм.
Тоже месяца два назад с подобным игрался. Небольшой трюк с производительностью: я использовал одну и ту же модель, просто жонглировал контекстом - подменял для второй модели роли в истории диалога assistant, user = user, assistant. Зачем - не надо выгружать модельку из памяти видеокарты, работает существенно быстрее (у меня rtx5060ti16g).
Тему поначалу зашивал в системный промпт, но вышло не очень, поэтому одна из моделей - топикстартер. А в системный промпт я зашиааю чот типа модус операнди - характер, с которым модель должна отвечать. Самое прекрасное было стравить "психотерапевта" с "невротиком" на 300 сообщений.
VPN для работы в белую внутри России вроде большой проблемой не был. Помню новости про всякие реестры/белые списки у РКН, типа достаточно уведомить что организуете удаленку и сообщить IP адреса серверов + протоколы (даже не обязательно православные). Неудобно? Да. Безвыходность? Ну, нет.
Сам сижу на удалёнке при офисе в моём же городе, пользуюсь корпоративным VPN, брат жив. Как именно организовывалось - не знаю, да и выборка из меня и одной компании так себе.
Ну, раньше всратую HTML страничку накодить было сильно дороже, как минимум из-за времени работы мониторов кодера, который несколько часов какие-нибудь технические детали выяснять будет чтобы одну строчку в CSS поправить (а потом ещё и проголодается и пойдёт есть!). Сейчас ≈10000 токенов сгенерировать за 1-2 минуты можно в домашних условиях за те же OPEX'ы, что и при игре в какой-нибудь шутан, даже не ААА-класса.
В статье нет речи про увольнение гениев. В статье речь про увольнение токсичных гениев. С просто гениями всё просто, они никому не мешают. С просто токсиками тоже всё просто - вред очевиден, их увольняют. А вот с токсичными гениями решение принять не легко, о том и статья. Я бы на месте автора и человека-клея убрал, сфокусировавшись на одном явлении.
В защиту автора упомяну, что помимо увольнения ещё был вариант изоляции.
А расскажите про софт, который используете! Как задействуете 2х RTX4060ti? Цель MultiGPU ведь обойти ограничение в объёме VRAM, а не получить параллельную работу нескольких моделей?
Цены и дата начала продаж пока не объявлены Какие новинки показались интересными? Делитесь в комментариях
Приблизительно ни одна. Давно заглядываюсь на AMD AI 395, в качестве замены своей RTX 4060 Ti 16gb для инференса, чтобы бОльшие модели гонять или не настолько сильно квантованные, но пока это добро до ретейла дойдёт...
Не единственный, ещё можно взвесить свою покупательскую способность и расхотеть. А из перечисленного чот ничего миллионного, всё сравнительно бюджетное (недавно хотел купить FL Studio, но не смог из-за stripe/paypal, лол).
договориться с ними на заведение таски, в идеале вытрясти договорённость запланировать её или даже сразу сроки, возможно призвав для пущей вбедительности и политического веса кого-то из менеджмента со своей стороны, шоб накидали им в панамку и планировалось не на через два квартала, а бросили текущие задачи.
откатить ломающий код со своей стороны (раньше же работало) или подпереть костылём, если дело дошло до прода
заведение таски с блокером из п.2 на его восстановление, когда команда CRM дочинит свою сторону?
Ну да, что может пойти не так от смешения control plane и data plane, где control plane правит себя в рантайме? Старый добрый принцип же - то, что исполняется - readonly, что меняется - noexec.
Вот ведь удар в псину, я так ждал 12-14b модель, которая идеально подходит для работы с большим контекстом в пределах 16gb VRAM…
У нефролога, поглядывайте за уровнем креатинина и скоростью клубочковой фильтрации. Если сейчас в норме - круто, постоянно перепроверять не надо, раз в год-три норм.
А блоггер не умирает?
Тоже месяца два назад с подобным игрался. Небольшой трюк с производительностью: я использовал одну и ту же модель, просто жонглировал контекстом - подменял для второй модели роли в истории диалога assistant, user = user, assistant. Зачем - не надо выгружать модельку из памяти видеокарты, работает существенно быстрее (у меня rtx5060ti16g).
Тему поначалу зашивал в системный промпт, но вышло не очень, поэтому одна из моделей - топикстартер. А в системный промпт я зашиааю чот типа модус операнди - характер, с которым модель должна отвечать. Самое прекрасное было стравить "психотерапевта" с "невротиком" на 300 сообщений.
Исходники какой-то ранней версии: https://gist.github.com/strizhechenko/e940ecbe20dfa7d7a8397f2e29bf1c7e
Своей нейронки способной что-то делать почти ни у кого нет. Есть чужая в облаке.
VPN для работы в белую внутри России вроде большой проблемой не был. Помню новости про всякие реестры/белые списки у РКН, типа достаточно уведомить что организуете удаленку и сообщить IP адреса серверов + протоколы (даже не обязательно православные). Неудобно? Да. Безвыходность? Ну, нет.
Сам сижу на удалёнке при офисе в моём же городе, пользуюсь корпоративным VPN, брат жив. Как именно организовывалось - не знаю, да и выборка из меня и одной компании так себе.
Зато память не течёт!
Ну, раньше всратую HTML страничку накодить было сильно дороже, как минимум из-за времени работы мониторов кодера, который несколько часов какие-нибудь технические детали выяснять будет чтобы одну строчку в CSS поправить (а потом ещё и проголодается и пойдёт есть!). Сейчас ≈10000 токенов сгенерировать за 1-2 минуты можно в домашних условиях за те же OPEX'ы, что и при игре в какой-нибудь шутан, даже не ААА-класса.
@
Операция не идемпотентна
В статье нет речи про увольнение гениев. В статье речь про увольнение токсичных гениев. С просто гениями всё просто, они никому не мешают. С просто токсиками тоже всё просто - вред очевиден, их увольняют. А вот с токсичными гениями решение принять не легко, о том и статья. Я бы на месте автора и человека-клея убрал, сфокусировавшись на одном явлении.
В защиту автора упомяну, что помимо увольнения ещё был вариант изоляции.
А что с ними не так? Вполне неплохо влезают в квантованном в Q4 виде в 16гб VRAM.
А смысл 30b гонять, когда 32b есть? или вы неквантованные гоняете?
А расскажите про софт, который используете! Как задействуете 2х RTX4060ti? Цель MultiGPU ведь обойти ограничение в объёме VRAM, а не получить параллельную работу нескольких моделей?
Приблизительно ни одна. Давно заглядываюсь на AMD AI 395, в качестве замены своей RTX 4060 Ti 16gb для инференса, чтобы бОльшие модели гонять или не настолько сильно квантованные, но пока это добро до ретейла дойдёт...
Не единственный, ещё можно взвесить свою покупательскую способность и расхотеть. А из перечисленного чот ничего миллионного, всё сравнительно бюджетное (недавно хотел купить FL Studio, но не смог из-за stripe/paypal, лол).
Понял, что я, кажется, архитектор, хоть и менеджер.
Кот бы говорил. Открыл приложение билайна:
на входе модалка с "листопадом скидок" на какие-то сервисы;
зашёл а сервисы:
оплата по QR, через переводы со счёта,
реклама карты одного банка, карты с кэшбэком попугаями в одной продуктовой сети, кредиток, вероятно это 4 карточки одного и того же банка.
ээээ ювелирка?
3 одинаковых карточки в популярном, дайджесте и развлечениях.
предложение продать друга за 25000 попугаев.
ура, пополнение баланса, хоть что-то связанное с сотовой связью
дальше что-то действительно похожее на ваши сервисы
А у вас кто?
А в чём проблема:
сформулировать проблему для команды CRM,
договориться с ними на заведение таски, в идеале вытрясти договорённость запланировать её или даже сразу сроки, возможно призвав для пущей вбедительности и политического веса кого-то из менеджмента со своей стороны, шоб накидали им в панамку и планировалось не на через два квартала, а бросили текущие задачи.
откатить ломающий код со своей стороны (раньше же работало) или подпереть костылём, если дело дошло до прода
заведение таски с блокером из п.2 на его восстановление, когда команда CRM дочинит свою сторону?