Вместо мяса покушайте сельдерей, он полезнее. Если человеку зачем-то нужен pptp, значит ему нужен pptp, а не l2tp+ipsec. Я понимаю, не ставить pptp по умолчанию, или, например вынести его в отдельную репу outdated, например. Но удалять.. Подобная проблема всплыла у новых ведроидов - нет pptp и всё. А ведь линух уже долгое время славится своей универсальностью и способностью работать на чём угодно и с чем угодно.
Очень хорошая статья, большое спасибо. Если можно такую же про обучение нейросети, чтоб на пальцах и масштабируемо до практического применения - было бы совсем прекрасно.
В двух словах - максимизировать использования людей как топлива для власти верхней прослойки общества.
Я ещё раз напомню, что большинству людей высшие цели не всрались, люди хотят того же, что и животные - кушать, быть в безопасности и получать удовольствие. И немного сверху этого.
Если вас интересует, а как жить дальше, то вместо регрессорства и репрессий почитайте про загрузку сознания и поспособствуйте, как можете в продление собственной жизни и работоспособности, и поучаствуйте в развитии ИИ общего назначения. Либо в любой другой области науки и техники, если это не рисование лендингов для жулья.
Только вступил закон в действие, как цена на такси выросла почти на 20%, по сравнению с поездками в то же время по тому же маршруту на том же тарифе. Что какбэ намекает, кто кому занёс и в чьих интересах закон.
Но что-то я слишком много языком треплю, пойду заплачу налог на налоги и пошлину на уплату пошлин.
Человечество уже сотни раз создавало PoC Василиска. От религии и государства до игилоидов.
В то же время сам Василиск - это контрпример к идеям Юдковского, который при всём показном гуманизме готов к человеческим жертвам ради "блага" остального человечества, не спрашивая ни жертв, ни человечество.
А как вы заставили тикитокен работать с текстом на кириллице? У меня получилось только разбить кириллический текст на отдельные символы, а не на би/триграммы.
GPT-2 1.5b вполне себе работает на обычном компе, даже на проце, с довольно приличной скоростью генерации(3-7 токенов в секунду). На гитхабе есть репозиторий picoGPT, попробуйте.
Сначала блок питания снизу корпуса, потом перевернутая видюха и два сокета под оперативку вместо четырех, теперь разъемы питания с обратной стороны платы. Всё лишь бы заставить купить пользователя к новой материнке не только проц и оперативку, но еще и новый корпус. Каждые два года.
Только ещё нюансы, что с 3.8 может не заработать, ибо требуется версия питона, совместимая с определенной версией transformers. Так же, может потребоваться установка Visual Studio, обычно этого требует модуль regex 2017.4.5. Я переписал пару функций, что-бы не запускать скрипт для обработки каждого промпта, а один раз запустить, и давать запросы как к чат-боту, ибо работа на проце довольно медленна, и генерация пары предложений может занять до минуты. Я добавил генерацию не N токенов, а N предложений, что вызывает глюки ,если в выводе нет точки(она считается маркером конца предложения. Так же, я добавил корявую реализацию top-p сэмплинга (что делает вывод в ответ на один и тот же промпт разнообразным), что-бы ускорить генерацию длинных предложений, я добавил окно в 40 токенов, которое сдвигается по массиву токенов по мере их генерации. Это всё улучшения чисто пользовательские, и не затрагивают работу нейросети или модель. Вот код
debug = False
def generate(inputs, params, n_head, sentence_n):
while True:
logits = gpt2(inputs[-40:], **params, n_head=n_head)[-1] # model forward pass
#Sort of top-p sampling
s = logits.argsort()[-20:][::-1]
slice = [x for x in s if ((1/logits[s[0]])*logits[x]>0.92)]
next_id = np.random.choice(slice)
# Debug output to see which token network choose
if debug:
print()
for index in slice:
if next_id == index:
print('V', index, logits[index], encoder.decode([index]))
else:
print(' ', index, logits[index], encoder.decode([index]))
#next_id = np.argmax(logits[-1]) # greedy sampling
inputs = np.append(inputs, [next_id]) # append prediction to input
if inputs[-1]==13:
sentence_n-=1
if sentence_n < 0:
break
print(encoder.decode([inputs[-1]]), end='', flush=True)
print()
if __name__ == "__main__":
from utils import load_encoder_hparams_and_params
model_size = "1558M"
models_dir = "models"
encoder, hparams, params = load_encoder_hparams_and_params(model_size, models_dir)
while True:
prompt = input('>')
if prompt == '':
continue
# encode the input string using the BPE tokenizer
t = time.time()
input_ids = encoder.encode(prompt)
# make sure we are not surpassing the max sequence length of our model
#assert len(input_ids) + n_tokens_to_generate < hparams["n_ctx"]
# generate output ids
output_ids = generate(input_ids, params, hparams["n_head"], 3) # Max number of sentences is 5
# decode the ids back into a string
encoder.decode(output_ids)
print(time.time() - t)
Если вдруг кто знает, как файн-тюнить такую модель - прошу подсказать.
У меня есть похожий девайс. Win7 на него встает, но работает с большим трудом, а 32-битный процессор сильно ограничивает возможность поставить свежий софт.
Я тоже обучал chatgpt языку программирования, не существующему нигде, кроме моего компьютера и моей головы. Программы, с третьей-пятой попытки получались рабочими.
Правда, сейчас chatgpt стала генерировать "скучные" ответы на нетехнические вопросы, как-будто ее специально "отупили".
Проще. У вас миллионные долги? - Надо пахать и отдавать. У вас просто долги? - Надо пахать и отдавать. У вас нет долгов и нет сбережений? - Пахать и копить. У вас есть небольшие сбережения? - Пахать и инвестировать. Вы миллионер? - Пахать и становиться миллиардером. Вы Миллиардер? - Пахать и становиться самым богатым человеком в мире. Вы Илон Маск? - Рад знакомству, впрочем, вы сами знаете, что надо пахать дальше.
Такое себе приложение, chatgpt позволяет вести куда более интересные беседы. Если не выбирать слишком сложные темы, chatgpt можно принять за реального человека, а Реплика прям совсем бот.
Платный вариант Реплики не пробовал, да и не интересовался. Да и вообще, чат-бот на нейросетях для пошлых переписок - довольно глупая идея. Нужно идти дальше, и делать симулятор свиданий/эроге с соответствующим графическим контентом, но такое магазин приложений не пропустит. Но в этой нише есть деньги. И стим, который любую порнуху пропустит.
Во имя прибыли. Основных причин зоопарка стандартов три - первая - что-бы привязать потребителя к своему товару и не дать ему потратить деньги у конкурента. Вторая - упростить работу проектировщикам, что-бы не нужно было проектировать всё устройство под детали - впихивать разъём, что-бы шлейф до него достал, и т.д. Третья - not invented here.
Уаы, но без голода население увеличится, и голод снова настигнет.
Мы, конечно питаемся лучше, чем наши предки, но если посмотреть на магазинную еду, то становится печально. Продукты из самых дешевых ингридиентов, просрочка, плохая упаковка, плохие условия производство, большая часть пригодного к съедению здесь и сейчас(ну не буду я в обеденный перерыв варить себе суп или жарить яичницу) - это сахар и хлебное.
Вместо мяса покушайте сельдерей, он полезнее.
Если человеку зачем-то нужен pptp, значит ему нужен pptp, а не l2tp+ipsec. Я понимаю, не ставить pptp по умолчанию, или, например вынести его в отдельную репу outdated, например. Но удалять.. Подобная проблема всплыла у новых ведроидов - нет pptp и всё. А ведь линух уже долгое время славится своей универсальностью и способностью работать на чём угодно и с чем угодно.
Очень хорошая статья, большое спасибо. Если можно такую же про обучение нейросети, чтоб на пальцах и масштабируемо до практического применения - было бы совсем прекрасно.
В двух словах - максимизировать использования людей как топлива для власти верхней прослойки общества.
Я ещё раз напомню, что большинству людей высшие цели не всрались, люди хотят того же, что и животные - кушать, быть в безопасности и получать удовольствие. И немного сверху этого.
Если вас интересует, а как жить дальше, то вместо регрессорства и репрессий почитайте про загрузку сознания и поспособствуйте, как можете в продление собственной жизни и работоспособности, и поучаствуйте в развитии ИИ общего назначения. Либо в любой другой области науки и техники, если это не рисование лендингов для жулья.
Только вступил закон в действие, как цена на такси выросла почти на 20%, по сравнению с поездками в то же время по тому же маршруту на том же тарифе. Что какбэ намекает, кто кому занёс и в чьих интересах закон.
Но что-то я слишком много языком треплю, пойду заплачу налог на налоги и пошлину на уплату пошлин.
Аналогом Василиска является куча уже существующих идей, от религии до террористических ячеек вроде тех, что с чёрным флагом на ближнем востоке.
"Сейчас мы слабы, задонать нам/воюй за нас, ведь когда мы станем сильными, мы подвергнем ДАННЫЕ УДАЛЕНЫ всех ДАННЫЕ УДАЛЕНЫ"
Человечество уже сотни раз создавало PoC Василиска. От религии и государства до игилоидов.
В то же время сам Василиск - это контрпример к идеям Юдковского, который при всём показном гуманизме готов к человеческим жертвам ради "блага" остального человечества, не спрашивая ни жертв, ни человечество.
А как вы заставили тикитокен работать с текстом на кириллице? У меня получилось только разбить кириллический текст на отдельные символы, а не на би/триграммы.
GPT-2 1.5b вполне себе работает на обычном компе, даже на проце, с довольно приличной скоростью генерации(3-7 токенов в секунду). На гитхабе есть репозиторий picoGPT, попробуйте.
Сначала блок питания снизу корпуса, потом перевернутая видюха и два сокета под оперативку вместо четырех, теперь разъемы питания с обратной стороны платы. Всё лишь бы заставить купить пользователя к новой материнке не только проц и оперативку, но еще и новый корпус. Каждые два года.
Только ещё нюансы, что с 3.8 может не заработать, ибо требуется версия питона, совместимая с определенной версией transformers.
Так же, может потребоваться установка Visual Studio, обычно этого требует модуль regex 2017.4.5.
Я переписал пару функций, что-бы не запускать скрипт для обработки каждого промпта, а один раз запустить, и давать запросы как к чат-боту, ибо работа на проце довольно медленна, и генерация пары предложений может занять до минуты. Я добавил генерацию не N токенов, а N предложений, что вызывает глюки ,если в выводе нет точки(она считается маркером конца предложения. Так же, я добавил корявую реализацию top-p сэмплинга (что делает вывод в ответ на один и тот же промпт разнообразным), что-бы ускорить генерацию длинных предложений, я добавил окно в 40 токенов, которое сдвигается по массиву токенов по мере их генерации. Это всё улучшения чисто пользовательские, и не затрагивают работу нейросети или модель. Вот код
Если вдруг кто знает, как файн-тюнить такую модель - прошу подсказать.
Дообучение возможно, но не в этом примере. Я пытаюсь понять, как его добавить, но знаний не хватает.
Примеры вывода, нам нужны примеры!
У меня есть похожий девайс. Win7 на него встает, но работает с большим трудом, а 32-битный процессор сильно ограничивает возможность поставить свежий софт.
Я тоже обучал chatgpt языку программирования, не существующему нигде, кроме моего компьютера и моей головы. Программы, с третьей-пятой попытки получались рабочими.
Правда, сейчас chatgpt стала генерировать "скучные" ответы на нетехнические вопросы, как-будто ее специально "отупили".
Как страшно жить, кругом враги. Значит, мы введём очередной антинародный закон и закрутим гайки.
Проще.
У вас миллионные долги? - Надо пахать и отдавать.
У вас просто долги? - Надо пахать и отдавать.
У вас нет долгов и нет сбережений? - Пахать и копить.
У вас есть небольшие сбережения? - Пахать и инвестировать.
Вы миллионер? - Пахать и становиться миллиардером.
Вы Миллиардер? - Пахать и становиться самым богатым человеком в мире.
Вы Илон Маск? - Рад знакомству, впрочем, вы сами знаете, что надо пахать дальше.
А теперь есть ChatGPT, которая достаточно хорошо подражает людям в плане общения.
Такое себе приложение, chatgpt позволяет вести куда более интересные беседы. Если не выбирать слишком сложные темы, chatgpt можно принять за реального человека, а Реплика прям совсем бот.
Платный вариант Реплики не пробовал, да и не интересовался. Да и вообще, чат-бот на нейросетях для пошлых переписок - довольно глупая идея. Нужно идти дальше, и делать симулятор свиданий/эроге с соответствующим графическим контентом, но такое магазин приложений не пропустит. Но в этой нише есть деньги. И стим, который любую порнуху пропустит.
Во имя прибыли. Основных причин зоопарка стандартов три - первая - что-бы привязать потребителя к своему товару и не дать ему потратить деньги у конкурента. Вторая - упростить работу проектировщикам, что-бы не нужно было проектировать всё устройство под детали - впихивать разъём, что-бы шлейф до него достал, и т.д. Третья - not invented here.
Уаы, но без голода население увеличится, и голод снова настигнет.
Мы, конечно питаемся лучше, чем наши предки, но если посмотреть на магазинную еду, то становится печально. Продукты из самых дешевых ингридиентов, просрочка, плохая упаковка, плохие условия производство, большая часть пригодного к съедению здесь и сейчас(ну не буду я в обеденный перерыв варить себе суп или жарить яичницу) - это сахар и хлебное.