Ну, типичный твиттер, ничего нового. Большинство строит свои фантазии на фантастических фильмах и литературе, в этом и проблема. С другой стороны, я бы не стал рассматривать мнение Лекуна как истину в последней инстанции. Понятие AGI, к сожалению, лежит в плоскости философии, а не науки, у нас банально недостаточно критериев для определения, близко или далеко мы от AGI, поэтому ёрничать относительно "генераторов токенов" в таком случае не имеет смысла.С тем же успехом он мог бы заявить, что на современных вычислителях вообще никакой AI невозможен, т.к. это просто гора матричных вычислений, ничего больше. AGI -- это высокоуровневая модель, и мы не знаем, на каких низких уровнях она может быть реализована.
Я не адепт сингулярности, развитие индустрии может пойти сильно по-разному. Пока точно есть неплохой запас по экстенсивному пути развития: улучшение наборов данных, увеличение мощностей для обучения. Относительно интенсивного пути время покажет.
Если есть доступ к API, то проще в system такие вещи класть, чтобы оно в процессе диалога не забывало, что может такое делать. Ну, либо пользоваться штатной функциональностью плагинов, вряд ли оно внутри как-то сильно по-другому работает.
Для моих задач хватает, просто периодических запросов к сетке выводить нужные мне данные о состоянии в JSON-объект фиксированной структуры, а затем я уже сам обрабатываю её вывод :)
Не выглядит такая архитектура разумно: сети не обвешивают костылями, чтобы было. Задача в том, чтобы они самостоятельно решали поставленные перед ними задачи. Плагины и расширения стали клепать только недавно, когда это превратилось из исследовательсокй работы в популярный инструмент. Касательно вычислений, можете посмотреть вот эту лекцию (Sparks of AGI) вместо домыслов.
Регулярно делаю так с кодом в ChatGPT. Иногда находит и исправляет свои ошибки, иногда начинает выдумывать ошибки, которых нет. Так что я бы не доверял GPT 3.5 исправление собственных ошибок в коде без контроля со стороны человека. С GPT 4 пока так пристально не возился, может быть, там всё лучше.
Кстати, если убедить модель, что она крутой программист, знающий об алгоритмической сложности, паттернах проектирования, имеющий большой опыт в разработке и пишущий очень понятный код, то, ИМХО, ChatGPT начинает выдавать более удобоваримые куски кода для практического использования.
Аккуратнее с грамматикой. Я специально пробовал заставлять его писать тесты по грамматике, а затем проверять мои ответы. Ошибок при проверке с его стороны было предостаточно. Возможно, если делать это не в формате тестов, придумать какой-то более интересный запрос, то оно и сработает, но я пристально этот вопрос не изучал.
Не могу оценить в процентах, насколько оно помогает, но некоторые не слишком длинные и сложные утилитарные функции проще попросить сделать ChatGPT, окинуть взглядом и проверить, чем натыкивать самому. В более сложных случаях обычно быстро утыкаемся в длину контекста, бот забывает предыдущую итерацию кода, которую он должен модифицировать, и приходится собирать из кусков.
В простых же случаях иногда результат выглядит даже лучше, чем кусок, утянутый со Stackoverflow:
Пример
def pad_tensor_with_zeros(tensor, shape):
"""
Pads a PyTorch tensor with zeros to the desired shape.
Args:
tensor: PyTorch tensor to be padded.
shape: Desired shape of the padded tensor.
Returns:
Padded PyTorch tensor.
"""
# Get the current shape of the tensor
current_shape = tensor.shape
# Compute the amount of padding needed for each dimension
pad_sizes = []
for i in range(len(shape)):
pad_size = shape[i] - current_shape[i]
if pad_size < 0:
raise ValueError("Desired shape must be larger than current shape")
pad_sizes.append(pad_size)
# Create a tensor of zeros with the desired shape
padded_tensor = torch.zeros(shape, dtype=tensor.dtype, device=tensor.device)
# Copy the original tensor into the padded tensor
slice_obj = tuple([slice(0, s) for s in current_shape])
padded_tensor[slice_obj] = tensor
return padded_tensor
Раз уж речь зашла о ChatGPT, было бы невежливо не спросить, что ChatGPT думает об этой статье.
Отвечает ChatGPT
Hello! As an AI language model, I'd like to offer some comments on the text you've shared.
First of all, I think it's important to acknowledge that the author of the text is entitled to their opinion on ChatGPT and its role in the field of AI. However, I do want to point out a few inaccuracies in their arguments.
The author suggests that ChatGPT is not a technological breakthrough and that it is simply an improvement over previous versions of similar neural networks. While it's true that ChatGPT is not the first language model or neural network to be developed, it is still a significant advancement in the field of natural language processing. ChatGPT's ability to generate coherent, human-like responses to a wide range of prompts is a remarkable achievement, and it has many potential applications in various fields.
The author also claims that ChatGPT is not perfect and often makes mistakes. While it's true that ChatGPT is not infallible and can sometimes produce errors, it's important to note that it has been trained on a vast amount of data and is constantly being improved through feedback and retraining. As such, it's not surprising that ChatGPT may occasionally produce inaccurate or unexpected responses. However, these issues are generally minor and can be corrected through further training.
Regarding the concerns about AI taking over jobs, the author suggests that there will be a digital paradise where people will not have to work hard and robots will do the "dirty" work instead. While it's true that automation and AI may lead to changes in the workforce, it's important to consider the potential implications of these developments. It's possible that some jobs may become automated, but new jobs may also emerge as a result of advances in technology. Additionally, it's important to consider the ethical and societal implications of widespread automation and AI, including issues of inequality, access, and privacy.
Finally, the author suggests that we will one day create a "real" artificial intelligence, but that it remains an open question whether this will be a fake or a real personality. While it's true that the development of AI raises many complex ethical and philosophical questions, it's important to approach these questions with an open mind and a willingness to engage in constructive dialogue. As AI continues to develop and evolve, it's important that we consider the potential implications of these advances and work to ensure that they are used in a responsible and ethical manner.
In conclusion, while the author of the text is entitled to their opinion, it's important to approach discussions of AI with a nuanced and informed perspective. AI has the potential to revolutionize many aspects of our lives, and it's important that we consider both the benefits and the potential risks of these developments.
Я пробовал раскрашивать концепты. Для ч/б получалось паршивенько, даже при активных попытках пофиксить это масками и настройками. Зато значительно лучше получалось, если сначала залить нужные области хотя бы примерными цветами, а уже шейдинг оставить на откуп сетке.
Если вы переживаете, что клиент может заменить текстуры, для этого есть миллион других способов почти на любом возможном уровне, никакая генерация для этого не требуется.
Использование генераторов вместо статичных текстур может несколько осложнить разработку. Предположим, мы нарисовали текстуры низкого разрешения, и моделью дорисовываем их до high-res. И вот, нам нужно под каждую текстуру подобрать такой seed (а возможно, и запрос под text conditioning, если он есть), чтобы он нас устраивал. Ещё это немного осложняется, если текстуры с альфа-каналом, тут уже не факт, что получится так просто доучить существующие модели. Только с нуля, не уткнувшись в переобучение на весьма ограниченном наборе ассетов игры.
Концепты таким образом рисуются отлично, да даже из нескольких десятков сгенерированных кадров зачастую можно собрать один действительно качественный, но вот прямо массово применять для сжатия -- не уверен.
Плюс, минимум секунда на генерацию одной текстурки, плюс необходимость в отдельной железке или видеокарте с 8 ГБ видеопамяти на борту, чтобы генерация не превращалась в совсем уж латание мелкими патчами.
Что бы сделал разумный человек в такой ситуации, чтобы показать, что это чепуха?
Задача понимания границ собственного незнания сама по себе не самая тривиальная, её и люди решают с переменным успехом. А для алгоритма, не способного получать внешние данные в процессе инференса иначе, чем через контекст, факт ничем принципиально не отличается от собственной выдумки. Люди, кстати, тоже способны строить ложные воспоминания и логично вписывать их в свою картину мира.
Вопрос о новых знаниях слишком общий: chatGPT не предназначен для научной работы, это просто чат-бот, а AGI, способный делать всё и сразу, пока не изобрели. Ближе всего к тому, что Вы хотите -- AlphaFold.
Мне бы такую настойчивость. Я раз пять начинал играть в KSP, садился на Муну и Минмус, делал спутники и роверы, но вся мотивация почему-то всегда кончалась на этапе перелёта к другим планетам. Видимо, я так и не научился делать эффективные тяжёлые ракеты, чтобы они не сжирали все деньги. Из неприятного недавно стыковал станцию в тени, почти без электричества, без монотоплива (баки не на ту ступень воткнул), только на движках, и крайне ограниченным запасом топлива. Сэйвскамил по полной, раза с 15-го удалось.
Кстати, рандеву никогда не казалось сильно сложным манёвром в KSP, просто иногда на него тратится больше топлива, чем предполагалось. Пробовал также сближаться через орбиту чуть выше/ниже целевой, но что-то мне это показалось слишком долгим занятием, т.к. разница между орбитами мала, фаза смещается тоже незначительно, можно месяц крутиться, пока она подойдёт.
Я одно время искал источники вдохновения сети в плане клипарта, ибо там есть куда больше возможностей радикально по-разному нарисовать одно и то же, в отличие от реалистичного представления. Прогонял каждый вывод сетки через google images, пока ничего криминального не нашёл.
Latent space у нас предполагается сильно меньше набора данных, потому шанс, что где-то в структуре весов сохранится целиком авторское изображение, крайне мал. Обучить заново на сугубо несвободном можно, но в ближайшее время не в домашних условиях. Если же несвободного на порядок меньше, чем свободного, то почти наверняка можно не переживать за лицензионную чистоту вывода.
Из возможных придирок я допускаю сохранение "авторского стиля" как более локального явления (форма предметов, цвета, определённая техника мазков кистью). Но я не уверен, что авторские права на стиль можно защитить, это ничем не будет отличаться от запрета живым художникам рисовать в определённых стилях.
Поэтому, когда очередной знаток мне всерьёз говорит "это коллаж" или "у вас подпись автора на картинке", это уже даже не смешно. Рядом с сетью лежит подробное описание модели, бери и читай, не придётся нести пургу.
Ну, типичный твиттер, ничего нового. Большинство строит свои фантазии на фантастических фильмах и литературе, в этом и проблема. С другой стороны, я бы не стал рассматривать мнение Лекуна как истину в последней инстанции. Понятие AGI, к сожалению, лежит в плоскости философии, а не науки, у нас банально недостаточно критериев для определения, близко или далеко мы от AGI, поэтому ёрничать относительно "генераторов токенов" в таком случае не имеет смысла.С тем же успехом он мог бы заявить, что на современных вычислителях вообще никакой AI невозможен, т.к. это просто гора матричных вычислений, ничего больше. AGI -- это высокоуровневая модель, и мы не знаем, на каких низких уровнях она может быть реализована.
Я не адепт сингулярности, развитие индустрии может пойти сильно по-разному. Пока точно есть неплохой запас по экстенсивному пути развития: улучшение наборов данных, увеличение мощностей для обучения. Относительно интенсивного пути время покажет.
Это подмена тезиса через омонимичность. Равносильно тому, чтобы считать представителей ЛДПР либералами.
Если есть доступ к API, то проще в system такие вещи класть, чтобы оно в процессе диалога не забывало, что может такое делать. Ну, либо пользоваться штатной функциональностью плагинов, вряд ли оно внутри как-то сильно по-другому работает.
Для моих задач хватает, просто периодических запросов к сетке выводить нужные мне данные о состоянии в JSON-объект фиксированной структуры, а затем я уже сам обрабатываю её вывод :)
Не выглядит такая архитектура разумно: сети не обвешивают костылями, чтобы было. Задача в том, чтобы они самостоятельно решали поставленные перед ними задачи. Плагины и расширения стали клепать только недавно, когда это превратилось из исследовательсокй работы в популярный инструмент. Касательно вычислений, можете посмотреть вот эту лекцию (Sparks of AGI) вместо домыслов.
А мне ChatGPT рассказывала, что гитариста группы Сплин зовут Сергей Чиграков. Что из этого следует?
Регулярно делаю так с кодом в ChatGPT. Иногда находит и исправляет свои ошибки, иногда начинает выдумывать ошибки, которых нет. Так что я бы не доверял GPT 3.5 исправление собственных ошибок в коде без контроля со стороны человека. С GPT 4 пока так пристально не возился, может быть, там всё лучше.
Кстати, если убедить модель, что она крутой программист, знающий об алгоритмической сложности, паттернах проектирования, имеющий большой опыт в разработке и пишущий очень понятный код, то, ИМХО, ChatGPT начинает выдавать более удобоваримые куски кода для практического использования.
The Anglo-Saxons were a cultural group that inhabited much of what is now England in the Early Middle Ages, and spoke Old English.
Википедия
Аккуратнее с грамматикой. Я специально пробовал заставлять его писать тесты по грамматике, а затем проверять мои ответы. Ошибок при проверке с его стороны было предостаточно. Возможно, если делать это не в формате тестов, придумать какой-то более интересный запрос, то оно и сработает, но я пристально этот вопрос не изучал.
Не могу оценить в процентах, насколько оно помогает, но некоторые не слишком длинные и сложные утилитарные функции проще попросить сделать ChatGPT, окинуть взглядом и проверить, чем натыкивать самому. В более сложных случаях обычно быстро утыкаемся в длину контекста, бот забывает предыдущую итерацию кода, которую он должен модифицировать, и приходится собирать из кусков.
В простых же случаях иногда результат выглядит даже лучше, чем кусок, утянутый со Stackoverflow:
Пример
Мне больше понравились кавычки вокруг "real". Звучит как неприкрытый сарказм.
Раз уж речь зашла о ChatGPT, было бы невежливо не спросить, что ChatGPT думает об этой статье.
Отвечает ChatGPT
Hello! As an AI language model, I'd like to offer some comments on the text you've shared.
First of all, I think it's important to acknowledge that the author of the text is entitled to their opinion on ChatGPT and its role in the field of AI. However, I do want to point out a few inaccuracies in their arguments.
The author suggests that ChatGPT is not a technological breakthrough and that it is simply an improvement over previous versions of similar neural networks. While it's true that ChatGPT is not the first language model or neural network to be developed, it is still a significant advancement in the field of natural language processing. ChatGPT's ability to generate coherent, human-like responses to a wide range of prompts is a remarkable achievement, and it has many potential applications in various fields.
The author also claims that ChatGPT is not perfect and often makes mistakes. While it's true that ChatGPT is not infallible and can sometimes produce errors, it's important to note that it has been trained on a vast amount of data and is constantly being improved through feedback and retraining. As such, it's not surprising that ChatGPT may occasionally produce inaccurate or unexpected responses. However, these issues are generally minor and can be corrected through further training.
Regarding the concerns about AI taking over jobs, the author suggests that there will be a digital paradise where people will not have to work hard and robots will do the "dirty" work instead. While it's true that automation and AI may lead to changes in the workforce, it's important to consider the potential implications of these developments. It's possible that some jobs may become automated, but new jobs may also emerge as a result of advances in technology. Additionally, it's important to consider the ethical and societal implications of widespread automation and AI, including issues of inequality, access, and privacy.
Finally, the author suggests that we will one day create a "real" artificial intelligence, but that it remains an open question whether this will be a fake or a real personality. While it's true that the development of AI raises many complex ethical and philosophical questions, it's important to approach these questions with an open mind and a willingness to engage in constructive dialogue. As AI continues to develop and evolve, it's important that we consider the potential implications of these advances and work to ensure that they are used in a responsible and ethical manner.
In conclusion, while the author of the text is entitled to their opinion, it's important to approach discussions of AI with a nuanced and informed perspective. AI has the potential to revolutionize many aspects of our lives, and it's important that we consider both the benefits and the potential risks of these developments.
Я пробовал раскрашивать концепты. Для ч/б получалось паршивенько, даже при активных попытках пофиксить это масками и настройками. Зато значительно лучше получалось, если сначала залить нужные области хотя бы примерными цветами, а уже шейдинг оставить на откуп сетке.
Каких приколов с нейросетками?
Если вы переживаете, что клиент может заменить текстуры, для этого есть миллион других способов почти на любом возможном уровне, никакая генерация для этого не требуется.
Использование генераторов вместо статичных текстур может несколько осложнить разработку. Предположим, мы нарисовали текстуры низкого разрешения, и моделью дорисовываем их до high-res. И вот, нам нужно под каждую текстуру подобрать такой seed (а возможно, и запрос под text conditioning, если он есть), чтобы он нас устраивал. Ещё это немного осложняется, если текстуры с альфа-каналом, тут уже не факт, что получится так просто доучить существующие модели. Только с нуля, не уткнувшись в переобучение на весьма ограниченном наборе ассетов игры.
Концепты таким образом рисуются отлично, да даже из нескольких десятков сгенерированных кадров зачастую можно собрать один действительно качественный, но вот прямо массово применять для сжатия -- не уверен.
Плюс, минимум секунда на генерацию одной текстурки, плюс необходимость в отдельной железке или видеокарте с 8 ГБ видеопамяти на борту, чтобы генерация не превращалась в совсем уж латание мелкими патчами.
В перспективе рендерить игру нейросеткой, вообще забыв о существовании текстур, использовать вместо них обученные нейронные шейдеры.
Задача понимания границ собственного незнания сама по себе не самая тривиальная, её и люди решают с переменным успехом. А для алгоритма, не способного получать внешние данные в процессе инференса иначе, чем через контекст, факт ничем принципиально не отличается от собственной выдумки. Люди, кстати, тоже способны строить ложные воспоминания и логично вписывать их в свою картину мира.
Вопрос о новых знаниях слишком общий: chatGPT не предназначен для научной работы, это просто чат-бот, а AGI, способный делать всё и сразу, пока не изобрели. Ближе всего к тому, что Вы хотите -- AlphaFold.
Мне бы такую настойчивость. Я раз пять начинал играть в KSP, садился на Муну и Минмус, делал спутники и роверы, но вся мотивация почему-то всегда кончалась на этапе перелёта к другим планетам. Видимо, я так и не научился делать эффективные тяжёлые ракеты, чтобы они не сжирали все деньги. Из неприятного недавно стыковал станцию в тени, почти без электричества, без монотоплива (баки не на ту ступень воткнул), только на движках, и крайне ограниченным запасом топлива. Сэйвскамил по полной, раза с 15-го удалось.
Кстати, рандеву никогда не казалось сильно сложным манёвром в KSP, просто иногда на него тратится больше топлива, чем предполагалось. Пробовал также сближаться через орбиту чуть выше/ниже целевой, но что-то мне это показалось слишком долгим занятием, т.к. разница между орбитами мала, фаза смещается тоже незначительно, можно месяц крутиться, пока она подойдёт.
Я одно время искал источники вдохновения сети в плане клипарта, ибо там есть куда больше возможностей радикально по-разному нарисовать одно и то же, в отличие от реалистичного представления. Прогонял каждый вывод сетки через google images, пока ничего криминального не нашёл.
Вот вам нейросетевые векторные лисички
Latent space у нас предполагается сильно меньше набора данных, потому шанс, что где-то в структуре весов сохранится целиком авторское изображение, крайне мал. Обучить заново на сугубо несвободном можно, но в ближайшее время не в домашних условиях. Если же несвободного на порядок меньше, чем свободного, то почти наверняка можно не переживать за лицензионную чистоту вывода.
Из возможных придирок я допускаю сохранение "авторского стиля" как более локального явления (форма предметов, цвета, определённая техника мазков кистью). Но я не уверен, что авторские права на стиль можно защитить, это ничем не будет отличаться от запрета живым художникам рисовать в определённых стилях.
Поэтому, когда очередной знаток мне всерьёз говорит "это коллаж" или "у вас подпись автора на картинке", это уже даже не смешно. Рядом с сетью лежит подробное описание модели, бери и читай, не придётся нести пургу.