Ну тут стоит различать Сильный ИИ (тот, который упомянули вы) и Общий ИИ (пресловутый AGI, по одному из определений, выполняющий на уровне человека до 80% экономически значимых задач).
Крупные компании сейчас бегут в AGI, а не в Сильный ИИ. Так что возможно самосознание еще долго будет оставаться на кожанномешочном.
Идея интересная, но как-будто уже известные вещи решают каждую из описанных проблем эффективнее:
Distributed Data Parallel, Fully Shared Data Parallel или DeepSpeed для распределенного обучения
Адаптеры вроде P-tuning, LoRA и еще 1000000 способов для дообучения без риска потерять исходную модель
Мешать новую выборку для дообучения с выборкой из иходного датасета или настраивать Loss-функцию так, чтобы выход дообученной модели не сильно расходился с претрейном для стабильного дообучения с минимальным забыванием
Идея с тем, чтобы усреднять веса модели и как-то еще их объединять интересная, но как будто для того, чтобы пришлось применять этот метод, а не один из вышеписанных должно сойтись слишком много звезд на небе или мне кажется?
Не проще/эффективнее в том случае смотреть как комбинировать и эффективнее учить адаптеры?
Автор, скорее всего не совсем знаком с концепцией Byte-level BPE. В исследованиях наглядно показывалось, что для ряда языков токены данного типа не декодируемы по отдельности. При этом определенное сочетание токенов может сразу декдироваться как слово. Так что само по себе большое число токенов не говорит об character-level токенищации, в данном случае.
Ну и, кроме того, словарь ChatGPT оптимизмровался по обучающей выборке GPT-3, в которой, судя по всему, было только 0.11% русского текста. Естественно BPE под такие токены не обобщился.
У меня проблема похожая вашу с мотивацией. Проблем с ожирением, слава богу, пока нет, но уже появляются звоночки о том, что необходимо принимать привентивные меры.
До последних двух лет занимался различными видами физической нагрузки: 2 года качалки, 3 года фитнеса, 3 года бассейна, год футбола. Ничего кроме футбооа мне не понравилось, а из секции по футболу я вышел по возрасту. В последние 2 года не смог продолжать из-ща необходимости значительно больше времени уделять профессиональному разуитию и работе. Сейчас свободного времени сталр побольше и я начал рассматривать варианты решения проблем с физ. нагрузкой.
Вообще, мне в жизни часто сложно искать мотивацию что-то делать. А делать надо. Я решил для себя, что на пользоваться лайфхаками, и не лезть через гору, когда можно ее обойти. Проблему необходимости прикладывать силы к проф развитию я решил выбрав проф. сферу, которая мне нравится. Проблему изучения языка — просмотром сериалов языке с субтитрами, а также интересным общением с иностранцами (потом, конечно, было норм образование, но зашло оно значитель легче).
Проблему думаю решать следующим образом: я люблю активные виды спорта, японскую культуру (привет от аниме) и фехтование. Соответсвенноя готов терпеть физ нагрузки, если будет сильная оттда в виде хорошего время препровождения в игре. Для себя пока выбрал комбинацию 2-х вариантов: кендо (идеально с точки зрения пересечения моих интересов, но иногда монотонно, из-за чего скучно) и лазертаг по выходным. Лагертаг — это такой страйкбол, но с лазерными автоматами. Эдакая контра в реале без боли. Во многих крупных городах есть клубы лазертага, которые проводят клубные дни. В эти дни не надо искать себе команду, можно просто придти и играть с незнаеомы людьми. Часто такие игры проводятся на огромных открытых площадках, типа заброшенных детских лагерей.
Очень надеюсь, что этими лайфхаками я свои проблемы закрою.
Очень странный подход к определению типов данных. Вот есть языки, которые позиционируются, как языки со стогой статической типизацией. При этом практика диктует наличие в таких языках механизмов позднего связывания (по факту элементов строгой динамической типизации). Получается все данные и структуры, для которых использованно позднее связывание не имеют типов вообще? Это как-то выбивает основу из-под строгой типизации, не находите?
Ну тут стоит различать Сильный ИИ (тот, который упомянули вы) и Общий ИИ (пресловутый AGI, по одному из определений, выполняющий на уровне человека до 80% экономически значимых задач).
Крупные компании сейчас бегут в AGI, а не в Сильный ИИ. Так что возможно самосознание еще долго будет оставаться на кожанномешочном.
Идея интересная, но как-будто уже известные вещи решают каждую из описанных проблем эффективнее:
Distributed Data Parallel, Fully Shared Data Parallel или DeepSpeed для распределенного обучения
Адаптеры вроде P-tuning, LoRA и еще 1000000 способов для дообучения без риска потерять исходную модель
Мешать новую выборку для дообучения с выборкой из иходного датасета или настраивать Loss-функцию так, чтобы выход дообученной модели не сильно расходился с претрейном для стабильного дообучения с минимальным забыванием
Идея с тем, чтобы усреднять веса модели и как-то еще их объединять интересная, но как будто для того, чтобы пришлось применять этот метод, а не один из вышеписанных должно сойтись слишком много звезд на небе или мне кажется?
Не проще/эффективнее в том случае смотреть как комбинировать и эффективнее учить адаптеры?
Автор, скорее всего не совсем знаком с концепцией Byte-level BPE. В исследованиях наглядно показывалось, что для ряда языков токены данного типа не декодируемы по отдельности. При этом определенное сочетание токенов может сразу декдироваться как слово. Так что само по себе большое число токенов не говорит об character-level токенищации, в данном случае.
Ну и, кроме того, словарь ChatGPT оптимизмровался по обучающей выборке GPT-3, в которой, судя по всему, было только 0.11% русского текста. Естественно BPE под такие токены не обобщился.
У меня проблема похожая вашу с мотивацией. Проблем с ожирением, слава богу, пока нет, но уже появляются звоночки о том, что необходимо принимать привентивные меры.
До последних двух лет занимался различными видами физической нагрузки: 2 года качалки, 3 года фитнеса, 3 года бассейна, год футбола. Ничего кроме футбооа мне не понравилось, а из секции по футболу я вышел по возрасту. В последние 2 года не смог продолжать из-ща необходимости значительно больше времени уделять профессиональному разуитию и работе. Сейчас свободного времени сталр побольше и я начал рассматривать варианты решения проблем с физ. нагрузкой.
Вообще, мне в жизни часто сложно искать мотивацию что-то делать. А делать надо. Я решил для себя, что на пользоваться лайфхаками, и не лезть через гору, когда можно ее обойти. Проблему необходимости прикладывать силы к проф развитию я решил выбрав проф. сферу, которая мне нравится. Проблему изучения языка — просмотром сериалов языке с субтитрами, а также интересным общением с иностранцами (потом, конечно, было норм образование, но зашло оно значитель легче).
Проблему думаю решать следующим образом: я люблю активные виды спорта, японскую культуру (привет от аниме) и фехтование. Соответсвенноя готов терпеть физ нагрузки, если будет сильная оттда в виде хорошего время препровождения в игре. Для себя пока выбрал комбинацию 2-х вариантов: кендо (идеально с точки зрения пересечения моих интересов, но иногда монотонно, из-за чего скучно) и лазертаг по выходным. Лагертаг — это такой страйкбол, но с лазерными автоматами. Эдакая контра в реале без боли. Во многих крупных городах есть клубы лазертага, которые проводят клубные дни. В эти дни не надо искать себе команду, можно просто придти и играть с незнаеомы людьми. Часто такие игры проводятся на огромных открытых площадках, типа заброшенных детских лагерей.
Очень надеюсь, что этими лайфхаками я свои проблемы закрою.