Как идея с пересадками, взять слои с большой модели и воткнуть в более мелкую (по глубине).
Затем заморозить все кроме этого слоя и учить определённой задаче, затем разморозить всё и дать согласоваться слоям. А лучше размораживать сначала окружающие слои.
Статья хорошая. По поводу обучения других, это наверное самый продуктивный способ усвоения информации. (Ещё можно взять споры, принцип тот же).
Ты можешь даже не шарить в этой теме, но тебе надо объяснить человеку А и ты в этом заинтересован. Чтобы объяснить, тебе нужно понять, переформулировать материал, а затем вспомнить, чтобы рассказать своему ученику/другу.
И к этому мозг перестраивается – среди шума работать в фокусе, цеплять нужную информацию, запоминать, переформулировать. Это процесс.
Вы можете представить себе человека который просто читает хабр и того кто пересказывает каждую статью другу.
Если вы дали ей задачу написать стих, она напишет какой то шаблонный, если вы скажете написать стих используя синтаксис python и ничего больше, по факту это будет что то новое, но ведь творческая часть была с вас.
Но ведь мы тоже ИИ, почему мы можем, а она нет? У неё плохо с абстракцией.
Тем более при обучении ей эту абстракцию жестче убивают(по мимо проблемы классического, кого механизма обучения, есть еще и доп современные плюшки которые делают сигнал стабильнее)
И есть, модели в которых она не сильно приглушена, это опен аи модели, клауд, а вот гемини и дипсик наоборот.
Ну модели бывают и мультимодальные, то есть они слышат вас и видят.
А еще модели решают задачи с текстом, можно научить модель математике, скорее всего топовые модели вполне себе умеют складывать.
Иначе как достигать таких больших оценок на тестах без переобучения модели в математический мусор.
Конечно, некоторые привычные нам вещи LLM может делать совершенно иначе чем мы, тоже касается и математики, она может использовать другие закономерности вместо операций.
Но я понял, что статья ориентирована на новичков, респект.
Это как с микропластиком, сначала он везде и мы из микро пластика, потом оказывается что дело было в перчатках.
Все хайпят на теме, но автор бы свои мысли мог накинуть, а то это заставляет поверить ещё больше в его статью.
По поводу "не отопления" – теперь любой тупой вопрос человек может задать ИИ, и чему то научиться, у него в мозге сформируется новая нейронная связь.
Если в гугле нету кейсов что будет если засунуть огурец в слив, то ИИ как раз решит эту проблему.
Что касается более интеллектуальных людей, тут играет фокус и цели.
Если ты не понимаешь зачем ты это делаешь через ИИ – тебе не зачем вчитываться, понимать – как и вайбкодинг по себе тупиковый термин.
А вот программисты которые через ИИ допилиыают свои пет проекты и быстрее осваивают технологии, на которые не было сил и времени, да не так глубоко, да может они не пишут весь код руками, но – там нет никакой изоляции от экрана, кода, интерфейса их пет проектов, внутренних стимулов разобраться что это за либа, что за строка, почему нейронка предложила мне какую то сложную реализацию? Я же знаю как проще – нейронка обьяснила что так современно – оп нейронная связь в мозгу.
Да, какие то навыки забываются, как бегать и прыгать в старости, люди просто не могут.
Сейчас люди очень сильно бустятся в само образовании через ИИ. Есть те кто разбирают каждое слово из его генерации. Даже учитывая то что ИИ может врать, это все равно образует связи в нашей голове.
Нет, ИИ вас не заменит. Вас заменит человек, работающий с ним
Я предлагал у себя в статье назвать их "аишниками"
А так, нет, не заменят, потому что мы тоже будем использовать ИИ, но так чтобы это было не в ущерб качеству, хотя бы где оно нужно (например, анализ задач, варианты решения, шаблонные функции – уже активно используются в разработке, а вот пет-эксперементы можно и повайбкодить)
По моему опыту шортсы, смс, чтение/обучение между таймерами наоборот тратит силы. Лучшее решение пойти прогуляться, попялить в окно, полежать не о чем не думая.
Iron Man, ты ли это?
Как идея с пересадками, взять слои с большой модели и воткнуть в более мелкую (по глубине).
Затем заморозить все кроме этого слоя и учить определённой задаче, затем разморозить всё и дать согласоваться слоям. А лучше размораживать сначала окружающие слои.
Насторожили осторожности, что это не убийца chatGPT, будто статью писал chatGPT.
GPT 5.6?
Наверное обучат нейронки как отдельных агентов, один будет промты переформулировать, раскладку итп
Другой будет размышлять о бытие, пятый следить за контекстом, второй отвечать, в итоге система сможет решать любые задачи, но очень дорого.
Пока сырая статья, чуть доработать бы.
Вы бы могли сэкономить на генерации данных, использовав бесплатные прокси этих моделей. Ведь технически эти модели недоступны в России)
и 30к примеров это не так много, даже если выстраивать более сложный пайплайн
На сколько я помню, у них есть фишка для до обучения. По крайней мере была как и у gemini
Именно файтюн
Мне понравились вставки, о это Ньютон, а это мячик, а это...
Что делает прочтение занимательным и простым.
Но в конце статьи я бы сделал более плотный вывод
Запускал тут дип ресерч исследовать одну штуку в LLM (применял кто то или нет) ну и рассмотреть эту идею, по итогу 2 часа он искал, 500 источников
Статья хорошая. По поводу обучения других, это наверное самый продуктивный способ усвоения информации. (Ещё можно взять споры, принцип тот же).
Ты можешь даже не шарить в этой теме, но тебе надо объяснить человеку А и ты в этом заинтересован. Чтобы объяснить, тебе нужно понять, переформулировать материал, а затем вспомнить, чтобы рассказать своему ученику/другу.
И к этому мозг перестраивается – среди шума работать в фокусе, цеплять нужную информацию, запоминать, переформулировать. Это процесс.
Вы можете представить себе человека который просто читает хабр и того кто пересказывает каждую статью другу.
Сама по себе LLM не генерирует нового.
Она раскачивает ваши вводные.
Если вы дали ей задачу написать стих, она напишет какой то шаблонный, если вы скажете написать стих используя синтаксис python и ничего больше, по факту это будет что то новое, но ведь творческая часть была с вас.
Но ведь мы тоже ИИ, почему мы можем, а она нет? У неё плохо с абстракцией.
Тем более при обучении ей эту абстракцию жестче убивают(по мимо проблемы классического, кого механизма обучения, есть еще и доп современные плюшки которые делают сигнал стабильнее)
И есть, модели в которых она не сильно приглушена, это опен аи модели, клауд, а вот гемини и дипсик наоборот.
Ну модели бывают и мультимодальные, то есть они слышат вас и видят.
А еще модели решают задачи с текстом, можно научить модель математике, скорее всего топовые модели вполне себе умеют складывать.
Иначе как достигать таких больших оценок на тестах без переобучения модели в математический мусор.
Конечно, некоторые привычные нам вещи LLM может делать совершенно иначе чем мы, тоже касается и математики, она может использовать другие закономерности вместо операций.
Но я понял, что статья ориентирована на новичков, респект.
Это как с микропластиком, сначала он везде и мы из микро пластика, потом оказывается что дело было в перчатках.
Все хайпят на теме, но автор бы свои мысли мог накинуть, а то это заставляет поверить ещё больше в его статью.
По поводу "не отопления" – теперь любой тупой вопрос человек может задать ИИ, и чему то научиться, у него в мозге сформируется новая нейронная связь.
Если в гугле нету кейсов что будет если засунуть огурец в слив, то ИИ как раз решит эту проблему.
Что касается более интеллектуальных людей, тут играет фокус и цели.
Если ты не понимаешь зачем ты это делаешь через ИИ – тебе не зачем вчитываться, понимать – как и вайбкодинг по себе тупиковый термин.
А вот программисты которые через ИИ допилиыают свои пет проекты и быстрее осваивают технологии, на которые не было сил и времени, да не так глубоко, да может они не пишут весь код руками, но – там нет никакой изоляции от экрана, кода, интерфейса их пет проектов, внутренних стимулов разобраться что это за либа, что за строка, почему нейронка предложила мне какую то сложную реализацию? Я же знаю как проще – нейронка обьяснила что так современно – оп нейронная связь в мозгу.
Да, какие то навыки забываются, как бегать и прыгать в старости, люди просто не могут.
Сейчас люди очень сильно бустятся в само образовании через ИИ. Есть те кто разбирают каждое слово из его генерации. Даже учитывая то что ИИ может врать, это все равно образует связи в нашей голове.
При таком большом количестве
сервисовмодулей.Я предлагал у себя в статье назвать их "аишниками"
А так, нет, не заменят, потому что мы тоже будем использовать ИИ, но так чтобы это было не в ущерб качеству, хотя бы где оно нужно (например, анализ задач, варианты решения, шаблонные функции – уже активно используются в разработке, а вот пет-эксперементы можно и повайбкодить)
Можно рисовать макс за нарисованные
По моему опыту шортсы, смс, чтение/обучение между таймерами наоборот тратит силы. Лучшее решение пойти прогуляться, попялить в окно, полежать не о чем не думая.
Это тебе к инвесторам
Никаких курсов. Java надо учить через боль