Все разбивается о тот факт, что за бэйс берется обычный трансформер типа лламы. А можно взять ТТТ модели, там свои законы. Что касается Чинчиллы - тут вообще импирика. До некоторых размеров он вообще не работает, с некоторых размеров тоже. Так, сверх сотен миллиардов разряженность обобщения падает, и параметрическая емкость начинает тратиться на запоминание. Это не классическое переобучение, а именно что память для цитирования. Или неестественные данные, кооих терабайты. Логги за десятилетия, дампы памяти, голые бинарники. Это для модели в 30 миллиардов это страшный шум, а для титана это паттерны, только успевай в пасть закидывать.
С ростом параметров можно наращивать регуляризацию. Шум до 20 процентов веса просто невозможен на 100б модели. На триллионе - почему нет? Или синтетическая неграмотность и огромные бпе словари, сотни тысяч и миллионы токенов в токенизаторе. Это уже на эмбеддинг может дать ТРИЛЛИОНЫ параметров. Например по 50-100 тысяч токенов на каждый язык.
Синтетическая некрамотность может просто кратно увеличить датасет из ничего, зато такая модель научится жрать все, что угодно.
А логи агентов и бесплатные чаты? Террабайты диалогов школьников о первой любви, вопросов о том, как сварить пиво, что такое трансформатор и как выглядит синица - это огромные данные. Агентные самоциклы, где чугун сам пишет код, сам его проверяет, и сам правит, получая обратную связь - это золото длинного контекста за счет самого пользователя. Все это взламывает закон Ципфа, вытаскивая вниз высоко висящие яблоки данных. Именно для этого везде бесплатный поиск прикручен. Ты просишь найти информацию про время работы магазина Весна в Сыктывкаре, и модель находит, обликая это в читаемый вид. И вот десять килобайт синтетического текста с еастоящими знаниями и человеческим ответом у нас есть.
Так что взгляд автора несколько наивен, не в обиду будет сказано.
Абсолютно несогласен. Девяноста процентов местных специалистов (и я не иронизирую, и правда специалистов, зачастую очень высокого уровня!) не знают, как работает их код на уровне ассемблера. Я уж не говорю про металлический уровень, там для многих вообще темный лес. И ничего, как то живут.
Так что недовольные вайбкодингом - это просто конформисты, которым очень хочется почувствовать свою значимость и ткнуть молодых во что-нибудь. Хотя рынок все порешал. Никому не интересно ждать правку неделю, если чугунная голова дает ее за минуту. А сломает чего - сам и починит.
И да. Чугунная голова сделает это за триста рублей, а уважаемый сеньор из Сбера будет требовать лофт, зп в 600к и дистант.
Пытался я однажды впихнуть мультипредикшн в архитектуру. Честно говоря технология хайповая, но плюсов от нее меньше, чем проблем.
Касаемо <eos>.
Не специалист, но, по сврему, опять же опыту такое может быть чледствием неравномерного распределения длинн примеров. Примеры всегда длинные. Вот модель нативно и не видела примеров, где она могла бы остановиться. Потому и побаивается.
Интересно вообще про пайплайн подготовки датасета было бы почитать. Чисто синтетическая обработка, или часть выполнялась людьми?
На самом деле мощный инструмент за пределами кодинга. Рекомендую генерировать json-поля для рабочего пода. Полчаса работы над простым агентом, и под любую программу можно использовать как тестера.
Позволю себе осведомиться, дабы удостовериться в точности моего разумения: значит ли сие, что многоуважаемое собрание ученых умов, светил мировой науки, и впрямь пребывает в суеверном ужасе пред сим порождением новейшей техники — динамо-машиной, сей гидравлической мотовильней на ближней речушке, либо пред сим слабым мерцанием электродуговой лампы? Коль скоро моя догадка соответствует истине, то внезапное его отбытие сему богоспасаемому граду, без сомнения, было облегчено и ускорено стараниями неких пристрастных лиц, чьи интересы сим обстоятельством были наилучшим образом соблюдены. Воистину так! Сей величайший прогресс никоим образом не посягнет на честный труд и коренное ремесло. Позволительно ли помыслить, дабы добрый мастеровой, усердный приказчик или праведный извозчик лишились своего места и куска хлеба насущного из-за какого-то, прости Господи, бесплотного электричества, сей дьявольской искры? Сие есть сущая нелепица, достойная осмеяния в порядочном обществе. Ручной труд и конная сила — вот столпы, на коих зиждется благоденствие империи, а не сии эфемерные фокусы, годные разве что для забав в ученом кабинете.
Питон популярен потому, что на нем, наверное, быстрее всего заработать. Изучая cpp, ты первые монеты поднимешь ну в лучшем случае через год, это если ты уже смешарик в целом. А на питоне первого скам-бота для тг через месяц уже для школьников писать можно. Вот все его и бегут изучать. Популярность в целом != популярность у специалистов.
Почему-то я слабо представляю себе айтишника, который в минус двадцать лезет нарезать кабеля в 380 линии. Они всё-таки чаще в теплом офисе сидят.
Плюс зп двести у тех же электриков - это ну лет двадцать реального опыта. Более-менее успешный кодер к этому приходит сильно раньше. К тому же, в ковид о 300кк в секунду не узнал только ленивый, сюда потянулись даже те, кто за пару лет до искренне считали слово программист оскорблением, при чем страшным
Ну и не стоит забывать про поговорку "хорошо там, где нас нет".
Все разбивается о тот факт, что за бэйс берется обычный трансформер типа лламы. А можно взять ТТТ модели, там свои законы. Что касается Чинчиллы - тут вообще импирика. До некоторых размеров он вообще не работает, с некоторых размеров тоже. Так, сверх сотен миллиардов разряженность обобщения падает, и параметрическая емкость начинает тратиться на запоминание. Это не классическое переобучение, а именно что память для цитирования. Или неестественные данные, кооих терабайты. Логги за десятилетия, дампы памяти, голые бинарники. Это для модели в 30 миллиардов это страшный шум, а для титана это паттерны, только успевай в пасть закидывать.
С ростом параметров можно наращивать регуляризацию. Шум до 20 процентов веса просто невозможен на 100б модели. На триллионе - почему нет? Или синтетическая неграмотность и огромные бпе словари, сотни тысяч и миллионы токенов в токенизаторе. Это уже на эмбеддинг может дать ТРИЛЛИОНЫ параметров. Например по 50-100 тысяч токенов на каждый язык.
Синтетическая некрамотность может просто кратно увеличить датасет из ничего, зато такая модель научится жрать все, что угодно.
А логи агентов и бесплатные чаты? Террабайты диалогов школьников о первой любви, вопросов о том, как сварить пиво, что такое трансформатор и как выглядит синица - это огромные данные. Агентные самоциклы, где чугун сам пишет код, сам его проверяет, и сам правит, получая обратную связь - это золото длинного контекста за счет самого пользователя. Все это взламывает закон Ципфа, вытаскивая вниз высоко висящие яблоки данных. Именно для этого везде бесплатный поиск прикручен. Ты просишь найти информацию про время работы магазина Весна в Сыктывкаре, и модель находит, обликая это в читаемый вид. И вот десять килобайт синтетического текста с еастоящими знаниями и человеческим ответом у нас есть.
Так что взгляд автора несколько наивен, не в обиду будет сказано.
Абсолютно несогласен. Девяноста процентов местных специалистов (и я не иронизирую, и правда специалистов, зачастую очень высокого уровня!) не знают, как работает их код на уровне ассемблера. Я уж не говорю про металлический уровень, там для многих вообще темный лес. И ничего, как то живут.
Так что недовольные вайбкодингом - это просто конформисты, которым очень хочется почувствовать свою значимость и ткнуть молодых во что-нибудь. Хотя рынок все порешал. Никому не интересно ждать правку неделю, если чугунная голова дает ее за минуту. А сломает чего - сам и починит.
И да. Чугунная голова сделает это за триста рублей, а уважаемый сеньор из Сбера будет требовать лофт, зп в 600к и дистант.
Помню, как в двадцатом такие и набежали. Только вот не за этим вы пришли, а за бабками
А его что, не зарелизили? Это типа предпросмотр сейчас?
Не соглашусь, то был Квен.
Пытался я однажды впихнуть мультипредикшн в архитектуру. Честно говоря технология хайповая, но плюсов от нее меньше, чем проблем.
Касаемо <eos>.
Не специалист, но, по сврему, опять же опыту такое может быть чледствием неравномерного распределения длинн примеров. Примеры всегда длинные. Вот модель нативно и не видела примеров, где она могла бы остановиться. Потому и побаивается.
Интересно вообще про пайплайн подготовки датасета было бы почитать. Чисто синтетическая обработка, или часть выполнялась людьми?
На самом деле мощный инструмент за пределами кодинга. Рекомендую генерировать json-поля для рабочего пода. Полчаса работы над простым агентом, и под любую программу можно использовать как тестера.
Цена в первую очередь. Пока одна из самых низких на рынке из моделей этого класса.
Позволю себе осведомиться, дабы удостовериться в точности моего разумения: значит ли сие, что многоуважаемое собрание ученых умов, светил мировой науки, и впрямь пребывает в суеверном ужасе пред сим порождением новейшей техники — динамо-машиной, сей гидравлической мотовильней на ближней речушке, либо пред сим слабым мерцанием электродуговой лампы? Коль скоро моя догадка соответствует истине, то внезапное его отбытие сему богоспасаемому граду, без сомнения, было облегчено и ускорено стараниями неких пристрастных лиц, чьи интересы сим обстоятельством были наилучшим образом соблюдены. Воистину так! Сей величайший прогресс никоим образом не посягнет на честный труд и коренное ремесло. Позволительно ли помыслить, дабы добрый мастеровой, усердный приказчик или праведный извозчик лишились своего места и куска хлеба насущного из-за какого-то, прости Господи, бесплотного электричества, сей дьявольской искры? Сие есть сущая нелепица, достойная осмеяния в порядочном обществе. Ручной труд и конная сила — вот столпы, на коих зиждется благоденствие империи, а не сии эфемерные фокусы, годные разве что для забав в ученом кабинете.
Питон популярен потому, что на нем, наверное, быстрее всего заработать. Изучая cpp, ты первые монеты поднимешь ну в лучшем случае через год, это если ты уже смешарик в целом. А на питоне первого скам-бота для тг через месяц уже для школьников писать можно. Вот все его и бегут изучать. Популярность в целом != популярность у специалистов.
Почему-то я слабо представляю себе айтишника, который в минус двадцать лезет нарезать кабеля в 380 линии. Они всё-таки чаще в теплом офисе сидят.
Плюс зп двести у тех же электриков - это ну лет двадцать реального опыта. Более-менее успешный кодер к этому приходит сильно раньше. К тому же, в ковид о 300кк в секунду не узнал только ленивый, сюда потянулись даже те, кто за пару лет до искренне считали слово программист оскорблением, при чем страшным
Ну и не стоит забывать про поговорку "хорошо там, где нас нет".