Если LLM, обученная на датасете 100-летней давности, окажется тупее LLM, обученной на современном датасете, то это уже само по себе является доказательством того, что LLM - это не AGI.
Т.е. мой комментарий двумя сообщениями выше вы либо не прочитали, либо не осознали, я правильно понимаю? Нет никакого "датасета 100-летней давности" пригодного для обучения нейронки.
Максимальное энергопотребление мозга человека - 20 Ватт. Даже если он будет молотить всю жизнь на всю катушку, получится 700 киловатт-часов. В реальности, сколько он может выдержать, ну 200 киловатт-часов за всю жизнь. Давайте, покажите нейросеть, обученную за 200 киловатт-часов. Ну а если энергия, потребляемая нейросетью за время обучения, на 3-4 порядка больше, то и спрос оказывается повышенным.
так в этом и суть — сможет ли сделать прорыв такого масштаба на основе той базы.
В тренировке ллмок нельзя отделить чистые знания от обучения языку/связям и так далее. Для современных нейронок нужны тонны текстов не потому что в них научные знания, а потому что в них закодированы более общие взаимосвязи, пусть даже это срачи на форумах. И вы не можете взять и выкинуть "все до 1901 года", потому что из-за особенностей человеческой цивилизации датасет на 99% состоит из данных после 1901 года. А он нужен для "базовой личности" — чтобы она могла думать, а не как GPT 3.5. Но вместе с этой базовой личностью туда и теория относительности пробирается.
Так заявлять, что AGI должен быть на уровне среднего человека - это и есть тот самый перенос ворот в самом ярком его проявлении. От системы, в которую влили почти все имеющие знания человечества, явно ожидаешь не средний уровень производительности.
Так эээ, вам тоже никто не мешает "влить" в себя эти знания. Чего там, как с гениальностью? Никак? А, мозга не хватает по обьему? Так ЛЛМке тоже не хватает, ее тренировка это всегда баланс между обьемом и скоростью инференса, гениальная нейросеть с токеном раз в час никому не нужна особо.
С чего бы general интеллекту быть сильно выше среднего человека?
А если самолеты не делают, то все, не имеет смысла делать ничего, связанного с авиацией? Если не делают процессоры, то не имеет смысла делать никакое оборудование?
Хз, такой план по публикациям хуже чем его отсуствие — у меня теперь однозначная реакция на любое упоминание бастиона: "это школьники, которым кто-то блог на хабре дал".
Это же бастион. У них каждая статья про железный инфобез из разряда "школьники открывают для себя айти". То они тампер замыкают припоем, то в прошлой статье рассказывали что килок — это "дорогие откатные ворота в госструктурах и сигнализации в автомобилях класса выше бюджетного", хотя он уже давно удел гаражных ворот.
Ага, значит как говорить про то что код не помещается — так вы нормально используете слово "нечитаемо" в смысле "очень неудобно читать". А как мне возразить, так сразу оказалось что на код посмотреть уже нельзя не читая его.
Т.е. мой комментарий двумя сообщениями выше вы либо не прочитали, либо не осознали, я правильно понимаю? Нет никакого "датасета 100-летней давности" пригодного для обучения нейронки.
А нейронка как усвоит?
Что там, как насчет вытянуть всю обучающую выборку?
А что, у них таки токен в час или все-таки побыстрее будет?
Причем тут потребление?
Ну так вы предлагаете вариант проверки на AGI который а)точно не сработает б)который не отражает возможности современных моделей.
Делаем глупую кастрированную модель
@
Она не открывает теорию относительности
@
Делаем вывод что современные умные некастрированные модели не AGI
В тренировке ллмок нельзя отделить чистые знания от обучения языку/связям и так далее. Для современных нейронок нужны тонны текстов не потому что в них научные знания, а потому что в них закодированы более общие взаимосвязи, пусть даже это срачи на форумах. И вы не можете взять и выкинуть "все до 1901 года", потому что из-за особенностей человеческой цивилизации датасет на 99% состоит из данных после 1901 года. А он нужен для "базовой личности" — чтобы она могла думать, а не как GPT 3.5. Но вместе с этой базовой личностью туда и теория относительности пробирается.
Так эээ, вам тоже никто не мешает "влить" в себя эти знания. Чего там, как с гениальностью? Никак? А, мозга не хватает по обьему? Так ЛЛМке тоже не хватает, ее тренировка это всегда баланс между обьемом и скоростью инференса, гениальная нейросеть с токеном раз в час никому не нужна особо.
С чего бы general интеллекту быть сильно выше среднего человека?
А если самолеты не делают, то все, не имеет смысла делать ничего, связанного с авиацией? Если не делают процессоры, то не имеет смысла делать никакое оборудование?
Теперь и на хабре!
Вы же врете про картинку с 256 цветами.
Реальные 256 цветов выглядят вот так:
И разница очень-очень видна
В ней небо отражается.
Присоединяюсь к неудачному названию
У меня аналогичный, да, новые стрелочки ужасны
Хз, такой план по публикациям хуже чем его отсуствие — у меня теперь однозначная реакция на любое упоминание бастиона: "это школьники, которым кто-то блог на хабре дал".
Это же бастион. У них каждая статья про железный инфобез из разряда "школьники открывают для себя айти". То они тампер замыкают припоем, то в прошлой статье рассказывали что килок — это "дорогие откатные ворота в госструктурах и сигнализации в автомобилях класса выше бюджетного", хотя он уже давно удел гаражных ворот.
Нет. Зависит от количества солей, показания к влажности не имеют отношения. Только емкостной дачтик на мегагерцы
Ага, значит как говорить про то что код не помещается — так вы нормально используете слово "нечитаемо" в смысле "очень неудобно читать". А как мне возразить, так сразу оказалось что на код посмотреть уже нельзя не читая его.
О, за сотрудника авито меня еще не принимали ни разу
Вы считаете, другие люди не имеют доступа к LLM?
Это яндекс, вы перепутали.