Вот только судя по графику "перекачать" через себя энергии аккумулятор сможет примерно столько же.
Даже больше, если смотреть по графику можно использовать 20% емкости 4000 раз = 8000 50% - 2000 раз = 10000 80% - 1000 раз = 8000 по графику, оптимально использовать "пологую" середину, от 30 до 70%
Имеется ввиду первоначальная цель, вроде: развивайся, сделай всех людей счастливыми, заработай мне денег ну или что то в таком духе, а последующие цели она генерит себе сама. Посмотрите на принцип работы AutoGPT или BabyAGI.
Ну всякие autoGPT и аналоги, коих уже тысячи, вполне себе can use. Создать while True: и пустить ей на вход цель + реакцию мира на предыдущий ответ, например с датчиков или камеры, и дать управление Апишкой робота или манипулятора, это если касательно внешнего мира, а так обратную связь от графиков ценных бумаг или еще что.
Что касается скорости, мозг работает на максимальной частоте порядка 600 герц, сервера на скорости 4 миллиарда Герц. Если сравняться по вычислительной мощности, то такое превосходство в скорости на секунду человеческой мысли выдаст примерно 120 лет машинной.
Не надо относиться так пренебрежительно. То, что у неё в основе алгоритм предсказывающий следующее слово совершенно не означает, что она бесполезная. Более того у этого кажется простого алгоритма возникло множество нетривиальных свойства, которыми на первый взгляд не должен обладать "статестический попугай".
Верность предсказания это её целевая метрика, и с каждой итерацией она будет становиться все лучше. А генерация кода подразумевает единственное "лучшее" решение, ну или несколько равнозначных, для поставленной задачи. Которое и будет иметь максимальную вероятность в выводе.
По такому принципу (не буду использовать, потому что возможны не точные результаты) можно отринуть все продукты на основе машинного обучения, ведь по сути все они лишь статестическое приближение целевой метрики, перестаньте пользоваться поиском, ведь его модель может неверно отранжировать сайты в выдаче.
Пример про случайную генерацию нот вообще непонятно как относиться к МЛ моделям.
Вот бы кто вместо простого перечисления реально проверил в каких из этих сервисов настоящая 4, в каких 3.5 а в каких просто запущена какая нибудь викунья 13b.
Что касаемо "утечки" письма из гугла, все эти модели на основе Ламы, только только пытаются подобраться к gpt3.5, до 4 им как до луны, всем кто пробовал сравнивать модели 7b, 13b и 30b знает, что размер имеет значение и качество отличается заметно даже без всяких тестов, просто по ощущениям от общения виден прогресс. Поэтому пока опенсоурсу дообучающему 13b модельки за 100$ тягаться с моделями 100+ млрд. (со стоимостью обучения в сотни тысяч $) не светит, по крайней мере в ближайшее полгода-год
По поводу путаницы в терминологии, по моим наблюдениям специалисты в этой области поправляли всякого, кто называл модели машинного обучения как ИИ, но пару лет назад сдались и отправили этот термин в свободное плавание, на замену которого пришли термины "сильный искусственный интелект", "искусственный интелект общего назначения", на английском "AGI - Artificial general intelligence".
По поводу персонажей, можно написать нужный контекст во вкладке "Memory". Выберите сценарий вроде Emely и посмотрите в Memory как это примерно реализовано. Все что в этой вкладке попросту "приклеивается" к каждому запросу.
По моим экспериментам простое указание вроде ты ассистент-программист/конструктор/врач на качество сгенерированного никак не влияет (может если подобрать правильные слова)
Насколько я понял вкладка "W info" работает схожим образом, но результаты так же не впечатляющие.
Во первых, для обучения нужно GPU а не ОЗУ. При тюнинге модели на rtx3090 примерно 4 часа на 1 эпоху дообучения (датасет размером 100 000 пар вопрос-ответ), несколько эпох впринципе достаточно, что бы склонить модель пользоваться новой информацией.
Во вторых для большого количества информации с какого то момента дообучение перестанет давать хорошие результаты, следовательно модель надо обучать с нуля, а при доступных простым людям мощностях это вероятно не реализовать.
В третих нужен хороший парсер, что бы не обучать на мусоре, и это может стать основной проблеммой, парсер нужен не просто хороший, а почти совершенный, и в идеале его работу должен контролировать человек.
По итогу проще пойти по пути Бинг, не трогая модель подавать ей на вход 3-4 первых сайта с выдачи поисковика. Хотя и тут проблема вынуть релевантную информацию из страницы.
Белорусы делали похожих роботов, компания Rozum Robotics, когда интересовался года 3 - 4 назад цена была порядка 15-30к$
Я правильно понимаю, что бы пользоваться API к gpt4 надо иметь подписку за 20$ и если не продлить подписку то все ключи от gpt4 превратятся в тыкву?
Вот только судя по графику "перекачать" через себя энергии аккумулятор сможет примерно столько же.
Даже больше, если смотреть по графику можно использовать
20% емкости 4000 раз = 8000
50% - 2000 раз = 10000
80% - 1000 раз = 8000
по графику, оптимально использовать "пологую" середину, от 30 до 70%
Имеется ввиду первоначальная цель, вроде: развивайся, сделай всех людей счастливыми, заработай мне денег ну или что то в таком духе, а последующие цели она генерит себе сама.
Посмотрите на принцип работы AutoGPT или BabyAGI.
Переносом может и не могут заниматься, но вот с абстракциями у них все в порядке, можно даже сказать только на них они и работают.
Как пример статья от OpenAI где GPT4 интерпретирует назначение конкретных нейронов GPT2:
https://openai.com/research/language-models-can-explain-neurons-in-language-models
Значение токена на различных слоях сети
Ну всякие autoGPT и аналоги, коих уже тысячи, вполне себе can use. Создать while True: и пустить ей на вход цель + реакцию мира на предыдущий ответ, например с датчиков или камеры, и дать управление Апишкой робота или манипулятора, это если касательно внешнего мира, а так обратную связь от графиков ценных бумаг или еще что.
Что касается скорости, мозг работает на максимальной частоте порядка 600 герц, сервера на скорости 4 миллиарда Герц. Если сравняться по вычислительной мощности, то такое превосходство в скорости на секунду человеческой мысли выдаст примерно 120 лет машинной.
Не надо относиться так пренебрежительно. То, что у неё в основе алгоритм предсказывающий следующее слово совершенно не означает, что она бесполезная. Более того у этого кажется простого алгоритма возникло множество нетривиальных свойства, которыми на первый взгляд не должен обладать "статестический попугай".
Верность предсказания это её целевая метрика, и с каждой итерацией она будет становиться все лучше. А генерация кода подразумевает единственное "лучшее" решение, ну или несколько равнозначных, для поставленной задачи. Которое и будет иметь максимальную вероятность в выводе.
По такому принципу (не буду использовать, потому что возможны не точные результаты) можно отринуть все продукты на основе машинного обучения, ведь по сути все они лишь статестическое приближение целевой метрики, перестаньте пользоваться поиском, ведь его модель может неверно отранжировать сайты в выдаче.
Пример про случайную генерацию нот вообще непонятно как относиться к МЛ моделям.
Вот бы кто вместо простого перечисления реально проверил в каких из этих сервисов настоящая 4, в каких 3.5 а в каких просто запущена какая нибудь викунья 13b.
Что касаемо "утечки" письма из гугла, все эти модели на основе Ламы, только только пытаются подобраться к gpt3.5, до 4 им как до луны, всем кто пробовал сравнивать модели 7b, 13b и 30b знает, что размер имеет значение и качество отличается заметно даже без всяких тестов, просто по ощущениям от общения виден прогресс. Поэтому пока опенсоурсу дообучающему 13b модельки за 100$ тягаться с моделями 100+ млрд. (со стоимостью обучения в сотни тысяч $) не светит, по крайней мере в ближайшее полгода-год
Мне кажется или в статье приставка "убер" используется не в том смысле, всегда думал, что убер это и есть синоним слов - сверх/супер.
Давай, расскажи им как строить и запускать свои ракеты, я напомню с чего все начиналось:
Выглядело так, что отделение не произошло, а первая ступень просто начала выполнять программу торможения, в итоге закрутило.
Попытка поговорить на русском выглядит примерно так:
Hidden text
Кто солипсиста из подвала выпустил? Закрывайте пожалуйста дверь плотнее.
Проблемой разбиения задач и управлением контекстами уже заниматься, можно посмотреть в сторону:
LangChain
Auto-GPT
BabyAGI
По поводу путаницы в терминологии, по моим наблюдениям специалисты в этой области поправляли всякого, кто называл модели машинного обучения как ИИ, но пару лет назад сдались и отправили этот термин в свободное плавание, на замену которого пришли термины "сильный искусственный интелект", "искусственный интелект общего назначения", на английском "AGI - Artificial general intelligence".
Мне просто интересно, что это за алгоритмически неразрешимые задачи, с которыми справляется человек. Можно пример?
Как то не додумался до подобного применения, можно даже лазерный гравер достать с балкона.
Интересно, сколько детей по вашей логике получили травму, когда узнали, что животные в реальности не умеют разговаривать, как в 90% мультфильмов.
По поводу персонажей, можно написать нужный контекст во вкладке "Memory". Выберите сценарий вроде Emely и посмотрите в Memory как это примерно реализовано.
Все что в этой вкладке попросту "приклеивается" к каждому запросу.
По моим экспериментам простое указание вроде ты ассистент-программист/конструктор/врач на качество сгенерированного никак не влияет (может если подобрать правильные слова)
Насколько я понял вкладка "W info" работает схожим образом, но результаты так же не впечатляющие.
Hidden text
Во первых, для обучения нужно GPU а не ОЗУ.
При тюнинге модели на rtx3090 примерно 4 часа на 1 эпоху дообучения (датасет размером 100 000 пар вопрос-ответ), несколько эпох впринципе достаточно, что бы склонить модель пользоваться новой информацией.
Во вторых для большого количества информации с какого то момента дообучение перестанет давать хорошие результаты, следовательно модель надо обучать с нуля, а при доступных простым людям мощностях это вероятно не реализовать.
В третих нужен хороший парсер, что бы не обучать на мусоре, и это может стать основной проблеммой, парсер нужен не просто хороший, а почти совершенный, и в идеале его работу должен контролировать человек.
По итогу проще пойти по пути Бинг, не трогая модель подавать ей на вход 3-4 первых сайта с выдачи поисковика. Хотя и тут проблема вынуть релевантную информацию из страницы.