$32 за миллион входящих токенов и $64 — за миллион исходящих
Интересно, насколько такая цена обусловлена реальными расходами на аппаратную поддержку работы модели, а насколько - попыткой собрать максимум с новой "фичи" которой нет у конкурентов, а также отбить затраты на обучение за счет компаний которые будут это API использовать для обучения своих подобных моделей?
Иными словами - есть ли шанс в обозримом будущем на демократизацию ситуации, когда такой функционал может стать если не локальным, то хотя бы доступным?
ежемесячные расходы на поддержание проекта: ~1464 рублей
Не проще было за меньшую сумму взять VDS, хоть на том же бегете и там развернуть простой бэкенд (по подсказкам того же ИИ)? У вас конечно в плане масштабирования возможностей больше, но и рисков чего то не учесть и внезапно улететь в глубокий минус на каком-то сервисе - куда больше. Без ясной стратегии маркетинга и опыта разработки, стоило ли первый MVP делать serverless?
Более того, по фотками видно, что наклейки занимают только порядка 1/5 окружности обода, а минимум половина площади контакта лазерного луча вообще попадает на покрышки. Так что минимум 90% энергии из батарейки указки теряются еще до попадания на наклейку.
Интересно, по сути, для решения обозначенной проблемы, недостаточно просто добавить "эмпатии" в системный промпт или датасет. По идее ИИ должен отслеживать состояние пользователя, примерять свои слова на модель его личности и прогнозировать их влияние.
Т.е. это потребует, в идеале, не просто "память чата", а полноценной метаперцепции, от которой до рефлексии - по большому счету один шаг.
Если решить эту задачу - насколько близком мы подойдем самосознанию ИИ, и как следствие - этическим вопросам его использования?
когда 10 стран и 10 квартир и все остальные параметры совпадают, так как повторы не дают подсказки и не соответственно не уменьшают выборку
Нет. Уменьшают.
Так как мы заранее знаем все адреса - то каждый запрос будет отсекать все варианты с этой страной и квартирой. А значит максимум за 10 запросов - можно найти ответ, надо только, по возможности, не повторяться и со страной и с квартирой.
А вот когда в каком то поле вариантов больше 10 - тогда да, гарантировать нельзя. И тут либо автор ошибся в условии, либо задача в том и состоит чтобы только максимизировать вероятность верного ответа.
Но гадать смысла нет. И к решению автора у меня вопросов нет (кроме того что 4-й этап лишний, но тут автор просто хотел показать течение мысли). Вопросы к точности и категоричности в утверждениях.
Про такое ограничение в условии ничего не сказано.
условия задачи кратко и ясно:
Есть список из 100 адресов. Каждый адрес состоит из 5 параметров: страна, город, улица, номер дома, номер квартиры.
Программа случайно загадывает один адрес из этого списка.
У пользователя есть до 10 попыток угадать адрес.
В каждой попытке пользователь называет один из 100 адресов и спрашивает: «Правильно ли я угадал?».
Если адрес не совпадает с загаданным, программа не сообщает, какие именно поля не угаданы. Вместо этого она возвращает подсказку: число от 0 до 5 – сколько параметров из пяти совпало, или -1 (минус один), если не совпало ничего.
Цель – разработать алгоритм, который гарантированно найдет загаданный адрес не более чем за 10 попыток, используя числа совпавших параметров как подсказки.
Предположим простейший вариант. Все адреса в списке - это разные квартиры в одном и том же доме. Т.е. все поля кроме последнего - одинаковые для всех записей, а последнее поле (номер квартиры) - отличается у всех записей (тупо числа до 1 до 100).
Ваш алгоритм на этом посыплется, шанс угадать упадет до 10%, вместо 100%.
Как впрочем и другие.
Я не к тому то алгоритм плох, а к тому, что нужно понимать зону его применимости. И аккуратнее обращаться со словами типа "гарантированный результат", "абсолютная угадываемость" и пр.
заменять менеджеров экселя – это муторно и невыгодно, так как сама стоимость ИИ сотрудника будет больше, чем 1-2 кожаных
Я бы так не сказал. Вот только что: скинул ChatGPT Agent пачку договоров и сказал сделать к ним счета по образу - и он справился буквально идеально. Я бы провозился час с тупым copy|paste, а он сделал за пару минут и еще 5 минут мне на проверку.
Особо приятно, что это именно не переписывание всего текста (что могло дать ошибки), а правки в конкретных ячейках.
Так что "замены менеджеров экселя" - перспектива тоже не слишком далекая :)
Если вы считаете, что текст который я дал модели - это "буквально алгоритм решения", то.. пожалуй стоит начать с определения алгоритма :) Но это уже совсем не интересно.
Тратить время на убеждение кого-то кто тебя не слышит довольно глупо.
В любом случае я уже сказал все что хотел сказать, продолжение считаю бессмысленным. Удачи.
Тест с бананами я проводил на grok4 (не heavy). Агентного режима там нет.
Тест с изумрудами проверял в grok и chatgpt (без использования агентов) - ответ везде верный. о3 еще запустил через API, чтобы исключить надстройки браузерной версии - опять же ответ верный.
Вам не нравится термин "прикол" - придумайте свой, это не суть. Суть в том, что вы не правы говоря, что у агентов "нет понимания задач связанных со временем". Задача про изумруды, гораздо более сложная в смысле понимания времени - и LLM с ней отлично справляется.
В то время как в вашей задаче - с точки зрения "понимания времени" - все крайне тривиально. Но LLM не справляется - почему? Ответ на ваших же скриншотах. LLM просто не понимает логику вашей задачи. Она пытается разобраться: может у вас какой-то процесс связанный с ростом числа бананов? Арифметическая прогрессия? Еще какая-то зависимость? При этом, по рассуждениям очевидно что как раз "временные" понятия, такие как "завтра", "вчера", "год назад" - модель прекрасно понимает и оперирует ими.
Переформулируем вашу задачу: "вчера показатель X был равен 2, завтра он будет равен 4, чему он равен сегодня?". Вы настаиваете (на примере с бананами), что ответ 2, потому, что завтра еще не наступило и X не изменилось, а информация о завтра - это просто "избыточные данные". Но это ваше понимание задачи. А можно понимать так что сегодня X = 3, потому что каждый день добавляется 1. Чем такое понимание неправильно?
LLM в данном случае не понимает, что вы от нее хотите, потому что вы закладываете свое понимание задачи, и это скрытая информация которой у модели нет. Человек по формулировке задачи может догадаться о том, что вы ожидаете увидеть в ответе, LLM - (если не брать самые продвинутые модели) - нет.
И все это легко доказать. Добавьте описание всех этих "скрытых" моментов которые вы "предполагаете". Это никак не повлияет на "понимание времени" моделью - но это просто подскажет что вы от нее хотите.
Как видите ответ верный. И это на крохотной локальной модельке gemma 4B без рассуждений и на русском языке!
Как видите даже у такой модельки которую можно на мобилке запустить - с "пониманием времени" вопросов не возникает. Продвинутые модели, конечно, тоже дадут верный ответ, даже при гораздо менее подробном описании.
Я не говорю, что у моделей вообще нет проблем с пониманием реального мира (и времени в частности). Да, это та тема в которой LLM отстают от людей, так как она хуже представлена в обучающих данных. Но, во-первых - это, вероятно, не принципиальное ограничение связанное с отсутствием каких-то специальных нейронов (у человека они отличаются функцией, а не структурой), а скорее особенность обучения; во-вторых - успех современных моделей с таких задачах как раз показывает, что это не принципиальный рубеж, а скорее просто область отставания; в-третьих - опираться на задачки "для дошкольников" в оценке современных моделей - не стоит, результат очень легко неверно интерпретировать.
Во первых на этот вопрос нормальные модели дают правильный ответ:
Во вторых - эта формулировка такой же "прикол" как и первая. Просто потому что если в реальной работе возникнет такая формулировка - то опечатка гораздо вероятнее чем бессмысленный вопрос.
Поэтому нейросеть и отвечает на вопрос некорректно - она не "машина логики" как у фантастов, а статистическая модель основанная на продуктах разума человека, и ей свойственны те же ошибки и когнитивные искажения что и "исходнику".
И это легко доказать. Как я у же написал. Достаточно взять гораздо более сложную в смысле временных интервалов в задачу, но четко определенную и без "приколов". Например:
Задача придумана только что. В обучающей выборке ее точно нет. Рассуждения всех моделей в которых проверил - совершенно верные.
Приведенная вами задача - это не задача на понимание времени (как вы пытаетесь ее выставить), так как это вообще не "задача", а "прикол". Т.е. вопрос формулировка которого умышленно сконструирована так чтобы ввести читателя в заблуждение.
Большинство людей несмотря на "нейронные клетки времени", если их заранее не предупредить - поймут задачу точно также как ИИ, потому, что это понимание наделяет задачу смыслом. Да, если вчитаться то "прикол" очевиден, но он полностью лишает задачу смысла (мы спрашиваем то, что уже знаем).
ИИ не обучали распознавать приколы, потому, что это экономически бесполезно. Но никто не мешает составить датасет подобных "приколов" и дообучить модель. Весьма вероятно, что это сработает и такие "приколы" модель сможет решать куда лучше. Что сильно усложнит задачу тем кто хочет почувствовать свое превосходство выискивая подобные конструкции. Только это произойдет не потому, что модель научилась "чувству времени".
Если я не прав - можно просто дать ИИ нормальную задачу на рассуждения связанные со временем без "приколов" - и посмотреть.
Я опасался, что так может быть прочитано, но имел ввиду совсем не это. У меня нет иллюзий на счет некой "высшей субъективности" человека или подобного бреда.
Говоря о том что, "внутри никого нет" - я скорее о отсутствии динамики (ну и о красоте метафоры, куда без этого)).
Обычная нейросеть сейчас - это "слепок" разума, на него можно под разными углами смотреть (задавать разные вопросы), но он не развивается и не меняется в ходе бесед.
Но это не значит, что нельзя сделать полноценный разум. И на мой взгляд им как раз являются продвинутые ИИ-агенты, которые имеют память, и рассуждая приходят к выводам, могут строить планы и пр. Пока системы из них небольшие и не сложные, но по мере их развития мы непременно придем к AGI (это уже мое личное мнение).
А если голову перевернуть то...
он превратиться в...
Интересно, насколько такая цена обусловлена реальными расходами на аппаратную поддержку работы модели, а насколько - попыткой собрать максимум с новой "фичи" которой нет у конкурентов, а также отбить затраты на обучение за счет компаний которые будут это API использовать для обучения своих подобных моделей?
Иными словами - есть ли шанс в обозримом будущем на демократизацию ситуации, когда такой функционал может стать если не локальным, то хотя бы доступным?
Как то очень дофига за домен.
Не проще было за меньшую сумму взять VDS, хоть на том же бегете и там развернуть простой бэкенд (по подсказкам того же ИИ)? У вас конечно в плане масштабирования возможностей больше, но и рисков чего то не учесть и внезапно улететь в глубокий минус на каком-то сервисе - куда больше. Без ясной стратегии маркетинга и опыта разработки, стоило ли первый MVP делать serverless?
Более того, по фотками видно, что наклейки занимают только порядка 1/5 окружности обода, а минимум половина площади контакта лазерного луча вообще попадает на покрышки. Так что минимум 90% энергии из батарейки указки теряются еще до попадания на наклейку.
Интересно, по сути, для решения обозначенной проблемы, недостаточно просто добавить "эмпатии" в системный промпт или датасет. По идее ИИ должен отслеживать состояние пользователя, примерять свои слова на модель его личности и прогнозировать их влияние.
Т.е. это потребует, в идеале, не просто "память чата", а полноценной метаперцепции, от которой до рефлексии - по большому счету один шаг.
Если решить эту задачу - насколько близком мы подойдем самосознанию ИИ, и как следствие - этическим вопросам его использования?
Нет. Уменьшают.
Так как мы заранее знаем все адреса - то каждый запрос будет отсекать все варианты с этой страной и квартирой. А значит максимум за 10 запросов - можно найти ответ, надо только, по возможности, не повторяться и со страной и с квартирой.
А вот когда в каком то поле вариантов больше 10 - тогда да, гарантировать нельзя. И тут либо автор ошибся в условии, либо задача в том и состоит чтобы только максимизировать вероятность верного ответа.
Но гадать смысла нет. И к решению автора у меня вопросов нет (кроме того что 4-й этап лишний, но тут автор просто хотел показать течение мысли). Вопросы к точности и категоричности в утверждениях.
Про такое ограничение в условии ничего не сказано.
Предположим простейший вариант. Все адреса в списке - это разные квартиры в одном и том же доме. Т.е. все поля кроме последнего - одинаковые для всех записей, а последнее поле (номер квартиры) - отличается у всех записей (тупо числа до 1 до 100).
Ваш алгоритм на этом посыплется, шанс угадать упадет до 10%, вместо 100%.
Как впрочем и другие.
Я не к тому то алгоритм плох, а к тому, что нужно понимать зону его применимости. И аккуратнее обращаться со словами типа "гарантированный результат", "абсолютная угадываемость" и пр.
Полностью согласен.
Хочется назвать это "стадией отрицания", но возможно здесь есть и какой-то более глубокий эффект.
Я бы так не сказал. Вот только что: скинул ChatGPT Agent пачку договоров и сказал сделать к ним счета по образу - и он справился буквально идеально. Я бы провозился час с тупым copy|paste, а он сделал за пару минут и еще 5 минут мне на проверку.
Особо приятно, что это именно не переписывание всего текста (что могло дать ошибки), а правки в конкретных ячейках.
Так что "замены менеджеров экселя" - перспектива тоже не слишком далекая :)
Интересно - это как? Объяснит мне, что можно на экране копировать, а что нет?
Если вы считаете, что текст который я дал модели - это "буквально алгоритм решения", то.. пожалуй стоит начать с определения алгоритма :) Но это уже совсем не интересно.
Тратить время на убеждение кого-то кто тебя не слышит довольно глупо.
В любом случае я уже сказал все что хотел сказать, продолжение считаю бессмысленным. Удачи.
Тест с бананами я проводил на grok4 (не heavy). Агентного режима там нет.
Тест с изумрудами проверял в grok и chatgpt (без использования агентов) - ответ везде верный. о3 еще запустил через API, чтобы исключить надстройки браузерной версии - опять же ответ верный.
Вам не нравится термин "прикол" - придумайте свой, это не суть. Суть в том, что вы не правы говоря, что у агентов "нет понимания задач связанных со временем". Задача про изумруды, гораздо более сложная в смысле понимания времени - и LLM с ней отлично справляется.
В то время как в вашей задаче - с точки зрения "понимания времени" - все крайне тривиально. Но LLM не справляется - почему? Ответ на ваших же скриншотах. LLM просто не понимает логику вашей задачи. Она пытается разобраться: может у вас какой-то процесс связанный с ростом числа бананов? Арифметическая прогрессия? Еще какая-то зависимость? При этом, по рассуждениям очевидно что как раз "временные" понятия, такие как "завтра", "вчера", "год назад" - модель прекрасно понимает и оперирует ими.
Переформулируем вашу задачу: "вчера показатель X был равен 2, завтра он будет равен 4, чему он равен сегодня?". Вы настаиваете (на примере с бананами), что ответ 2, потому, что завтра еще не наступило и X не изменилось, а информация о завтра - это просто "избыточные данные". Но это ваше понимание задачи. А можно понимать так что сегодня X = 3, потому что каждый день добавляется 1. Чем такое понимание неправильно?
LLM в данном случае не понимает, что вы от нее хотите, потому что вы закладываете свое понимание задачи, и это скрытая информация которой у модели нет. Человек по формулировке задачи может догадаться о том, что вы ожидаете увидеть в ответе, LLM - (если не брать самые продвинутые модели) - нет.
И все это легко доказать. Добавьте описание всех этих "скрытых" моментов которые вы "предполагаете". Это никак не повлияет на "понимание времени" моделью - но это просто подскажет что вы от нее хотите.
Как видите ответ верный. И это на крохотной локальной модельке gemma 4B без рассуждений и на русском языке!
Как видите даже у такой модельки которую можно на мобилке запустить - с "пониманием времени" вопросов не возникает. Продвинутые модели, конечно, тоже дадут верный ответ, даже при гораздо менее подробном описании.
Я не говорю, что у моделей вообще нет проблем с пониманием реального мира (и времени в частности). Да, это та тема в которой LLM отстают от людей, так как она хуже представлена в обучающих данных. Но, во-первых - это, вероятно, не принципиальное ограничение связанное с отсутствием каких-то специальных нейронов (у человека они отличаются функцией, а не структурой), а скорее особенность обучения; во-вторых - успех современных моделей с таких задачах как раз показывает, что это не принципиальный рубеж, а скорее просто область отставания; в-третьих - опираться на задачки "для дошкольников" в оценке современных моделей - не стоит, результат очень легко неверно интерпретировать.
Во первых на этот вопрос нормальные модели дают правильный ответ:
Во вторых - эта формулировка такой же "прикол" как и первая. Просто потому что если в реальной работе возникнет такая формулировка - то опечатка гораздо вероятнее чем бессмысленный вопрос.
Поэтому нейросеть и отвечает на вопрос некорректно - она не "машина логики" как у фантастов, а статистическая модель основанная на продуктах разума человека, и ей свойственны те же ошибки и когнитивные искажения что и "исходнику".
И это легко доказать. Как я у же написал. Достаточно взять гораздо более сложную в смысле временных интервалов в задачу, но четко определенную и без "приколов". Например:
Задача придумана только что. В обучающей выборке ее точно нет. Рассуждения всех моделей в которых проверил - совершенно верные.
Приведенная вами задача - это не задача на понимание времени (как вы пытаетесь ее выставить), так как это вообще не "задача", а "прикол". Т.е. вопрос формулировка которого умышленно сконструирована так чтобы ввести читателя в заблуждение.
Большинство людей несмотря на "нейронные клетки времени", если их заранее не предупредить - поймут задачу точно также как ИИ, потому, что это понимание наделяет задачу смыслом. Да, если вчитаться то "прикол" очевиден, но он полностью лишает задачу смысла (мы спрашиваем то, что уже знаем).
ИИ не обучали распознавать приколы, потому, что это экономически бесполезно. Но никто не мешает составить датасет подобных "приколов" и дообучить модель. Весьма вероятно, что это сработает и такие "приколы" модель сможет решать куда лучше. Что сильно усложнит задачу тем кто хочет почувствовать свое превосходство выискивая подобные конструкции. Только это произойдет не потому, что модель научилась "чувству времени".
Если я не прав - можно просто дать ИИ нормальную задачу на рассуждения связанные со временем без "приколов" - и посмотреть.
К слову, на базовом уровне такую штуку очень легко сделать в TouchDesigner. Вообще без программирования :)
вот смолвил так смолвил :)
Я опасался, что так может быть прочитано, но имел ввиду совсем не это. У меня нет иллюзий на счет некой "высшей субъективности" человека или подобного бреда.
Говоря о том что, "внутри никого нет" - я скорее о отсутствии динамики (ну и о красоте метафоры, куда без этого)).
Обычная нейросеть сейчас - это "слепок" разума, на него можно под разными углами смотреть (задавать разные вопросы), но он не развивается и не меняется в ходе бесед.
Но это не значит, что нельзя сделать полноценный разум. И на мой взгляд им как раз являются продвинутые ИИ-агенты, которые имеют память, и рассуждая приходят к выводам, могут строить планы и пр. Пока системы из них небольшие и не сложные, но по мере их развития мы непременно придем к AGI (это уже мое личное мнение).
Отвечая на сообщение стоит прочитать его целиком.
На ваши высказывания я уже ответил, вот прямо после фразы "в ответ на очевидный ответ:"...