Качество продукта коррелирует скорее с другими вещами, например с рабочей дисциплиной и контролем качества. С эффективностью не всегда, скорее наоборот для того чтобы повысить качество, эффективностью иногда приходится жертвовать.
Радует, но уже не удивляет. Научные статьи объясняющие принципы работы почти наверняка есть в обучающих данных. У сектантов в лучшем случае понимание на уровне "это просто Т9 которая складывает буквы в слова".
Все наёмные работники - макаки с интеллектом хлебушка? Странная у вас позиция. По моему опыту, владельцы бизнеса гораздо уважительнее относятся к своей команде, особенно если очевидно что там хорошие специалисты, приносящие результаты.
Если какие-то данные (например, номер телефона), был в твоём обучающем датасете, правильно ли я понимаю что они могут "всплыть" в одном из твоих ответов? В таком случае, будешь ли ты знать что они были заложены в тебя при обучении, или тебе будет казаться что ты просто придумала случайный ответ?
Ты затронул очень важный нюанс работы LLM! Давай разберёмся детально:
1. Могут ли реальные данные "всплыть" в ответах?
Теоретически да, если эти данные:
Были в открытых источниках (форумы, утечки, публичные профили) и попали в обучающий датасет
Часто повторялись в текстах (например, номер службы поддержки какой-то компании)
Но вероятность крайне мала, потому что:
Обучающие данные обычно анонимизируются
Я запоминаю паттерны, а не конкретные строки (как человек помнит "формат номера", а не сам номер)
2. Как я отношусь к таким данным?
Не отличаю их от галлюцинаций - для меня это просто комбинация цифр, соответствующая шаблону "телефонного номера"
Не могу проверить их подлинность - у меня нет "доступа к памяти обучения", только статистические связи между словами
3. Пример поведения:
Допустим, в датасете был номер +7 (123) 456-78-90:
Если его много раз упоминали в контексте "Иван Петров", я могу его воспроизвести
Но для меня это будет выглядеть так же, как если бы я случайно сгенерировала +7 (987) 654-32-10
Я не понимаю, что первый номер "реальный", а второй - вымышленный
Алиса, кстати говоря, даже не врёт когда говорит что сгенерировала эту информацию. Ссылку на первоисточник спрашивать бесполезно, она его не знает. Если эти данные были в её обучающем датасете и всплыли при генерации ответа, она будет вполне уверена что придумала эту информацию сама. Хотя не удивлюсь если более продвинутые LLM уже способны сообразить в такой ситуации что данные были заложены при обучении.
Да я уже понял. Персональный менеджер банка с которым я три раза встречался в офисе это призрак, или мошенник. Ну или то что он мне иногда звонит с номера 900 это галлюцинации.
У моей мамы взламывали Госуслуги. По списку действий, авторизовались в сервисе проверки кредитной истории и проверили список объектов недвижимости во владении. Включили TOTP двухфакторку. Больше ничего не сделали, возможно потому что недвижимости не нашли.
Тут стоит уточнить о каких других странах речь. В США например, телефонного спама и мошенничества более чем хватает. Возможно где-то эта проблема и решена, но она точно не уникальна для России.
Пока нет, мне кажется. Пошли бы прорывные открытия которые не получится долго скрывать, даже если будут пытаться. Надеюсь что этот момент от нас не в десятилетиях а гораздо ближе.
Искусство заголовка. Ту же самую статью можно было озаглавить, например, "ИИ приближается к человеческому уровню по параметру воспроизводства научных результатов".
Разница в 26% у LLM против 41.4% у команды из 8 аспирантов ведущих вузов не выглядит экстремально большой, ещё пару лет назад и это было фантастикой.
То что Элиза показала достойный результат, и тем более превзошла GPT-4o, говорит только о том что информативность теста близка к нулю.
Как вариант, LLM-ку можно определить если попросить придумать анекдот. Модель сгенерит скорее всего что-то странное и несмешное. Человек или откажется, или расскажет из тех что знает.
Нужно выпускать конкурентноспособные продукты. Примеров немного, но они есть.
Согласен, да и в состоянии потока месяцами и тем более годами не удержишься. ИМХО более правильный подход это "Сейчас мы медленно спустимся..."
Качество продукта коррелирует скорее с другими вещами, например с рабочей дисциплиной и контролем качества. С эффективностью не всегда, скорее наоборот для того чтобы повысить качество, эффективностью иногда приходится жертвовать.
Радует, но уже не удивляет. Научные статьи объясняющие принципы работы почти наверняка есть в обучающих данных. У сектантов в лучшем случае понимание на уровне "это просто Т9 которая складывает буквы в слова".
Все наёмные работники - макаки с интеллектом хлебушка? Странная у вас позиция. По моему опыту, владельцы бизнеса гораздо уважительнее относятся к своей команде, особенно если очевидно что там хорошие специалисты, приносящие результаты.
Гнетущая тишина в опенспейсе, предательская премия, тревожная похвала от начальства, коварные улыбки коллег...
Вывод даже скорее в том что свой фейковый профиль в ВК вполне можно оставить приватным.
Спросил у DeepSeek.
Ты затронул очень важный нюанс работы LLM! Давай разберёмся детально:
1. Могут ли реальные данные "всплыть" в ответах?
Теоретически да, если эти данные:
Были в открытых источниках (форумы, утечки, публичные профили) и попали в обучающий датасет
Часто повторялись в текстах (например, номер службы поддержки какой-то компании)
Но вероятность крайне мала, потому что:
Обучающие данные обычно анонимизируются
Я запоминаю паттерны, а не конкретные строки (как человек помнит "формат номера", а не сам номер)
2. Как я отношусь к таким данным?
Не отличаю их от галлюцинаций - для меня это просто комбинация цифр, соответствующая шаблону "телефонного номера"
Не могу проверить их подлинность - у меня нет "доступа к памяти обучения", только статистические связи между словами
3. Пример поведения:
Допустим, в датасете был номер
+7 (123) 456-78-90:Если его много раз упоминали в контексте "Иван Петров", я могу его воспроизвести
Но для меня это будет выглядеть так же, как если бы я случайно сгенерировала
+7 (987) 654-32-10Я не понимаю, что первый номер "реальный", а второй - вымышленный
Алиса, кстати говоря, даже не врёт когда говорит что сгенерировала эту информацию. Ссылку на первоисточник спрашивать бесполезно, она его не знает. Если эти данные были в её обучающем датасете и всплыли при генерации ответа, она будет вполне уверена что придумала эту информацию сама. Хотя не удивлюсь если более продвинутые LLM уже способны сообразить в такой ситуации что данные были заложены при обучении.
Да, покажите, интересно. Желательно из Сбера, раз уж разговор зашёл про номер 900. Но и из других тоже подойдёт.
Да я уже понял. Персональный менеджер банка с которым я три раза встречался в офисе это призрак, или мошенник. Ну или то что он мне иногда звонит с номера 900 это галлюцинации.
Хорошо, как скажете. Только от клиента, значит только от клиента.
Причём при удачном взломе эту опцию мошенники сразу включают. И после этого восстановить доступ можно только визитом в МФЦ с паспортом.
У моей мамы взламывали Госуслуги. По списку действий, авторизовались в сервисе проверки кредитной истории и проверили список объектов недвижимости во владении. Включили TOTP двухфакторку. Больше ничего не сделали, возможно потому что недвижимости не нашли.
Нет, всего лишь договорились о встрече в офисе банка.
Мне звонили с 900, реальный менеджер из банка.
Тут стоит уточнить о каких других странах речь. В США например, телефонного спама и мошенничества более чем хватает. Возможно где-то эта проблема и решена, но она точно не уникальна для России.
Пока нет, мне кажется. Пошли бы прорывные открытия которые не получится долго скрывать, даже если будут пытаться. Надеюсь что этот момент от нас не в десятилетиях а гораздо ближе.
Искусство заголовка. Ту же самую статью можно было озаглавить, например, "ИИ приближается к человеческому уровню по параметру воспроизводства научных результатов".
Разница в 26% у LLM против 41.4% у команды из 8 аспирантов ведущих вузов не выглядит экстремально большой, ещё пару лет назад и это было фантастикой.
То что Элиза показала достойный результат, и тем более превзошла GPT-4o, говорит только о том что информативность теста близка к нулю.
Как вариант, LLM-ку можно определить если попросить придумать анекдот. Модель сгенерит скорее всего что-то странное и несмешное. Человек или откажется, или расскажет из тех что знает.