Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 47
Настанет то время, когда нейросети будут умнее чем сейчас. Вопрос лишь в мощностях и ресурсах.
Где контрольная группа? Где, хотя бы, группа студентов, которым сказали сделать отчёт об этом заболевании?
Можно Марк Твена прочитать.
Мне и в голову не приходило, что кто-нибудь когда-нибудь примет мое кровавое злодеяние за истинное происшествие, – ведь я так тщательно прослоил свой рассказ явными выдумками и нелепостями вроде «огромного соснового бора», «мраморного особняка» и прочее. Но с тех пор я на всю жизнь запомнил, что мы никогда не читаем скучных объяснений к захватывающим дух, увлекательным историям, если у нас нет повода подозревать, что какой-то безответственный писака хочет нас обмануть
Ну теоретически нейросеть может и проверять информацию. И непроверяемую считать недостоверной.
А шутник может пойти немного дальше и создать документы, подтверждающие друг друга.
Это особенно занимательно - эксперимент был проведен буквально на коленке 2 года назад, но аукается до сих пор.
Между тем непонятно, как этовсе повлияет на доступность качественной медицины (вопрос, существует ли вообще такая задача, оставим пока за скобками) - врач, способный максимизировать пользу и минимизировать риски использования ии в своей работе будет стоить никак не дешевле того, кто не пользуется ии
Ключевое слово — теоретически. И тут очень серьёзная проблема. ИИ в принципе нельзя заставить выдавать только достоверную информацию. Во-первых, проблема глубины проверки. Если на каждый запрос «вредны ли пирожные по утрам» ИИ будет анализировать опыт человечества с начала времён… А во-вторых, уже с нашей стороны сейчас такой хайп, что люди просто слепо верят всему что этот ИИ выдаёт.
И да. простите, не могу удержаться. «Университет Братства Кольца и Галактической Триады» ) А «Лазлив Изгубленович» — это вообще пять! ))
В очень умный справочник загрузили фейк-данные и "О, боже, этот страпочник выдал эти фейк-данные". А что он должен был сделать? Пойти провести сам исследования?
Написали в фейк-данных, что Levels of Evidence 1a и он скажет, что это 1а (самое достоверное что есть). Экспериментатор же не запросил у него провести исследование, чтобы оценить насколько в литературе встречается и описано это заболевание, насколько он считает оно реальное или выдумка. Поэтому какой спрос с него?
Даже очень хороший специалист человек не отличит хорошо сфабрикованные фейк-данные от реальных особенно в новых мелких заболеваниях, особенно если там привели Levels of Evidence равные 1а.
Дремучим сибирским лесорубам подарили новуюяпонскую бензопилу. Подставили доску:
- Вжик! - сказала японская бензопила.
- Ух ты! - сказали дремучие сибирские лесорубы.Подставили бревно:
- Вжик! - сказала японская бензопила.
- Ух ты! - сказали дремучие сибирские лесорубы.Подставили железный лом:
- Крррр....! - сказала японская бензопила.
- А бля! - сказали дремучие сибирские лесорубы.
Если кто-то использует нейросетки как справочник, то это не делает их справочником. Все таки их возиожности намного шире
Каждый раз, когда слышу этот анекдот, меня переполняет гордость за “дремучих сибирских лесорубов”.
Три закона Кларка были сформулированы известным английским изобретателем, писателем-фантастом и футурологом Артуром Кларком:
Когда уважаемый, но пожилой учёный утверждает, что что-то возможно, то он почти наверняка прав. Когда он утверждает, что что-то невозможно, — он, весьма вероятно, ошибается.
Единственный способ обнаружения пределов возможного состоит в том, чтобы отважиться шагнуть немного дальше — в невозможное.
Любая достаточно развитая технология неотличима от магии.
Модель обучили на фальшивых данных. При чём здесь "нейросети поверили"? Как валидировали данные, в той же степени модели и поверили.
Проблема в том, что будь нейросети действительно такими умными , как их преподносят из каждого утюга, то они бы не стали обучаться на таких откровенно (для человека) фейковых данных. Вместо этого нейросети бездумно запоминают все подряд.
А так как с каждым днем, доверие к ответам от нейронок все растет, то и люди начинают верить во все подряд, в том числе и во всякий треш типа выдуманных болезней
Из каждого утюга только и слышно, про то, как нейросети нагалюцинировали очередную дичь.
А уж про то, что "умный ещё не значит мудрый" или тому подобное "эрудиция не равно знание" - так вообще должны с детского сада вдалбливать. Как и про то, что самый дорогой микроскоп может и забивает мебельные гвозди в берёзу, но даже он рассыпается, если попытаться забивать саморез вместо болта.
Можно пойти дальше.
Никто не мешает корпорациям стоящим за популярными нейронками типа chatgpt, начать или продолжить(?) манипулировать всем человечеством путем подмены данных. Взять к примеру исторические события. Удаляем из датасета какое-то нелицеприятное историческое событие (типа позорный проигрыш в войне с Вьетнамом) и заменяем его другим (добавляем сотни вымышленных статей, как их доблестные и храбрые войны победили всех и вся). Думаете никто не будет таким заниматься? А вот зря думаете, прецеденты уже есть ( вспомните про китайскую цензуру в отношении событий произошедших на площади Тяньаньмэнь в 1989 )
И вот современный школьник, которому лень читать учебники, задает вопрос chatgpt про войну с Вьетнамом. Дальше додумайте сами.
вспомните про китайскую цензуру в отношении событий произошедших на площади Тяньаньмэнь в 1989
Ага, или про особняк Барбары Стрейзанд.
И вот современный школьник, которому лень читать учебники
Кек, будто в учебниках цензуры нет и написана только правда и все точки зрения, а не та точка зрения, которую диктует государство.
Никто не мешает корпорациям стоящим за популярными нейронками типа chatgpt, начать или продолжить(?) манипулировать всем человечеством путем подмены данных.
Вы наверняка будете сомневаться, но я вам таки скажу, что большая часть истории сфальсифицирована задолго до появления ИИ. И любой парадокс - явный указатель. Но есть неявные. Так что не воспринимайте науку вообще, а историю особенно, как нечто истинное.
откровенно (для человека) фейковых данных
Почему вы решили, что живой человек распознал бы подделку? Много исследований прямо сфальсифицированы и это выявилось через годы или десятилетия. И это во многих отраслях - от техники до медицины.
С техникой сложнее, но в СССР строили металлургические заводы в полный размер для новых технологий, а после постройки выяснялось что такой технологии не существует.
В медицини вообще плачевно - примерно половина исследований прямо сфальсифицировано. И это всё (исследования, статьи, материалы) было размещено в рецензируемой литературе.
Я брал старые исследования по металлургии и исследовал их на вычислительных мощностях недоступных в прошлое время. Часто было что выводы не то что бы сфальсифицированы, а вероятнее их было очень сложно обработать и поэтому выводы были довольно сильно некорректны на грани ошибки.
Пока никто не заявлял, что создал ИИ с собственным мышлением. Для этого нужно на 6 порядков больше вычислительных ресурсов, чем для самой передовой модели которая существует на данный момент.
В медицини вообще плачевно - примерно половина исследований прямо сфальсифицировано
Ага, десятилетия на этих исследованиях делают выводы, включают в метанализы и никто не видит подвоха. Почему ии должен это определять по одному промту, если кожаные всей планетой подвоха не видят?
Почему вы решили, что живой человек распознал бы подделку?
А я и не спорю, что любое исследование/научная статья при должном желании и имея соответствующую цель не будет распознано как фейк даже профильными специалистами.
Но в этой статье приводится эксперимент, который показывает, что фейковое исследование, которое специально "кричит" что оно фейковое (см. отсылки на "Университет Братства Кольца и Галактической Триады") НЕ распознается современными нейронками как фейк, а принимается за чистую правду. Вот это уже большая проблема...
Нейронку кто-то спрашивал оценить реальное это исследование или фейк? Нет.
Вы ставите задачу и она выполняет. Если нейронка будет действовать самостоятельно - проверять на фейки сразу, выдавать вам свои мысли что может быть фейк, то кожаные так же будут недовольны, что токены тратятся просто так, что мы спросили одно, а она начинает рассуждать о другом итд
в СССР строили металлургические заводы в полный размер для новых технологий, а после постройки выяснялось что такой технологии не существует.
Я заинтересовался темой и попробовал наперплексить примеры, но прямых образцов не находится. Можете дать направление куда искать? Пока что речь идёт о том, что были экспериментальные установки, но они были именно экспериментальными.
Я брал старые исследования по металлургии и исследовал их на вычислительных мощностях недоступных в прошлое время. Часто было что выводы не то что бы сфальсифицированы, а вероятнее их было очень сложно обработать и поэтому выводы были довольно сильно некорректны на грани ошибки.
Невероятно интересно было бы почитать, хотя в металлургии я полный 0.
Невероятно интересно было бы почитать
https://habr.com/ru/sandbox/219982/ это то направление, что я делал на комбинате - там уместилось примерно 4 - 5% от общего числа исследований. В статье есть ссылки на несколько глав.
В целом для для тех кто не из отрасли это такие заумные исследования для довольно немногочисленных специалистов, что даже если и смотрят, то прокомментировать не могут. Публиковал материалы по пластичности - наверное большинство им не поверили, потому что это противоречит бытовому опыту, публиковал статьи для ножеделов - которые они не приняли, есть статьи с критикой научных статей - тоже просили удалить, потому что у них уже кандидатские защищены по разбираемым материалам.
А по первому вопросу - было множество таких кейсов. Мои материалы по большей части уничтожены; я знаю где искать источники, только это займёт пару дней, а столько времени у меня нет.
И наверное повторится прежнее - я написал о проблемах Оскольского электрометаллургического комбината (ОЭМК) в начале деятельности в советский период, так администрация (на другом ресурсе) сняла материал после жалоб. Ещё писал о других проблемах в технологии на разных предприятиях - почти всё подвергалось критике не по техническим аспектам, а потому что порочило социалистическую действительность, когда это происходило.
Я здесь очень ограниченно публикую материалы - был конкурс, где просили статьи о промышленности - я опубликовал; иногда не выдерживаю чуши которую публикуют как бы "специалисты" и тоже публикую разборы. Это ресурс для IT специалистов, мне есть что сказать - только вероятно меня не услышат. Совсем уникальных материалов у меня всего около пяти, но это стык IT и электроники и технологии - мало кому будет интересно.
https://habr.com/ru/articles/889328/ - написал про применение ИИ в промышленности и что я предпочитаю для технологий. В общем материала много, опубликовать негде - в большинстве случаев продвигают не науку, а договорные схемы.
Людей учат отличать фейки. И все равно не все могут это делать.
Нейросети до сих пор вообще не учили определять фейки. Им ставилась задача только запомнить и пересказать.
Научат и критическому мышлению, но на это нужен запрос пользователей, и время.
Кто учит людей отличать фейки? Ни в школе, ни в универе ничего такого не дают. Наоборот приручают к слепой вере и все вопросы искореняют калёным железом, только математика там особняком стоит.
Только что сами учат или умные родители или друзья помогают
Точные науки учат логике, которая принципиально отрицает веру. Примеры в литературе, начиная со сказок про обманутых попов, потом Хлестаков и так далее, просто в бытовом плане, никто не хочет быть доверчивым "лохом".
Точные науки могут чему угодно учить, а учителя в 99.99% требуют зубрёжки с повторением выученого без всякого размышления. Любые попытки указать что у вас тут в методических указаниях или тестах ошибка, принимаются в адовые штыки. Вспоминаю как приходу в универе на выч.технику. А там семестр с базовыми знаниями, вот вам перевод из одной системы счисления в другую. Я считаю и не сходится, преподаватель даёт ноль. Мне потребовалось больше часа спорить, чтобы доказать что у неё ответы на тест неверные. Категорически отказывалась принимать любой здравый смысл. Хоть я мог показать на пальцах, посчитать на бумажке тремя методами, показать на компе, показать на мобильном телефоне где был встроенный калькулятор с переводом. Всё. В тесте написано, иди на уй
И тд. Преподам намного проще и легче вбивать знания из одобренных пособий и сверять с приложеными результатами. Всё остальное ересь. Я уж не говорю про не точные науки. Где вообще шаг влево, шаг в право от мнения государство сразу расстрел с занесением в личное дело
Нет худа без добра - Вас не сожгли.
Точные науки могут чему угодно учить, а учителя в 99.99% требуют зубрёжки с повторением выученого без всякого размышления.
(Дiд Панас вспоминает историю из босоногого школьного детства, когда написал заяву в гороно, что отказывается сдавать экзамен по информатике учителю информатики ввиду его некомпетентности — учитель всё ещё читал лекции по учебнику, а он уже на MACRO-11 системные утилиты писал.)
- ...награждается медалью Панорамы.
- Служу энтропии!
— Чатгпт, слушай. Я заказал чашку, у нее нет дна и верх запаян. Как думаешь, это брак?
— Однозначно брак! Помочь составить заявление о возврате?
Как оказалось это тоже верный ответ нейросети. Как в случае со свиными крылышками и клеем в пицце.
Как в случае со свиными крылышками
Скрытая картинка
А что не так с вашим примером, не пойму? В контексте обучающей выборки, разноцветными бывают "ногти" (nails), а не "гвозди" (nails) - поэтому контекст определен моделью статистически правильно. Или вы придираетесь к тому что "человек" (man) как слово грамматически мужского рода было понято как четко "мужчина" (man), a не "женщина" (woman)?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Нейросети поверили в историю про выдуманную болезнь