LLM не может работать отлично, там же ГПСЧ в самой фундаментальной части архитектуры. Да и не все железяки работают отлично. Вы же не выбрасываете зажигалку после первого несрабатывания? =)
иначе зачем она нужна?
Я же написал примеры, зачем она может быть нужна, а вы это как-то проигнорировали, даже не задумавшись =(
Вам вот нужен парашют, отлично срабатывающий, кроме одного случая из 10 (или пусть даже из 100)?
Нельзя использовать LLM в критически важных ситуациях. Вот нельзя и всё. Об этом везде говорят, и все адекватные люди это понимают, а неадекватные и без этого найдут способ убиться.
Для этого опять же надо заранее знать, где оно нормально работает, а где муму порет.
Просто лучше давать ему задачи, которые легко проверить, и не давать что-то сложное. Где примерная граница сложности - это, увы, только с опытом использования понимаешь.
Я вот как-то попробовал с помощью ИИ перевести фантастический рассказ.
Вот это, кстати, уже пожалуй за гранью этой сложности - тут мешает и ограничение на длину контекста, и плохая работа с русским языком, и файн-тюнинг под "нехудожественные" ответы.
Прикиньте, а ещё можно научиться самому и иметь ещё больше профита!
Прикиньте, а я всё это и так умею. Просто в некоторых случаях быстрее дать задание к LLM и потом проверить результат (и сделать самому, если получилось плохо). И такой подход даёт больше профита, чем делать это самому сразу. А так можно придраться и ко всяким помощникам в рефакторинге типа Resharper'а: зачем оно нужно, можно же сделать без него, самому, а надо ещё и учиться им пользоваться, плеваться от глюков - не, нафиг-нафиг, это для миллениалов, я в блокноте буду програмиировать.
Нет, это он оценивает Ваши способности — где Вы знаете материал, а где "плаваете".
В этой аналогии ваш подход больше напоминает преподавателя, который после первого же неправильного ответа студента отправляет его на пересдачу.
А если некто заявляет, что он всё знает — пусть будет бобёр соответствовать
Так никто этого не заявляет. Под полем ввода у ChatGPT прямо написано: ChatGPT can make mistakes. Consider checking important information.
Только тогда чем оно лучше подбрасываемой монетки — которая может орлом, а может и решкой?
Тем, что вероятность правильного ответа в некоторых областях сильно больше 50%. Языковые модели - это инструмент. И если понимать его границы применимости, то можно использовать его очень эффективно.
Кстати, если я ужезнаю правильный ответ — то зачем мне вообще нужен какой-то там AI?
Зависит от того, что вам нужно. Есть кейсы, когда лучше использовать LLM, чем тратить свои силы и время. Допустим, написать какое-то длинное письмо - дал задачу, подкорректировал результат, готово. Или вот у нас в конторе надо было прокатегоризировать несколько миллионов поисковых запросов - написал за часа полтора код с запросами к API GPT-3.5, поставил на ночь, и утром получил вполне приличный результат. Регулярно даю ему всякие нудные задачи типа написания каких-то простых скриптов, или сделать читаемыми куски JS-кода после минификации - справляется недурственно.
Ну да, так и вижу
Ну можно, конечно, смеяться сколько угодно, а можно научиться пользоваться и иметь профит в виде немного возросшей производительности труда. Хотя, впрочем, одно другому не мешает =)
Прошу прощения, я либо неправильно вас понял, либо плохо выразился. Попробую развеять недопонимание.
Ваш комментарий, на который я отвечал, я проинтерпретировал так, что от языковых моделей надо "добиваться" неправильного ответа, чтобы продемонстрировать, что в общем случае они не работают. Но ведь и с людьми такая же история. Ошибаются все, даже умные, и в том числе на элементарных вопросах - но это же не будет означать, что люди беспросветно тупые и им нельзя доверить никакой деятельности.
Тем более, GPT-4 на эти вопросы о землекопах отвечает в большинстве случаев верно, если задавать их на английском, в новом контексте и т. п. То есть в этом отношении она даже лучше среднего человека. Конечно, есть области мышления, где она очень жёстко тупит - но тут, опять же, как с людьми, у всех есть сильные и слабые стороны.
В целом, за 20 баксов в месяц мы получаем помощника, который по умственным способностям плюс-минус похож на секретаря с IQ около 100. Ещё и рисовать и программировать немного умеет. По соотношению цена/качество человек уже переплюнут.
Позадавайте тогда эти вопросы 1000 случайным людям, и если хоть один ответит неправильно - получается, всё, люди ни на что не годны и разумом не обладают.
Вроде бы если сделать замену x = cos t, то из корня получится просто синус, делаем из него косинус по формулам приведения, заменяем обратно - и получается треугольная функция распределения. Так что способ действительно рабочий и без тригонометрии. Если я в уме нигде не ошибся :)
Но вы ведь наверняка говорили коллеге «обрати внимание, возвращаемый тип — int»?
Да, естественно, я не утверждаю, что если кто-то использует слова "знание", "реальность" и прочее "бытие", это автоматически означает, что философия нужна. В большинстве случаев можно даже не задумываться о значении этих слов и спокойно заниматься наукой. В общем-то я в предыдущем комменте об этом упомянул.
Подавляющее большинство выпускников с дипломом в computer science про теорию типов слышали очень отдалённо, если вообще слышали.
Всем в computer science теория типов не нужна. Тем, кто пишет компиляторы для языков, где нужен хороший вывод типов (в сложной системе) - очень даже нужна. Иначе есть шанс потратить много времени на изобретение велосипеда, который, если бы теории типов не существовало, положил бы ее начало =) Ну и к плюсам, понятное дело, в силу их специфической системы типов это слабо относится.
для заработка 300кк/нс датасайентистом она даже вредна, я бы сказал.
Да, тут я излишне упростил, из-за чего получилась генерализация. Скажем так, в некоторых областях программирования для какого-то уровня квалификации знание основ теории типов становится необходимым.
ИМХО умение рассуждать вообще отлично прокачивается матлогом
Безусловно, но не является достаточным. Поэтому, мне кажется, вы сознательно лукавите, говоря о том, что матлога и Байеса хватит для любых рассуждений, которые полезны для науки. Даже если, например, эпистемологию формализуют (а попытки ведутся), там явно будет как минимум введение своих аксиом - то есть к другим наукам она будет несводима. А определение знания из эпистемологии в науке нужно хотя бы для того, чтобы определить, какая теория лучше. Да, можно не использовать для этого никакие философские определения, но тогда это будет как с изобретением своего вывода типов - получится кусочек философии.
Мне, наверно, нет, но ведь теория типов нужна для computer science, если проводить аналогии. Конкретному ученому философия тоже как собаке пятая нога в подавляющем большинстве случаев. Но вот если я хочу зарабатывать 300кк/нс, то как минимум основы теории типов скорее всего знать придется (особенно, если буду работать над компилятором или вообще новым языком). И если ученый стоит на переднем крае науки, ему тоже философия очень пригодится. Оговорюсь еще раз, что не как институт (который сейчас действительно мертв), а как подходы к мышлению - в противовес методике "заткнись и считай".
Наверное, стоит дать какое-никакое определение того, что я имею в виду под философией. Думаю, что не сильно совру, если скажу, что это:
умение рассуждать о вещах, не находящихся (пока) в ведении какой-либо области науки;
умение задавать вопросы об этих вещах, в том числе "метавопросы" (имеет ли где-то этот вопрос смысл? значим ли он?);
и набор выводов из рассуждений об этих вещах (чтобы каждому, кто с ними столкнется, не пришлось думать над ними еще раз)
К сожалению, сейчас нет нормального "учебника" по философии для ученых, где содержались бы только полезные для них вещи, притом современные и написанные понятным языком. Курс философии науки и техники в аспирантурах очень слабый, кмк. Хоть сам садись и пиши.
Кстати, насчёт фальсифицируемости - я думаю, что она сейчас совсем не нужна. Если какая-то теория может дать новые знания в байесианском смысле, то она уже научна. Поэтому, скажем, струнные физики могут спать спокойно. Или вот многие считают психологию ненаучной, имея в виду, что какой-нибудь психоанализ или гештальт не удовлетворяют критерию Поппера, когда на самом деле современная психология уже кучу времени генерирует новые знания. Если бы институт философии был нормальным, ни у кого вопросов по этому поводу бы не было - к вопросу о пользе =)
Чем там занимаются философы - я понятия не имею. Современная философия как институт, скорее всего, занимается полной ерундой. А вот философия как наука, эээ, мыслительная хреновина, связанная с вопросами познания, и сидящая у нас в голове как способность рассуждать о неформализованных вещах, позволяет в том числе давать определение знания. То есть, вы именно философскими методами пришли к тому определению, которое высказали. Возможно, вам кажется, что вы сделали простой вывод - но тогда он бы появился и стал общепринятым спустя недолгое время после появления теоремы Байеса, не правда ли? =) Поэтому не принижайте свой уровень интеллекта.
Почему вывод этого определения именно философский - потому что он может быть только вне контекста какой-либо науки. Такие рассуждения и являются философскими - ну, конечно, их можно так не называть, но "роза пахнет розой". Поэтому, мне кажется, что философия для науки действительно необходима - не как институт, а как воспитание способности к таким рассуждениям (конечно, если бы институт философии систематически занимался схожими проблемами, было бы совсем хорошо, но маємо те що маємо). Например, если в будущем окажется, что передовое на текущий момент байесианство окажется тормозящим для науки, то без философии никто этого даже не заметит. А если заметит - значит, он при этом применит философию.
Ммм, так, собственно, это же и есть байесианское определение процесса получение знаний. То, что вы додумались до него сами - говорит о вас как об умном человеке (и о том, что философы последних десятилетий занимались не пойми чем), а не о том, что вы не использовали философию. Вы же не математическими рассуждениями пришли к этому определению =)
подразумевается вами, вы уже мысли читать научились?
Подразумевается всеми, кто обладает достаточным уважением к участникам дискуссии, чтобы подняться на пару уровней выше и прочитать более раннее высказывание автора:
Вы утверждаете, что по текущей программе в начальной-средней школе ребенок сам может выполнить все задания? Нет, в школе СССР оно так и было… Но поскольку теперь программу обогатили самостоятельными и творческими заданиями (а уровень преподавания в школе сильно упал) — у детей нет шансов.
Прошу прощения за некропостинг, но ваш ответ, к сожалению, только что заметил.
С другой стороны, «не лезут» таковые только потому что некуда. Могут только странными речами на GT ограничиться. Была бы у него власть запретить и мне и вам и всем есть ГМО… — уж будьте уверены.
Ну это домыслы. Я, например, почти ничего не понимаю в химии, но если вдруг стал бы каким-нибудь депутатом, то ни в коем случае не начал бы кампанию против "химикатов", не разобравшись. А возможности "залезть" куда-либо, спровоцируя такую кампанию, у каждого человека есть будь здоров сколько - неважно, чем есть ли у него власть или нет.
Ну и лично мне это непонятно: «не биолог, и углубляться в биологию нет желания» — неужели не хочется хоть немного сложить мнение о предмете?
Ну вот, опять же, у меня тоже нет желания разбираться в химии, чтобы понять, допустим, какие Е-добавки вредны, в какой концентрации, как их получают и какой при этом наносится вред среде, что насчет всяких пестицидов в "натуральных" продуктов и т. д. Это ж голова лопнет — научиться всем этим оперировать на таком уровне, чтобы при походе в магазин стабильно уметь отличать плохой продукт от хорошего, используя эти знания. Поэтому, приходится в том числе использовать
проверенное
— в том смысле, что отличать по косвенным "проверенным" на своем опыте признакам. Мне кажется, что и вы делаете так же. И это у меня с вами интеллект выше среднего, а у большинства людей даже возможности разобраться во всем этом нет, работать некогда будет.
И вообще всё это попахивает луддизмом.
В любом обществе полезны и те, кто максимально открыт всему новому, и те, кто придерживаются ретроградной позиции. Когда без фанатизма и навязывания своей точки зрения другим, конечно.
Если корневой комментарий ветки заминусовали только из-за того, что человек показался луддитом — это очень печально. На мой взгляд, большинство придерживается намного более "отшибленных" взглядов. Такую пургу несут, что мама не горюй, по любому вопросу. И при этом считают себя правыми.
За что заминусовали человека — непонятно. Вполне нормальная позиция, «не понимаю — не лезу». Не лучшая, но и не плохая. Человека, которому сложно во всем разобраться, за такое можно только похвалить.
Да, только генетическому алгоритму вообще лет 50 уже.
LLM не может работать отлично, там же ГПСЧ в самой фундаментальной части архитектуры. Да и не все железяки работают отлично. Вы же не выбрасываете зажигалку после первого несрабатывания? =)
Я же написал примеры, зачем она может быть нужна, а вы это как-то проигнорировали, даже не задумавшись =(
Нельзя использовать LLM в критически важных ситуациях. Вот нельзя и всё. Об этом везде говорят, и все адекватные люди это понимают, а неадекватные и без этого найдут способ убиться.
Просто лучше давать ему задачи, которые легко проверить, и не давать что-то сложное. Где примерная граница сложности - это, увы, только с опытом использования понимаешь.
Вот это, кстати, уже пожалуй за гранью этой сложности - тут мешает и ограничение на длину контекста, и плохая работа с русским языком, и файн-тюнинг под "нехудожественные" ответы.
Прикиньте, а я всё это и так умею. Просто в некоторых случаях быстрее дать задание к LLM и потом проверить результат (и сделать самому, если получилось плохо). И такой подход даёт больше профита, чем делать это самому сразу. А так можно придраться и ко всяким помощникам в рефакторинге типа Resharper'а: зачем оно нужно, можно же сделать без него, самому, а надо ещё и учиться им пользоваться, плеваться от глюков - не, нафиг-нафиг, это для миллениалов, я в блокноте буду програмиировать.
В этой аналогии ваш подход больше напоминает преподавателя, который после первого же неправильного ответа студента отправляет его на пересдачу.
Так никто этого не заявляет. Под полем ввода у ChatGPT прямо написано: ChatGPT can make mistakes. Consider checking important information.
Тем, что вероятность правильного ответа в некоторых областях сильно больше 50%. Языковые модели - это инструмент. И если понимать его границы применимости, то можно использовать его очень эффективно.
Зависит от того, что вам нужно. Есть кейсы, когда лучше использовать LLM, чем тратить свои силы и время. Допустим, написать какое-то длинное письмо - дал задачу, подкорректировал результат, готово. Или вот у нас в конторе надо было прокатегоризировать несколько миллионов поисковых запросов - написал за часа полтора код с запросами к API GPT-3.5, поставил на ночь, и утром получил вполне приличный результат. Регулярно даю ему всякие нудные задачи типа написания каких-то простых скриптов, или сделать читаемыми куски JS-кода после минификации - справляется недурственно.
Ну можно, конечно, смеяться сколько угодно, а можно научиться пользоваться и иметь профит в виде немного возросшей производительности труда. Хотя, впрочем, одно другому не мешает =)
Прошу прощения, я либо неправильно вас понял, либо плохо выразился. Попробую развеять недопонимание.
Ваш комментарий, на который я отвечал, я проинтерпретировал так, что от языковых моделей надо "добиваться" неправильного ответа, чтобы продемонстрировать, что в общем случае они не работают. Но ведь и с людьми такая же история. Ошибаются все, даже умные, и в том числе на элементарных вопросах - но это же не будет означать, что люди беспросветно тупые и им нельзя доверить никакой деятельности.
Тем более, GPT-4 на эти вопросы о землекопах отвечает в большинстве случаев верно, если задавать их на английском, в новом контексте и т. п. То есть в этом отношении она даже лучше среднего человека. Конечно, есть области мышления, где она очень жёстко тупит - но тут, опять же, как с людьми, у всех есть сильные и слабые стороны.
В целом, за 20 баксов в месяц мы получаем помощника, который по умственным способностям плюс-минус похож на секретаря с IQ около 100. Ещё и рисовать и программировать немного умеет. По соотношению цена/качество человек уже переплюнут.
Позадавайте тогда эти вопросы 1000 случайным людям, и если хоть один ответит неправильно - получается, всё, люди ни на что не годны и разумом не обладают.
Вроде бы если сделать замену x = cos t, то из корня получится просто синус, делаем из него косинус по формулам приведения, заменяем обратно - и получается треугольная функция распределения. Так что способ действительно рабочий и без тригонометрии. Если я в уме нигде не ошибся :)
В плюсы вообще никогда сишный код копировать нельзя, если там что-то с указателями - как минимум, это надо делать очень аккуратно.
Да, естественно, я не утверждаю, что если кто-то использует слова "знание", "реальность" и прочее "бытие", это автоматически означает, что философия нужна. В большинстве случаев можно даже не задумываться о значении этих слов и спокойно заниматься наукой. В общем-то я в предыдущем комменте об этом упомянул.
Всем в computer science теория типов не нужна. Тем, кто пишет компиляторы для языков, где нужен хороший вывод типов (в сложной системе) - очень даже нужна. Иначе есть шанс потратить много времени на изобретение велосипеда, который, если бы теории типов не существовало, положил бы ее начало =) Ну и к плюсам, понятное дело, в силу их специфической системы типов это слабо относится.
Да, тут я излишне упростил, из-за чего получилась генерализация. Скажем так, в некоторых областях программирования для какого-то уровня квалификации знание основ теории типов становится необходимым.
Безусловно, но не является достаточным. Поэтому, мне кажется, вы сознательно лукавите, говоря о том, что матлога и Байеса хватит для любых рассуждений, которые полезны для науки. Даже если, например, эпистемологию формализуют (а попытки ведутся), там явно будет как минимум введение своих аксиом - то есть к другим наукам она будет несводима. А определение знания из эпистемологии в науке нужно хотя бы для того, чтобы определить, какая теория лучше. Да, можно не использовать для этого никакие философские определения, но тогда это будет как с изобретением своего вывода типов - получится кусочек философии.
Мне, наверно, нет, но ведь теория типов нужна для computer science, если проводить аналогии. Конкретному ученому философия тоже как собаке пятая нога в подавляющем большинстве случаев. Но вот если я хочу зарабатывать 300кк/нс, то как минимум основы теории типов скорее всего знать придется (особенно, если буду работать над компилятором или вообще новым языком). И если ученый стоит на переднем крае науки, ему тоже философия очень пригодится. Оговорюсь еще раз, что не как институт (который сейчас действительно мертв), а как подходы к мышлению - в противовес методике "заткнись и считай".
Наверное, стоит дать какое-никакое определение того, что я имею в виду под философией. Думаю, что не сильно совру, если скажу, что это:
умение рассуждать о вещах, не находящихся (пока) в ведении какой-либо области науки;
умение задавать вопросы об этих вещах, в том числе "метавопросы" (имеет ли где-то этот вопрос смысл? значим ли он?);
и набор выводов из рассуждений об этих вещах (чтобы каждому, кто с ними столкнется, не пришлось думать над ними еще раз)
К сожалению, сейчас нет нормального "учебника" по философии для ученых, где содержались бы только полезные для них вещи, притом современные и написанные понятным языком. Курс философии науки и техники в аспирантурах очень слабый, кмк. Хоть сам садись и пиши.
Кстати, насчёт фальсифицируемости - я думаю, что она сейчас совсем не нужна. Если какая-то теория может дать новые знания в байесианском смысле, то она уже научна. Поэтому, скажем, струнные физики могут спать спокойно. Или вот многие считают психологию ненаучной, имея в виду, что какой-нибудь психоанализ или гештальт не удовлетворяют критерию Поппера, когда на самом деле современная психология уже кучу времени генерирует новые знания. Если бы институт философии был нормальным, ни у кого вопросов по этому поводу бы не было - к вопросу о пользе =)
Чем там занимаются философы - я понятия не имею. Современная философия как институт, скорее всего, занимается полной ерундой. А вот философия как
наука, эээ, мыслительная хреновина, связанная с вопросами познания, и сидящая у нас в голове как способность рассуждать о неформализованных вещах, позволяет в том числе давать определение знания. То есть, вы именно философскими методами пришли к тому определению, которое высказали. Возможно, вам кажется, что вы сделали простой вывод - но тогда он бы появился и стал общепринятым спустя недолгое время после появления теоремы Байеса, не правда ли? =) Поэтому не принижайте свой уровень интеллекта.Почему вывод этого определения именно философский - потому что он может быть только вне контекста какой-либо науки. Такие рассуждения и являются философскими - ну, конечно, их можно так не называть, но "роза пахнет розой". Поэтому, мне кажется, что философия для науки действительно необходима - не как институт, а как воспитание способности к таким рассуждениям (конечно, если бы институт философии систематически занимался схожими проблемами, было бы совсем хорошо, но маємо те що маємо). Например, если в будущем окажется, что передовое на текущий момент байесианство окажется тормозящим для науки, то без философии никто этого даже не заметит. А если заметит - значит, он при этом применит философию.
Ммм, так, собственно, это же и есть байесианское определение процесса получение знаний. То, что вы додумались до него сами - говорит о вас как об умном человеке (и о том, что философы последних десятилетий занимались не пойми чем), а не о том, что вы не использовали философию. Вы же не математическими рассуждениями пришли к этому определению =)
Подразумевается всеми, кто обладает достаточным уважением к участникам дискуссии, чтобы подняться на пару уровней выше и прочитать более раннее высказывание автора:
Прошу прощения за некропостинг, но ваш ответ, к сожалению, только что заметил.
Ну это домыслы. Я, например, почти ничего не понимаю в химии, но если вдруг стал бы каким-нибудь депутатом, то ни в коем случае не начал бы кампанию против "химикатов", не разобравшись. А возможности "залезть" куда-либо, спровоцируя такую кампанию, у каждого человека есть будь здоров сколько - неважно, чем есть ли у него власть или нет.
Ну вот, опять же, у меня тоже нет желания разбираться в химии, чтобы понять, допустим, какие Е-добавки вредны, в какой концентрации, как их получают и какой при этом наносится вред среде, что насчет всяких пестицидов в "натуральных" продуктов и т. д. Это ж голова лопнет — научиться всем этим оперировать на таком уровне, чтобы при походе в магазин стабильно уметь отличать плохой продукт от хорошего, используя эти знания. Поэтому, приходится в том числе использовать
— в том смысле, что отличать по косвенным "проверенным" на своем опыте признакам. Мне кажется, что и вы делаете так же. И это у меня с вами интеллект выше среднего, а у большинства людей даже возможности разобраться во всем этом нет, работать некогда будет.
В любом обществе полезны и те, кто максимально открыт всему новому, и те, кто придерживаются ретроградной позиции. Когда без фанатизма и навязывания своей точки зрения другим, конечно.
Если корневой комментарий ветки заминусовали только из-за того, что человек показался луддитом — это очень печально. На мой взгляд, большинство придерживается намного более "отшибленных" взглядов. Такую пургу несут, что мама не горюй, по любому вопросу. И при этом считают себя правыми.
"Мы поняли, что ребенок (подразумевается, что любой, иначе смысла бы в дискуссии не было) не может сделать сам некоторые домашние задания".
"Наш ребенок (один из любых) сам делает все домашние задания (включая какие угодно "некоторые")".
Второе утверждение не является логическим опровержением первого?