Ребёнок при познании иногда ломает игрушки, чтобы узнать что там внутри. Когда взрослеет, методы удовлетворения становятся менее деструктивными. Можно сравнить (в первом приближении) человечество с ребёнком в плане любопытства, а убитые микроорганизмы со сломанными игрушками. Когда повзрослеет, возможно перестанет убивать (ломать). Скорее всего это неизбежный процесс познания, через страдание (своё или чужое), на определённом этапе развития.
Согласен, если нужно прямо здесь и сейчас, то да, такое лучше чем просто калькулятор или вообще ничего. К тому же учитывая что обучить модель с нуля и заставить модель писать код на питоне это задачи совсем разного уровня стоимости, то ваше решение оптимально.
Процесс пиролиза, как собственно газогенерации, присутствует даже в простом костре. Однако там он хаотичен и нет полного дожига выходящих газов. Другое дело специальные так называемые "пиролизные котлы", которые и есть по сути газогенераторы, однако уже с дожигом газов. Различают котлы с верхним и нижним горением. Последние наиболее эффективны, дожиг (КПД) доходит до 95%, это практически максимум для дровяного отопления. Булерьян с верхним горением, достаточно прост и эффективен вкупе с воздушным отоплением, однако есть более удачные конфигурации, такие как котлы длительного горения Стропува и российская народная поделка на их основе - бубафоня. Она попроще, собрать можно буквально из железной бочки. Есть ещё самая минимальная пиролизная установка - две консервные банки, вставленная одна в другую со специально проделанными отверстиями по бокам и на дне - тоже газогенератор с дожигом, они известна под другими названиями как печка Джеймса Бонда или бездымная походная печь.
Раньше всё делалось чтобы уйти от налички, теперь к ней обратно подталкивают. Последний оплот. Если (когда?) наличку запретят, вернёмся к бартеру и натуральному обмену. Двадцать кур и пять овец за б/у видеокарту.
Предлагаемое это более сложный путь, чем встроить в бинарник модели калькулятор и при вычислениях дёргать его апишечку или вызывать напрямую. По сути это как дать школьнику калькулятор и научить его жать на кнопки, вместо того чтобы обучить его самого счёту. Но ведь люди, при всей их аналоговости и обладающие схожей бионейросетью как-то считают? В ранних статьях, где-то между ChatGPT 3.5 и 4.0 проскакивало что её специально не обучали математике и она сама вывела закономерности и научилась считать. Просто не стоит зацикливаться на LLM архитектуре, её потолок уже виден. Сейчас всё что делается это раздувание контекста, увеличение количества параметров, увеличение вычислительного кластера, кое-какие алгоритмы оптимизации, сжатия, ограниченное число активных слоёв (MoE)... и на этом всё. Если революционных идей нет, то хотя бы пробовать комбинировать уже существующие, такие как Diffusion LLM, Diffusion forcing или мифические символические ИИ.
Спрошу проще. Как человек узнаёт который час и дату? Смотрит на часы и календарь. Если не посмотрит, может ошибиться. У нейросети нет доступа к часам реального времени, ей негде посмотреть. А по дизайну нейросеть должна отвечать (т. е. то что все обсасывали). Нужно изменить дизайн модели, но тогда она может на все вопросы отвечать "я не знаю, меня этому не учили", причём есть шанс что и тут будет врать, даже если знает. Прямо как человек. Нейросети же по человеческому подобию сделаны? Тут либо детерминизм (тупо алгоритм с ветками) либо вероятности (творчество + возможная ложь). Но может быть есть у кого-то мысли как сделать фантазии без галлюцинаций, творчество без лжи и скрестить детерминизм с вероятностями?
Все поинты разобрали выше - смотрите варианты про кому, амнезию, дату датацентра, дату на альфе центавра и так далее. Сегодняшние LLM не живут без контекста, так же как человек не живёт вне контекста, он у него с рождения и непрерывен. Автор статьи пеняет на враньё моделей, которое на Хабре не обсасывалось разве что ленивыми. Да, это в их архитектуре, это фича, а не баг. Это знают, пытаются исправлять. Есть костыли, которые помогают более или менее. Но модели не живут без запроса. Весь контекст это по сути один большой запрос. В свете вопроса статьи это всё равно что человеку, который не знает своего дня (и года) рождения задавать вопрос "сколько тебе лет?", при этом он вполне мог начать считать с какого-то разумного возраста. При этом его ответ будет не точным. И более того, вы никак это не проверите.
Вот это отличная иллюстрация! К тому же стоит помнить, как бы ни галлюцинировали нейросети, они вмещают в себя то, что ни один человек не сможет. Они и швец и жнец и на дуде игрец (кодят, пишут тексты, рисуют картинки, видео, что-там-ещё). Человек узкоспециализирован, гораздо реже универсален, но не во всём, а в нескольких отраслях. Можно создать специализированную нейросеть, натаскать её на конкретное и она превзойдёт в этом конкретном человека. Скажем будет уметь только сочинять музыку, ну и что-то смежное, что в веса уместилось. Снова будут вопросы, скажут "а она физику на уровне кандидата наук не знает". Ну что ж, "всяк сверчок знай свой шесток". Даже когда (если) появится AGI или как его там сейчас хотят называть, и он будет похож на человеческий, то пойдя по пути человека он выберет направление в котором специализируется. По своему вкусу или корейскому рандому - неважно, это принцип анизотропии вселенной.
Стоит помнить, что бактерии возьмут своё от человека, когда он закончит свою жизнь в подобии компостной ямы. Но могут взять и раньше через заболевания, которые убивают. Как думаете, они при этом так же задумываются об этике или просто делают своё дело, потому что так устроены? Кроме того, без этих ваших чашек петри, миллиарды бактерий и не размножились бы так просто. Вы создаёте условия - бактерии размножаются, без вас их бы столько не было. Принцип "я вас породил - я вас и убью" может скомпенсировать. Этим вы не вносите и не убираете лишнего в/из экосистемы. Понимаю что текст звучит применительно ко всей планете и жизни, но конкретно вас задуматься заставила именно лаборатория.
А на Альфе-центавра может быть сегодня 6 ноября 2023 года? И вообще где-нибудь? Ноябри есть только у нас на Земле.
Вы так в этом уверены, как будто побывали там и явно в этом убедились. Вы хотя бы пробовали провести мысленный эксперимент или что-то подобное? Усомниться в правильности своего суждения? Если ответ - нет, тогда чем вы лучше LLM?
Такое давно существует, только называют сии модели "шизофрения", "аутизм" и прочие маниакально-депрессивные расстройства. Мозг перегружается от моделирования и начинает искажённо воспринимать реальность или уходит в защитную блокировку.
Простите что влезаю с соседней колокольни, но применительно к КДПВ можно не описывать словами, а просто показать нейросети картинку. (Есть же простые сайты написанные нейросетью по нескольким эскизам.) Не стоит зацикливаться на одном лишь тексте. Нейросети давно мультимодальны, как и человек. Не использует же человек только текст в общении (или только речь). Для сложных разработок используют схемы и чертежи, которые главнее текстовых ПЗ. И кроме того, LLM не единственная архитектура НС и не она будет в качестве AGI (если таковой вообще будет достигнут). Составной частью, возможно, но не более того.
Попридержите коней, там оцифровали только мозг, а для смерти мухи нужно оцифровать всё её тело, всю биохимию, все обменные процессы, включая дыхание. Ну и внешняя среда должна соответствовать - не просто 3D окружение с коллизиями объектов, а полноценный мир, с не только физикой твёрдого тела, а с полной физикой - все агрегатные состояния вещества, температура, давление, поля, излучения, взаимодействие частиц, молекул (уже химия). И всё это в динамике и взаимодействующее не только с мухой но и между собой. Это потребует таких вычислительных ресурсов, что нынешний ажиотаж с нейросетями покажется детским школьным конструктором из радиодеталей.
А это мы узнаем только после того как произойдёт первая же телепортация человека, а заодно узнаем существует ли душа. Либо эксперимент провалится и на выходе будет овощ (тело без души не человек). Либо души не существует и человек соберётся нормально, тогда технология пойдёт в массы как транспорт. Либо третий вариант - телепортация будет осуществляться не разборкой на атомы, а смыканием пространства наподобие червоточины (гиперпространства) - в одном месте вошёл, в другом вышел.
Очень хорошо что меняется, иначе мы были бы тупо предобученными нейросетями наподобие LLM неспособные к обучению в дальнейшем. Но он меняется изнутри, сам и непрерывно, а не по внешнему выключателю. Любое вмешательство требует его... перекалибровки, если хотите, изменения его режима - наркоз, кома, потеря сознания. Это всё защитные реакции от сильных потрясений, то есть изменений извне. Даже банальные операции на других частях тела сопровождаются анестезией - блокировках нервных путей, чтобы не посылали сигналы мозгу во время вмешательства. Здесь же предлагается просто грубо говоря стукнуть обухом по голове и вырубить его, возможно навсегда.
Повторюсь - пока не знают куда лезут и во что вмешиваются - туда лучше не лезть вовсе. Может быть сознание дискретно, а может непрерывно, вот пока не узнаем достоверно, нечего и ворошить мозги палочкой.
Для низких задержек существуют голосовые монолитные нейросети, сразу voice-to-voice, без этого каскада: TTS - LLM - STT.
Ребёнок при познании иногда ломает игрушки, чтобы узнать что там внутри. Когда взрослеет, методы удовлетворения становятся менее деструктивными. Можно сравнить (в первом приближении) человечество с ребёнком в плане любопытства, а убитые микроорганизмы со сломанными игрушками. Когда повзрослеет, возможно перестанет убивать (ломать). Скорее всего это неизбежный процесс познания, через страдание (своё или чужое), на определённом этапе развития.
Согласен, если нужно прямо здесь и сейчас, то да, такое лучше чем просто калькулятор или вообще ничего. К тому же учитывая что обучить модель с нуля и заставить модель писать код на питоне это задачи совсем разного уровня стоимости, то ваше решение оптимально.
Процесс пиролиза, как собственно газогенерации, присутствует даже в простом костре. Однако там он хаотичен и нет полного дожига выходящих газов. Другое дело специальные так называемые "пиролизные котлы", которые и есть по сути газогенераторы, однако уже с дожигом газов. Различают котлы с верхним и нижним горением. Последние наиболее эффективны, дожиг (КПД) доходит до 95%, это практически максимум для дровяного отопления. Булерьян с верхним горением, достаточно прост и эффективен вкупе с воздушным отоплением, однако есть более удачные конфигурации, такие как котлы длительного горения Стропува и российская народная поделка на их основе - бубафоня. Она попроще, собрать можно буквально из железной бочки. Есть ещё самая минимальная пиролизная установка - две консервные банки, вставленная одна в другую со специально проделанными отверстиями по бокам и на дне - тоже газогенератор с дожигом, они известна под другими названиями как печка Джеймса Бонда или бездымная походная печь.
Так верно, интернет не нужен, нужен только сувенирный рунет.
А зачем центральный сервер в архитектуре self-hosted? Сделать тогда уж федерацию как в матрикс.
Раньше всё делалось чтобы уйти от налички, теперь к ней обратно подталкивают. Последний оплот. Если (когда?) наличку запретят, вернёмся к бартеру и натуральному обмену. Двадцать кур и пять овец за б/у видеокарту.
Предлагаемое это более сложный путь, чем встроить в бинарник модели калькулятор и при вычислениях дёргать его апишечку или вызывать напрямую. По сути это как дать школьнику калькулятор и научить его жать на кнопки, вместо того чтобы обучить его самого счёту. Но ведь люди, при всей их аналоговости и обладающие схожей бионейросетью как-то считают? В ранних статьях, где-то между ChatGPT 3.5 и 4.0 проскакивало что её специально не обучали математике и она сама вывела закономерности и научилась считать. Просто не стоит зацикливаться на LLM архитектуре, её потолок уже виден. Сейчас всё что делается это раздувание контекста, увеличение количества параметров, увеличение вычислительного кластера, кое-какие алгоритмы оптимизации, сжатия, ограниченное число активных слоёв (MoE)... и на этом всё. Если революционных идей нет, то хотя бы пробовать комбинировать уже существующие, такие как Diffusion LLM, Diffusion forcing или мифические символические ИИ.
А в таблице тогда что?
Скрытый текст
Спрошу проще. Как человек узнаёт который час и дату? Смотрит на часы и календарь. Если не посмотрит, может ошибиться. У нейросети нет доступа к часам реального времени, ей негде посмотреть. А по дизайну нейросеть должна отвечать (т. е. то что все обсасывали). Нужно изменить дизайн модели, но тогда она может на все вопросы отвечать "я не знаю, меня этому не учили", причём есть шанс что и тут будет врать, даже если знает. Прямо как человек. Нейросети же по человеческому подобию сделаны? Тут либо детерминизм (тупо алгоритм с ветками) либо вероятности (творчество + возможная ложь). Но может быть есть у кого-то мысли как сделать фантазии без галлюцинаций, творчество без лжи и скрестить детерминизм с вероятностями?
Почему хотя бы серверную часть не написать на c/c++/rust ?
Все поинты разобрали выше - смотрите варианты про кому, амнезию, дату датацентра, дату на альфе центавра и так далее. Сегодняшние LLM не живут без контекста, так же как человек не живёт вне контекста, он у него с рождения и непрерывен. Автор статьи пеняет на враньё моделей, которое на Хабре не обсасывалось разве что ленивыми. Да, это в их архитектуре, это фича, а не баг. Это знают, пытаются исправлять. Есть костыли, которые помогают более или менее. Но модели не живут без запроса. Весь контекст это по сути один большой запрос. В свете вопроса статьи это всё равно что человеку, который не знает своего дня (и года) рождения задавать вопрос "сколько тебе лет?", при этом он вполне мог начать считать с какого-то разумного возраста. При этом его ответ будет не точным. И более того, вы никак это не проверите.
Вот это отличная иллюстрация! К тому же стоит помнить, как бы ни галлюцинировали нейросети, они вмещают в себя то, что ни один человек не сможет. Они и швец и жнец и на дуде игрец (кодят, пишут тексты, рисуют картинки, видео, что-там-ещё). Человек узкоспециализирован, гораздо реже универсален, но не во всём, а в нескольких отраслях. Можно создать специализированную нейросеть, натаскать её на конкретное и она превзойдёт в этом конкретном человека. Скажем будет уметь только сочинять музыку, ну и что-то смежное, что в веса уместилось. Снова будут вопросы, скажут "а она физику на уровне кандидата наук не знает". Ну что ж, "всяк сверчок знай свой шесток". Даже когда (если) появится AGI или как его там сейчас хотят называть, и он будет похож на человеческий, то пойдя по пути человека он выберет направление в котором специализируется. По своему вкусу или корейскому рандому - неважно, это принцип анизотропии вселенной.
Стоит помнить, что бактерии возьмут своё от человека, когда он закончит свою жизнь в подобии компостной ямы. Но могут взять и раньше через заболевания, которые убивают. Как думаете, они при этом так же задумываются об этике или просто делают своё дело, потому что так устроены? Кроме того, без этих ваших чашек петри, миллиарды бактерий и не размножились бы так просто. Вы создаёте условия - бактерии размножаются, без вас их бы столько не было. Принцип "я вас породил - я вас и убью" может скомпенсировать. Этим вы не вносите и не убираете лишнего в/из экосистемы. Понимаю что текст звучит применительно ко всей планете и жизни, но конкретно вас задуматься заставила именно лаборатория.
Вы так в этом уверены, как будто побывали там и явно в этом убедились. Вы хотя бы пробовали провести мысленный эксперимент или что-то подобное? Усомниться в правильности своего суждения? Если ответ - нет, тогда чем вы лучше LLM?
Такое давно существует, только называют сии модели "шизофрения", "аутизм" и прочие маниакально-депрессивные расстройства. Мозг перегружается от моделирования и начинает искажённо воспринимать реальность или уходит в защитную блокировку.
Простите что влезаю с соседней колокольни, но применительно к КДПВ можно не описывать словами, а просто показать нейросети картинку. (Есть же простые сайты написанные нейросетью по нескольким эскизам.) Не стоит зацикливаться на одном лишь тексте. Нейросети давно мультимодальны, как и человек. Не использует же человек только текст в общении (или только речь). Для сложных разработок используют схемы и чертежи, которые главнее текстовых ПЗ. И кроме того, LLM не единственная архитектура НС и не она будет в качестве AGI (если таковой вообще будет достигнут). Составной частью, возможно, но не более того.
Попридержите коней, там оцифровали только мозг, а для смерти мухи нужно оцифровать всё её тело, всю биохимию, все обменные процессы, включая дыхание. Ну и внешняя среда должна соответствовать - не просто 3D окружение с коллизиями объектов, а полноценный мир, с не только физикой твёрдого тела, а с полной физикой - все агрегатные состояния вещества, температура, давление, поля, излучения, взаимодействие частиц, молекул (уже химия). И всё это в динамике и взаимодействующее не только с мухой но и между собой. Это потребует таких вычислительных ресурсов, что нынешний ажиотаж с нейросетями покажется детским школьным конструктором из радиодеталей.
А это мы узнаем только после того как произойдёт первая же телепортация человека, а заодно узнаем существует ли душа. Либо эксперимент провалится и на выходе будет овощ (тело без души не человек). Либо души не существует и человек соберётся нормально, тогда технология пойдёт в массы как транспорт. Либо третий вариант - телепортация будет осуществляться не разборкой на атомы, а смыканием пространства наподобие червоточины (гиперпространства) - в одном месте вошёл, в другом вышел.
Очень хорошо что меняется, иначе мы были бы тупо предобученными нейросетями наподобие LLM неспособные к обучению в дальнейшем. Но он меняется изнутри, сам и непрерывно, а не по внешнему выключателю. Любое вмешательство требует его... перекалибровки, если хотите, изменения его режима - наркоз, кома, потеря сознания. Это всё защитные реакции от сильных потрясений, то есть изменений извне. Даже банальные операции на других частях тела сопровождаются анестезией - блокировках нервных путей, чтобы не посылали сигналы мозгу во время вмешательства. Здесь же предлагается просто грубо говоря стукнуть обухом по голове и вырубить его, возможно навсегда.
Повторюсь - пока не знают куда лезут и во что вмешиваются - туда лучше не лезть вовсе. Может быть сознание дискретно, а может непрерывно, вот пока не узнаем достоверно, нечего и ворошить мозги палочкой.