Ну так вспоминаем законы диалектики: единство и борьба противоположностей, две тенденции одновременно - фаза становления, когда нечто возникает как бы из ничего и наконец двойное отрицание - снятие. Вот и корпорации так же : сначала отрицали очевидное - любую информацию выпущенную в свободный доступ поздно контролировать, её может использовать кто угодно. Все возможные "пираты" (Даже те кто и думать не знал, что они "пираты" по определению новых законов) надёжно доказали истинность этого. Корпорации все равно продолжали борьбу с мельницей. Ну а теперь уже им самим понадобилось "пиратство" и делают они это в точности по правилам, с которыми боролись. А дальше должно быть "снятие" - Т е отрицание этой борьбы, но с переходом в какую-то иную реальность. Старые правила они разрушат сами, а новые возникнут на их месте спонтанно. Ну как вариант, все возможные чатгпт сделают "цифровой копирайт" абсолютно бесполезным, и более того - не законным. Сейчас этот переход пока не очевиден, но по-моему это не так далеко. Более того, поскольку на сегодняшних "правилах копирайта" держится значительная, если не бОльшая, часть экономики, то этот переход может и должен по логике совпасть с крахом нынешней экономической системы, со всеми вытекающими.
А патенты - это ещё один камень, на котором держится современная система общества и экономики. И опять сам гегемон и первый апологет, разрушает свои же правила.
Все, что описано в статье - это действительно создано моделью.
Не будем спорить и гадать, а лучше проверим. Я уже предлагал похожую проверку, только там модель должна была играть в игру. Но поскольку у вас она создаёт игру, то можно немного поменять идею: возьмите предложенную выше реализацию этих шариков, и поменяйте правила. Например, пускай шарики больше не появляются случайно, а их расставляет игрок, каждый отведённое количество. Они перемещаются так же по пустым клеткам, но есть правила, по которым шарики разных цветов могут "есть" другой шар. Правила задайте сами. Для эксперимента конкретные правила не важны, при условии, что они достаточно содержательны (ну скажем их можно описать для человека парой абзацев текста) . Важно то, сможет ли модель понять то, что от неё требуется. Т к игры именно с вашими правилами в интернете нет и никогда не было, то успешное завершение этой задачи покажет, что это действительно модель делает сама, а не усредняет результаты поиска.
ПС: Если честно, то мне кажется, мы оба знаем что этот тест, правильно поставленный, любой трансформер провалит, т к в его алгоритмы и архитектуру такие задачи никогда не закладывались. Или вы считаете иначе?
Вы не поверите, но по этому вопросу до сих пор нет окончательной ясности. Это касается гравитационного излучения, а именно волн. При слиянии двух чёрных дыр итоговая чд может быть до 20% легче суммы исходных. Недостающая часть массы уносится в виде грав. излучения. А вопрос, гравитирует ли само излучение - открыт. Например, приняв, то что оно не гравитирует, как это полагали например сам Эйнштейн или тот же Кип Торн, можно построить модель вселенной, где её расширение вызвано слиянием чёрных дыр, а вернее излучением при их массовом слиянии в конце периода сжатия вселенной. И это приводит к новой фазе ускоренного расширения. Такая модель популярно описана в книге "Осцилирующая вселенная" под авторством астрофизика Н. Горькавого. Многие критикуют. В том числе за то, что при этом не сохраняется масса. Но как по мне не справедливо - масса не сохраняется, например, и при ядерных взаимодействиях. А вопрос о наличии массы у грав. волн так или и иначе нуждается в экспериментальной проверке. Правда, пока даже не понятно как к этому подступиться...
Huawei выпустила смартфоны с ОСью на базе AOSP, но без гуглосервисов.
Так результат то какой по факту ? Huawei забанили, потому что отказался платить за якобы "бесплатный" андроид... Гугл им открыто говорил, что если не начнут отчислять, им прилетит. Больше желающих таких как то не нашлось... (кроме китайцев помельче, которых банить в европах и сша нету смысла, а в самом китае - руким коротки)
Форки- это замечательно, только вот постоянные форки несколько не тоже самое, что нормальное развитие проекта. Да и поддерживать такой форк - нужно тратить достаточно много ресурсов. Так или иначе андроид, что в закрытой части, что в виде AOSP развивается туда, куда это нужно гугл. А на всех остальных участников давно и прочно положен болт.
В заключение данного диалога цитата из википедии:
"Код, доступный на AOSP, дорабатывается производителями аппаратуры (OEM) для выпускаемых моделей, чтобы иметь совместимость с конкретными аппаратными решениями, которые они используют[80][81]. Исходный код Google не содержит всех необходимых драйверов для этого[82]. В результате, реальные поставляемые устройства на Андроид содержат смесь из программного обеспечения с открытым кодом и закрытым кодом. "
Т е при всём желании открытость эта чисто номинальная. И если гугл захочет, то юридически может любую компанию заставить либо прекратить использовать андроид, либо заплатить мзду.
О, сразу видно манагера (именно в таком написании) за версту! И хоть текст он нагенерил через ГПТ, а ход мыслей тот же, не правильный. И так называемый "ИИ" это скрыть не смог. Зашёл в профиль, и правда манагер. И зачем такое из песочницы выпускают? Сам этот текст - лучший аргумент, что нынешнее состоянии "ИИ" - профанация для инвесторов. А болезные уже лелеют влажные мечты...
"Не интересна нам история 20-го века, зачем это старьë разбирать" - говорили они... А меж тем в том самом веке был не один такой крикун, который возопил, что вот-вот будет создан искусственный разум... А потом был пук в лужу, и затык лет на 20-30 до следующего "прорыва", а вернее сказать "ползка" улитки в нужном направлении. Вот и сейчас мы кричим "да, он всех заменит, он смог решить аж 50% задач на логику"... Ага, смог. Было бы удивительно, если бы смог 49%. Тогда можно было бы инвертировать его результат и получить 1% правильно решённых задач. А имеем вместо этого метод угадывания, как у школьника, который все 10 лет прогуливал, а потом вдруг пришёл на тест и угадал 50% 😆
Слыш, манагер, давай сравним твой "ии" с этим школьником: Школьник, пропустивший всю школу, всë равно обладает интеллектом, он понимает(!) язык, а не "генерит" его на основе миллиона книг,текстов, и надрачивания на формат вопрос-ответ. Если ему объяснить , как играть в шашки, где одно правило изменено, и он до этого в такие не играл, он будет следовать правилам чётко и совершать логичные ходы насколько его разум позволяет (если конечно будет мотивирован выиграть правильным образом). А вот любители хвалить чатгопату, могут пойти и попробовать тоже самое проделать с ней. К примеру внесите правило, что центральная шашка ходит иначе, как король в шахматах. И посмотрите как этот "ИИ" будет играть. А потом сравните с любым школьником, даже первоклашкой. Много толку от первоклашки будет у вас в подчинении? И нет, это нельзя за год исправить, потому что такова изначальная постановка задачи, которая лежит в основе этих сетей. Простите, но кто этого не может понять, просто олень тупой...
Не очень понятно, а на кой черт в этой схеме kafka? Если я правильно понял, у вас две таблицы в базе - outbox и inbox. Что мешает напрямую брать бэкэнд-воркеру сообщения из той же базы? Прямо из оутбокс, и помечать их статусом, что они "в обработке" Другие воркеры их уже не возьмут. По итогу тот, который взял, либо успешно завершит их обработку, либо поставит статус "ошибка", "повтор" или любой какой вам нужен. Скорость выше - т к таблица одна, транзакции короткие - только смена статусов. Надёжность та же - и у вас, и без Кафки всё упирается в то, есть ли коннект к базе (или у вас база на той же роде где и приложение?)
Ну допустим, по какой-то неведомой мне причине, воркеру база приложения недоступна. Но тогда можно, как уже подсказали, читать из wal-log или реплики... По сути в статье описан древний как мир подход "очередь через таблицу". Это работает и даже из коробки это есть, как верно вы написали, в редис. Спрашивается, а кафка зачем?
Хм, в начале "контейнер был повреждён", а потом выясняется, что тип просто провтыкал пароль... Подозреваю "гениальный" перевод.
По заголовку ожидал, что в статье будет про бэкдоры, которые хакер найдёт в true crypt за нехилое вознаграждение. Оказалось погенерили пароли слегка... Тоже интересно, но где подробности та? На кой черт подобные статьи без подробностей? Новостишки такого розлива можно на любой помойке почитать. Зачем оно на Хабре?
Вы сделали мобильную деревянную доску, на которой можно делать чертежи для мебели. И магазин, где другие продают свои чертежи на вашей доске. Пользователи покупают чертежи и что-то с ними делают (в данном контексте не важно что) Вы далеко не первый, когда то были похожие, но они проиграли конкуренцию, т к вы использовали последние технологии лесопиления для изготовления мобильных досок.(и кстати выиграли суд не без вмешательства общественных организаций у другого не менее известного производителя досок, но из другого сегмента, не мобильных. Если что гуглить Оракл против гугл и андроид) Теперь у вас остался один конкурент, но чертежи с его доски на вашу не переносятся, как и обратно. Поэтому рынок поделён между вами на отдельные две части. Что уже само по себе монополия. Кроме того воспроизвести вашу доску нельзя, т к она вами запатентована (да, андроид не бесплатный, если кто не в курсе) Вы диктуете другим независимым производителям чертежей как им чертить. В том числе и государственным. И тут это самое государство через суд и говорит "постойте ка, а у нас есть ещё такие же борзые, но поменьше... А давайте уменьшим борзость самого большого и борзого за счёт менее большого, но столь же борзого. Всем будет профит". Как вам такая аналогия? Она куда лучше отражает, то что происходит, вам не кажется?. И думаю, что 99% людей с этим согласятся и поддержат решение суда. И правильно сделают!
Ну ладно, механизм внимания можно оптимизировать, но вот полносвязную сеть за ним как? А насколько я понимаю размер этой сети выбирается 4*D, т е охренительно большая... Либо при оптимизации выходной вектор внимания брать меньшего размера, но тогда вряд ли трансформер сохранит свои свойства... Я понимаю, что я в этом олух, но может кто объяснит почему оптимизируют только часть self-attention? И второй вопрос: если вычисления в полносвязной сети стоят меньше, чем вычисления внимания, то нафиг этот алгоритм внимания вообще нужен? Можно же также поставить full connection слои вместо него. Почему так не делают?
Ну что вы "грузите" то? Это элементарная "галочка" в настройках. Что-то типа "удалять недозагруженные файлы через Х часов". Делается элементарно через крон (да, я намеренно утрирую, но вас толпа народа, вы в состоянии сделать как вам нужно). Просто скажите прямо: "Менеджмент нам запретил это делать, т к это нам не выгодно". Зачем врать то?
Прямую ссылку можете дать ? А то эта ссылка на канал вообще. Да, я на него подписан, но смотрю туда редко.
И еще один пример.
AlphaZero в качестве примера не подходит. Во первых это специализированный алгоритм. Во вторых в gpt пока нет обучения с подкреплением. А в третьих OpenAI собирался выкатить "универсального" игрока на все игры и что-то его не видно. Прогресс застрял на том, что "окучили" Доту. Собственно говоря в этом и проблема: чуть меняем правила "игры" и всё перестает работать. Могу предложить вам самим провести пару экспериментов по проверки понимания логики данными моделями:
Объясните словами для модели правила игры в русские шашки. При этом не употребляя слово "шашка" или "шашки", заменив его например на "фигура" или "фишка". И два вопроса: сможет ли модель угадать игру, и второй сможет ли делать осмысленные ходы (т е не нарушая правил!) хотя бы до момента вашего выигрыша (а то что вы выиграете я не сомневаюсь)
Всё тоже самое, но в правилах сделать изменение: для примера, пускай одна из шашек (ну пусть верхняя крайняя) с самого начала игры ходит и бьёт как ферзь в шахматах. И снова два вопроса: сможет ли модель понять, что ей подсунули шашки, но с нововведением ? Сможет ли она играть по этим правилам ? Естественно, слово "шашки" в первый раз должно быть сказано моделью. Не должно быть никаких наводящих подсказок со стороны человека, кроме объяснения правил.
Вот если все ответы будут положительными, я крепко задумаюсь и наверное соглашусь с вами, что данный подход как в этих моделях может быть использован для созданияя сильного ИИ. Как вы понимаете, у подавляющего большинства людей, и даже детей, лет так от пяти-шести данные задания затруднений не вызовут. А вот что с современными моделями ? (тут буквально сегодня видел новость, что OpenAI выкатил очередное улучшение. Вот за одно и узнаем...)
Дискуссионный вопрос, сможет ли ИИ, выучив правила (законы), генерить что-то новое, до сели неизвестное и превосходящее то, что было до этого.
На данный момент, мне кажется, вы и сами понимаете, что с текущей архитектурой ответ на этот вопрос отрицательный. Хотя бы из постановки задачи "вычислить наиболее вероятное продолжение текста". Подобная задача может быть решена, когда начало текста у вас уже есть. Именно поэтому нынешний gpt отлично справляется с вопросами, изложенными и разжеванными в сотнях и тысячах учебников, но буксует с логическими говоломками для школьников 5-го класса, которые он никогда не встречал и которые тот самый ученик 5-го класса решает походя в перерывах между игрой в cs go (или во что там сейчас в школе играют на уроках..) И мне кажется без коренной доработки или переработки архитектуры, начиная с постановки задачи, эта проблема не решится. Следующую сеть должны строить именно с учётом логического мышления человека, а не просто по методу "машины Трурля" из хорошо известного произведения.
Не уверен, что предложенным в статье способом можно что-то передать, но накину такую идею: одна из интерпретаций "жуткого дальнодействия" - это столь же "жуткий" детерминизм. Т е если предположить, что всё во вселенной заранее определено, то нет ничего удивительного, что неравенства Белла нарушаются и для этого не нужны скрытые параметры - вселенная заранее "знает" что вытворит экспериментатор и каков будет результат. На мой взгляд несколько шизанутая интерпретация, но однако если придерживаться её, то также не будет и ничего "запретного" в сверхсветовой передачи информации. Это будет просто ещё одно детерминированное событие, которое по факту не на что не влияет. А то что причина меняется со следствием местами - так это сугубо восприятие психикой человека. А на самом деле может существовать вселенная, где стакан сначала разбит, а потом можно попить из него... При таком раскладе хоть путешествие во времени, хоть сверхсветовая связь будут вполне допустимы, если это всё определено ещё в момент рождения вселенной.... Такая мысль. Сам я в такую интерпретацию не верю, уж больно антропоцентрично и намекает на наличие некого "создателя", ведь кто-то должен был предопределить всё это... Но мало ли как на самом деле... Когда-то никто не верил, что электрон может проявлять себя как волна вероятности... А оно вон как оказалось.
Так это и предлагается. Вопрос лишь в том будут ли пересматривать процент по мере взросления спиногрызов. В любом случае сомнительные предложения. Чего не сделаешь, лишь бы случайно не встать на рельсы социализма и не начать гарантировать жил площадь каждому гражданину, как это было записано в Конституции ещё до всех этих обнулений и прочих прорывов (с запретом её продажи разумеется.) Ну сами посудите, нельзя же "кровавому совку" уподобляться, мало ли что и где там написано, на заборах тоже много чего пишут, и чтоШ теперь ?
Я могу привести аргумент, который по-моему тут забыли: первый язык программирования должен по моему мнению обладать несколькими качествами. Задача первого языка не научить ученика программировать что-то конкретное, а научить принципам и как постигать эти принципы в других языках. Тогда он без проблем сможет между ними переходить. Сразу скажу, что паскаль и бэйсик (не VBA, а что то более простое) лучше для этого чем питон или js. Во первых язык не должен содержать лишних концепций, которыми питон и js обладают в изобилии (взять хоть значение undefined в js. Попробуйте человеку ничего не знающему о переменных и типах объяснить концепцию, что переменная может иметь значение null, но ещё и быть undefined... А другие языки без этого счастливо живут. Таким образом лишние концепции скрывают базовые принципы. И в питоне такого полно. И хоть Гвидо и заявлял, что "должен быть только один путь", на самом деле вышло, что питон очень набитый разными фичами язык. Как итог, у обучаемого возникает масса побочных и не нужных на начальном этапе вопросов) . По этой же причине не подходят и си с ассемблером - очень много деталей. Во вторых язык должен минимизировать время ожидания положительного результата. Здесь уже паскаль не на высоте - нужен процесс компиляции. Но может помочь среда или ide если компиляция настроена одной кнопкой и выполняется быстро. В минус паскалю (классическому, не делфи, т к в делфи тоже очень много деталей) играет и то, что он из коробки не даёт возможности дать ученику задачи с графикой, а средний человек лучше воспринимает визуальные результаты. А это важно, т к при обучении быстрая обратная связь ускоряет процесс на порядки. Т е буквально нарисованная на экране мордочка из трёх кругов и двух полосок лучше будет стимулировать к обучению, чем пресловутый хэллоу ворд или задачки с запросом возраста текстом из консоли. ООП в первом языке скорее вреден, чем полезен. Без паттернов проектирования ООП - это чемодан без ручки, а давать паттерны человеку, ни разу в жизни не написавшему реальных и более-менее объемных программ бесполезно и даже вредно. (В статье упомянули лоу-код конструкторы, но это не ООП вообще. И я считаю, что это наоборот переупрощение т к они продвигают другую концепцию, которая никогда не заменит классическое программирование и потому годятся лишь для детей и менеджеров =) ) Поэтому, классический паскаль в этом плане даже очень подходящий. Но не факт, что самый подходящий.
ПС: можно с изложенным не согласится, т к я в основном опираюсь на свой личный опыт самостоятельного обучения и попыток разной степени успешности обучать других людей. По моему мнению самым лучшим языком для обучения именно школьников из тех, что знаю я до сих пор остаётся бэйсик в его до vba-шную эпоху, но какой-нибудь его вариант позволяющий работать с графикой. Сам я самообучался на zx-spectrum basic и ретроспективно понимаю, что это во многом было проще, чем если бы я сегодня взял любой из распространённых языков, типа питон, си, js, с# или даже тот же делфи. Понимаю, глядя на то, как осваивают их новички.
Это ещё что... Я тут давеча случайно обнаружил в списке заблокированных в РФ СМИ сайт RBC. ua... Ну и т к я в этот момент проверял свой "анблокатор", то решил заглянуть... Великая галактика, я такого трэша давно в интернете не видел... Но несколько минут отходняка и я понял что данный сайт может быть абсолютно не связан с российским rbc.ru или эту связь затруднительно доказать.
ПС: а сайт занятный. Считаю, каждому полезно ознакомится хотя бы с главной страницей и сравнить две версии - та которая ru и та которая ua. Честно, я так давно не смеялся. Не могу поверить, что люди могут в серьёз такое воспринимать. Хотя как посмотреть, возможно кто-то также читает РБК ру и в сравнении с каким-нибудь абстрактным РБК us ему так-же смешно.
Но что эти данные дадут нового? Ведь по сути основные закономерности в самих языках такие модели давно выучили.(а если нет, то их алгоритм обучения надо признать не эффективным, т к правила любого языка по содержанию в них информации куда меньше всех этих террабайтов) Они умеют связно генерировать текст по любой теме. Пусть даже в форме галлюцинаций, но синтаксически и орфографически верный. Т е дополнительные данные могут дать только то, чего не было до этого в обучающей выборке - разные узкие области в науке, культуре или допустим, какой-то слэнг или языки программирования. Но обучать огромную модель, что бы загрузить в неё узкую тему - это путь в никуда. Во многом здесь лежат источники фаинтюнинга, когда основная модель "замораживается", а обучается только маленький слой поверх. Это конечно моё не авторитетное мнение, но набор данных надо скорее сокращать, чем увеличивать. Болтовня в соц сетях нового не содержит по определению. Как кстати и генерация самих моделей, если только их не перекроят так, что они наконец научатся делать индуктивные рассуждения и искать закономерности в данных по настоящему, как это делает человек. Но этого нельзя сделать оставаясь в рамках обычного трансформера. А пока движения в этой области очень мало. И я думаю, что корпорации не способны сделать этот шаг. Потому что жадность ослепляет. Если такое будет сделано, то на уровне исследователей из научной среды и не факт, что скоро. А включение данных самой модели в обучающую выборку, да ещё безконтрольно (это может произойти, если брать данные просто из интернета) точно прямой путь к переобучению. Включение же узкоспециализированных маленьких датасетов в общий "котёл" не даст нужного качества обучения. Уже слышал о подходе, когда моделе скармливают данные в определённой очерёдности и добиваются лучших результатов, чем просто в случайном порядке. Это на мой взгляд доказательство не верности подхода класть все данные в одну обучающую выборку. Наоборот, нужно сейчас оптимизировать полученные большие модели с точки зрения их потребления ресурсов и возможности дообучения. В идеале должна быть "растущая" сеть, которая увеличивает количество связей в ходе своего обучения, которое происходит постоянно. Начиная с маленького корпуса данных, сеть должна познавать новые данные и обобщать закономерности в них постепенно. Именно так происходит у человека. И пока даже концепции такой в современных архитектурах не просматривается. Обучить сеть на огромном корпусе за раз можно, но получится совершенно иное от желаемого - просто ещё один вид интеллектуальной поисковой машины. Это и видно на результатах, если отбросить хайп.
Можно, но проблема в другом. Нужны данные. Причём в том виде в котором оно есть, это скорее генерализованный поиск, а не искусственный интеллект. Почему так? А потому что обработка им данных больше похожа на индексацию, чем на обучение. Смысл обучения - построить алгоритм, умеющий находить закономерности в данных и обобщать их. Если со вторым LLM справляется на 3- то с первым оно никак не справляется. И сколько данных ему не скорми, ситуация не улучшается. Оно как не умело в простейшие рассуждения, так и не умеет. Даже наоборот, обобщающая способность падает и это очень похоже на то как ведут себя поисковые движки. И теперь два дня назад я уже видел заявление, что для gpt-5 не знают где взять данные для обучающего корпуса, т к интернет (по крайней мере его вменяемую часть) они уже выгребли при обучении gpt-4... Правда с этой же проблемой столкнётся и "супер-ИИ" от мелкомягких. Но у них хоть вычислительный кластер останется от этого проекта. Потом военным сдадут в аренду, как обычно. Или распилят на мелкие части под облачные вычисления ?
Ну так вспоминаем законы диалектики: единство и борьба противоположностей, две тенденции одновременно - фаза становления, когда нечто возникает как бы из ничего и наконец двойное отрицание - снятие. Вот и корпорации так же : сначала отрицали очевидное - любую информацию выпущенную в свободный доступ поздно контролировать, её может использовать кто угодно. Все возможные "пираты" (Даже те кто и думать не знал, что они "пираты" по определению новых законов) надёжно доказали истинность этого. Корпорации все равно продолжали борьбу с мельницей. Ну а теперь уже им самим понадобилось "пиратство" и делают они это в точности по правилам, с которыми боролись. А дальше должно быть "снятие" - Т е отрицание этой борьбы, но с переходом в какую-то иную реальность. Старые правила они разрушат сами, а новые возникнут на их месте спонтанно. Ну как вариант, все возможные чатгпт сделают "цифровой копирайт" абсолютно бесполезным, и более того - не законным. Сейчас этот переход пока не очевиден, но по-моему это не так далеко. Более того, поскольку на сегодняшних "правилах копирайта" держится значительная, если не бОльшая, часть экономики, то этот переход может и должен по логике совпасть с крахом нынешней экономической системы, со всеми вытекающими.
ПС: и сразу вторая новость рядом:
https://habr.com/ru/companies/onlinepatent/news/825430/
А патенты - это ещё один камень, на котором держится современная система общества и экономики. И опять сам гегемон и первый апологет, разрушает свои же правила.
хуже. Прорастет и потеряет свои свойства. Китайский в магазе, кстати, к концу осени уже весь проросший...
Не будем спорить и гадать, а лучше проверим. Я уже предлагал похожую проверку, только там модель должна была играть в игру. Но поскольку у вас она создаёт игру, то можно немного поменять идею: возьмите предложенную выше реализацию этих шариков, и поменяйте правила. Например, пускай шарики больше не появляются случайно, а их расставляет игрок, каждый отведённое количество. Они перемещаются так же по пустым клеткам, но есть правила, по которым шарики разных цветов могут "есть" другой шар. Правила задайте сами. Для эксперимента конкретные правила не важны, при условии, что они достаточно содержательны (ну скажем их можно описать для человека парой абзацев текста) . Важно то, сможет ли модель понять то, что от неё требуется. Т к игры именно с вашими правилами в интернете нет и никогда не было, то успешное завершение этой задачи покажет, что это действительно модель делает сама, а не усредняет результаты поиска.
ПС: Если честно, то мне кажется, мы оба знаем что этот тест, правильно поставленный, любой трансформер провалит, т к в его алгоритмы и архитектуру такие задачи никогда не закладывались. Или вы считаете иначе?
Вы не поверите, но по этому вопросу до сих пор нет окончательной ясности. Это касается гравитационного излучения, а именно волн. При слиянии двух чёрных дыр итоговая чд может быть до 20% легче суммы исходных. Недостающая часть массы уносится в виде грав. излучения. А вопрос, гравитирует ли само излучение - открыт. Например, приняв, то что оно не гравитирует, как это полагали например сам Эйнштейн или тот же Кип Торн, можно построить модель вселенной, где её расширение вызвано слиянием чёрных дыр, а вернее излучением при их массовом слиянии в конце периода сжатия вселенной. И это приводит к новой фазе ускоренного расширения. Такая модель популярно описана в книге "Осцилирующая вселенная" под авторством астрофизика Н. Горькавого. Многие критикуют. В том числе за то, что при этом не сохраняется масса. Но как по мне не справедливо - масса не сохраняется, например, и при ядерных взаимодействиях. А вопрос о наличии массы у грав. волн так или и иначе нуждается в экспериментальной проверке. Правда, пока даже не понятно как к этому подступиться...
Так результат то какой по факту ? Huawei забанили, потому что отказался платить за якобы "бесплатный" андроид... Гугл им открыто говорил, что если не начнут отчислять, им прилетит. Больше желающих таких как то не нашлось... (кроме китайцев помельче, которых банить в европах и сша нету смысла, а в самом китае - руким коротки)
Форки- это замечательно, только вот постоянные форки несколько не тоже самое, что нормальное развитие проекта. Да и поддерживать такой форк - нужно тратить достаточно много ресурсов. Так или иначе андроид, что в закрытой части, что в виде AOSP развивается туда, куда это нужно гугл. А на всех остальных участников давно и прочно положен болт.
В заключение данного диалога цитата из википедии:
"Код, доступный на AOSP, дорабатывается производителями аппаратуры (OEM) для выпускаемых моделей, чтобы иметь совместимость с конкретными аппаратными решениями, которые они используют[80][81]. Исходный код Google не содержит всех необходимых драйверов для этого[82]. В результате, реальные поставляемые устройства на Андроид содержат смесь из программного обеспечения с открытым кодом и закрытым кодом. "
Т е при всём желании открытость эта чисто номинальная. И если гугл захочет, то юридически может любую компанию заставить либо прекратить использовать андроид, либо заплатить мзду.
О, сразу видно манагера (именно в таком написании) за версту! И хоть текст он нагенерил через ГПТ, а ход мыслей тот же, не правильный. И так называемый "ИИ" это скрыть не смог. Зашёл в профиль, и правда манагер. И зачем такое из песочницы выпускают? Сам этот текст - лучший аргумент, что нынешнее состоянии "ИИ" - профанация для инвесторов. А болезные уже лелеют влажные мечты...
"Не интересна нам история 20-го века, зачем это старьë разбирать" - говорили они... А меж тем в том самом веке был не один такой крикун, который возопил, что вот-вот будет создан искусственный разум... А потом был пук в лужу, и затык лет на 20-30 до следующего "прорыва", а вернее сказать "ползка" улитки в нужном направлении. Вот и сейчас мы кричим "да, он всех заменит, он смог решить аж 50% задач на логику"... Ага, смог. Было бы удивительно, если бы смог 49%. Тогда можно было бы инвертировать его результат и получить 1% правильно решённых задач. А имеем вместо этого метод угадывания, как у школьника, который все 10 лет прогуливал, а потом вдруг пришёл на тест и угадал 50% 😆
Слыш, манагер, давай сравним твой "ии" с этим школьником: Школьник, пропустивший всю школу, всë равно обладает интеллектом, он понимает(!) язык, а не "генерит" его на основе миллиона книг,текстов, и надрачивания на формат вопрос-ответ. Если ему объяснить , как играть в шашки, где одно правило изменено, и он до этого в такие не играл, он будет следовать правилам чётко и совершать логичные ходы насколько его разум позволяет (если конечно будет мотивирован выиграть правильным образом). А вот любители хвалить чатгопату, могут пойти и попробовать тоже самое проделать с ней. К примеру внесите правило, что центральная шашка ходит иначе, как король в шахматах. И посмотрите как этот "ИИ" будет играть. А потом сравните с любым школьником, даже первоклашкой. Много толку от первоклашки будет у вас в подчинении? И нет, это нельзя за год исправить, потому что такова изначальная постановка задачи, которая лежит в основе этих сетей. Простите, но кто этого не может понять, просто олень тупой...
Не очень понятно, а на кой черт в этой схеме kafka? Если я правильно понял, у вас две таблицы в базе - outbox и inbox. Что мешает напрямую брать бэкэнд-воркеру сообщения из той же базы? Прямо из оутбокс, и помечать их статусом, что они "в обработке" Другие воркеры их уже не возьмут. По итогу тот, который взял, либо успешно завершит их обработку, либо поставит статус "ошибка", "повтор" или любой какой вам нужен. Скорость выше - т к таблица одна, транзакции короткие - только смена статусов. Надёжность та же - и у вас, и без Кафки всё упирается в то, есть ли коннект к базе (или у вас база на той же роде где и приложение?)
Ну допустим, по какой-то неведомой мне причине, воркеру база приложения недоступна. Но тогда можно, как уже подсказали, читать из wal-log или реплики... По сути в статье описан древний как мир подход "очередь через таблицу". Это работает и даже из коробки это есть, как верно вы написали, в редис. Спрашивается, а кафка зачем?
да, вышел. Потому что выпустить телефон не заплатив гуглу с AOSP нельзя. Пример, подтверждающий это - Huawei
Кроме того его открытость - дутая, т к добавлять код туда может только гугл.
Хм, в начале "контейнер был повреждён", а потом выясняется, что тип просто провтыкал пароль... Подозреваю "гениальный" перевод.
По заголовку ожидал, что в статье будет про бэкдоры, которые хакер найдёт в true crypt за нехилое вознаграждение. Оказалось погенерили пароли слегка... Тоже интересно, но где подробности та? На кой черт подобные статьи без подробностей? Новостишки такого розлива можно на любой помойке почитать. Зачем оно на Хабре?
А теперь делаем вашу аналогию ближе к реальности:
Вы сделали мобильную деревянную доску, на которой можно делать чертежи для мебели. И магазин, где другие продают свои чертежи на вашей доске. Пользователи покупают чертежи и что-то с ними делают (в данном контексте не важно что) Вы далеко не первый, когда то были похожие, но они проиграли конкуренцию, т к вы использовали последние технологии лесопиления для изготовления мобильных досок.(и кстати выиграли суд не без вмешательства общественных организаций у другого не менее известного производителя досок, но из другого сегмента, не мобильных. Если что гуглить Оракл против гугл и андроид) Теперь у вас остался один конкурент, но чертежи с его доски на вашу не переносятся, как и обратно. Поэтому рынок поделён между вами на отдельные две части. Что уже само по себе монополия. Кроме того воспроизвести вашу доску нельзя, т к она вами запатентована (да, андроид не бесплатный, если кто не в курсе) Вы диктуете другим независимым производителям чертежей как им чертить. В том числе и государственным. И тут это самое государство через суд и говорит "постойте ка, а у нас есть ещё такие же борзые, но поменьше... А давайте уменьшим борзость самого большого и борзого за счёт менее большого, но столь же борзого. Всем будет профит". Как вам такая аналогия? Она куда лучше отражает, то что происходит, вам не кажется?. И думаю, что 99% людей с этим согласятся и поддержат решение суда. И правильно сделают!
Ну ладно, механизм внимания можно оптимизировать, но вот полносвязную сеть за ним как? А насколько я понимаю размер этой сети выбирается 4*D, т е охренительно большая... Либо при оптимизации выходной вектор внимания брать меньшего размера, но тогда вряд ли трансформер сохранит свои свойства... Я понимаю, что я в этом олух, но может кто объяснит почему оптимизируют только часть self-attention? И второй вопрос: если вычисления в полносвязной сети стоят меньше, чем вычисления внимания, то нафиг этот алгоритм внимания вообще нужен? Можно же также поставить full connection слои вместо него. Почему так не делают?
Ну что вы "грузите" то? Это элементарная "галочка" в настройках. Что-то типа "удалять недозагруженные файлы через Х часов". Делается элементарно через крон (да, я намеренно утрирую, но вас толпа народа, вы в состоянии сделать как вам нужно). Просто скажите прямо: "Менеджмент нам запретил это делать, т к это нам не выгодно". Зачем врать то?
ПС: внизу вон пишут, что у амазона это сделано.
Прямую ссылку можете дать ? А то эта ссылка на канал вообще. Да, я на него подписан, но смотрю туда редко.
AlphaZero в качестве примера не подходит. Во первых это специализированный алгоритм. Во вторых в gpt пока нет обучения с подкреплением. А в третьих OpenAI собирался выкатить "универсального" игрока на все игры и что-то его не видно. Прогресс застрял на том, что "окучили" Доту. Собственно говоря в этом и проблема: чуть меняем правила "игры" и всё перестает работать. Могу предложить вам самим провести пару экспериментов по проверки понимания логики данными моделями:
Объясните словами для модели правила игры в русские шашки. При этом не употребляя слово "шашка" или "шашки", заменив его например на "фигура" или "фишка". И два вопроса: сможет ли модель угадать игру, и второй сможет ли делать осмысленные ходы (т е не нарушая правил!) хотя бы до момента вашего выигрыша (а то что вы выиграете я не сомневаюсь)
Всё тоже самое, но в правилах сделать изменение: для примера, пускай одна из шашек (ну пусть верхняя крайняя) с самого начала игры ходит и бьёт как ферзь в шахматах. И снова два вопроса: сможет ли модель понять, что ей подсунули шашки, но с нововведением ? Сможет ли она играть по этим правилам ? Естественно, слово "шашки" в первый раз должно быть сказано моделью. Не должно быть никаких наводящих подсказок со стороны человека, кроме объяснения правил.
Вот если все ответы будут положительными, я крепко задумаюсь и наверное соглашусь с вами, что данный подход как в этих моделях может быть использован для созданияя сильного ИИ. Как вы понимаете, у подавляющего большинства людей, и даже детей, лет так от пяти-шести данные задания затруднений не вызовут. А вот что с современными моделями ? (тут буквально сегодня видел новость, что OpenAI выкатил очередное улучшение. Вот за одно и узнаем...)
На данный момент, мне кажется, вы и сами понимаете, что с текущей архитектурой ответ на этот вопрос отрицательный. Хотя бы из постановки задачи "вычислить наиболее вероятное продолжение текста". Подобная задача может быть решена, когда начало текста у вас уже есть. Именно поэтому нынешний gpt отлично справляется с вопросами, изложенными и разжеванными в сотнях и тысячах учебников, но буксует с логическими говоломками для школьников 5-го класса, которые он никогда не встречал и которые тот самый ученик 5-го класса решает походя в перерывах между игрой в cs go (или во что там сейчас в школе играют на уроках..) И мне кажется без коренной доработки или переработки архитектуры, начиная с постановки задачи, эта проблема не решится. Следующую сеть должны строить именно с учётом логического мышления человека, а не просто по методу "машины Трурля" из хорошо известного произведения.
Не уверен, что предложенным в статье способом можно что-то передать, но накину такую идею: одна из интерпретаций "жуткого дальнодействия" - это столь же "жуткий" детерминизм. Т е если предположить, что всё во вселенной заранее определено, то нет ничего удивительного, что неравенства Белла нарушаются и для этого не нужны скрытые параметры - вселенная заранее "знает" что вытворит экспериментатор и каков будет результат. На мой взгляд несколько шизанутая интерпретация, но однако если придерживаться её, то также не будет и ничего "запретного" в сверхсветовой передачи информации. Это будет просто ещё одно детерминированное событие, которое по факту не на что не влияет. А то что причина меняется со следствием местами - так это сугубо восприятие психикой человека. А на самом деле может существовать вселенная, где стакан сначала разбит, а потом можно попить из него... При таком раскладе хоть путешествие во времени, хоть сверхсветовая связь будут вполне допустимы, если это всё определено ещё в момент рождения вселенной.... Такая мысль. Сам я в такую интерпретацию не верю, уж больно антропоцентрично и намекает на наличие некого "создателя", ведь кто-то должен был предопределить всё это... Но мало ли как на самом деле... Когда-то никто не верил, что электрон может проявлять себя как волна вероятности... А оно вон как оказалось.
Так это и предлагается. Вопрос лишь в том будут ли пересматривать процент по мере взросления спиногрызов. В любом случае сомнительные предложения. Чего не сделаешь, лишь бы случайно не встать на рельсы социализма и не начать гарантировать жил площадь каждому гражданину, как это было записано в Конституции ещё до всех этих обнулений и прочих прорывов (с запретом её продажи разумеется.) Ну сами посудите, нельзя же "кровавому совку" уподобляться, мало ли что и где там написано, на заборах тоже много чего пишут, и чтоШ теперь ?
Я могу привести аргумент, который по-моему тут забыли: первый язык программирования должен по моему мнению обладать несколькими качествами. Задача первого языка не научить ученика программировать что-то конкретное, а научить принципам и как постигать эти принципы в других языках. Тогда он без проблем сможет между ними переходить. Сразу скажу, что паскаль и бэйсик (не VBA, а что то более простое) лучше для этого чем питон или js. Во первых язык не должен содержать лишних концепций, которыми питон и js обладают в изобилии (взять хоть значение undefined в js. Попробуйте человеку ничего не знающему о переменных и типах объяснить концепцию, что переменная может иметь значение null, но ещё и быть undefined... А другие языки без этого счастливо живут. Таким образом лишние концепции скрывают базовые принципы. И в питоне такого полно. И хоть Гвидо и заявлял, что "должен быть только один путь", на самом деле вышло, что питон очень набитый разными фичами язык. Как итог, у обучаемого возникает масса побочных и не нужных на начальном этапе вопросов) . По этой же причине не подходят и си с ассемблером - очень много деталей. Во вторых язык должен минимизировать время ожидания положительного результата. Здесь уже паскаль не на высоте - нужен процесс компиляции. Но может помочь среда или ide если компиляция настроена одной кнопкой и выполняется быстро. В минус паскалю (классическому, не делфи, т к в делфи тоже очень много деталей) играет и то, что он из коробки не даёт возможности дать ученику задачи с графикой, а средний человек лучше воспринимает визуальные результаты. А это важно, т к при обучении быстрая обратная связь ускоряет процесс на порядки. Т е буквально нарисованная на экране мордочка из трёх кругов и двух полосок лучше будет стимулировать к обучению, чем пресловутый хэллоу ворд или задачки с запросом возраста текстом из консоли. ООП в первом языке скорее вреден, чем полезен. Без паттернов проектирования ООП - это чемодан без ручки, а давать паттерны человеку, ни разу в жизни не написавшему реальных и более-менее объемных программ бесполезно и даже вредно. (В статье упомянули лоу-код конструкторы, но это не ООП вообще. И я считаю, что это наоборот переупрощение т к они продвигают другую концепцию, которая никогда не заменит классическое программирование и потому годятся лишь для детей и менеджеров =) ) Поэтому, классический паскаль в этом плане даже очень подходящий. Но не факт, что самый подходящий.
ПС: можно с изложенным не согласится, т к я в основном опираюсь на свой личный опыт самостоятельного обучения и попыток разной степени успешности обучать других людей. По моему мнению самым лучшим языком для обучения именно школьников из тех, что знаю я до сих пор остаётся бэйсик в его до vba-шную эпоху, но какой-нибудь его вариант позволяющий работать с графикой. Сам я самообучался на zx-spectrum basic и ретроспективно понимаю, что это во многом было проще, чем если бы я сегодня взял любой из распространённых языков, типа питон, си, js, с# или даже тот же делфи. Понимаю, глядя на то, как осваивают их новички.
Это ещё что... Я тут давеча случайно обнаружил в списке заблокированных в РФ СМИ сайт RBC. ua... Ну и т к я в этот момент проверял свой "анблокатор", то решил заглянуть... Великая галактика, я такого трэша давно в интернете не видел... Но несколько минут отходняка и я понял что данный сайт может быть абсолютно не связан с российским rbc.ru или эту связь затруднительно доказать.
ПС: а сайт занятный. Считаю, каждому полезно ознакомится хотя бы с главной страницей и сравнить две версии - та которая ru и та которая ua. Честно, я так давно не смеялся. Не могу поверить, что люди могут в серьёз такое воспринимать. Хотя как посмотреть, возможно кто-то также читает РБК ру и в сравнении с каким-нибудь абстрактным РБК us ему так-же смешно.
Но что эти данные дадут нового? Ведь по сути основные закономерности в самих языках такие модели давно выучили.(а если нет, то их алгоритм обучения надо признать не эффективным, т к правила любого языка по содержанию в них информации куда меньше всех этих террабайтов) Они умеют связно генерировать текст по любой теме. Пусть даже в форме галлюцинаций, но синтаксически и орфографически верный. Т е дополнительные данные могут дать только то, чего не было до этого в обучающей выборке - разные узкие области в науке, культуре или допустим, какой-то слэнг или языки программирования. Но обучать огромную модель, что бы загрузить в неё узкую тему - это путь в никуда. Во многом здесь лежат источники фаинтюнинга, когда основная модель "замораживается", а обучается только маленький слой поверх. Это конечно моё не авторитетное мнение, но набор данных надо скорее сокращать, чем увеличивать. Болтовня в соц сетях нового не содержит по определению. Как кстати и генерация самих моделей, если только их не перекроят так, что они наконец научатся делать индуктивные рассуждения и искать закономерности в данных по настоящему, как это делает человек. Но этого нельзя сделать оставаясь в рамках обычного трансформера. А пока движения в этой области очень мало. И я думаю, что корпорации не способны сделать этот шаг. Потому что жадность ослепляет. Если такое будет сделано, то на уровне исследователей из научной среды и не факт, что скоро. А включение данных самой модели в обучающую выборку, да ещё безконтрольно (это может произойти, если брать данные просто из интернета) точно прямой путь к переобучению. Включение же узкоспециализированных маленьких датасетов в общий "котёл" не даст нужного качества обучения. Уже слышал о подходе, когда моделе скармливают данные в определённой очерёдности и добиваются лучших результатов, чем просто в случайном порядке. Это на мой взгляд доказательство не верности подхода класть все данные в одну обучающую выборку. Наоборот, нужно сейчас оптимизировать полученные большие модели с точки зрения их потребления ресурсов и возможности дообучения. В идеале должна быть "растущая" сеть, которая увеличивает количество связей в ходе своего обучения, которое происходит постоянно. Начиная с маленького корпуса данных, сеть должна познавать новые данные и обобщать закономерности в них постепенно. Именно так происходит у человека. И пока даже концепции такой в современных архитектурах не просматривается. Обучить сеть на огромном корпусе за раз можно, но получится совершенно иное от желаемого - просто ещё один вид интеллектуальной поисковой машины. Это и видно на результатах, если отбросить хайп.
Можно, но проблема в другом. Нужны данные. Причём в том виде в котором оно есть, это скорее генерализованный поиск, а не искусственный интеллект. Почему так? А потому что обработка им данных больше похожа на индексацию, чем на обучение. Смысл обучения - построить алгоритм, умеющий находить закономерности в данных и обобщать их. Если со вторым LLM справляется на 3- то с первым оно никак не справляется. И сколько данных ему не скорми, ситуация не улучшается. Оно как не умело в простейшие рассуждения, так и не умеет. Даже наоборот, обобщающая способность падает и это очень похоже на то как ведут себя поисковые движки. И теперь два дня назад я уже видел заявление, что для gpt-5 не знают где взять данные для обучающего корпуса, т к интернет (по крайней мере его вменяемую часть) они уже выгребли при обучении gpt-4... Правда с этой же проблемой столкнётся и "супер-ИИ" от мелкомягких. Но у них хоть вычислительный кластер останется от этого проекта. Потом военным сдадут в аренду, как обычно. Или распилят на мелкие части под облачные вычисления ?