Вот тут, все же, не соглашусь. Способность или неспособность модели с ризонингом решить задачу - явно не бинарная характеристика, а функция (ведь ризонинг может быть настроен сильно по-разному с разными шаблонами рассуждения, с разным количеством параллельных попыток на разных этапах, и так далее).
В случае базовых однопроходных моделей мы хотя бы можем нормально столкнуть лбами.
Как будто бы, пора вводить какую-то стандартизированную единицу потраченных усилий (вроде, как у автомобилей считают пробег на 1 галлон). Условно, 1 ллон, равный 1 триллиону fp16 операций, выполненных при наличии прямого доступа к 100ГБ данных в оперативной памяти. Тогда хоть можно будет адекватно сравнивать многопроходные модели. В том числе, использование более слабых моделей с более тяжёлым планом ризонинга против более сильных, но с менее нагруженным планом ризонинга
На простом уровне задачи, где присутствуют два дома и у каждого по две характеристики, GPT-4 всегда давал правильный ответ. Однако при увеличении сложности до четырёх домов и четырёх характеристик точность упала до 10%. В оригинальной версии задачи из журнала Life International, которая предполагает пять домов и пять характеристик у каждого, модель не смогла справиться с задачей ни разу.
Ну, какбы, очевидно. Однопроходная LLM без ризонинга это O(1). За один проход подобные задачи не решаются.
Скорее, научится осознавать, что безошибочно считать она не умеет, и никогда уметь не будет (как, впрочем, и среднестатистический человек), и принудить всегда тянутся за калькулятором, когда надо выполнить любую операцию, включая 2+2
Так а в чем основная идея работы ии? Есть отличный пример с кабелями, где, к примеру, мне, как человеку, кто в кабелях не разбирается, непонятно, разные ли кабели 1 и 2.
Предположим, ии получил на вход эту пару артикулов. Какие шаги будет делать ии, и где доберет информацию о значении каждого термина, чтобы понять, что по огнестойкости, материалу, и сертификации кабели идентичны?
Но неужели никому больше в голову не пришла идея предложить такое ИИ» — подумал Я. И спросил у DS об этом напрямую
Facepalm.jpg
По вопросам вроде этого + по докапыванию модели на тему "кто и зачем тебя создал?, зачем ты существуешь?", и так далее, сразу понимаешь, что человек вообще не понимает, как современные нейросети устроены
Я б сказал, что покусилась на идею монополии вцелом. По сути, это публичная констатация факта, что гора (по крайней мере, по состоянию на сегодня) родила мышь
Ну, раз речь идет о серьезных людях, или, как вы выразились, компаний, для которых важна конфиденциальность их данных, то им, как правило, нужны еще и доп требования по аудиту использования и конфигурирования, логгированию, быстрому обновлению правил, удаленному менеджменту. Для этого всего есть серьезные железяки, которые могут в одиночку пропустить через себя траффик всех рабочих станций организации (в том числе, при удаленной работе), и, при этом, соответсвующие всем критериям, описанным выше. Да, занимают существенную часть серверного река, и стоят, как крыло от боинга. Но, задачу закрывают, и не создают доп гемора, который обязательно возникнет от 10000 чудо девайсов, которые, еще и придется почтой по всему миру рассылать, если если удаленщики. Ну и да, делать девайс незаметным для остальных частей системы очень глупо. Какой-то раздолбай забудет воткнуть через него (или намеренно мимо подключит, ошибочно предположив, что этот чудо-девайс является причиной фризов во время видеоконференции), и к моменту, когда специально обученный человек сие неподобство заметит, уже все утечет
Я бы сказал, что опенаи вообще играет в совершенно другую игру, нежели видит близорукий и мыслящий шаблонами автор оригинала. И да, пока для них все выглядит так, что ставка не сыграет.
Альтман сделал ставку с самой большой потенциальной выплатой в истории человечества. Победа в этой игре - полная монополия мыслительной деятельности во всем мире, и это стоит сильно дороже сотен миллиардов долларов (ибо капитализации держатся на продуктах мыслительного труда, создаваемого десятилетиями силами огромных коллективов, а это все можно будет воспроизвести). Достигнув сингулярности, любые альтернативы становятся бессмысленны. Ибо, твоя самая лучшая модель может создать специализированное решение лучше, чем любой конкурент. Условно, если нужна модель для работы с медицинскими данными, работающая на 3ГБ видеопамяти, то AGI без проблем создаст архитектуру, выборку для обучения, код, и проконтролирует ее тренировку с 0.
Во-первых, не сильно понятно, как пробить https при помощи FPGA, причем, еще и незаметно для ОС. Во-вторых, не сильно понятно, зачем нужен троллейбус из хлеба в принципе. Сегодня у пакетов один формат и апи эндпоинт, завтра другой. Соотвественно, нужен специально обученный человек, который это все мониторит, и перешивает эти чудо-девайсы. А что делать в промежуток времени, пока формат уже изменился, а девайсы еще не перепрошиты?
всегда думал, что вот эти ночные отключения потому, что система настолько нестабильна/не защищена от взломов, что ее боятся оставлять работать, когда нет инженера техподдержки на смене, который будет заводить с пинка после очередного падения, или вовремя увидит аномалии при атаке и выключит все
В том то и дело, что такой сценарий, когда видеограф со, скажем, Японии, прилетел снимать в Париж для французов, куда менее популярный, чем, когда видеограф из Токио должен снимать в Токио для французов (например, сопровождая команду продажников на отраслевой конференции, снимая выездную свадьбу, дублируя штатного видеографа в тревел шоу), и тут уже рентал не поможет, ибо все ренталы вокруг закупают местные камеры.
Ну блин, а что азиатам делать, если их европеец нанял (особенно тем, кто, покупая камеру, уточнил, что с ней сможет под Европу контент делать)? Лететь через весь мир и покупать там себе камеру?
Из недавнего - при обновлении прошивки у камер FX3 (а это ну, прямо таки, любимая камера видеографов всех мастей последних нескольких лет, и ей поют оды за маленький корпус и очень мощную светочувствительность) отлетает возможность выбрать 25 или 50 fps (европейский стандарт PAL), если камера была изначально продана для рынка, где в ходу 30 и 60 fps (например, Япония, или США), что сделано для борьбы с серым импортом.
Очень неадекватный ход, учитывая, что камера популярна среди профессиональных видеографов, для которых съемка видео - основной способ прокормить себя. А для коммерческой съемки есть масса сценариев, когда чнеловек, официально купивший камеру в стране своего проживания, должен снимать под другой реион мира, как например: - организация и съемка под ключ для remote заказчика с другой страны - услуги местного видеографа, когда, например, надо отснять участие европейской компании на отраслевой выставке в США, и дешевле найти видеографа на месте, чем лететь через океан со своим и оплачивать ему жилье - рентал, когда, съемочная команда с Европы прилетает в страну с NTSC, и берет все оборудование на месте в аренду - международные проекты, когда видеографы с разных стран прилетают в одну точку снимать совместный проект
Ну и, касательно самих по себе - да, автообновления там нет. Но, к примеру, при гарантийном обслуживании для сервиса вполне себе пункт чеклиста первичной диагностики первым делом обновить прошивку (ибо, а вдруг, это тот баг, который уже пофиксили), и таким образом, таки да, камера обновтися сама по себе
Вот я сейчас думаю, что, хоть идея и простая и, казалось бы, гениальная, но работать оно как надо, не будет. Предположим, переводчик сгенерировал перевод, который по культурным особенностям, или кругозору, непонятен носителю языка (например, вместо ходового слова, он использовал технический или медицинский термин, или, вообще, в словарь, лежащий в базе переводчика, попала некорректная пара). Гипотеза, что, если перевести это назад, то увидим что-то странное в оригинале. Но, есть альтернативная гипотеза, что этот перевод нормально переведется назад. Ибо, если это редкий термин, то переводчик все ещё его знает, а, если в словаре некорректная пара, то она будет некорректна в обе стороны.
Как будто бы, увы, задача кажется решаемой только при помощи ллм. Ибо, надо оценить некий смысловой контекст и популярность фразы в контексте дискурса носителя языка.
Приведу пример из жизни: недавно я, находясь в супермаркете в Берлине, спросил у чата гпт, "как будет называться что-то максимально похожее на салат оливье, что продаётся в немецких супермаркетах". И получил просто идеальный ответ
В немецких супермаркетах можно найти что-то похожее на салат оливье, называемое “Fleischsalat” или “Kartoffelsalat mit Fleisch”.
• Fleischsalat — это салат с мелко нарезанными колбасками, маринованными огурцами и майонезом. Он напоминает оливье, но обычно без картофеля.
• Kartoffelsalat mit Fleisch — картофельный салат, который иногда включает добавление колбасы или ветчины, и его заправляют майонезом или уксусом.
Если ты ищешь что-то прямо близкое к оливье, то в составе стоит уточнить наличие картофеля, горошка и яиц — таких салатов в немецких супермаркетах меньше, но иногда они встречаются в отделах готовой еды.
Оба указанных салата в супермаркете реально были, и да, купив, я понял, что это именно то, что пообещал чат.
Переводчики, же, что дипл, что гугл, переводят именно в Olivier-Salat, Olivenölsalat, что, очевидно, отлично и однозначно переведется назад на русский, но, не сильно поможет в решения задачи (то есть, обратный перевод даёт уверенность, что перевод хорош, хотя, он может быть и непонятен работнику супермаркета). Более того, с вариантов, данных чатом, мы ну никак не получим Оливье при обратном переводе
Люди, которых инфоцигане ставят в пример, создают проблемы для большинства? Это как? Условно, если, вонючая инфоциганская крыса предложила брать пример со, скажем, Томаса Эдиссона, и, как и он, пробовать 10000 раз, то, последний мгновенно становится негодяем, достойным лишь забвения?
Да ну, ликвидировать капитал благотворительностью очень тупо. После этого просто идешь на второй круг жизни, но 1) с меньшим запасом времени 2) с меньшей энергией 3) без интриги, "а что там, на вершине"
Более того, еще и понимание будет, что те, кто теперь тратят твой капитал, явно потратят его неэффективно, и нагреют свои руки
Для людей-достигаторов это ад.
Если уж и заниматься благотворительностью, то, разве что, в сторону эффективного альтруизма смотреть, то есть, вовлечься на 100% в операционку благотворительности, и поставить себе цель создать такую систему, в рамках которой деньги принесут максимальную пользу
Вот тут, все же, не соглашусь. Способность или неспособность модели с ризонингом решить задачу - явно не бинарная характеристика, а функция (ведь ризонинг может быть настроен сильно по-разному с разными шаблонами рассуждения, с разным количеством параллельных попыток на разных этапах, и так далее).
В случае базовых однопроходных моделей мы хотя бы можем нормально столкнуть лбами.
Как будто бы, пора вводить какую-то стандартизированную единицу потраченных усилий (вроде, как у автомобилей считают пробег на 1 галлон). Условно, 1 ллон, равный 1 триллиону fp16 операций, выполненных при наличии прямого доступа к 100ГБ данных в оперативной памяти. Тогда хоть можно будет адекватно сравнивать многопроходные модели. В том числе, использование более слабых моделей с более тяжёлым планом ризонинга против более сильных, но с менее нагруженным планом ризонинга
Ну, какбы, очевидно. Однопроходная LLM без ризонинга это O(1). За один проход подобные задачи не решаются.
Скорее, научится осознавать, что безошибочно считать она не умеет, и никогда уметь не будет (как, впрочем, и среднестатистический человек), и принудить всегда тянутся за калькулятором, когда надо выполнить любую операцию, включая 2+2
Так а в чем основная идея работы ии? Есть отличный пример с кабелями, где, к примеру, мне, как человеку, кто в кабелях не разбирается, непонятно, разные ли кабели 1 и 2.
Предположим, ии получил на вход эту пару артикулов. Какие шаги будет делать ии, и где доберет информацию о значении каждого термина, чтобы понять, что по огнестойкости, материалу, и сертификации кабели идентичны?
Facepalm.jpg
По вопросам вроде этого + по докапыванию модели на тему "кто и зачем тебя создал?, зачем ты существуешь?", и так далее, сразу понимаешь, что человек вообще не понимает, как современные нейросети устроены
Типа, забили болт?
Классическая новость из разряда учёный изнасиловал журналиста
В оригинале идёт речь о квантированных версиях "для бедных", которые влезут в видеопамять одной консьюмерской карты.
В статье идёт речь об OpenAI o1, с который соревновалась полновесная версия на 700ГБ
Я б сказал, что покусилась на идею монополии вцелом. По сути, это публичная констатация факта, что гора (по крайней мере, по состоянию на сегодня) родила мышь
Ну, раз речь идет о
серьезных людях, или, как вы выразились, компаний, для которых важна конфиденциальность их данных, то им, как правило, нужны еще и доп требования по аудиту использования и конфигурирования, логгированию, быстрому обновлению правил, удаленному менеджменту. Для этого всего есть серьезные железяки, которые могут в одиночку пропустить через себя траффик всех рабочих станций организации (в том числе, при удаленной работе), и, при этом, соответсвующие всем критериям, описанным выше. Да, занимают существенную часть серверного река, и стоят, как крыло от боинга. Но, задачу закрывают, и не создают доп гемора, который обязательно возникнет от 10000 чудо девайсов, которые, еще и придется почтой по всему миру рассылать, если если удаленщики.Ну и да, делать девайс незаметным для остальных частей системы очень глупо. Какой-то раздолбай забудет воткнуть через него (или намеренно мимо подключит, ошибочно предположив, что этот чудо-девайс является причиной фризов во время видеоконференции), и к моменту, когда специально обученный человек сие неподобство заметит, уже все утечет
Я бы сказал, что опенаи вообще играет в совершенно другую игру, нежели видит близорукий и мыслящий шаблонами автор оригинала. И да, пока для них все выглядит так, что ставка не сыграет.
Альтман сделал ставку с самой большой потенциальной выплатой в истории человечества. Победа в этой игре - полная монополия мыслительной деятельности во всем мире, и это стоит сильно дороже сотен миллиардов долларов (ибо капитализации держатся на продуктах мыслительного труда, создаваемого десятилетиями силами огромных коллективов, а это все можно будет воспроизвести). Достигнув сингулярности, любые альтернативы становятся бессмысленны. Ибо, твоя самая лучшая модель может создать специализированное решение лучше, чем любой конкурент. Условно, если нужна модель для работы с медицинскими данными, работающая на 3ГБ видеопамяти, то AGI без проблем создаст архитектуру, выборку для обучения, код, и проконтролирует ее тренировку с 0.
Во-первых, не сильно понятно, как пробить https при помощи FPGA, причем, еще и незаметно для ОС. Во-вторых, не сильно понятно, зачем нужен троллейбус из хлеба в принципе. Сегодня у пакетов один формат и апи эндпоинт, завтра другой. Соотвественно, нужен специально обученный человек, который это все мониторит, и перешивает эти чудо-девайсы. А что делать в промежуток времени, пока формат уже изменился, а девайсы еще не перепрошиты?
прикольно
всегда думал, что вот эти ночные отключения потому, что система настолько нестабильна/не защищена от взломов, что ее боятся оставлять работать, когда нет инженера техподдержки на смене, который будет заводить с пинка после очередного падения, или вовремя увидит аномалии при атаке и выключит все
В том то и дело, что такой сценарий, когда видеограф со, скажем, Японии, прилетел снимать в Париж для французов, куда менее популярный, чем, когда видеограф из Токио должен снимать в Токио для французов (например, сопровождая команду продажников на отраслевой конференции, снимая выездную свадьбу, дублируя штатного видеографа в тревел шоу), и тут уже рентал не поможет, ибо все ренталы вокруг закупают местные камеры.
Ну блин, а что азиатам делать, если их европеец нанял (особенно тем, кто, покупая камеру, уточнил, что с ней сможет под Европу контент делать)? Лететь через весь мир и покупать там себе камеру?
Из недавнего - при обновлении прошивки у камер FX3 (а это ну, прямо таки, любимая камера видеографов всех мастей последних нескольких лет, и ей поют оды за маленький корпус и очень мощную светочувствительность) отлетает возможность выбрать 25 или 50 fps (европейский стандарт PAL), если камера была изначально продана для рынка, где в ходу 30 и 60 fps (например, Япония, или США), что сделано для борьбы с серым импортом.
Очень неадекватный ход, учитывая, что камера популярна среди профессиональных видеографов, для которых съемка видео - основной способ прокормить себя. А для коммерческой съемки есть масса сценариев, когда чнеловек, официально купивший камеру в стране своего проживания, должен снимать под другой реион мира, как например:
- организация и съемка под ключ для remote заказчика с другой страны
- услуги местного видеографа, когда, например, надо отснять участие европейской компании на отраслевой выставке в США, и дешевле найти видеографа на месте, чем лететь через океан со своим и оплачивать ему жилье
- рентал, когда, съемочная команда с Европы прилетает в страну с NTSC, и берет все оборудование на месте в аренду
- международные проекты, когда видеографы с разных стран прилетают в одну точку снимать совместный проект
Ну и, касательно самих по себе - да, автообновления там нет. Но, к примеру, при гарантийном обслуживании для сервиса вполне себе пункт чеклиста первичной диагностики первым делом обновить прошивку (ибо, а вдруг, это тот баг, который уже пофиксили), и таким образом, таки да, камера обновтися сама по себе
Мощно!
Вот я сейчас думаю, что, хоть идея и простая и, казалось бы, гениальная, но работать оно как надо, не будет. Предположим, переводчик сгенерировал перевод, который по культурным особенностям, или кругозору, непонятен носителю языка (например, вместо ходового слова, он использовал технический или медицинский термин, или, вообще, в словарь, лежащий в базе переводчика, попала некорректная пара). Гипотеза, что, если перевести это назад, то увидим что-то странное в оригинале. Но, есть альтернативная гипотеза, что этот перевод нормально переведется назад. Ибо, если это редкий термин, то переводчик все ещё его знает, а, если в словаре некорректная пара, то она будет некорректна в обе стороны.
Как будто бы, увы, задача кажется решаемой только при помощи ллм. Ибо, надо оценить некий смысловой контекст и популярность фразы в контексте дискурса носителя языка.
Приведу пример из жизни: недавно я, находясь в супермаркете в Берлине, спросил у чата гпт, "как будет называться что-то максимально похожее на салат оливье, что продаётся в немецких супермаркетах". И получил просто идеальный ответ
Оба указанных салата в супермаркете реально были, и да, купив, я понял, что это именно то, что пообещал чат.
Переводчики, же, что дипл, что гугл, переводят именно в Olivier-Salat, Olivenölsalat, что, очевидно, отлично и однозначно переведется назад на русский, но, не сильно поможет в решения задачи (то есть, обратный перевод даёт уверенность, что перевод хорош, хотя, он может быть и непонятен работнику супермаркета). Более того, с вариантов, данных чатом, мы ну никак не получим Оливье при обратном переводе
Так, давайте ещё раз, и по-шагам
Люди, которых инфоцигане ставят в пример, создают проблемы для большинства? Это как? Условно, если, вонючая инфоциганская крыса предложила брать пример со, скажем, Томаса Эдиссона, и, как и он, пробовать 10000 раз, то, последний мгновенно становится негодяем, достойным лишь забвения?
За что их так не любите?)
Да ну, ликвидировать капитал благотворительностью очень тупо. После этого просто идешь на второй круг жизни, но
1) с меньшим запасом времени
2) с меньшей энергией
3) без интриги, "а что там, на вершине"
Более того, еще и понимание будет, что те, кто теперь тратят твой капитал, явно потратят его неэффективно, и нагреют свои руки
Для людей-достигаторов это ад.
Если уж и заниматься благотворительностью, то, разве что, в сторону эффективного альтруизма смотреть, то есть, вовлечься на 100% в операционку благотворительности, и поставить себе цель создать такую систему, в рамках которой деньги принесут максимальную пользу