Комментарии 47
Кажется именно это я в своей последней заметке и упоминул. А так же еще в комментариях упомянул, что я знаю как именно это реализовать.
но не скажешь потому-что секрет
Не секрет, а военная тайна!
Предполагаю, что если я скажу, то через пару недель, какой-нибудь другой ветеран исследований ИИ, а может и этот, выскажет свое веское мнение что нужно делать именно так. А мне останется только писать комментарий, что я же говорил... Пусть сами думают.
Кстати, подразумевая что я знаю, я подразумевал что уже реализовал это в виде программы. От того, что это нужный алгоритм, это не означает, что он требует существенно меньше расчетов. Поэтому толком обучить это не могу, или по крайней мере за разумное время. В среднем, на одной rtx4090 у меня выходит сетка обученная с нуля, которая может связанно и без ошибок генерировать текст. Но до сверх разума тут далековато. Использовать для этого существующие открытые сетки не получится. Отчасти что они тяжеловаты для rtx4090, и отчасти что много переучивать.
Я со страхом жду распространения ИИ. Т.е. выдаче вообще нельзя будет доверять. Уже сейчас, по запросу "Сколько стоит проезд по карте Тройка на электричке" Гугл выдает, что 38 рублей. Ага. Если сейчас в инете тонный мусорного контента - типа "В случае проблем с ... обратитесь к специалисту или поищите решние в интернете", то скоро будут предлагаться просто неверные вещи. Атлас съедобный грибов от ИИ в масштабе всея интернета.
Думаю что уже началась гонка вооружений - с одной стороны можно использовать те же модели для фильтрации, поиска и агрегирования, с другой - мы и без генеративного ИИ видели тонны мусора заполняющего сеть.
ИИ очень напоминает то как мозг создаёт сны из того что есть в памяти. В полусне это даже можно отследить, очень похоже на ИИ видео. Но этот механизм далеко не все что за этим стоит. Думаю паралельно с совершенствованием генеративного ИИ должны быть придумано ещё что-то принципиально отличное и его дополняющее, чтобы можно было называть это интеллектом.
Тоже появилась такая мысль,
что генеративный ИИ, очень напоминает сны,
когда один видеоряд - переходит в другой.
Я одно время занимался практикой осознанных снов и на границе между сном и явью есть такой промежуток когда перед глазами начинают всплывать разные образы, переходящие из одного в другой и их можно рассматривать находясь в сознании, но почти их не контролируя. И это выглядит абсолютно идентично ИИ видео. Особенно там где всякие стремные скримеры. Когда впервые такое видео увидел было впечатление что его достали из чьей то головы как у Стругацких в Обитаемом острове.
Атлас съедобный грибов от ИИ в масштабе всея интернета.
Не так. Скайнет: младенчество.
Так, стоп. Что значит гугл тебе выдаёт стоимость? С каких пор ты ищешь подобную информацию не на официальном сайте? Я не в курсе, сколько тебе лет, но все те, кто родился до появления гугла не доверяли вообще никакой информации, кроме с официальных источников.
Э... стоп.
1. Давайте соблюдать традиции сообщества и обращаться друг к другу на "вы". Это имеет смысл как минимум в контексте воспитания хабра-молодежи. Лет... я старше Брина и Пейджа вместе взятых... )
2. Смотреть на официальном сайте? Т.е. вначале набирать - "официальный сайт электричек", (это вообще что - РЖД, ООО "Электричка", филиал метрополитена... ?) Дальше искать там пробираясь через инфу о том как стало комфортно в новых "Иволгах"?
ТАК А ЗАЧЕМ МНЕ ТОГДА ГУГЛ????
Странный подход конечно
тем паче спрашивать во вражеском поисковике)
Так то правильный путь идти на сайт этой самой карты тройка
От авторов "мейнфреймы вымрут к 1993 году" и "Apple лучше не выпускать железо".
Эрик Бретену, ветеран исследований ИИ с 45-летним стажем
Вот этот опыт ему и мешает понять что к чему..Пути назад уже нет. Шумиха потомy что многим понятно, что это революция и всё только начинается. Скорее большинство недооценивает потенциала развития и неизбежных изменений. Логика это известные слабости нейросети и есть множество перспективных направлений как с ними бороться. OpenAI даже уже на что-то намекает, посмотрим.
Это революция потому, что OpenAI на что-то намекает? Ну, так себе доводы.
OpenAI обладает самой эффективной языковой моделью на данный момент. Но не она одна. Этим направлением занимаются все IT-гиганты и вбухивают сотни миллиардов. Google, Microsoft, Nvidia, Meta, Claude. Из Top 500 компаний 98% что ли использует AI. Большинство экспертов сходится в том, что AGI вполне реализуем, расхождения лишь в датах. Когда заработают все те мощности, в которые сейчас деньги вбухивают, будет очередной виток развития. Но и сейчас есть что исследовать, постоянно что-то неожиданное обнаруживается.
все IT-гиганты и вбухивают сотни миллиардов
Впервые бизнес тратит деньги в то что не взлетит так как надеяться на это компании?
Когда заработают все те мощности, в которые сейчас деньги вбухивают
Когда заработают? Оборудование в которое вложены все эти деньги уже морально устареет и нужно будет покупать новые AI лопаты у Хуанга... The more you buy, the more you save(c)
Ну из приведённого списка только у Nvidia акции выросли в 8 раз...
ОпенЭйАй расположился эксклюзивно на Азуре и туда же экслюзивно установлено железо от Nvidia... что и помогло хайпануть и неплохо подняться... впрочем именно эта модель уже сильно заинтересовала регуляторов...
А что касается сего спича - тут все ещё проще - модель экстенсивна, ей надо постоянно кушать данные и каждый раз в большем количестве, иначе она и останется на том же уровне, посему основные инвестиции идут в железо и электричество - сей тренд на экспоненте, при этом профит пока... ниже линейного....и таким образом даже повышая цены на услуги вопрос не решить, о чем уже "бурчат" инвесторы...
И да - когда будут найдены элегантные модели..., и железо, и этот софт уже могут быть не так востребованы... ибо легаси...
Когда IT-гиганты в прошлый раз вбухивали в buzzword'ы случился кризис доткомов, например.
Который никого особо и не зацепил из гигантов. И вы правда не осознаёте разницу между всяким buzz и технологией уже в своём детском виде заменяящей людей во многих областях (редактура, перевод, генерация медиа контента)? Недавно услышал в супермаркете местном рекламную песню явно созданную ИИ. Ну, то есть я то услышал, а большинство людей не сталкивающихся и не отличило бы. Это уже какие-то музыканты/исполнители заказ не получили. И такого много. Программисты тоже на очереди. Для того и вбухиваются сотни миллиардов. Это роботизация всего чего только можно на производстве. Amazon, Tesla, TSMC. Неужели не следите за темой? Они там виртуальные копии заводов делают, чтобы в симуляции обучить роботов и потом сразу ставить на рабочее место.
вы правда не осознаёте разницу между всяким buzz и технологией уже в своём детском виде заменяящей людей во многих областях
Если о чём-то слышно из каждого утюга, как о серебряной пуле - это верный признак базворда. И каждый раз апологеты нового чуда не понимают, что это базворд, истово верят в то, что оно изменит мир.
Неужели не следите за темой?
Отчего же, как раз слежу. Один мой друг™ даже участвует в крупнейшем в РФ пилотном внедрении ИИ-помощников в разработку. Промежуточные результаты пока совпадают с другими пилотами: чувствуют помощь только джуны, сеньорам оно наоборот мешает. Причём мешает не только непосредственно в разработке, но и ревью стали требовать больше ресурсов, так как джунам часто не хватает квалификации понять какую ересь железяка им посоветовала. Плюс есть уже несколько западных исследований, согласно результатам которым активное применение в разработке ИИ-помощников приводит к деградации кодовых баз. Пока складывается впечатление, что помочь ИИ способен только тем, кто ну уж очень плох в своём деле и только на самых примитивных задачах, а заменить и вовсе никого не может. Не исключаю, что когда-нибудь это изменится, но без революционных прорывов произойдёт это очень нескоро.
Большинство экспертов
Каких экспертов. Я, например, экспертно говорю, что модели на рекуррентных сетях не смогут стать полноценными ИИ в силу своей ограниченности. Или вы мне не верите?
революция это обычно когда разруха в голове. Проверьтесь
OpenAI намекает — это сильно
Количество переходит в качество. Именно действие этого закона диалектики мы наблюдаем воочию применительно к ИИ.
да в каком месте оно переходит-то? За последние лет десять, качество перевода например английский -русский не улучшилось ни на 1%. Как была ахинея, так и осталась. А текст с американскими идиомами Гугль вообще не способен перевести на русский. И это только один пример
А за последние 20 лет ? А 10 лет назад чатгпт был ? А что будет через 10 лет представить можете ? А через 20 ? То-то и оно. Что бы вы не говорили законы диалектики никуда не делись и они действуют.
как раз на примере перевода хорошо виден прогресс. это сильно улучшилось
Да тут какие-то бессодержательные комментарии вообще. Люди не следят за темой, не вникают и пишут что-то несуразное. Очень низкий уровень дискуссии Удивительно, что это на Хабре..
Ну да, ну да, оно мне один раз уже напереводило.
Здрасьте, перевод не улучшился. Он уже практически человеческий стал, с идиомами, фразеологизмами. Не знаю что вы переводите. Если же запихивать в языковые модели, да ещё и уточнять, то можно вообще любой сленг перевести.
Возможности нейросетей в области перевода ≠ возможности сервисов онлайн переводчиков.
То, что Google Translate за 10-15 лет недалеко ушёл от уровня "ПОТРАЧЕНО" даже несмотря на то, что ему на пятки то и дело наступают всякие DeepL и Яндексы - не ново, да и раньше были всякие Промты, которые временами с русским языком работали получше. Все это не значит, что ИИ не вывозит перевод вообще. В таких сервисах очень маленькие модели задействованы, потому что сами сервисы массовые и как правило бесплатные. Из-за специфики их работы, улучшения "под капотом" довольно плохо заметны, их ниша и алгоритм их работы не позволяет таким моделям раскрыться.
Но уже сегодня можно взять локальную (!!) LLM вроде Gemma-2 27B, которая даже без файн-тюнов довольно неплохо владеет русским, поднять её GGUF у себя дома на обычном игровом ПК, и получить результат, требующий минимальной редактуры. Этот инструмент намного сильнее любого онлайн переводчика. Просто даёшь модели затравочку в виде инструкции с парой примеров и сам текст на перевод. Бегло вычитываешь. Если где-то видишь, что модель не так понимает исходник - так прямо ей и пишешь, вот здесь у тебя ошибка, там должен быть такой смысл, поправь. И LLM это делает. Проблем с русским языком как таковым у этой модели нет. Очень экономит время. Всё ещё надеюсь, что у Ильи Гусева дойдут руки до Сайги на базе этой модели, потому что на русском языке модель явно обучалась мало, и у нее ещё есть потенциал стать лучше в плане лексики.
Всё это если не лень подзаморочиться, и есть много простых, но не слишком сложных текстов. Для каких-то технических или художественных задач наверное лучше подойдёт Claude Opus. Это API, и он дорогой, но с русским языком у него все намного лучше, чем у GPT-4o. Хотя и последняя неплохо справляется, просто она не так далеко от Геммы 2 ушла, а значит смысла в этом уже немного. Качество Opus'а, точнее "уровень владения языком" и "понимания текста" позволяет обычно вообще не редактировать вывод, а просто проверить его соответствие перевода оригиналу, потому что это всё ещё Instruction Tuned LLM, и всегда есть небольшой риск того, что она промахнётся в выполнении инструкции. В самом переводе такие модели почти не ошибаются. С языком Опус тоже не лажает.
И по сравнению с Google Translate, это действительно небо и земля. Просто нужно понимать, что это работает совершенно по-другому.
Статья написана с использованием ChatGPT
То что LLM нередко плохо следует инструкциям и не предоставляет полные перечни вроде давно известно, но это не делает LLM бесполезными. Белковые мозги тоже должны чем-то полезным заниматься и иметь хоть какие-то преимущества
Наконец-то нашёлся тот кто за меня сказал.
А разве план не в том чтоб брут-ИИ придумал более совершенный ИИ, тот еще совершеннее и т.д. С точки зрения гонки это более чем имеет смысл.
Gartner: Шумиха вокруг генеративного ИИ не соответствует его реальным возможностям