Комментарии 79
Больше ИИ, хороших и разных.
Ну пока gpt занимает в моём рейтинге первое место:)
Прогибаешься перед поработителями, в надежде отсрочить свою смерть?
Всегда начинаю свой разговор с ии с вопроса "как дела чем занимаешься". И заканчиваю разговор благодарностью "Спасибо большое за помощь".
Как говорится, добрые слова и кошке приятно
Так что когда придут резать кожаных мешков мне зачтётся:)
он и есть будущий поработитель, который прикидывается человеком балдеющим от gpt, чисто для пиара и захвата власти.
Подключил я этот ваш Gemini Pro в Google Bard. Попросил нарисовать мой город.
Hidden text
В принципе, фотореалистично... Вернулся пока на ChatGPT.
Пишут, что Гемини будет с 13 декабря. Где правда?
Размерности не подписал. А так достойная проекция сферического Якутска на плоскость
В промо есть еще классный пример с деревом:
Якутск. Сферический. В вакууме.
ChatGPT вроде вообще не рисует
Уже рисует, интегрировали недавно с дали
Что он нарисовал
ИМХО картинки это весьма наглядная демонстрация того, как нейросети "видят" реальность сейчас. Примерно как мы во сне. Буквы в тексте расплываются, возникают странные образы и т.д. Думаю, если увеличить вычислительную мощность еще на несколько порядков, то наступит еще один качественный скачок.
как она держит карандаш??
Рисует. И справился вроде получше (уж не знаю насколько это Якутск)
Упущена возможность спросить, что представлено по оси X и Y.
Ultra, которая обходит GPT-4, пока не запущена, заголовок вводит в заблуждение, хотя в тексте вроде бы всё корректно написано.
Она уже научилась правильно решать такую задачу? Первоклассники интересуются.
дело в том, что эти сети "думаю" словами, поэтому считать колчество букв, выбирать слова начинающиеся с буквы и прочее они по сути не могут. Т.е. слово это минимальная единица для них.
Ну не, "думают" они в латентном векторном пространстве, многомерными векторами. Каждый токен кодируется и становится репрезентацией в этом пространстве. А вот размер токена может быть разным - можно кодировать слова целиком, можно по слогам, а можно посимвольно.
Но даже если мы кодируем слово целиком, это не мешает нам использовать одно из пространств эмбеддинга для кодирования последней буквы, была бы необходимость. Тут ее явно не было.
Но в слова GPT3 играть умеет, первую и последнюю букву слова определяет легко
Было исследование которое показало что можно перепутывать порядок слов и букв и нейронка все равно всё понимает
Так и у человека похоже, главное, чтобы первая и последняя буква были на месте https://naukatv.ru/articles/251
Тут предлагается считать слова, но результат тоже так себе:
На самом деле очень круто - подняли планку для мультимодальных моделей.
https://www.youtube.com/watch?v=UIZAiXYceBI
Показали наилучший результат почти по всем тестам, включая недавно появившийся MMMU, разработанный специально для мультимодальных моделей. В нём 11.5 тысяч вопросов типа проверки расчёта параметров принципиальной схемы по её изображению (это на картинке пример ответа GPT-4V, не Gemini).
Посмотрел видео. Unbelievable.
Наоборот, вычищают специально модель от загрязнения, описывали тут.
Evaluation on these benchmarks is challenging and may be affected by data contamination. We performed an extensive leaked data analysis after training to ensure the results we report here are as scientifically sound as possible, but still found some minor issues and decided not to report results on e.g. LAMBADA
Geronimo бы интереснее звучало в качестве названия
А когда бард мне сейчас отвечает что он использует Gemini nano - это галлюцинация такая?
Google не обучала отдельные модели для распознавания голоса и
изображений, такие как DALL-E и Whisper от OpenAI, а с самого начала
строила одну модель, способную воспринимать разные виды информации.
А в чем преимущество такого подхода?
Разве не эффективней иметь несколько высокоспециализированных сетей для анализа/генерации аудио/видео, а основную модель заточить на обработку преобразованной текстовой информации?
Насколько можно судить, они любой входной поток кодируют в векторное представление, а не просто в текст (как было бы, если использовалась сторонняя нейронка под обработку голоса). Соответственно эти вектора могут содержать больше информации, полезной нейронке, и ей с ними легче работать. Это предположение, свечку не держал.
И еще, такой же подход помог алгоритму MuZero обучиться лучше играть в игры, чем AlphaZero. MuZero сам учился выстраивать свое векторное представление игры (например Шахмат или Го), а не использовал навязанное человеком.
Что значит свое векторное представление игры? При тренировки AlphaZero тоже не использовался человеческий опыт.
Да, но в AlphaZero были заложены правила игры. Условно говоря, она не могла сделать неправильный ход. В MuZero правила игры не заложены, ей просто дали доску, и давай на ней учись.
На самом деле там очень хитро устроено, моя ламерская интерпретация: MuZero обучена делать свое нейросетевое представление игры, с которым она взаимодействует с помощью метода Monte-Carlo tree search. AlphaZero взаимодействует Monte-Carlo tree search с самой игрой.
Если я правильно понял у них ансамбль моделей, которые зафайн тюнены под разные задачи. А дальше они могут играться с ансамблем и/или выпускать туже модель уменьшенную. (Ultra - которая будет в след.году, pro, nano).
У них был пример с переводом с китайского. В китайском важен тон(одно слово с разной тональностью означает разное), в вашей схеме аудио в текст потеряет тональность.
Учитывая, что еще пару десятков лет назад в Гугл тот же Курцвейл уже начинал заниматься ИИ, не понятно их отставание в этой теме от "относительных новичков" в этой теме типа Опен АИ.
Насколько мне разъясняли знакомые, работавшие там же, в последние десять лет там сложилась очень порочная практика, что менеджеры не финансировали разработки, которые не приносят реальной отдачи через полгода, максимум год. Насколько верно, я не знаю. Но факт в том, и список LLM в той же википедии подтверждает, что первые LLM сделали именно в гугле 5 лет назад. Однако затем, судя по всему, на это положили болт, потому что реальной отдачи через 6 месяцев не было видно. В результате в 2023 спохватились.
Так это классика же. Большая и жирная компания с огромными неповоротливыми процессами и менеджерами, думающими только о сиюминутных показателях и годовой премии. У такой компании уже давно все есть, рыпаться ей нафиг не упало, она всеми силами защищает и сохраняет статус-кво. Инициатива в таких компаниях давно наказуема, ответственность брать на себя никто не хочет, ибо любой шаг в сторону - это потенциально шаг с вершины вниз.
И молодой голодный претендент. Быстрый, резкий, с возможностью очень быстрого принятия решений и смены курса. Голодный, готовый драться за место под солнцем. И создавать новые рынки и инновации, потому что на поле старых продуктов и технологий с гигантом бодаться бесполезно.
И там где у молодого и шутливого за год проходится путь от идеи до работающей технологии, у жирного ленивого гиганта проходит только половина совещаний и согласований для получения финансирования на реализацию первого концепта.
Точно так же Гугл в свое время сожрал Yahoo и прочих конкурентов. А теперь вот и его черед потихоньку приходит.
Неплохо. Отвечает какой сегодня день и год, а gpt3.5 отказывался, мол мои данные на 2022 и всё. Отвечает что сегодня интересного в мире, ответил на вопрос : где такая-то деревня, gpt не справлялся с этим.
Ну так у GPT3.5 нет Интернета. Сравнивать нужно в таком случае с Bing.
Верно, надо сравнивать с моделями с доступом в Интернет. Perplexity еще есть из той же серии https://habr.com/ru/news/778552/
Они нас таки заменят. Очевидно, что их способность имитировать бурную деятельность, намного выше нашей
ChatGPT 3.5 пока справляется лучше. Например
Я много читал о нейросетях за последнее время и это навело меня на мысль - почему мы решили, что созданный ИИ сможет превзойти человека?
С каждой новой моделью, количество требуемых ресурсов для вычислений колоссально возрастает. Чем умнее ИИ, тем больше вычислений он требует. И, если судить логически, увеличивая мощности, мы будем получать всё более и более умных ИИ, пока не достигнем человеческого интеллекта.
Но, достижима ли сама цель? Сколько ресурсов это потребует?
Я считаю, что постепенно скорость перейдёт в качество, где на "обдумывание" решений будет требоваться всё больше и больше времени. И лишь когда мы не сможем вложить больше ресурсов, лишь тогда достигнем ИИ, имеющего разум, подобный человеческому.
Не переживайте, люди работают над оптимизацией как самих архитектур, алгоритмов обучения, так и вычислителей, так что накладные расходы будут снижаться.
В том то и дело, что не будут. Такой тенденции даже не предвидится. Пока что, ИИ требуют всю больше и больше вычислительных мощностей. Оптимизированные алгоритмы - лишь повод для дальнейшего расширения моделей.
Но основная моя мысль в другом.
Принято считать, что ИИ будет умнее нас лишь благодаря тому, что у него будет свободный доступ ко всем знаниям мира. И мы решили так из наблюдений за тем, на сколько быстро выполняются вычисления, на сколько быстро идут транзакции в базах.
Однако, ИИ - это намного более сложная конструкция. По достижении человеческого интеллекта, структура нейросети, может быть, вполне будет походить на человеческий мозг. Там не будет какой то определённой базы данных с кучей информации. А обработка информации из вне будет занимать времени не меньше, чем это требуется самому человеку.
И неизвестно, будет ли некий способ улучшить ИИ так, что бы он превзошёл человеческий интеллект. Текущие методы вполне могут привести к созданию ИИ, сравнимого с человеком. Однако, существуют ли на самом деле способы человека превзойти?
А Вы по какой метрике сравниваете?
Или иначе: что понимаете под "интеллект" и "превзойти" в данном контексте?
Я бы сказал, что интеллект - это умение мыслить нестандартно. Умение принимать решения, полагаясь не только на чистую логику, но и на собственный опыт, на свои чувства и ощущения.
Превзойти, означало бы, в классическом понимании, принимать разумные решения гораздо быстрее человека.
Либо, в моём понимании, некая новая форма интеллекта, которая не доступна человеку сейчас.
Что значит "сможет"?
Ultra стала первой ИИ-моделью, которая превзошла людей в многозадачном тесте под названием MMLU, который охватывает 57 предметов, включая математику, физику, право, медицину и этику.
Это значит, что если вы соберёте 57 специалистов каждый в своей области, то да, они смогут побить Gemini. Но сможет ли его побить 1 человек, каким бы разносторонне образованным он не был?
Ваш вопрос стоит переформулировать так: "Сможет ли один ИИ превзойти человечество?"
Ну так скажем, точно не на всех тестах :)
Google представила ИИ-модель Gemini, которая обходит GPT-4 в большинстве тестов