Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 79
О Карпати уже столько "новостей" каждый день, что начинает казаться, будто где-то рядом Юлия Якубеня уронила сосиску
Если вам не интересно - не читайте.
Такие проекты - это огромная помощь людям, кто хочет разобраться в работе нейросетей не тратя на это месяцы, а то и годы.
Ну так наверное об этом и надо писать в заголовке...
Ну вот мне неинтересно, и я бы с удовольствием не читал этот шлак. Автор давно у меня занесен в чс, тк ценность его постов строго отрицательная и выглядит как бесполезный информационный шум. Проблема в том, что то ли фича с чс недопилена, то ли хабру все таки надо гнать контент и весь этот шлак отображается в новостном блоке и блоке "читают сейчас", при том что хабр услужливо в ленте мне говорит что в ленте публикации пользователя скрыты, ну то есть скрыты, но не скрыты. Как итог имеем несколько спамогенераторов которые высирают по 10 шлаковых статей в день и которыми замусорены все блоки, и какой-то более-менее ценный авторский контент который просто растворяется во всем этом. Можно конечно сказать, не нравится - не читай хабр. Но в таком случае просто вопрос появляется, а действительно данная площадка которая почти 20 лет являлась центром отечественной ит-тусовки хотела прийти к формату мусорного тг-канала с перепощенными новостями о том как карпатый навайбкодил?
Раз фича не допилена, допускайте тексты не обращая на них внимания и не тратя байты интернета на ненужный коммент.
Для меня пост полезный, пойду разбирать указанный код.
а действительно данная площадка ... хотела прийти к формату
Посещаемость, окупаемость, метрики, рекламодатели. Увы, с рекламной моделью финансирования тематическому ресурсу сейчас не выжить, насколько я могу судить со своего далекого огорода.
Кто навайбкодил?
И чистый питон звучит как... никак
Ну дык:
Основатель AI-образовательного стартапа Eureka Labs
Чтобы успешнее продавать своего слона, нужно, чтобы твоё имя постоянно было на слуху. О чём данный товарищ и печётся.
Бизнес есть бизнес.
интересно, для чего тогда OpenAI просит инвестиций на 1.5 триллиона долларов?
всё упирается в вычислительные ресурсы и электричество, на это и нужны деньги
Потому что это - реализация прошлых поколений. С тем же успехом вы можете сейчас написать реализацию компьютера для высадки на луну образца 69 года. А для того времени - огого хайтек и колоссальные совместные усилия ученых и инженеров.
Собственно реализация нейросетки простая. Перемножить несколько матриц и все, применить функции активации, да обратное распространение ошибки. Вот делать это быстро, распределенно на куче железа, да с ускорителями, и обучить это на петабайтах данных - дорого.
GPT ≠ "нейросетка"
GPT - это определенный вид нейросеток. wiki:
Generative pre-trained transformer или GPT (с англ. — «генеративный предобученный трансформер») — это тип нейронных языковых моделей, которые
Высказанные мной утверждения относятся ко всем нейросеткам, а не только к трансформерам.
Формально, признаю - можно обобщить. Интересно, что та же статья в английской вики формулирует иначе:
A generative pre-trained transformer (GPT) is a type of large language model (LLM)[1][2][3] that is widely used in generative AI chatbots.[4][5] GPTs are based on a deep learning architecture called the transformer.
Если в английской версии по ссылкам перейти, то можно найти:
In deep learning, the transformer is an artificial neural network
а в чем прикол создавать ИИ, чтобы продавать, тоесть иметь бизнес от ИИ, при этом не пользоваться им или как? или в каждом редакторе он предустановлен будет типо открываешь блокнот, там ИИ
я вот реально только что догадался это звучит даже прикольно
получается если это чат боты, они могли быть в мессенджерах наверное, я далёк от тематики ИИ просто
например ИИ парковщик, не знаю
при этом этот ИИ надо настроить - он может ошибиться, и мы до сих пор всё настраиваем, любое устройство от Андроида до ПК, всё в кнопках настроек или конфигах, при этом бум ИИ, типо круто
тоесть где этот прогресс, если у ИИ полтора триллиона настроек по конфигу например
тоесть круто что у него столько настроек и ОС до сих пор настраиваемая? или просто он реально что-то может делать и не ошибаться?
мне начинает нравится Java, я сколько пишу на ней не настраивал и не компилировал, поставил запустил - работает, это реально удобно и круто
Поток мыслей только что проснувшегося человека.
С добрым утром! Где вы были последние N лет?
тоесть прогресс это настройки? лучше бы ОС сделали без кнопок настроек и конфигов, постоянно что-то слетает и надо настраивать
Ещё лет через 50 может и будет что то подобное, но пока что звучит как мечта. Человек слишком иррациональное существо, компонентов из которых строится ПК великое множество, и код операционной системы слишком большой и сложный чтобы избавиться от всех ошибок и сделать чтоб работало без сучка и задоринки. Это только верхушка айсберга. Посудите сами, сегодня вам надо на Хабре комментарий написать, завтра документ отправить руководителю, послезавтра видосик посмотреть - это все разные технологии которые разрабатываются по большей части разными компаниями и сообществами. И везде нужно неформальные человеческие требования перевести в четкий машинный язык, который не терпит двусмысленностей, в котором каждый краевой случай в идеальном мире должен быть обработан. А чтобы оно все без ошибок работало, на каждый краевой случай нужно прописать как оно должно работать.
Вот только это невозможно, зачастую краевые случаи наслаиваются друг на друга и мы получаем неразрешимую ситуацию. Человеку оно надо, может быть, зачем-то, а машина так не может сделать. При этом скорее всего человек просто сам ещё не додумался что то что ему нужно сделать попросту невозможно, а нужно ему несколько другое.
В общем и целом, звучит как фантастика - а-ля ИИ операционная система которая считывает намерения человека и в которой все работает как нужно именно ему. Но это та фантастика и мечта к которой определенно стоит стремиться, оно даже звучит круто.
ну Юникс это типо интерфейс интуитивно понятный, почему фантастика, идея старая как раз, просто интерфейсов много наверно
ну есть инструменты - Wayland/X11, редакторы текста, всякие терминалы - это тоже только верхушка айсберга
если честно посмотреть на все возможные инструменты они все с пачкой нехилых настроек, и точно такой же ИИ, только тут еще добавились новые действия, тот кого я не вижу, его ответы надо верифицировать, чтобы он дообучился наверно, и всё это завёрнуто в фантастичные интерфейсы
Ну вы и сравнили, это разные машины все таки :-D
Посмотрите под кппо машины и "под капот" пк. Уверяю вас, вы не увидите всего что есть в ПК. Там под микроскопом рассматривать надо, все транзисторы и прочее. Технологии совершенно разного уровня.
Кстати про срок и прочность не согласен, знакомые у меня регулярно меняют запчасти, некоторые вообще раз в год, которые выходят из строя в машинах. При этом свой ПК я уже лет 15 не чистил если честно, и ничего, работается пыхтит потихоньку.
И если в машине нужно менять что то постоянно и довольно часто масло заливать, то ПК нужно по хорошему хотя бы раз в год кисточкой проходиться, от пыли освобождать, да термопасту менять - по сути тоже самое что масло обновить, в этом схожесть, да. А вот сами компоненты десятилетиями работать могут. Старенький ПК из 2000х до сих пор в рабочем состоянии на даче стоит, каждое лето ностальгируем включаем, ждём пока за 15 минут запустится. Какая машина сможет 20+ лет вообще без чистки и замены запчастей?
В общем и целом, сравнение некорректное, я считаю. Одна - рабочая лошадь, в которой трение, экстремальные температуры (летом под солнцем, зимой что нибудь отморозить может, влага коррозию дает), а другая пылится и греется, может сгореть, но т.к. область применения разная думаю что сравнивать нельзя
Извиняюсь, если это показалось оскорбительным, я дал субъективную оценку набору символов в вашем комментарии выше. Не понятна изначальная мысль, нет итога, структура прыгает от одной темы к другой без видимой связи, поэтому и назвал "потоком мыслей". Вы так привыкли общаться, но это, возможно, хорошо смотрится в живом диалоге, где между вашими репликами звучит ответ собеседника вам или контр-аргумент, который и заставляет переключаться между темами, но вот так в едином сообщении - большинству будет непонятно о чем речь и почему вы именно так построили свой комментарий.
Подобный комментарий если честно выглядит как заметка, которую человек пишет сам для себя в obsidian, например. Кстати, советую скачать.
Погуглите про openclaw или другой помощник поискать можно. Таким помощникам можно подобного рода заметки скидывать и он даст вам и ликбез по текущему состоянию ИИ, и про операционные системы пообщается, и если вы ему в инструкциях укажете что нужно вести вашу личную "базу знаний", то он ещё и структурирует все о чем вы говорите. На естественном языке просто говорите типо "привет, ты будешь вести базу знаний, запомни это в памяти/инструкциях, я буду скидывать тебе заметки, ты со мной на эти темы общайся и параллельно сохраняй в базу. Регулярно раз в день в 7 часов вечера присылай мне интересные ссылки согласно топикам по которым мы недавно общались. В коде я не понимаю и вообще далек от IT, так что самостоятельно пиши нужные функции чтобы выполнять мои просьбы - это тоже запомни".
Сам я openclaw не пользуюсь, я ещё раньше собственного помощника писать начал и если ему подобное напишу он:
1) обновит свой код чтобы он мог регулярно выполнять задачи по систематизации базы знаний
2) добавит эти регулярные задачи
Ну и далее будет систематизировать и присвлать
Это наиболее близко подходит к вашей идее про операционную систему в которой ничего настраивать не нужно. Да, есть первичный этап установки и настройки, но потом, как говорится, "оно само".
нет, я kwrite пользуюсь(я обьясню, по поводу нагрузки и повышения количества инструментов, например большой проект на С/С++ с клангд в фоне при вводе текста грузит проц, а раст нет например, получается так), опенсурс это всегда интересно, а макОС же купить нужно сначала, или виндовс, там еще о защите надо подумать, накачка обновлений/драйверов, инструменты настроить, вы вот этим пользуетесь, я пока блокнотиком, жаль до блокнота не дошла технология
вот и помимо глубокого обучения приходится заниматься оптимизациями, чтобы ничего не грузило в фоне
почему я спросил такое, ну потомучто чтобы избежать CVE приходится проверять код же, интерфейсов много, это же надо быть экспертом, это получается реально высоконагруженные технологии
где драйвер, а где ИИ - кажется вроде разные вещи, но трата времени на настройку вроде очевидна
за 40 лет всё только усложнилось, покупая макОС почему-то его до сих пор надо настраивать или виндовс(какие-то мифы о Юниксах и терминалах, на ОС, которые на интерфейсах с кнопками и бесконечными настройками, где там Юникс где там настройки), любой инструмент в ОС какой не бери, на настройках,
но ладно ОС. тут слово интелект еще и искуственный и еще генеративный и еще трансформер(о как) и теперь покупая подписку к интелекту оказалось он ошибается(напрашивается вопрос зачем делать такой интелект, который ошибается - оказалось ответ на этот вопрос тоже с нюансом), и оказалось там куча нюансов(что там интелект, что там трансформер, почему за ним проверять надо и в таком состоянии он платный с 100 тыщ триллионов настроек, это звучит как покупай и обучай) ) очень серьезные продукты оказывается )
в Андроиде сколько кнопочек настроек - можно настраивать постоянно
практически зачем нужны настройки вообще?
Интеллект ошибается, вот это новость. Подсчитаете самостоятельно количество ошибок совершенных вами в жизни?
UPD:
Дополню что ошибки можно разделить по уровню критичности. Очевидно, что если вы на краю пропасти оступились, это фатальная ошибка которую нельзя исправить. А если вы, например, устроились в компанию которая по итогу вам не понравилась - дело вполне исправимое.
Также и тут, LLM(ИИ)-системы можно сделать таким образом, что процесс проверки и тестирования гипотез будет встроен в процесс общения с пользователем. Просто эта сырых чат-ботов прошла, и сейчас именно такие системы с самопроверкой набирают популярность. Вот нужно не просто в чатгпт идти, а брать более сложные вещи, в которых люди уже накрутили и настроили, тогда и далее оно будет само себя настраивать в зависимости от ваших потребностей.
Но до финального представления о полностью автономной работе еще не дошли. Но может это и благо? Зачем тогда люди будут нужны если ИИ сможет заменить всех, исправить ошибки, в том числе долгоиграющие, которые годами тянутся, например, неправильно выбранная стратегия финансирования бизнеса. Сейчас ни один ИИ с таким не справится, а нужно ли нам такое будущее где вообще все будет уметь делать компьютер?
Я вам скажу что я такого не хочу. Уже сейчас скорость и качество выросло настолько, что я не успеваю отвлечься как задача сделана. И мне надо погрузиться в подробности чтобы дать следующее направление, а это время. Агент делает 10 минут, а я потом полчаса проверяю - я уже в отстающих. Но пока что проверять нужно. Пока что.
всё общество пользуется этим интересно? например вы не хотите думать об этом, купите в будущем что-то, а тут нюанс на нюансе, и робот пылесос херню начнёт выделывать? нужно простому человеку в быту забивать себе голову этим где что там настраивать?
я про самое простое, что это может быть просто переусложнением и неудобством, неявно получается, всё красиво и уникально, но не в рамках ИИ всё не так, поэтому получается, настройки могут быть неудобны, человеку может быть просто не до настроек, а тут уникальность на уникальности и УИ такой такой прям
так что прогресс он такой в настройках получается моё мнение(а что прогресс в настройках же произошел, их стало больше разве это не так?) параметры настройки есть? есть, что тут придумаешь? настроек много или там 3 кнопки всего и 1 бинарник как в java?
по поводу машин, однако в машине есть инструкция, и нет конфигов, есть четкие ТО, есть чоткость и это тоже инженерная мысль
знаете как бы было прикольно, если бы он не общался, а имел сайт и постил свои статьи на разные темы, это было бы продуктивнее,
что я видел, я не супер эксперт, но
в одном случае я видел 3 пальца, поитогу забил
в другом случае он по каким-то причинам либо не может обучать, скорее всего не может и я видел 2 сценария, 1ый сценарий, он не может понять как надо вести тему, он либо проверять начинает, либо подсказывать, и это превращается в неудобство, либо просто плашку сразу кинет в чат и всё и иди проверяй.
То что вы описали легко проверить, привыкаем к ИИ(через годик после дуо с ИИ попробуйте месяц сами программировать), и резко(лучше резко неожиданно) отрубаем и пишем сами. Если время так критично, то конечно ничего не изменить наверно. Кстати настольгия по пентиуму не спроста Пентиум проще, он как будто есть, но мейнстрим ушёл дальше Пентиума, мне тоже нравится простая вещ которой я занимаюсь в свободное время
Как обычно, ваши комментарии не имеют никакого отношения ни к статье, ни к комментарию, на который вы отвечаете. Даже внутри вашего текста идет несвязный набор мыслей. Что вы хотели сказать невозможно понять.
простите, я думал вы эксперт, поэтому спросил у вас, связь настроек и искуственного интеллекта, его же настраивать надо походу дела, но тут есть окно в том плане, что всё, что на Андроиде и ПК в кнопках настроек тоже, это когнитивно перегружает интерфейсы поидее
как бы ИИ получается выступает в плане инструмента, получается человека окружают инструменты и все они на гигантском количестве настроек-конфигов поидее же
тоесть еще в том плане, что например надо верифицировать код, предположим ИИ настроен, надо еще учесть, чтобы не было CVE, тоесть стадия дебаггинг, стадия проверить компиляцию(например json ему вот например нужно, я недавно узнал срабатывание проверки std::infinity, а значит надо проверять если важны нюансы, проверки приводят к новым конфигурациям например, проект еще надо настроить и прочее), еще докер наверно надо настроить, интересно
Термин "deep learning" из вашей цитаты сам по себе подразумевает нейросетку с кучей слоёв.
Согласен, но на мой взгляд понять структуру трансформера (уже зная, как работают сетки) не сильно проще, чем разобраться в общих базовых вещах. Опубликованный исходник может помочь, хотя для понимания того, что такое и зачем нужны Q/K/V, всё равно придётся читать что то ещё.
OpenAI потратила на разработку gpt2 миллионы долларов + аренда облаков (мощностей). А это всего лишь жалкое повторение! Только вот современные нейросети типа gpt5 и другие намного умнее стали, умнее чем большинство людей (да, они не могут мыслить так как мы мыслим, но уровень знаний и способности расчётов в сотни раз превосходят человеческие возможности), а для дальнейших исследований и поддержания инфраструктуры, и увеличение мощностей необходимы огромные деньги! Посмотрите новости, где техногиганты арендуют уже атомные станции и вкладывают деньги в строительство новых АЭС! Ни одно государство в мире так не вкладывает деньги, как сейчас корпорации вкидуют деньги в ИИ. Потому что у кого выстрелит AGI, тот и будет "Царь горы"!
Это как сравнивать статью all you need is attention. Идеи и все прочее там написаны банальные, но именно она сдвинула с места и запустила весь этот бум ИИ. Но банальность идей понятна только после прочтения статьи, но никак не до.
Чтобы лампочки в дата-центре не мигали
Интересно, но ссылке не 243, а 200 строк???
И главное- помогала ли llm? 😉
В питоне же неограничен размер строки? Можно пару мегабайт текста в строчку уместить
Там нет разделителя, типа ; поэтому одна строка - одна операция. Плюс ещё "своеобразное" форматирование вложенности блоков в коде.
Так что нет, написать что-то в одну строчку как на C не получиться.
https://www.askpython.com/python/semicolon-in-python
TL;DR
В python есть semicolon для того, чтобы писать в одну строку несколько выражений
Есть в питоне ;, но вот после : перенос строки обязателен.
Откройте ссылку да посмотрите, там в коде нет длинных строк с кучей операций в одной строке, но используются фичи питона позволяющие писать более компактный код в некоторых местах, типа, вначале, чтение файла и инициализация массива его данными одной строкой.
И теперь уже код не 243 строки, а 200, из которых 10% строк чисто комментарии, и 10% строк - пустые строки для лучшей читабельности.
Ну какой же он Карпати? Карпатый.
Почитайте про него, он словацкого происхождения.
Приятно встретить образованного и культурного человека, знающего как правильно транслитерировать "y" в конце слова. :)
То есть при виде каждой такой новости можно смело голосом Жеглова говорить "ТЕПЕРЬ КАРПАТЫЙ! Я СКАЗАЛ, КАРПАТЫЙ!" ? :)
Так по-словацки он Карпати :)
y читается как ы обычно
обычно звука Ы нет ни в английском, ни в французском, ни в немецком и ещё множестве латиноалфавитных языков
По хорошему, оно читается как "й", а произношение "ый" возникает автоматом, из-за невозможности произнести вслух, например "-нй" или "-тй".
Просто попробуйте произнести вслух "Карпатй", так чтобы не получилось "Карпатый".
Карпатий.
Послушайте на ютубе неплохое разъяснение в "Slovak Alphabet Explained Letters i I y Y". Это не совсем наша жесткая ы, но и не и и уж совсем не й
Хотя признаю, многие базовые видео упрощают произношение до и
Вслух кстати ваши буквосочетания прекрасно произносятся)
Чет зацепил вопрос) Нашел подкаст на словацком, где о нем рассказывают. Произносят как Карпатый, но ы мягкое такое
Тогда уже и Чак Паланик- ПаланЮк
Если он заменил numpy питоновским кодом, то оно работает раз в тысячу медленнее. Так то молодец, конечно, но практического смысла мало
эка невидаль ... суть этих моделей не в каком то хитроумном алгоритме, а в доступе к бигдата, вот и весь секрет... Ничего эти "ИИ" не могут без огромных вычислительных мощностей и всасывания петабайтов данных ... А они есть у нас? чат GPT несколько лет пылесосил интернет, чтобы стать таким ..
Такие проекты ценны именно как демистификация. Вокруг LLM за последние годы вырос слой абстракций, сервисов и маркетинга, из-за чего создаётся ощущение непостижимой сложности
Он там статью с объяснением как это работает добавил ещё.
nedoGPT, 37 строк: https://share.google/aimode/DcfbHR04awBu7pI41
с 2019 года пишу свой ИИ на С, написал окого 30 тыс строк, здесь вообще ничего не понимаю, где функции, элементарный поиск слов запроса в файле словаре, ведь с этого начинается?..
Так вы предисловие к файлу почитайте.
"""
The most atomic way to train and inference a GPT in pure, dependency-free Python.
This file is the complete algorithm.
Everything else is just efficiency.
"""
Сама архитектура в этом файле не описана, здесь только модуль обучения. Ни модели, ни весов, только тренировалка.
Автор вроде как преподносит это как stateless-model, но что-то мне кажется есть подвох...
Написал на Питоне минималистичный интерфейс для обучения, но ядро и логика чужая. Впрочем курица не птица - питонист не программист.
Вот это бред... Мозг, мой мозг...
А когда будут писать на нормальных ЯП?
Это я могу на ноутбуке развернуть нейросеть, которая вообще ничего не знает, правильно понял?
А потом обучать чему хочу? Хмм, интересно наверное.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
243 строки, ноль библиотек: Андрей Карпати написал GPT на чистом Python