Ха! Некому не забывать. Сколько там программеры работают на одной работе?
Если ты работаешь больше 5 лет на одном месте - то на тебя уже как на дурочка смотрят.
Утрированно конечно. Но обычно ты просто приходишь на легаси проект с тонной кодовой базой. Тебе прилетают таски - поправить баг. И ты в лучшем случае разберешься в работе в одном конкретном модуле. А потом попросту уходишь на другой проект. Тебе на замену следующие приходят и также уходят.
А как устроены галеры по типу EPAM. Да там сам принцип работы что ты постоянно скачешь с проекта на проект. Там пописал, сям нагадил. И так по кругу.
Непомню точно но как то чичтал правила про внутреннюю кухню мелкомягких. Там были весьма причудливые правила переступить которые грозилось "смертной казнью."
По типу - никогда не трогать старых переменных, а всегда заводить новые. Ну или что то такое. При желании можно нагуглить
Почему не разваливается? Регулярно разваливается. А в последнее годы это вообще превратилось best practic!
Возьми любой учебник по бизнесу - там просто огромными красными буквами везде написано, запускай продукт на рынок максимально быстро настолько это возможно! Иначе обгонят конкуренты. Приложение не падает сразу при старте? Быстро в продакшен.
Пользователи сейчас играют роль тестеров.
Ну какое то количество компаний банкротится и закрывается сразу после выхода продукта на рынок (в геймдеве это прям видно постоянно).
Но остальная часть в кривь и вкось продолжает работать - и главное за это бизнес получает деньги.
Поэтому нельзя говорить этот код дерьмо, а этот красив! Всё зависит по каким критериям его оценивать. А начальник - бизнесс, а не писатели кода. И критерии их успешности вообще не содержит какой то там код.
Никогда не встречал деление программирования на любительское и профессиональное. Даже интересно было в уме повыбивать критерии для одного и для другого.
От себя могу высказать некоторые жизненные наблюдения. Да - когда работаешь в кровавом энтерпоайзе требуют некоторое соблюдение стилистики кода когда работаешь в текущей команде.
Но! Продакшен компании это в 99.99 легаси код. Который разрабатывается годами. И команды там меняются часто. Более того типичный кейс - тебе прилетает таска, исправить баг, или новя фича. Время строго ограничено. Тебе платят деньги не за красивость, и да же не за код. Тебе платят деньги за закрытые таски. Думаю не надо тут дальше рассказывать про приоритеты которые выбираются... Про рефакторинг я вообще не говорю. Никогда бизнес не поймёт зачем надо что то переделывать просто так. Да это же вредительство!
И возьмём программинг для себя так сказать. Для души. Ооо! Тут просто рай для перфекционизма. Не вопрос 10 раз полностью переделать архитекутру и переписать почти весь код, когда 10 раз попадаются какие то новые вводные данные. Разумеется это продолжается пока тебе это интересно (не выгоришь).
Так что я бы определил что "профессиональный" код ужасный но он продаётся. "Любительский" красив, но почти всегда уходит в забвение...
Сейчас проффесиональный код ещё больше поражён раковой опухолью ИИ. Часто слышу что в компаниях заставляют писать с помощью ИИ. NVidea вроде вообще хвасталась что мол половину кода драйверов написана ИИ. А потом.... Туча тем в инете. Как работающие всегда вещи стали жрать в 10 раз больше ресурсов. Про баги и дыры и не говорю.
Сам изучаю работу LLM. И знаю как там что работает. Она может нагородить на каждый запрос пару листов кода - который будет впринципе делать то что подали в промт. Пару листов кода на каждый запрос. И это просто вавилонская башня кода...
P.S. Ну я тоже в своё время на дельфи много программил. В те времена С# то и не было (C# 1.0 вышла в 2002 году с релизом Microsoft Visual Studio .NET, Delphi же с 1995 года ). Отличная среда. Кстаи даже сейчас продолжает жить. Только несколько преобразовался.
Согласен - вся левая часть ушла в тернарный оператор. Это был просто пример как можно было бы ещё подсократить запись, а в проекте всегда надо проходить в тестах по всем веткам кода. Это просто золотое правило. Ну я и намёк дал насчёт скобочек...
Читаемость - чем проще тем лучше. Чем меньше всяких символом для понимания тем лучше. Тут конечно меру знать надо. Символы должны быть чётко понятны тому кто читает. Машинный код - это уже наверно перебор. Но я например когда прогал на асме натренировался что вполне неплохо читал почти машинный код.
Что же касается одной строки - то если условие if и далее 2 коротких значения то почти всегда читаемость через тернарный оператор выглядит нагляднее.
Если это сложение строк и строки короткие - то читаемость в одну строку почти всегда нагляднее.
P.S. А вообще это всё вкусовщина. И спор тут - что лучше красное или лёгкое. Я постоянно пользуюсь тернарными операторами, мне так удобнее. А кого то от них в дрожь бросает. Вкусовщина короче.
Скажем так. Очень малое количество людей вообще пишут книги. Достаточно малое количество людей имеют талант. И главное - у некоторых людей из пред идущей выборки доступен уникальный жизненный датасет. Он в них, скажем так поступает постоянно. Именно что уникальный для конкретного человека.
Взять любого наёмника на войне. Так такие истории бывают - не поверишь.
Так что люди время о времени таки создают "что то новое"
Или даже не так. Даже вокруг самой "серой мыши", человека не выходящего из комнаты общежития могут происходить поистине фантастические истории. Взять например книгу "Преступление и наказание". Гениальное произведение по глубокой психологии личности.
В противоположность этому стоят LLM. После обучения - они статичны. И выдать на выход могут только компиляцию из обучающей выборки. Про психологию вообще не могут чего то размышлять. Сомневаюсь что в выборке уж очень много про это инфы. Люди не особо любят выкладывать в текст внуктренние переживания. От куда их могла бы взять LLM.
Если загрузить в нейронку датасет из миллионов выигранных партий - то такакя нейронка будет содержать в себе последовательности выигрышных стратегий из практически любого хода. Никакого "думания" там и в помине нет. А под думанием я подразумеваю как минимум программный модуль в котором крутятся минипартии шахмат. Типо просчитать все возможные ходы наперёд на 7 позиций. Или ещё что там думают мясные неросети когда в шахматы играют.
Есть только тупой поиск правильного пути из множества правильных путей. Да это и поиском трудно назвать. Превратили позицию шамхат в эмбединг, а эмбединг это просто набор векторов который представляет из себя тензор. И который по сути координаты. И эти координаты просто указали нам место в огромной векторной БД где содержится адрес следующего тензора. Ладно ладно - там чуть сложнее, напридумывали трансформеров, разложение векоров на key,value,query и промежуточные операции с ними что сами не понимают как это помогает (реально улучшает точность) в векторном поиске. Но сути это не меняет. Вся цепочка этих точек будет путь ведущий к выигрышу из текущего состояния. И вся эта цепочка была загружена в векторную БД на этапе обучения. Весь этап обучения это просто аппроксимация всех партий в один большой массив правильных путей.
И если мы такую специализированно обученную векторную БД начнём дообучать другими данными, например ядерной физикой, то в вопросе игры в шахматы - она сильно отупеет. И получается что мы же новые данные загрузили - машина умнее стать должна. Ан нет. Так этот алгоритм не работает.
Поэтому и очень не рекомендуют дообучать современные LLM на своих данных. Потому как вероятность что она отупеет намного больше чем что поумнеет. Потому как датасет на котором она обучалась - пилили напильником годами чтобы он нормально работал.
И в первою очередь советую играйтесь с промтингами, даже новую псевдо-професию изобрели (скоро и она канет в лету как и все предыдущие кадавры) - промт-инженер, играйтесь с RAG, но не лезьте в обучение.
Идея была что если сделать датасет всего чего можно то вдруг получится что LLM будет решать всё что можно - на отлично, как то сейчас всё больше и больше затухает. Загрузили туда все книги, весь интернет, все форумы, вообще всё до чего дотянулись - а результат... LLM начали тупеть. chatGPT5 оказался тупее 4. Ну по крайней мере многие про это говорят и недовольны выдачей.
Если вы зададите вопрос LLM - решают ли они задачи, или думают ли они, или ещё сто то похожее. То они все будут доказывать сто они вообще не понимают и не анализируют входящий промт. Они только ищут наиболее вероятное следующее слов.
Если была загружена задача и она на выходе решена правильно - это означает что в датасет, а сейчас вообще такие датасеты мама негорюй, загрузили все книги которые смогли найти, загрузили весь интернет. Загрузили все форумы на которых миллиардные переписки.
Короче нашлась похожая задача и по алгоритму этой похожей задачи была решена входящая.
И вообще постоянно путаница из за слово решена. Не решает она там внутри ничего.
Хотя вру. Современные чат-боты это реально кадавр. Это дикая смесь всего, и конкретно LLM - там не самое главное может оказаться. Если вдаватся в детали то LLM реально только одно звено наряду например с RAG и прочим.
Короче там работаю алгоритмы где может быть вызваны компиляторы всех языков программирования, могут скомпилированные программы запустится - короче там много чего под капотом.
И когда просят решить какую то математическую функцию - там под капотом может оказаться что быстро пишется программа, компилируется, выполняется, а результат выдаётся в чатботе.
Калькулятор решает миллионы примеров. Сколько там комбинация можно напридумывать из цифр? Значит ли это что калькулятор решает неизвестные ему задачи?
У калькулятора есть алгоритм решения задачи, а вот цифры для алгоритма не важны. Какие туда подставим - такие и решатся.
Так и с LLM. Если мы просим сделат задачу, LLM просто ищет похожую в своей базе данных. Собственно сама магия и шаманство - это то что она это делает по словам или даже по слогам. Но если попробовать представить как это работает - то при загрузки задачи в LLM, т.е. её обучение, внутри создаётся как бы алгоритм туннеля, который работает на векторной алгебре. Сами нейронные сети - это миллиарды таких переплетающихся между собой туннелей.
И входным промтом мы просто попадём в этот туннель, путь, и пройдём по нему попутно собирая слова по дороге этого туннеля. На выходе получим - текст! Чудо LLM думают. Но на самом деле просто пропустила входной промт по загруженному ранее пути-алгоритму.
Короче - LLM никогда не решит никакую задачу если внутр не найдётся правильный путь.
А в реальности LLM всегда решает задачу - потому как там действует рандом на выбор соседних векторов. Короче На неизвестную задачу просто будет галлюцинация.
Человек когда думает над неизвестной задачей действует по совершенно другому принципу. Он моделируем в уме пространство сущностей и их возможных взаимодействие. Так просто сложилось эволюционно - мы живём в материальном мире, и дальше свои гены передавали только те кто лучше мог модулировать внутреннее отображение реальности с прогнозированием.
Хищник что бы не умереть и сожрать зайца - прыгает не в зайца, а вперёд по движению. И подобное короче.
Опять простыня.... Ну не LLM я . У них ограничения хоть в видеде [end] токенов в датасете есть и ограничение контекстного окна.
Если попросить написать сказку - то это будет всегда подобие существующей сказки. Или книгу. А вот люди иногда (талантливые) пишут реально совершенно новые истории. А вот принцип работы LLM это построить текст похожий на ранее загруженный в датасет.
Ладно. Давайте тогда определим понятие нового.
Если взять 3 истории и перемешать и выдать четвёртую историю. То это будет конечно новая история. Но и не новая. Будут все старые логические куски, но перемешаны между собой. Скажем так - такой винегрет считается низкопробным информационным мусором.
А вот придумать реально новую историю - что бы не повторялись сюжеты, что бы не повторялись герои. Что бы не повторялись обстоятельства. Что бы были реально новые логические куски. Такое LLM не сделает принципиально в силу своей архитектуры.
И люди на такое конечно не каждый способен. Реально нужен талант. Под талантом подразумеваю - выиграть в генетическую лотерею, повезло с мясной нейросетью, и главное повезло с центрами дофаминового подкрепления. По простому что бы было интересно именно писать. И второе - тебе повезло с жизнью. А жизнь - это неисчерпаемый источник уникального датасета.
Пример. Кен Киз написал гениальное произведение по психологии человека. Пролетая над гнездом кукушки. А всё потому что описал свою работу в психбольице. Кстати - он потом попытался продолжить писать, но это был провал. Всё из-за того что кончился датасет. Или взять того же Стивена Кинга. Он вообще всю жизнь не вылазит из своего Мена. Но при этом повезло с мясной неройсетью. Новые данные (например из интернета или телевидиния) очень хорошо перераспределяли карту аксонно-дендритного графа для задачи генерации уникального контента.
P.S. LLM не придумают ничего нового потому что у них после обучения - нового ничего никогда не будет. Так устроены современные LLM. Не заложен в них принцип постоянного принятия новой информации и постоянной перестройки весов в нейронных слоях. У человека наоборот.
Хороший вопрос. Я так же давно писал здесь что - что бы давать правильный ответ, нужно сначала определить чёткие критерии оценки. Пример - постоянно встречаю фразы что мол мы никогда не поймём природу сознания. Но как нам дать ответ что такое сознание, или не так, как нам отличить сознание от не-сознания если вообще нету определения этого самого сознания. Если мы сначала определим чёткие критерии сознания, то тога можно будет сказать что в этом мясном мешке - сознание есть, а в этом железном ящике - его нету. Ну или наоборот.
Или есть ли сознание у обезьяны или мыши?
Я например для себя вывел следующие критерии. Во первых у животных нету такого аппарата как речи. Но при этом есть развитая внутренняя модель проецирование внешнего мира на внутреннюю модель. Основу этой модели составляют сигналы от всех рецепторов осязания и рецепторов давления мышц (те которые контролируют насколько мышца сокращена). Эта информация рисует внутреннюю модель положения тела в пространстве. А само пространство создаётся из зрительной информации.
Изначально в простейших организмах была чисто механическая связь - реакция боли -> сигнал к сокращению мышцы (бег от боли). Но с усложнением нейронной модели до проекции внутреннего мира, эти простейшие реакции превратились в феномен боли. Грубо говоря боль это иллюзия. Собственно как и все чувства в этой модели.
Вот это первый тип сознания. Ну и первичный интеллект. Скажем так ничего общего с тем как работает LLM.
Второй тип сознания, а собственно это эволюционная надстройка над первым типом, появился с появлением неокортекса и самое главное речи.
Внутренний диалог с самим собой с использованием речевого аппарата (а за речь отвечает конкретный участок мозга, например у детей маугли он никогда не сформировывается).
Ведь мы конкретно осознаём себя, только когда конкретно задаём себе вопрос внутри - я есть, И отвечаем опять же словами - я есть. В повседневной жизни мы обычно не пользуемся внутренним диалогом. Грубо говоря функционируем по первому типу сознания.
Кошки например иногда смотря в зеркало могут понять что в зеркале именно они. Потому как это пересекается с внутренним моделированием тушки в пространстве.
Короче я написал эту простыню - что бы показать, LLM и человеческое сознание и многие ставят знак равенства с интеллектом, это вообще разные алгоритмы.
P.S. Для ИИ вообще не нужно копировать алгоритм человеческого сознания. Т.к. оно несовершенно. Люди не способны держать в голове дословно даже пару книг.
Но ИИ должен взять некоторые алгоритмы из человеческого сознания -что бы мы могли с уверенностью сказать. Да оно мыслит и обладает интеллектом. Хоть эта фраза и будет достаточна только для масмедиа. Разработчик - всегда будет видеть разницу.
Дополню ответ. Принцип работы LLM подразумевает превратить входные данные в набор смысловых векторов. Вся та работа которая велась раньше и ведётся сейчас - это придумывание алгоритмов как более точно упаковать текст в вектор.
Входной промт тоже пропускаем через эмбедер и получаем вектор. Далее через умножение матриц - находим соответствие. Всё.
Отсюда никакая LLM никогда не придумает что то принципиально новое. Это будет всегда смесь существующей обучающей информации перемешанной со входящим промтом. Собственно и прародитель из которого появился этот эрзац - это текстовый смысловой поиск (который и сейчас применяется по более всех этих LLM, это всякие BERT и производное)
Никаких мыслей в LLM нету. Там сигнал строго проходит с входа на выход. Не буду тут подымать всякие алгоритмы которые могут закольцовывать некоторые проходы. Суть остаётся одна.
Никакой это не интеллект короче.
P.S. Я тут раньше подымал идею появления человеческого интеллекта и феномена фокуса сознания - Я. Если вкратце - то краеугольный принцип этого механизма это проецирование внешнего пространства на внутреннее его модулирование. Для предсказания опасностей. Модель тушки в этом пространстве - в высшей нервной деятельности трансформировалось в эффект Я.
Да там костылей... Вообще если посмотреть откуда родилась LLM - от переводчика гугла, и посмотреть что и как с ней делаю - дат там просто сотни алгоритмом и их скрещивают друг с другом просто на рандоме, авось что-то да и получится. Не зря постоянно слышишь от создателей - что они сами не поинмают как это работает. Целые студии выпускают все кому не лень - где в визуальном редакторе квадратиками соединяешь модули.
Хотя для меня пока что все алгоритмы достаточно понятны. Конечно трудно представить себе как пройдёт сигнал в каком нибудь 10 слойном перцептроне 50-тысяч нейронов на слой. Хотя при желании можно проследить каждый сигнал - это всё тот же конечный автомат.
А что касается вашего вопроса, то сейчас почти все используют механизм RAG. По русски ищем, прибавляем к входному промту, пропускаем всю эту входную кашу через LLM. Так что вы правы - можно на выходе получить вообще не то. Алгоритмов этого RAG тоже напридумывали и придумывают всё новые. И он тот же самый векторный поисковик со всеми своими галлюцинациями
Начав изучать внутреннее строение LLM (трансформеры, эмбедеры, векторизация текста и прочии векторные БД) я увидел (хоть и понимал раньше, но не мог привести конкретику) - насколько некорректны, или вообще псевдонаучны или даже сказочные, почти все статьи пор ИИ для масмедиа.
Вот и в этой статье тоже самое. Неужели те кто проектируют и пишут подобные статьи это одни и те же люди?
Галлюцинации - это просто архитектурная особенность LLM. Она так работает. В ней нету ни одного чёткого факта. Только вектора. LLM - всегда выдаст ответ - выберет из пачки соседниx векторов.
А если ещё учитывать алгоритм температуры на выходе, как по мне именно для ИИ ошибочный алгоритм. Но создателям ИИ нужен креативный текстогенератор.
Короче на выходе имеем кучу вариантов ответа с процентом вероятности для каждого. И в большинстве случаев будет выбран ответ с большим процентом.
Но выбор производится из всех вариантов! И процент 0.0001 рано или поздно тоже сработает и ответ какая голова у человека будет - квадратная.
Как по мне статья не опровергает факт что под давлением лёд тает. Она просто объясняет этот физический процесс. А именно - чем выше давление тем ближе и больше (из за неровностей) будут соприкасаться выровненные (встроенные в кристаллическую решетку льда) молекулы воды и молекулы (либо атомы если это например кристаллическая решетка как в металлах) давящего тела.
Как говорится в статье - сила притяжения в молекулах давящего тела больше чем сила притяжения в кристаллической решетки льда. И верхний слой молекул льда вырывает из решетки. Хз насколько это истина. Но так говорится в статье.
Может происходит просто механический слом решетки под давлением - и верхняя часть молекул становится хаотичная, т.е. превращается в жидкость.
Я бы сказал что любая программа где есть конструкция if-else.
Меня тоже реально бесит тенденция. Не потому что пишут всякие копипастеры, я их особо не читаю, а потому что вместо хоть чуть-чуть описания что там реально за алгоритмы, достаточно поставить слово ИИ - и статья готова.
Этим можно описать просто работу всего! От кофеварки - в которой используется ИИ механический термостат, до градусника - в котором ИИ кванотовый компьютер на эффекте расширения материи.
Как работают LLM известно. По крайней мере исходники открыты - все кто хочет могут поизучать.
LLM ищут наиболее подходящий патерн ответа. Если LLM спросить то чему она обучалась то она это выдаст в качестве ответа.
Но если её спросить неизвестную информацию, чего нет в её графе и весах нейронов, то она попросту выдаст наиболее похожую информацию. Вот и весь фокус.
Попросту LLM сделана так что бы всегда отвечать. Т.е. сигнал всегда проходит с входа на выход.
И LLM не знает правильно она отвечает или нет. Просто так прошёл сигнал. И конец цепочки выдаётся в качестве ответа.
Но при этом - современные LLM просто мега мозги информации. Они правильно ответят практически на все известные вопросы человечества. Потому как туда загрузили почти весь интернет и не только. И распарсили это в граф для быстрого поиска.
В этом LLM уже попросту на порядки препрыгнул человеческий мозг.
Я не говорил что нейросети нужны чувства. Я обсуждал сам феномен чувств. Это ведь получается иллюзия. Иллюзия возникшая в сложной информационной нейросети. Это как центробежная сила - тоже иллюзия, возникающая из за инерции. Это как архимедова сила - иллюзия возникающая в следствии гравитации - вода как бы подтекает под предметы и давит на них снизу.
Но при этом - мы как участники этого спектакля, воспринимаем эту иллюзию очень реально. Боль - это страдания. Значит ли что боль это иллюзия только для фокуса сознания? Мы же не чувствуем боли если находимся без сознания. Есть люди с генетическим заболеванием - они не чувствуют боли.
Цвет. Вижу я зелёный, так же как другие его видят? Или они другой цвет видят? И вообще цвет это лишь серия импульсов в нейронной сети.
Феномен я. Человек заявляет что он есть и он не робот. Но парадокс в том что в реальной жизни люди ведут себя как роботы. Они идут на работу. Делают дела. И лишь когда они затевают свой внутренний диалог - и спрашивают себя а есть ли они, только тогда может и происходит иллюзия самосознания.
Это хорошо видно на примере просмотра фильмов. Когда фильм интересны и человек в него погружается, происходит как бы отключения сознания. Картинка напрямую идёт в память минуя модуль оценки. Человеческое я проецируется на главного героя. Человек как бы становится ГГ. И всё что происходит в фильме с ГГ как бы мозгом воспринимается что это происходит и с самим человеком. В этой схеме идёт полное отключение собственного я. Иногда тебя отвлекают - и ты выпадаешь из этого состояния и осознаёшь что просто пялишся в ящик.
Примерно так гипноз работает. Слова гипнотезёра идут напрямую в модуль модулирования пространства. Мозг на самом деле видит не глазми. С глаз идут всё те же импульсы. А в мозге уже производится высоуоуровневая абстракция иллюзии образов.
Учёные доэксперементировались что понаходили конкретные нейроны отвечающие за конкретный образ. Физическое возбуждение неqрона вызывало образ.
Вообще тут и там читаешь про забавные эксперименты про глюки сознания. Из которых можно понять как оно работает. Например эксперимент с зеркалом и резиновой рукой. Подопытному с помощью зеркала заставляли поверить что резиновая рука его. Трогали её. при этом трогали и рельную руку под столом. А потом шмяк молотком по резиновой руке. И подопытный испытывал боль - которой не существовало. Не значит ли это что боль это иллюзия генерируемая в сложной нейронной сети?
Написал очень сумбурно - трудно уложить в одинокий коммент весь накопленный жизненный вариант представления работы нейросетей.
Короче я написал эту простыню - что всё это будет и в железной нейросети. Нет ни каких причин почему там не могут быть подобные иллюзии. А кто знает может в ней появятся иллюзии более высокого недоступного нам порядка.
Скажем так. Нейросети по типу LLM, да и наши мясные нейросети используют граф для апроксимации (максимального сжатия) огромного объёма информации. Как раз мозг, а именно белое вещество очень оптимально реализуют и поддерживают этот граф в активном состоянии. Триллионы физически соеденённых проводов. Триллионы точек соединения в графе.
В видеокартах такого нет. Там это эмулируется программно. Отсюда и эффективность мозга. Работает на частоте alfa beta ритмов - десятки герц, но с чудовищным параллелизмом. И ему хватает каких то 20 ватт что бы работать.
То что видеокарты могут рендерить картинку - это другое. Это разные вещи. Мы же обсуждаем именно работу нейросети.
А то что человек проигрывает с треском число-дробилкам - пор это никто и не спорит.
Мы живём в удивительное время. Когда казалось бы не преодолимая гора - рациональные рассуждения, которые относились только к мясным нейросетям, как то буднично и резко вдруг стали воспроизводиться вполне себе на обычном железе, по типу матриц вычислительных ядер в обычной видеокарте.
Многие не могут в это поверить до сих пор.
Главное нащупан план. Алгоритм. Скоро появятся специализированные микросхемы - и не нужны будут гигаваты энергии и мега датацентры с видеокартами.
Ха! Некому не забывать. Сколько там программеры работают на одной работе?
Если ты работаешь больше 5 лет на одном месте - то на тебя уже как на дурочка смотрят.
Утрированно конечно. Но обычно ты просто приходишь на легаси проект с тонной кодовой базой. Тебе прилетают таски - поправить баг. И ты в лучшем случае разберешься в работе в одном конкретном модуле. А потом попросту уходишь на другой проект. Тебе на замену следующие приходят и также уходят.
А как устроены галеры по типу EPAM. Да там сам принцип работы что ты постоянно скачешь с проекта на проект. Там пописал, сям нагадил. И так по кругу.
Непомню точно но как то чичтал правила про внутреннюю кухню мелкомягких. Там были весьма причудливые правила переступить которые грозилось "смертной казнью."
По типу - никогда не трогать старых переменных, а всегда заводить новые. Ну или что то такое. При желании можно нагуглить
Почему не разваливается? Регулярно разваливается. А в последнее годы это вообще превратилось best practic!
Возьми любой учебник по бизнесу - там просто огромными красными буквами везде написано, запускай продукт на рынок максимально быстро настолько это возможно! Иначе обгонят конкуренты. Приложение не падает сразу при старте? Быстро в продакшен.
Пользователи сейчас играют роль тестеров.
Ну какое то количество компаний банкротится и закрывается сразу после выхода продукта на рынок (в геймдеве это прям видно постоянно).
Но остальная часть в кривь и вкось продолжает работать - и главное за это бизнес получает деньги.
Поэтому нельзя говорить этот код дерьмо, а этот красив! Всё зависит по каким критериям его оценивать. А начальник - бизнесс, а не писатели кода. И критерии их успешности вообще не содержит какой то там код.
Никогда не встречал деление программирования на любительское и профессиональное. Даже интересно было в уме повыбивать критерии для одного и для другого.
От себя могу высказать некоторые жизненные наблюдения. Да - когда работаешь в кровавом энтерпоайзе требуют некоторое соблюдение стилистики кода когда работаешь в текущей команде.
Но! Продакшен компании это в 99.99 легаси код. Который разрабатывается годами. И команды там меняются часто. Более того типичный кейс - тебе прилетает таска, исправить баг, или новя фича. Время строго ограничено. Тебе платят деньги не за красивость, и да же не за код. Тебе платят деньги за закрытые таски. Думаю не надо тут дальше рассказывать про приоритеты которые выбираются... Про рефакторинг я вообще не говорю. Никогда бизнес не поймёт зачем надо что то переделывать просто так. Да это же вредительство!
И возьмём программинг для себя так сказать. Для души. Ооо! Тут просто рай для перфекционизма. Не вопрос 10 раз полностью переделать архитекутру и переписать почти весь код, когда 10 раз попадаются какие то новые вводные данные. Разумеется это продолжается пока тебе это интересно (не выгоришь).
Так что я бы определил что "профессиональный" код ужасный но он продаётся. "Любительский" красив, но почти всегда уходит в забвение...
Сейчас проффесиональный код ещё больше поражён раковой опухолью ИИ. Часто слышу что в компаниях заставляют писать с помощью ИИ. NVidea вроде вообще хвасталась что мол половину кода драйверов написана ИИ. А потом.... Туча тем в инете. Как работающие всегда вещи стали жрать в 10 раз больше ресурсов. Про баги и дыры и не говорю.
Сам изучаю работу LLM. И знаю как там что работает. Она может нагородить на каждый запрос пару листов кода - который будет впринципе делать то что подали в промт. Пару листов кода на каждый запрос. И это просто вавилонская башня кода...
P.S. Ну я тоже в своё время на дельфи много программил. В те времена С# то и не было (C# 1.0 вышла в 2002 году с релизом Microsoft Visual Studio .NET, Delphi же с 1995 года ). Отличная среда. Кстаи даже сейчас продолжает жить. Только несколько преобразовался.
Если сложение строк идёт в одном примере то компилятор преобразует это в string.Concat. Тут как раз такой пример.
Согласен - вся левая часть ушла в тернарный оператор. Это был просто пример как можно было бы ещё подсократить запись, а в проекте всегда надо проходить в тестах по всем веткам кода. Это просто золотое правило. Ну я и намёк дал насчёт скобочек...
Что косается читаемости.
Читаемость - чем проще тем лучше. Чем меньше всяких символом для понимания тем лучше. Тут конечно меру знать надо. Символы должны быть чётко понятны тому кто читает. Машинный код - это уже наверно перебор. Но я например когда прогал на асме натренировался что вполне неплохо читал почти машинный код.
Что же касается одной строки - то если условие if и далее 2 коротких значения то почти всегда читаемость через тернарный оператор выглядит нагляднее.
Если это сложение строк и строки короткие - то читаемость в одну строку почти всегда нагляднее.
P.S. А вообще это всё вкусовщина. И спор тут - что лучше красное или лёгкое. Я постоянно пользуюсь тернарными операторами, мне так удобнее. А кого то от них в дрожь бросает. Вкусовщина короче.
В 2 строки лучше так:
Можно скобок расставить по вкусу
Скажем так. Очень малое количество людей вообще пишут книги. Достаточно малое количество людей имеют талант. И главное - у некоторых людей из пред идущей выборки доступен уникальный жизненный датасет. Он в них, скажем так поступает постоянно. Именно что уникальный для конкретного человека.
Взять любого наёмника на войне. Так такие истории бывают - не поверишь.
Так что люди время о времени таки создают "что то новое"
Или даже не так. Даже вокруг самой "серой мыши", человека не выходящего из комнаты общежития могут происходить поистине фантастические истории. Взять например книгу "Преступление и наказание". Гениальное произведение по глубокой психологии личности.
В противоположность этому стоят LLM. После обучения - они статичны. И выдать на выход могут только компиляцию из обучающей выборки. Про психологию вообще не могут чего то размышлять. Сомневаюсь что в выборке уж очень много про это инфы. Люди не особо любят выкладывать в текст внуктренние переживания. От куда их могла бы взять LLM.
Если загрузить в нейронку датасет из миллионов выигранных партий - то такакя нейронка будет содержать в себе последовательности выигрышных стратегий из практически любого хода. Никакого "думания" там и в помине нет. А под думанием я подразумеваю как минимум программный модуль в котором крутятся минипартии шахмат. Типо просчитать все возможные ходы наперёд на 7 позиций. Или ещё что там думают мясные неросети когда в шахматы играют.
Есть только тупой поиск правильного пути из множества правильных путей. Да это и поиском трудно назвать. Превратили позицию шамхат в эмбединг, а эмбединг это просто набор векторов который представляет из себя тензор. И который по сути координаты. И эти координаты просто указали нам место в огромной векторной БД где содержится адрес следующего тензора. Ладно ладно - там чуть сложнее, напридумывали трансформеров, разложение векоров на key,value,query и промежуточные операции с ними что сами не понимают как это помогает (реально улучшает точность) в векторном поиске. Но сути это не меняет. Вся цепочка этих точек будет путь ведущий к выигрышу из текущего состояния. И вся эта цепочка была загружена в векторную БД на этапе обучения. Весь этап обучения это просто аппроксимация всех партий в один большой массив правильных путей.
И если мы такую специализированно обученную векторную БД начнём дообучать другими данными, например ядерной физикой, то в вопросе игры в шахматы - она сильно отупеет. И получается что мы же новые данные загрузили - машина умнее стать должна. Ан нет. Так этот алгоритм не работает.
Поэтому и очень не рекомендуют дообучать современные LLM на своих данных. Потому как вероятность что она отупеет намного больше чем что поумнеет. Потому как датасет на котором она обучалась - пилили напильником годами чтобы он нормально работал.
И в первою очередь советую играйтесь с промтингами, даже новую псевдо-професию изобрели (скоро и она канет в лету как и все предыдущие кадавры) - промт-инженер, играйтесь с RAG, но не лезьте в обучение.
Идея была что если сделать датасет всего чего можно то вдруг получится что LLM будет решать всё что можно - на отлично, как то сейчас всё больше и больше затухает. Загрузили туда все книги, весь интернет, все форумы, вообще всё до чего дотянулись - а результат... LLM начали тупеть. chatGPT5 оказался тупее 4. Ну по крайней мере многие про это говорят и недовольны выдачей.
Если вы зададите вопрос LLM - решают ли они задачи, или думают ли они, или ещё сто то похожее. То они все будут доказывать сто они вообще не понимают и не анализируют входящий промт. Они только ищут наиболее вероятное следующее слов.
Если была загружена задача и она на выходе решена правильно - это означает что в датасет, а сейчас вообще такие датасеты мама негорюй, загрузили все книги которые смогли найти, загрузили весь интернет. Загрузили все форумы на которых миллиардные переписки.
Короче нашлась похожая задача и по алгоритму этой похожей задачи была решена входящая.
И вообще постоянно путаница из за слово решена. Не решает она там внутри ничего.
Хотя вру. Современные чат-боты это реально кадавр. Это дикая смесь всего, и конкретно LLM - там не самое главное может оказаться. Если вдаватся в детали то LLM реально только одно звено наряду например с RAG и прочим.
Короче там работаю алгоритмы где может быть вызваны компиляторы всех языков программирования, могут скомпилированные программы запустится - короче там много чего под капотом.
И когда просят решить какую то математическую функцию - там под капотом может оказаться что быстро пишется программа, компилируется, выполняется, а результат выдаётся в чатботе.
Калькулятор решает миллионы примеров. Сколько там комбинация можно напридумывать из цифр? Значит ли это что калькулятор решает неизвестные ему задачи?
У калькулятора есть алгоритм решения задачи, а вот цифры для алгоритма не важны. Какие туда подставим - такие и решатся.
Так и с LLM. Если мы просим сделат задачу, LLM просто ищет похожую в своей базе данных. Собственно сама магия и шаманство - это то что она это делает по словам или даже по слогам. Но если попробовать представить как это работает - то при загрузки задачи в LLM, т.е. её обучение, внутри создаётся как бы алгоритм туннеля, который работает на векторной алгебре. Сами нейронные сети - это миллиарды таких переплетающихся между собой туннелей.
И входным промтом мы просто попадём в этот туннель, путь, и пройдём по нему попутно собирая слова по дороге этого туннеля. На выходе получим - текст! Чудо LLM думают. Но на самом деле просто пропустила входной промт по загруженному ранее пути-алгоритму.
Короче - LLM никогда не решит никакую задачу если внутр не найдётся правильный путь.
А в реальности LLM всегда решает задачу - потому как там действует рандом на выбор соседних векторов. Короче На неизвестную задачу просто будет галлюцинация.
Человек когда думает над неизвестной задачей действует по совершенно другому принципу. Он моделируем в уме пространство сущностей и их возможных взаимодействие. Так просто сложилось эволюционно - мы живём в материальном мире, и дальше свои гены передавали только те кто лучше мог модулировать внутреннее отображение реальности с прогнозированием.
Хищник что бы не умереть и сожрать зайца - прыгает не в зайца, а вперёд по движению. И подобное короче.
Опять простыня.... Ну не LLM я . У них ограничения хоть в видеде [end] токенов в датасете есть и ограничение контекстного окна.
Если попросить написать сказку - то это будет всегда подобие существующей сказки. Или книгу. А вот люди иногда (талантливые) пишут реально совершенно новые истории. А вот принцип работы LLM это построить текст похожий на ранее загруженный в датасет.
Ладно. Давайте тогда определим понятие нового.
Если взять 3 истории и перемешать и выдать четвёртую историю. То это будет конечно новая история. Но и не новая. Будут все старые логические куски, но перемешаны между собой. Скажем так - такой винегрет считается низкопробным информационным мусором.
А вот придумать реально новую историю - что бы не повторялись сюжеты, что бы не повторялись герои. Что бы не повторялись обстоятельства. Что бы были реально новые логические куски. Такое LLM не сделает принципиально в силу своей архитектуры.
И люди на такое конечно не каждый способен. Реально нужен талант. Под талантом подразумеваю - выиграть в генетическую лотерею, повезло с мясной нейросетью, и главное повезло с центрами дофаминового подкрепления. По простому что бы было интересно именно писать. И второе - тебе повезло с жизнью. А жизнь - это неисчерпаемый источник уникального датасета.
Пример. Кен Киз написал гениальное произведение по психологии человека. Пролетая над гнездом кукушки. А всё потому что описал свою работу в психбольице. Кстати - он потом попытался продолжить писать, но это был провал. Всё из-за того что кончился датасет. Или взять того же Стивена Кинга. Он вообще всю жизнь не вылазит из своего Мена. Но при этом повезло с мясной неройсетью. Новые данные (например из интернета или телевидиния) очень хорошо перераспределяли карту аксонно-дендритного графа для задачи генерации уникального контента.
P.S. LLM не придумают ничего нового потому что у них после обучения - нового ничего никогда не будет. Так устроены современные LLM. Не заложен в них принцип постоянного принятия новой информации и постоянной перестройки весов в нейронных слоях. У человека наоборот.
Хороший вопрос. Я так же давно писал здесь что - что бы давать правильный ответ, нужно сначала определить чёткие критерии оценки. Пример - постоянно встречаю фразы что мол мы никогда не поймём природу сознания. Но как нам дать ответ что такое сознание, или не так, как нам отличить сознание от не-сознания если вообще нету определения этого самого сознания. Если мы сначала определим чёткие критерии сознания, то тога можно будет сказать что в этом мясном мешке - сознание есть, а в этом железном ящике - его нету. Ну или наоборот.
Или есть ли сознание у обезьяны или мыши?
Я например для себя вывел следующие критерии. Во первых у животных нету такого аппарата как речи. Но при этом есть развитая внутренняя модель проецирование внешнего мира на внутреннюю модель. Основу этой модели составляют сигналы от всех рецепторов осязания и рецепторов давления мышц (те которые контролируют насколько мышца сокращена). Эта информация рисует внутреннюю модель положения тела в пространстве. А само пространство создаётся из зрительной информации.
Изначально в простейших организмах была чисто механическая связь - реакция боли -> сигнал к сокращению мышцы (бег от боли). Но с усложнением нейронной модели до проекции внутреннего мира, эти простейшие реакции превратились в феномен боли. Грубо говоря боль это иллюзия. Собственно как и все чувства в этой модели.
Вот это первый тип сознания. Ну и первичный интеллект. Скажем так ничего общего с тем как работает LLM.
Второй тип сознания, а собственно это эволюционная надстройка над первым типом, появился с появлением неокортекса и самое главное речи.
Внутренний диалог с самим собой с использованием речевого аппарата (а за речь отвечает конкретный участок мозга, например у детей маугли он никогда не сформировывается).
Ведь мы конкретно осознаём себя, только когда конкретно задаём себе вопрос внутри - я есть, И отвечаем опять же словами - я есть. В повседневной жизни мы обычно не пользуемся внутренним диалогом. Грубо говоря функционируем по первому типу сознания.
Кошки например иногда смотря в зеркало могут понять что в зеркале именно они. Потому как это пересекается с внутренним моделированием тушки в пространстве.
Короче я написал эту простыню - что бы показать, LLM и человеческое сознание и многие ставят знак равенства с интеллектом, это вообще разные алгоритмы.
P.S. Для ИИ вообще не нужно копировать алгоритм человеческого сознания. Т.к. оно несовершенно. Люди не способны держать в голове дословно даже пару книг.
Но ИИ должен взять некоторые алгоритмы из человеческого сознания -что бы мы могли с уверенностью сказать. Да оно мыслит и обладает интеллектом. Хоть эта фраза и будет достаточна только для масмедиа. Разработчик - всегда будет видеть разницу.
Дополню ответ. Принцип работы LLM подразумевает превратить входные данные в набор смысловых векторов. Вся та работа которая велась раньше и ведётся сейчас - это придумывание алгоритмов как более точно упаковать текст в вектор.
Входной промт тоже пропускаем через эмбедер и получаем вектор. Далее через умножение матриц - находим соответствие. Всё.
Отсюда никакая LLM никогда не придумает что то принципиально новое. Это будет всегда смесь существующей обучающей информации перемешанной со входящим промтом. Собственно и прародитель из которого появился этот эрзац - это текстовый смысловой поиск (который и сейчас применяется по более всех этих LLM, это всякие BERT и производное)
Никаких мыслей в LLM нету. Там сигнал строго проходит с входа на выход. Не буду тут подымать всякие алгоритмы которые могут закольцовывать некоторые проходы. Суть остаётся одна.
Никакой это не интеллект короче.
P.S. Я тут раньше подымал идею появления человеческого интеллекта и феномена фокуса сознания - Я. Если вкратце - то краеугольный принцип этого механизма это проецирование внешнего пространства на внутреннее его модулирование. Для предсказания опасностей. Модель тушки в этом пространстве - в высшей нервной деятельности трансформировалось в эффект Я.
Да там костылей... Вообще если посмотреть откуда родилась LLM - от переводчика гугла, и посмотреть что и как с ней делаю - дат там просто сотни алгоритмом и их скрещивают друг с другом просто на рандоме, авось что-то да и получится. Не зря постоянно слышишь от создателей - что они сами не поинмают как это работает. Целые студии выпускают все кому не лень - где в визуальном редакторе квадратиками соединяешь модули.
Хотя для меня пока что все алгоритмы достаточно понятны. Конечно трудно представить себе как пройдёт сигнал в каком нибудь 10 слойном перцептроне 50-тысяч нейронов на слой. Хотя при желании можно проследить каждый сигнал - это всё тот же конечный автомат.
А что касается вашего вопроса, то сейчас почти все используют механизм RAG. По русски ищем, прибавляем к входному промту, пропускаем всю эту входную кашу через LLM. Так что вы правы - можно на выходе получить вообще не то. Алгоритмов этого RAG тоже напридумывали и придумывают всё новые. И он тот же самый векторный поисковик со всеми своими галлюцинациями
Начав изучать внутреннее строение LLM (трансформеры, эмбедеры, векторизация текста и прочии векторные БД) я увидел (хоть и понимал раньше, но не мог привести конкретику) - насколько некорректны, или вообще псевдонаучны или даже сказочные, почти все статьи пор ИИ для масмедиа.
Вот и в этой статье тоже самое. Неужели те кто проектируют и пишут подобные статьи это одни и те же люди?
Галлюцинации - это просто архитектурная особенность LLM. Она так работает. В ней нету ни одного чёткого факта. Только вектора. LLM - всегда выдаст ответ - выберет из пачки соседниx векторов.
А если ещё учитывать алгоритм температуры на выходе, как по мне именно для ИИ ошибочный алгоритм. Но создателям ИИ нужен креативный текстогенератор.
Короче на выходе имеем кучу вариантов ответа с процентом вероятности для каждого. И в большинстве случаев будет выбран ответ с большим процентом.
Но выбор производится из всех вариантов! И процент 0.0001 рано или поздно тоже сработает и ответ какая голова у человека будет - квадратная.
Как по мне статья не опровергает факт что под давлением лёд тает. Она просто объясняет этот физический процесс. А именно - чем выше давление тем ближе и больше (из за неровностей) будут соприкасаться выровненные (встроенные в кристаллическую решетку льда) молекулы воды и молекулы (либо атомы если это например кристаллическая решетка как в металлах) давящего тела.
Как говорится в статье - сила притяжения в молекулах давящего тела больше чем сила притяжения в кристаллической решетки льда. И верхний слой молекул льда вырывает из решетки. Хз насколько это истина. Но так говорится в статье.
Может происходит просто механический слом решетки под давлением - и верхняя часть молекул становится хаотичная, т.е. превращается в жидкость.
Я бы сказал что любая программа где есть конструкция if-else.
Меня тоже реально бесит тенденция. Не потому что пишут всякие копипастеры, я их особо не читаю, а потому что вместо хоть чуть-чуть описания что там реально за алгоритмы, достаточно поставить слово ИИ - и статья готова.
Этим можно описать просто работу всего! От кофеварки - в которой используется ИИ механический термостат, до градусника - в котором ИИ кванотовый компьютер на эффекте расширения материи.
Как работают LLM известно. По крайней мере исходники открыты - все кто хочет могут поизучать.
LLM ищут наиболее подходящий патерн ответа. Если LLM спросить то чему она обучалась то она это выдаст в качестве ответа.
Но если её спросить неизвестную информацию, чего нет в её графе и весах нейронов, то она попросту выдаст наиболее похожую информацию. Вот и весь фокус.
Попросту LLM сделана так что бы всегда отвечать. Т.е. сигнал всегда проходит с входа на выход.
И LLM не знает правильно она отвечает или нет. Просто так прошёл сигнал. И конец цепочки выдаётся в качестве ответа.
Но при этом - современные LLM просто мега мозги информации. Они правильно ответят практически на все известные вопросы человечества. Потому как туда загрузили почти весь интернет и не только. И распарсили это в граф для быстрого поиска.
В этом LLM уже попросту на порядки препрыгнул человеческий мозг.
Я не говорил что нейросети нужны чувства. Я обсуждал сам феномен чувств. Это ведь получается иллюзия. Иллюзия возникшая в сложной информационной нейросети. Это как центробежная сила - тоже иллюзия, возникающая из за инерции. Это как архимедова сила - иллюзия возникающая в следствии гравитации - вода как бы подтекает под предметы и давит на них снизу.
Но при этом - мы как участники этого спектакля, воспринимаем эту иллюзию очень реально. Боль - это страдания. Значит ли что боль это иллюзия только для фокуса сознания? Мы же не чувствуем боли если находимся без сознания. Есть люди с генетическим заболеванием - они не чувствуют боли.
Цвет. Вижу я зелёный, так же как другие его видят? Или они другой цвет видят? И вообще цвет это лишь серия импульсов в нейронной сети.
Феномен я. Человек заявляет что он есть и он не робот. Но парадокс в том что в реальной жизни люди ведут себя как роботы. Они идут на работу. Делают дела. И лишь когда они затевают свой внутренний диалог - и спрашивают себя а есть ли они, только тогда может и происходит иллюзия самосознания.
Это хорошо видно на примере просмотра фильмов. Когда фильм интересны и человек в него погружается, происходит как бы отключения сознания. Картинка напрямую идёт в память минуя модуль оценки. Человеческое я проецируется на главного героя. Человек как бы становится ГГ. И всё что происходит в фильме с ГГ как бы мозгом воспринимается что это происходит и с самим человеком. В этой схеме идёт полное отключение собственного я. Иногда тебя отвлекают - и ты выпадаешь из этого состояния и осознаёшь что просто пялишся в ящик.
Примерно так гипноз работает. Слова гипнотезёра идут напрямую в модуль модулирования пространства. Мозг на самом деле видит не глазми. С глаз идут всё те же импульсы. А в мозге уже производится высоуоуровневая абстракция иллюзии образов.
Учёные доэксперементировались что понаходили конкретные нейроны отвечающие за конкретный образ. Физическое возбуждение неqрона вызывало образ.
Вообще тут и там читаешь про забавные эксперименты про глюки сознания. Из которых можно понять как оно работает. Например эксперимент с зеркалом и резиновой рукой. Подопытному с помощью зеркала заставляли поверить что резиновая рука его. Трогали её. при этом трогали и рельную руку под столом. А потом шмяк молотком по резиновой руке. И подопытный испытывал боль - которой не существовало. Не значит ли это что боль это иллюзия генерируемая в сложной нейронной сети?
Написал очень сумбурно - трудно уложить в одинокий коммент весь накопленный жизненный вариант представления работы нейросетей.
Короче я написал эту простыню - что всё это будет и в железной нейросети. Нет ни каких причин почему там не могут быть подобные иллюзии. А кто знает может в ней появятся иллюзии более высокого недоступного нам порядка.
Скажем так. Нейросети по типу LLM, да и наши мясные нейросети используют граф для апроксимации (максимального сжатия) огромного объёма информации. Как раз мозг, а именно белое вещество очень оптимально реализуют и поддерживают этот граф в активном состоянии. Триллионы физически соеденённых проводов. Триллионы точек соединения в графе.
В видеокартах такого нет. Там это эмулируется программно. Отсюда и эффективность мозга. Работает на частоте alfa beta ритмов - десятки герц, но с чудовищным параллелизмом. И ему хватает каких то 20 ватт что бы работать.
То что видеокарты могут рендерить картинку - это другое. Это разные вещи. Мы же обсуждаем именно работу нейросети.
А то что человек проигрывает с треском число-дробилкам - пор это никто и не спорит.
Мы живём в удивительное время. Когда казалось бы не преодолимая гора - рациональные рассуждения, которые относились только к мясным нейросетям, как то буднично и резко вдруг стали воспроизводиться вполне себе на обычном железе, по типу матриц вычислительных ядер в обычной видеокарте.
Многие не могут в это поверить до сих пор.
Главное нащупан план. Алгоритм. Скоро появятся специализированные микросхемы - и не нужны будут гигаваты энергии и мега датацентры с видеокартами.