Заметил, что 1М контекста в Gemini Pro - не настоящие. Начиная с какого-то момента она начинает забывать начало диалога в том порядке, в котором следовали промты. Плюс в том, что из буфера оно никуда не девалось, и если явным образом попросить ее вспомнить - она вспомнит. Но таким образом, мы начинаем заниматься управлением контекстом внутри контекста, что звучит достаточно безумно :)
Например, Oracle Database убила гораздо более качественный Ingress. В то время как Ingress пытались сделать функциональность, которая действиетельно работает и держит нагрузки, Oracle делал буллшит прототипы про все, что движется и продавал это как "уникальную возможность для бизнеса". Оракл покупали после каждого такого инфоповода (то есть два раза в месяц), а Ingress - только когда на самом деле необходимо.
Я почему-то уверен, что большинство людей здесь даже не знает, что такое Ingress.
Точно то же самое сейчас делает OpenAI и Anthropic. Или например, Tesla. Или например, Google с их блицкригом по победе интернета с помощью рекламы в поиске. Есть куча других компаний, которые делают всё то же самое десятилетиями - но они не умеют двигаться достаточно быстро.
Я эту стратегию запомнил на всю жизнь и стараюсь во всем быть как условный Илон Маск, или как Ларри Эллисон из Oracle. Мне не нужно потом и качественно - мне нужно как можно быстрее и сейчас, чтобы продать это максимальному количеству людей, которые действительно купят. Всегда нужно быть самым быстрым стрелком на районе. Как только ты перестаешь быть самым быстрым, тебе откусывают голову. Так устроен мир.
Всё еще остается проблема, что не все данные он хочет рассказывать, когда речь идет о чем-то серьезном. Есть джейлбрейки, но они стремительно перестают работать.
AI на хайпе, а ML и BigData в жопе. Сейчас если что-то не ИИ, то на это даже смотреть не будут. В пейперах область стали писать MAD (Machine Learning, AI and BigData), чтобы утромбовать это всё вместе и попасть в хайп. Если пишешь что-то для себя - можно называть как угодно, а если нужна популярность и деньги из нее вытекающие — лепи AI и MAD, иначе гг
Ну как, кому-то всё-таки нужно. Например, Вере или мне. Другое дело что на всё медицинское, что применяется в больнице есть огромный порог входа. Во-первых всевозможные клинические испытания и сертификации. Во-вторых, просто огромное количество бабла, которое нужно отваливать за оверпрайснутую технику и эти самые сертификации.
По сути, если чего-то сейчас делать в рамках обычного бизнеса (не государственного), оно всё будет в формате каких-то фитнесс-аппов и индивидуальных помощников. Даже Apple навернулась на функциональности кардиограммы!
С другой стороны, совсем отменить сертификации нельзя, потому что в этой области безумное количество злонамеренных мошенников. Которые хотят нажиться на горе людей, которые хватаются за последнюю соломку.
Непонятно, что здесь можно сделать в текущей атмосфере. В России и США всё плохо, в Европе вообще кошмарно (такое ощущение, что европейцы живут по принципу "как бы не сделать хуже", вообще не обращая внимание на прогресс). Может, что-то можно сделать с Китаем...
Пошарил у нас в телеге. Кстати, для нагнетания атмосферы российскости, можно выкладывать данные еще и на GitVerse. Работы немного (добавить еще один upstream в гите), зато плюс вайб.
Попробуй общаться не с манагерами, а с лицами, принимающими решение. Заводи знакомых в среде IT и показывай, каких новых высот вы сможете достичь вместе. Когда у тебя много знакомых на уровень выше тебя (достаточно выше чтобы продвинуться, но недостаточно чтобы потерять коннект и взаимопонимание), тебе не приходится ходить по каким-то HR. Лица, принимающие решение сами приходят к HR и говорят - мы берем вот этого чувака, Людочка, заполни бумажки асап.
Вообще-то не запрещает. Все эти теоремы - они про крайние случаи, рассматривающие странные объекты типа нулей, бесконечностей, бесконечно вложенных объектов, и так далее. Кроме того, Гедель сформулирован в терминах арифметики Пеано, когда вы в последний раз смотрели на мир как на Пеано. Всё это, конечно, очень интересно математикам, чтобы понять - как устроен мир, что там у него работает внутри, есть ли за этим дном какое-то второе и третье дно.
Но в мире простых бытовых вещей, изолированные исключительные ситуации встречаются очень редко. И как с ними поступает обычный рациональный человек? Он говорит "ну нахрен" и пропускает их мимо. Это ответ на примерно все исключительные теоремы, включая все знаменитые эффекты теории относительности, квантовой механики, и тем более религии типа М-теории.
Ни М-теория, ни Гедель не запрещают тебе нагенерить миллион способов сходить в магазин за хлебом или собрать описания невозможных существ. Если ты думал, что идешь за хлебом каким-то новым, доселе неизвестным способом — нет, люди ходили в точности тем же путем тысячи лет подряд. Наверное, в истории можно найти челвека, у которого в точности та же комбинация длины левой и правой ноги, он шел по такой же траектории и запнулся такое же количество раз. Тысячи лет — это довольно долго, есть из чего выбрать.
Жизнь человека, который каждый день ходит на работу и покупает хлеб - бесконечно проще, чем даже жизнь бизнеса где работает, а бизнес в основном (количество промахов не более чем конечно (с)) ничего не просчитывает в формате "произвольного идеального решения в немарковской среде". Обычно люди ведут себя на основе традиций - все так делают и я так делаю.
В целом, большая часть художественной и хозяйственной деятельности человека описывается книжкой "Steal like an artist" - посмотри что делали люди вокруг тебя на протяжении сотен или тысяч лет, рекомбинируй минорные части этих занятий с небольшими модификациями — и вот твой план на жизнь. Рождение, школа, универ, немого поработать (скопировать с небольшими изменениями что-то существующее), сделать детей, пенсия, болезнь, смерть. Всё. Некоторая свобода есть только в вот этой маленькой вставочке. Которая — так себе свобода, ведь объем и дистанция рекомбинаций статистически понятна из предыдущего поколения (кто твои родтели и родители твоего окружения). В этом свете, RL на железе от Nvidia — это хоть и тупая, но более эффективная система, которая позволяет сжать весь этот процесс из сотен лет в сотни секунд. Мы занимаемтся одним и тем же, но железо на многие порядки быстрее и лучше.
Эта статья проверена через Claude. Народ пишет, что в ней тонна ошибок. Я пока не стал править — если уж Claude не нашла, я и подавно.
Но с "ё" и запятыми есть огромная проблема. Та же, что в количестве букв r в слове "strawberry". Это просто какие-то одиночные буквы, причем достаточно редко встречающиеся (редко кто пишет ё вместо е). Нейросеть видит не сам текст, а его проекцию, сквозь призму токенов. (Если не понимаете, как пилится на токены, для простоты можно считать, что это слоги).
В момент распиливания и анализа распиленного, куча всего попадает в корнер-кейсы и теряется. Более того, токены не ложатся ни на структуру слов, ни на структуру предложений русского языка. И там на углах корнер-кейсов начинает сыпаться суть происходящего. На смысл выводов нейросети это почти не влияет, потому что нйронка работает по ассоциациям и не требует точного понимания структуры текста. А вот на починку текста от проблем это влияет очень сильно.
2010 год где-то. Это те времена, когда руководителем ISG был Андрей Канониров (он ушел в 2014, кажется). Мы там делали что-то для американских профсоюзов, а еще - Eclipse-based IDE для компилятора Starview.
Авторы этой идеи сами никогда картинки не рисовали, наверное. И поэтому не знают, что рисовать точные хорошие картинки - многократно сложнее, чем писать точный хороший текст.
то, что люди всего этого не понимают, как раз потверждает твои слова комментарием выше - такой софт можно использовать.
с Java и ее JIT-компилятором и супер умным GC то же самое. Как они там сработают - зависит от кучи параметров, и самое главное - среды относительно которой они запущены. Можно считать текущее состояние всей системы аналогом рендом сида. Из того, что ты можешь детерминированно сделать первый шаг от сида до результата, вообще никак не следует, что ты можешь консистентно думать о поведении всей системы целиком во всех случаях. На практике это просто магия, чуваки сидят тюнят параметры и потом пытаются рационализировать полученные результаты.
Технику безопасности хорошо иметь. Но я крайне против того, чтобы кто-то меня заставлял ее выполнять.
Например, я катаюсь на велосипеде. Зачастую, это заканчивается плачевно. Я знаю диапазон ошибок, за которыми будут переломы от падений, перевернутые в ДТП машины, и в конечном итоге моя смерть. Но это мой личный индивидуальный выбор, и это самое важное, что вообще может существовать.
В приложении - красивый ролик про велосипед (не мой):
И очень большая жопа с документированием. В США даже изобрели все эти MDI/CDI, которые помогают врачам документировать документы, пока они документируют документы. Сложно представить более тупое применение сил человека, который оттрубил 8 лет в универе, чем работать живым воплощением 1С, а потом сесть за неправильное ведение "бухгалтерии".
Нейронке же наплевать на объем такой работы. Она может документировать хоть каждый твой шаг, порождая по десять страниц в минуту.
Ну это осознанный выбор всех этих людей, не? Можно купить автомобиль с автоматом, а можно поставить механику и постараться сломать ее в первый день. Хочет ломать - пусть ломает. Все взрослые люди.
Один из моих пет-проектов - анализ медицинских данных с помощью ИИ. (Вместе с Верой, которая переводила эту статью). Поэтому есть некий опыт набирания промтов к Claude, Grok, ChatGPT и Gemini.
Так вот, по моим наблюдениям, сказать: "У нас есть пацент с проблемами [проблема]. О Великий Вычислитель, подскажи, что с ним не так!" — это один из худших способов задать вопрос к LLM. А это ведь практически цитата из пейпера выше!
Обычно нейронке надо подробно объяснять, как ей нужно думать, куда смотреть, в какие области поыткаться первой. Тут можно сказать: ну это же нечестно, это "человеческий след" при создании промта. Ну так вы сделайте несколько этапов, на первом вы выбираете область действия промта, потом подбираете параметры, потом задаете сетке финальный рендер промта... Ну словом, всё как всегда в других областях типа программирования.
Кроме того, можно и нужно иметь какой-то RAG для похода в библиотечные данные, а не просто натренировать лору поверх PaLM или чего там они заюзали по причине того, что это это Google и использовать Claude - непатриотично. Блин, им было настолько стыдно, что они даже не выложили веса (аргументировав необычной опасностью информации, вдруг люди начнут самолечиться!).
Есть предположение, что если бы почти все авторы работы не были так или иначе аффилированы с Гуглом, и там в результате работала Claude с RAG-ом (хотя бы тем убогим, который у них сейчас есть по API), и промты писали в несколько этапов а не "о великий вычислитель, сделай хорошо" - результаты были бы куда радикальней. Не в пользу врачей радикальней.
С другой стороны, вроде бы, всё так и должно быть. Математики не соревнуются с калькулятором в способности перемножать матрицы. Почему нам нужно беспокоиться, что вместо врачей матрицы дифдиагнозов будет перемножать компьютер? Плюс, автоматический учет всей безумной бумагомарательной работы для документирования такового умножения. Наборот, замечательно. Может, у врачей высвободится время, чтобы заняться чем-то более полезным.
Если почитать там внутри, то ИИ ставил диагноз по подробному описанию кейса, а у людей которые с ним соревновались были ещё разные фотографии и рентгены (этот конкретный ИИ ещё не умеет смотреть на картинки). То есть, все невербальные штуки уже зафиксированы и переведены в текст, плюс проведена полная диагностика случая в размере, достаточном для дифдиагноза - то есть всякие штуки типа биохимии крови и рентгенов уже проведены.
То есть, здесь ИИ это замена не врача на первом 10-минутном приеме, это скорей замера Доктора Хауса, которая по всей совокупности всего с одного взгляда находит истинную причину. Но вначале для этого электронному Хаусу нужен кейс с достаточно хорошо собранными данными внутри.
Заметил, что 1М контекста в Gemini Pro - не настоящие. Начиная с какого-то момента она начинает забывать начало диалога в том порядке, в котором следовали промты. Плюс в том, что из буфера оно никуда не девалось, и если явным образом попросить ее вспомнить - она вспомнит. Но таким образом, мы начинаем заниматься управлением контекстом внутри контекста, что звучит достаточно безумно :)
Например, Oracle Database убила гораздо более качественный Ingress. В то время как Ingress пытались сделать функциональность, которая действиетельно работает и держит нагрузки, Oracle делал буллшит прототипы про все, что движется и продавал это как "уникальную возможность для бизнеса". Оракл покупали после каждого такого инфоповода (то есть два раза в месяц), а Ingress - только когда на самом деле необходимо.
Я почему-то уверен, что большинство людей здесь даже не знает, что такое Ingress.
Точно то же самое сейчас делает OpenAI и Anthropic. Или например, Tesla. Или например, Google с их блицкригом по победе интернета с помощью рекламы в поиске. Есть куча других компаний, которые делают всё то же самое десятилетиями - но они не умеют двигаться достаточно быстро.
Я эту стратегию запомнил на всю жизнь и стараюсь во всем быть как условный Илон Маск, или как Ларри Эллисон из Oracle. Мне не нужно потом и качественно - мне нужно как можно быстрее и сейчас, чтобы продать это максимальному количеству людей, которые действительно купят. Всегда нужно быть самым быстрым стрелком на районе. Как только ты перестаешь быть самым быстрым, тебе откусывают голову. Так устроен мир.
Нет, Claude сейчас лучший для медицины.
Всё еще остается проблема, что не все данные он хочет рассказывать, когда речь идет о чем-то серьезном. Есть джейлбрейки, но они стремительно перестают работать.
В Grok уровень цензуры меньше, но он тупее.
AI на хайпе, а ML и BigData в жопе. Сейчас если что-то не ИИ, то на это даже смотреть не будут. В пейперах область стали писать MAD (Machine Learning, AI and BigData), чтобы утромбовать это всё вместе и попасть в хайп. Если пишешь что-то для себя - можно называть как угодно, а если нужна популярность и деньги из нее вытекающие — лепи AI и MAD, иначе гг
ну да, точно так же как калькулятор более шустро умножает числа, чтобы тебе не пришлось этой глупостью заниматься. Всё только начинается :)
Ну как, кому-то всё-таки нужно. Например, Вере или мне. Другое дело что на всё медицинское, что применяется в больнице есть огромный порог входа. Во-первых всевозможные клинические испытания и сертификации. Во-вторых, просто огромное количество бабла, которое нужно отваливать за оверпрайснутую технику и эти самые сертификации.
По сути, если чего-то сейчас делать в рамках обычного бизнеса (не государственного), оно всё будет в формате каких-то фитнесс-аппов и индивидуальных помощников. Даже Apple навернулась на функциональности кардиограммы!
С другой стороны, совсем отменить сертификации нельзя, потому что в этой области безумное количество злонамеренных мошенников. Которые хотят нажиться на горе людей, которые хватаются за последнюю соломку.
Непонятно, что здесь можно сделать в текущей атмосфере. В России и США всё плохо, в Европе вообще кошмарно (такое ощущение, что европейцы живут по принципу "как бы не сделать хуже", вообще не обращая внимание на прогресс). Может, что-то можно сделать с Китаем...
Пошарил у нас в телеге. Кстати, для нагнетания атмосферы российскости, можно выкладывать данные еще и на GitVerse. Работы немного (добавить еще один upstream в гите), зато плюс вайб.
Попробуй общаться не с манагерами, а с лицами, принимающими решение. Заводи знакомых в среде IT и показывай, каких новых высот вы сможете достичь вместе. Когда у тебя много знакомых на уровень выше тебя (достаточно выше чтобы продвинуться, но недостаточно чтобы потерять коннект и взаимопонимание), тебе не приходится ходить по каким-то HR. Лица, принимающие решение сами приходят к HR и говорят - мы берем вот этого чувака, Людочка, заполни бумажки асап.
Вообще-то не запрещает. Все эти теоремы - они про крайние случаи, рассматривающие странные объекты типа нулей, бесконечностей, бесконечно вложенных объектов, и так далее. Кроме того, Гедель сформулирован в терминах арифметики Пеано, когда вы в последний раз смотрели на мир как на Пеано. Всё это, конечно, очень интересно математикам, чтобы понять - как устроен мир, что там у него работает внутри, есть ли за этим дном какое-то второе и третье дно.
Но в мире простых бытовых вещей, изолированные исключительные ситуации встречаются очень редко. И как с ними поступает обычный рациональный человек? Он говорит "ну нахрен" и пропускает их мимо. Это ответ на примерно все исключительные теоремы, включая все знаменитые эффекты теории относительности, квантовой механики, и тем более религии типа М-теории.
Ни М-теория, ни Гедель не запрещают тебе нагенерить миллион способов сходить в магазин за хлебом или собрать описания невозможных существ. Если ты думал, что идешь за хлебом каким-то новым, доселе неизвестным способом — нет, люди ходили в точности тем же путем тысячи лет подряд. Наверное, в истории можно найти челвека, у которого в точности та же комбинация длины левой и правой ноги, он шел по такой же траектории и запнулся такое же количество раз. Тысячи лет — это довольно долго, есть из чего выбрать.
Жизнь человека, который каждый день ходит на работу и покупает хлеб - бесконечно проще, чем даже жизнь бизнеса где работает, а бизнес в основном (количество промахов не более чем конечно (с)) ничего не просчитывает в формате "произвольного идеального решения в немарковской среде". Обычно люди ведут себя на основе традиций - все так делают и я так делаю.
В целом, большая часть художественной и хозяйственной деятельности человека описывается книжкой "Steal like an artist" - посмотри что делали люди вокруг тебя на протяжении сотен или тысяч лет, рекомбинируй минорные части этих занятий с небольшими модификациями — и вот твой план на жизнь. Рождение, школа, универ, немого поработать (скопировать с небольшими изменениями что-то существующее), сделать детей, пенсия, болезнь, смерть. Всё. Некоторая свобода есть только в вот этой маленькой вставочке. Которая — так себе свобода, ведь объем и дистанция рекомбинаций статистически понятна из предыдущего поколения (кто твои родтели и родители твоего окружения). В этом свете, RL на железе от Nvidia — это хоть и тупая, но более эффективная система, которая позволяет сжать весь этот процесс из сотен лет в сотни секунд. Мы занимаемтся одним и тем же, но железо на многие порядки быстрее и лучше.
Эта статья проверена через Claude. Народ пишет, что в ней тонна ошибок. Я пока не стал править — если уж Claude не нашла, я и подавно.
Но с "ё" и запятыми есть огромная проблема. Та же, что в количестве букв r в слове "strawberry". Это просто какие-то одиночные буквы, причем достаточно редко встречающиеся (редко кто пишет ё вместо е). Нейросеть видит не сам текст, а его проекцию, сквозь призму токенов. (Если не понимаете, как пилится на токены, для простоты можно считать, что это слоги).
В момент распиливания и анализа распиленного, куча всего попадает в корнер-кейсы и теряется. Более того, токены не ложатся ни на структуру слов, ни на структуру предложений русского языка. И там на углах корнер-кейсов начинает сыпаться суть происходящего. На смысл выводов нейросети это почти не влияет, потому что нйронка работает по ассоциациям и не требует точного понимания структуры текста. А вот на починку текста от проблем это влияет очень сильно.
2010 год где-то. Это те времена, когда руководителем ISG был Андрей Канониров (он ушел в 2014, кажется). Мы там делали что-то для американских профсоюзов, а еще - Eclipse-based IDE для компилятора Starview.
Авторы этой идеи сами никогда картинки не рисовали, наверное. И поэтому не знают, что рисовать точные хорошие картинки - многократно сложнее, чем писать точный хороший текст.
то, что люди всего этого не понимают, как раз потверждает твои слова комментарием выше - такой софт можно использовать.
с Java и ее JIT-компилятором и супер умным GC то же самое. Как они там сработают - зависит от кучи параметров, и самое главное - среды относительно которой они запущены. Можно считать текущее состояние всей системы аналогом рендом сида. Из того, что ты можешь детерминированно сделать первый шаг от сида до результата, вообще никак не следует, что ты можешь консистентно думать о поведении всей системы целиком во всех случаях. На практике это просто магия, чуваки сидят тюнят параметры и потом пытаются рационализировать полученные результаты.
Всех заменим :) Вообще в принципе всех людей. Но не сразу.
Нужно заменять людей на рутинных задачах, чтобы они могли заняться нерутинными.
Лучше - нет. Быстрее - да. Мне обычно важнее быстрее, чем качественней.
Индустрия, где первый забирает всё, очень способствует такому ходу мыслей.
Технику безопасности хорошо иметь. Но я крайне против того, чтобы кто-то меня заставлял ее выполнять.
Например, я катаюсь на велосипеде. Зачастую, это заканчивается плачевно. Я знаю диапазон ошибок, за которыми будут переломы от падений, перевернутые в ДТП машины, и в конечном итоге моя смерть. Но это мой личный индивидуальный выбор, и это самое важное, что вообще может существовать.
В приложении - красивый ролик про велосипед (не мой):
И очень большая жопа с документированием. В США даже изобрели все эти MDI/CDI, которые помогают врачам документировать документы, пока они документируют документы. Сложно представить более тупое применение сил человека, который оттрубил 8 лет в универе, чем работать живым воплощением 1С, а потом сесть за неправильное ведение "бухгалтерии".
Нейронке же наплевать на объем такой работы. Она может документировать хоть каждый твой шаг, порождая по десять страниц в минуту.
Ну это осознанный выбор всех этих людей, не? Можно купить автомобиль с автоматом, а можно поставить механику и постараться сломать ее в первый день. Хочет ломать - пусть ломает. Все взрослые люди.
Меня особенно поразили их промты.
Один из моих пет-проектов - анализ медицинских данных с помощью ИИ. (Вместе с Верой, которая переводила эту статью). Поэтому есть некий опыт набирания промтов к Claude, Grok, ChatGPT и Gemini.
Так вот, по моим наблюдениям, сказать: "У нас есть пацент с проблемами [проблема]. О Великий Вычислитель, подскажи, что с ним не так!" — это один из худших способов задать вопрос к LLM. А это ведь практически цитата из пейпера выше!
Обычно нейронке надо подробно объяснять, как ей нужно думать, куда смотреть, в какие области поыткаться первой. Тут можно сказать: ну это же нечестно, это "человеческий след" при создании промта. Ну так вы сделайте несколько этапов, на первом вы выбираете область действия промта, потом подбираете параметры, потом задаете сетке финальный рендер промта... Ну словом, всё как всегда в других областях типа программирования.
Кроме того, можно и нужно иметь какой-то RAG для похода в библиотечные данные, а не просто натренировать лору поверх PaLM или чего там они заюзали по причине того, что это это Google и использовать Claude - непатриотично. Блин, им было настолько стыдно, что они даже не выложили веса (аргументировав необычной опасностью информации, вдруг люди начнут самолечиться!).
Есть предположение, что если бы почти все авторы работы не были так или иначе аффилированы с Гуглом, и там в результате работала Claude с RAG-ом (хотя бы тем убогим, который у них сейчас есть по API), и промты писали в несколько этапов а не "о великий вычислитель, сделай хорошо" - результаты были бы куда радикальней. Не в пользу врачей радикальней.
С другой стороны, вроде бы, всё так и должно быть. Математики не соревнуются с калькулятором в способности перемножать матрицы. Почему нам нужно беспокоиться, что вместо врачей матрицы дифдиагнозов будет перемножать компьютер? Плюс, автоматический учет всей безумной бумагомарательной работы для документирования такового умножения. Наборот, замечательно. Может, у врачей высвободится время, чтобы заняться чем-то более полезным.
Если почитать там внутри, то ИИ ставил диагноз по подробному описанию кейса, а у людей которые с ним соревновались были ещё разные фотографии и рентгены (этот конкретный ИИ ещё не умеет смотреть на картинки). То есть, все невербальные штуки уже зафиксированы и переведены в текст, плюс проведена полная диагностика случая в размере, достаточном для дифдиагноза - то есть всякие штуки типа биохимии крови и рентгенов уже проведены.
То есть, здесь ИИ это замена не врача на первом 10-минутном приеме, это скорей замера Доктора Хауса, которая по всей совокупности всего с одного взгляда находит истинную причину. Но вначале для этого электронному Хаусу нужен кейс с достаточно хорошо собранными данными внутри.