Спасибо за интересный рассказ, читается на одном дыхании :-)
Согласен со многими выводами, локальный инференс - крутая вещь! Мне лично очень нравится пробовать его для разных личных задач и без всяких месячных подписок со скачущими ценами и пр. Если понадобится что-то тяжёлое то да, можно обратиться к провайдерам, а вот поизучать - самое то
Да, у Unsloth очень хорошие модели получаются, мне нравятся их GGUF которые загружаю в llama.cpp. Там всё довольно сурово оптимизировано по памяти, можно даже комбинированный инференс CPU+GPU делать. Сейчас хочу себе вторую GPU купить пока они совсем не подорожали...
Что-то не нашёл как апгрейдиться когда уже есть библиотека фото, оно само подхватит и сконвертирует БД и структуру файловой системы? Как правильно обновиться? Кстати уже 2.3.1 вышла.
Инструкция https://docs.immich.app/install/upgrading/ весьма поверхностная и что-то мне подсказывает что отсылка к "почитайте Release Notes сами" может означать наличие всяких сюрпризов.
Конечно я сделаю снэпшот и попробую посмотреть что получится когда руки дойдут, отпишусь тут...
Возможно я не в курсе, но слышал что паспортные данные требуются даже при простой покупке билетов на междугородний автобус. То есть защиты вообще нет никакой, кассирша на автовокзале всё сдаст за условную коробку конфет. У моей знакомой после такой поездки внезапно обнаружился кредит на миллион рублей - это реальная история беспредела.
В 90-х мы на ВЦ в Лаборатории ИИ в Новосибирском Академгородке работали над улучшением partan методов обучения НС, это стало темой моей дипломной работы потом.
Основы мат аппарата этого направления были разработаны как раз Александром Горбанем.
До сих пор помню наши дискуссии когда он приезжал к нам! Жаль что такой светлый ум ушёл...
Забавно, у меня кокой-то когнитивный диссонанс - с одной стороны винда, которой практически не пользуюсь уже лет двадцать, с другой - нормальный контроль над процессом установки, что-то родное такое...
Не знал что так можно ставить, спасибо что просветили :) Однозначно в закладки!
Вы меня опередили, только собрался посоветовать это автору :-)
Если вы не занимаетесь разработкой программ на питоне то лучше всё завернуть в докер, примонтировав к нему необходимые папки (docker compose тут ещё лучше так как всё описывает в одном файле). И не засорять систему питоновскими пакетами, даже если они в virtualenv.
Спасибо, хороший материал, и сам по себе полезный и заставляет думать о важных вещах в жизни.
Парадоксально, но большинство молодых людей просмотрят эту статью (как и предыдущие) не вникая в суть (потому что "много букв").
Автором проделана большая работа, продуманы и осмыслены иногда довольно неочевидные, но очень важные вещи, даже выходящие за рамки ИТ. Как раз молодым людям, у которых ещё вся жизнь впереди, такие материалы помогут избежать каких-то ошибок и потери времени.
11 лет назад у нас был проект приложения для Google Glass, был работающий прототип. Самая большая проблема почему всё это не взлетело - катастрофически малая автономия самих очков. Помню как они грелись при работе и требовали подзарядки каждые 2-3 часа.
Надеюсь новая попытка у Google будет удачнее, тогда можно будет рассматривать эту платформу серьёзно.
Есть ещё Codeberg Pages (https://docs.codeberg.org/codeberg-pages/) - это как Github Pages. Что-то мне подсказывает что Github будет получше, но сам я пока их не сравнивал.
В моём случае это было устройство типа чипа на кредитке - там класс защиты от физического проникновения довольно высокий, поэтому размер кристалла уменьшен до предела (около 1х1 мм) и отсюда такие скромные ресурсы у MCU.
Во Франции есть ST Microelectronics (STM* микроконтроллеры довольно популярны), есть Gemalto (они занимаются банковскими картами с большой долей рынка в мире). Но в целом таких компаний мало конечно, тут вы правы.
В embedded programming часто код оптимизируется по максимуму.
Помнится был у меня проект когда в 16 Кб оперативки уживались OS+USB и сетевой стек+простой веб сервер+движок базы данных (правда поддерживающий предопределённые SELECT, но с JOIN-ами). Причём в процессе работы над проектом мне даже удалось оптимизировать код и освободить около 1 Кб памяти.
Да, но не только трансформерами - мир гораздо сложнее и настоящий исследователь подвергает сомнению истины и смотрит гораздо шире на вещи.
Вы почитайте работы Джефри Хинтона, например его идеи по введению функций вместо весов связей. Или вот KAN-сети - это тоже иной взгляд на работу НС.
Можно и не на таком детальном уровне даже посмотреть, например то что сейчас делают со смешиванием разных подходов к обучению. Много чего нового по работе с контекстным окном, но это уже конечно совсем высокоуровневые улучшения.
Как я понял, Ян не то что против LLM, он призывает не зацикливаться, не попасть в ловушку кажущейся простоты. Как исследователя я его понимаю, пока есть такой интерес (и инвестиции) к ИИ, он хотел бы продвинуться в исследованиях дальше простых чатботов, ведь эта ниша быстро прогрессирует и без новых идей может скоро дойти до своих пределов.
Это всё не моё личное мнение по этой теме, просто была возможность поговорить и узнать как это видит такой весьма умный и талантливый человек как Ян Ле Кун.
Кстати, я с ним общался на конференции и попросил разъяснить этот тезис. Если кратко, то это скорее хайп с его стороны (ф Ян знатный шоумен) чтобы привлечь внимание к тому что нынешние студенты должны смотреть дальше за горизонт, а не пытаться здесь и сейчас повторить/соорудить что-то вокруг существующих моделей. Прямо сейчас на его взгляд идёт конкуренция между большими компаниями, но они больше заняты экстенсивным развитием. А думать нужно о базовых концепциях, модернизировать их, придумывать новые подходы. Показателен пример с DeepSeek, мы все помним как все вздрогнули когда кто-то придумал что-то новое...
Автору огромное спасибо за систематизацию и краткое и ясное изложение с примерами!
Спасибо за интересный рассказ, читается на одном дыхании :-)
Согласен со многими выводами, локальный инференс - крутая вещь! Мне лично очень нравится пробовать его для разных личных задач и без всяких месячных подписок со скачущими ценами и пр. Если понадобится что-то тяжёлое то да, можно обратиться к провайдерам, а вот поизучать - самое то
Да, у Unsloth очень хорошие модели получаются, мне нравятся их GGUF которые загружаю в llama.cpp. Там всё довольно сурово оптимизировано по памяти, можно даже комбинированный инференс CPU+GPU делать. Сейчас хочу себе вторую GPU купить пока они совсем не подорожали...
ОК, разобрался - смотрим breaking change releases и обновляемся по ним (с предварительными бэкапами и тп). Врукопашную придётся видимо всё делать...
Что-то не нашёл как апгрейдиться когда уже есть библиотека фото, оно само подхватит и сконвертирует БД и структуру файловой системы? Как правильно обновиться? Кстати уже 2.3.1 вышла.
Инструкция https://docs.immich.app/install/upgrading/ весьма поверхностная и что-то мне подсказывает что отсылка к "почитайте Release Notes сами" может означать наличие всяких сюрпризов.
Конечно я сделаю снэпшот и попробую посмотреть что получится когда руки дойдут, отпишусь тут...
UPD Вроде включили обратно, непонятно что это было на самом деле, впервые вот так надолго было
Вот вы тут хихикаете, а буквально пару часов назад во Франции отключили Телеграм...
Возможно я не в курсе, но слышал что паспортные данные требуются даже при простой покупке билетов на междугородний автобус. То есть защиты вообще нет никакой, кассирша на автовокзале всё сдаст за условную коробку конфет. У моей знакомой после такой поездки внезапно обнаружился кредит на миллион рублей - это реальная история беспредела.
В 90-х мы на ВЦ в Лаборатории ИИ в Новосибирском Академгородке работали над улучшением partan методов обучения НС, это стало темой моей дипломной работы потом.
Основы мат аппарата этого направления были разработаны как раз Александром Горбанем.
До сих пор помню наши дискуссии когда он приезжал к нам! Жаль что такой светлый ум ушёл...
Вот примерно так будет работать будущее мировое правительство :-)
Забавно, у меня кокой-то когнитивный диссонанс - с одной стороны винда, которой практически не пользуюсь уже лет двадцать, с другой - нормальный контроль над процессом установки, что-то родное такое...
Не знал что так можно ставить, спасибо что просветили :)
Однозначно в закладки!
Вы меня опередили, только собрался посоветовать это автору :-)
Если вы не занимаетесь разработкой программ на питоне то лучше всё завернуть в докер, примонтировав к нему необходимые папки (docker compose тут ещё лучше так как всё описывает в одном файле). И не засорять систему питоновскими пакетами, даже если они в virtualenv.
Спасибо, хороший материал, и сам по себе полезный и заставляет думать о важных вещах в жизни.
Парадоксально, но большинство молодых людей просмотрят эту статью (как и предыдущие) не вникая в суть (потому что "много букв").
Автором проделана большая работа, продуманы и осмыслены иногда довольно неочевидные, но очень важные вещи, даже выходящие за рамки ИТ. Как раз молодым людям, у которых ещё вся жизнь впереди, такие материалы помогут избежать каких-то ошибок и потери времени.
11 лет назад у нас был проект приложения для Google Glass, был работающий прототип. Самая большая проблема почему всё это не взлетело - катастрофически малая автономия самих очков. Помню как они грелись при работе и требовали подзарядки каждые 2-3 часа.
Надеюсь новая попытка у Google будет удачнее, тогда можно будет рассматривать эту платформу серьёзно.
Кажется у кого-то сегодня выдался трудный день (если не последний на текущей работе)...
Есть ещё Codeberg Pages (https://docs.codeberg.org/codeberg-pages/) - это как Github Pages.
Что-то мне подсказывает что Github будет получше, но сам я пока их не сравнивал.
В моём случае это было устройство типа чипа на кредитке - там класс защиты от физического проникновения довольно высокий, поэтому размер кристалла уменьшен до предела (около 1х1 мм) и отсюда такие скромные ресурсы у MCU.
Во Франции есть ST Microelectronics (STM* микроконтроллеры довольно популярны), есть Gemalto (они занимаются банковскими картами с большой долей рынка в мире). Но в целом таких компаний мало конечно, тут вы правы.
В embedded programming часто код оптимизируется по максимуму.
Помнится был у меня проект когда в 16 Кб оперативки уживались OS+USB и сетевой стек+простой веб сервер+движок базы данных (правда поддерживающий предопределённые SELECT, но с JOIN-ами). Причём в процессе работы над проектом мне даже удалось оптимизировать код и освободить около 1 Кб памяти.
Но это был так скажем специфический случай...
Вспомнилась история одного фидошника, вот кажется нашёл - https://habr.com/ru/articles/27055/ :-)
Да, но не только трансформерами - мир гораздо сложнее и настоящий исследователь подвергает сомнению истины и смотрит гораздо шире на вещи.
Вы почитайте работы Джефри Хинтона, например его идеи по введению функций вместо весов связей. Или вот KAN-сети - это тоже иной взгляд на работу НС.
Можно и не на таком детальном уровне даже посмотреть, например то что сейчас делают со смешиванием разных подходов к обучению. Много чего нового по работе с контекстным окном, но это уже конечно совсем высокоуровневые улучшения.
Как я понял, Ян не то что против LLM, он призывает не зацикливаться, не попасть в ловушку кажущейся простоты. Как исследователя я его понимаю, пока есть такой интерес (и инвестиции) к ИИ, он хотел бы продвинуться в исследованиях дальше простых чатботов, ведь эта ниша быстро прогрессирует и без новых идей может скоро дойти до своих пределов.
Это всё не моё личное мнение по этой теме, просто была возможность поговорить и узнать как это видит такой весьма умный и талантливый человек как Ян Ле Кун.
Кстати, я с ним общался на конференции и попросил разъяснить этот тезис.
Если кратко, то это скорее хайп с его стороны (ф Ян знатный шоумен) чтобы привлечь внимание к тому что нынешние студенты должны смотреть дальше за горизонт, а не пытаться здесь и сейчас повторить/соорудить что-то вокруг существующих моделей. Прямо сейчас на его взгляд идёт конкуренция между большими компаниями, но они больше заняты экстенсивным развитием. А думать нужно о базовых концепциях, модернизировать их, придумывать новые подходы.
Показателен пример с DeepSeek, мы все помним как все вздрогнули когда кто-то придумал что-то новое...