Сейчас начал раскопки RAG, копаю примерно месяц.10 лет примерно занимался написанием поисковых корпоративных систем по классике. Работа на заказчика закончилась но привычка, как говорится, осталась. Идеи на полке тоже. Решил освежить знания, немного отойти от колеи и сразу попал на RAG.
RAG по сути, есть трех типов: vanilla, это когда в лоб ищем по knn векторам составленным из кусков текста. Подобный поиск встроен в Solr/Elastic.
Hybrid Rag - когда ищем применяя knn и классический поиск по фразам и ключевым словам а затем пытаемся отранжировать и соединить результаты поиска. Как вы извлекли ключевые слова и фразы, это отдельная песня. Бывает так, что нужно отделить поиск по метаданным от поиска по контенту, и создать маппинг от онтологии в NLP запросе к полям метаданных в базе или индексе.
И третий, он же немного второй способ, RDF хранилища, SPARQ, использование graph db как хранилища и если ресурсы позволяют, нейросети для обработки и хранения связей графа знаний.
Сразу после сокращения создал проект на гитхабе, пригласил туда коллегу из QA (нас кучно сократили, отвалился клиент жирный), создал организацию на гитхаб чтобы работать в группе. Учебное окружение должно напоминать рабочее. Может еще кого подтяну из знакомых.
С недельку помучал ChatGPT, придумал себе имя для домена и заодно продукта. За небольшие деньги зарегал пару доменов, . Dev с SSL (18 баксов) и . аi (140), чтоб застолбить, заодно нормальную почту корпоративную.
Все нужно делать по настоящему, даже когда учишься. Потихоньку пилим в песочнице то что уже делали раньше но в силу NDA не могли утащить - создаю базу, улучшаю код с учетом опыта. Делаю необходимый минимум но по феншую чтоб не краснеть когда выложу в открытый доступ. Потихоньку набьем руку, затем начну прощупывание клиентов с которыми работал, попробую на контракт заскочить.
Питон если честно, раздражает, но делать нечего - учу. Он меня как Бейсик, немного выбешивает. Что то сложное поставить - надо anaconda + mamba, это просто ужасно.
Проектов масса, по RAG заинтересовал haystack. Лонгчейн, ллм индекс, пара векторных баз типа milvus, тоже мимо не пройдут.
На литкод зашел и вышел. Одной книжки по алгоритмам достаточно полистать, и пару листингов или публикаций, зачем больше то знать на обычной работе? 90 процентов разработчиков в запарке применяют наивные алгоритмы или готовые библиотеки и все на этом
поймал себя на мысли, что устал кодировать. Начал почитывать пару книг по корпоративной архитектуру и это мне зашло намного лучше чем программирование. Авторы поумнее как то показались, меньше тупой бравады и думать пытаются. Все как в реальных больших проектах - много шишек и компромиссов. Наверное пора с кодинга уходить.
Через полгода примерно подкуюсь, демо проекты закончу, буду готов но работу начну прощупывать примерно через месяц - новье конечно нужно знать но по Легаси работы море никто не отменял принцип "сначала продай а потом сделай", это норма сейчас.
YouTube прекрасно работает без впн, просто замедлители программные. Проверено у трех провайдеров в 3х городах плюс мобильный МТС.
У меня ребенок подсел на YouTube for kids, пробовал на рутюб пересадить но 1) нет мобильного приложения 2) на веб клиенте начинает листать и уходит вообще не пойми куда.
Поставил одинаковые по настройкам openwrt роутеры с VPN по доменам (на Хабре есть статьи), с vless - живу на 2 города плюс езжу, всего 3 роутера. Скрипт который скачивает список доменов для впн, чуть доделал - убрал оттуда YouTube сервисы.
Поставил youtubeUnblocker на опенврт, youtube работает без впн.
Для поездок поставил openwrt клон freelywrt на nanoPi R5C Rockchip, добавил туда свисток Huawei (опционален) и флешку на 256 гб (NAS), чтобы с планшета смотреть учебные материалы и тд. Ютюб и впн есть в машине сейчас и во время визитов тещи в райцентре. NanoPi отличная находка, питается от USB 5v, от powerbank и тд, экономичный.
не жил именно в том месте но 80 км легко превращаются в пару часов в одну сторону если живешь неудачно (работа не против шерсти у трафика).
Ездил как то 50 км в одну сторону в Торонто... Ну его нафиг. Был на контракте, потерпел полгода.Лучше переехать (не всегда возможно).
Либо приезжать на работу в 7 утра и если договоришься, сваливать в 16. Либо сиди минимум до 19 или 20 пока толпа рассосется на дороге.
да хотя бы страдальцев в Подмосковье посмотрите на м7 в час пик. Если работа у Садового, полтора часа из Москвы будешь до МКАДа ехать и еще полтора оставшиеся 50 км (Ногинск тот же)
У меня такой был опыт - в основном сотрудники сидят на удаленке, но если нужно поработать в офисе - бронируешь рабочее место на определенную дату и приходишь. Иногда митинги, мозговые штурмы лучше получаются, или встретить нужно клиента в переговорной, и тд.
В компании 150 человек, офис на 25 мест, 10 постоянно в офисе, 15 мест доступно. К примеру.
у меня 15 лет на удаленке, из компании (хорошая была компания, кстати, с высокой культурой ) ушел в 2008 потому что был вынужден жить на два города и мотался в Москву еженедельно понедельник/пятница. Просил хотя бы частичную удаленку - закусились. Я ушел. Ипотеку взять не мог - зарплата в конверте была, белая низкая. Нашел работу с зп выше и удаленно.
и надсмотрщик, индус нанятый по блату, так как родственник/знакомый местного айти директора, тоже индуса.
Потихоньку "нормальная" Америка холодной войны, какой ее знали раньше, превращается в то что в начале 2000х один персонаж на радио Торонто называл " Пакистаном северной Америки". Ползучая деградация и замещение бандустаном.
В крупных компаниях человек 300 туда сюда (уволить, нанять, переориентировать) - постоянная практика.
Мне разок по окончании проекта табун (отдел) пригнали перенимать опыт по java проекту, как оказалось, вообще не программистов.
Дело было в Wells Fargo, Миннеаполис, ICMP проект (ипотека). Прикольное кстати место, Миннеаполис -таксисты эфиопы (сомалийцы, пардон), хотя почти везде индусы. BLM там опять же, выстрелил (хотя место как болото спокойное).
Самый лучший магазин бухла тоже там случайно нашел, недалеко от аэропорта. Там было все. От Балтики, японского пива до бутылок дороже 50 тыс баксов в комнате с охлаждением. Футбольное поле заставленное бухлом. Совершенно неожиданно, неприметное здание.
меня контора родом из Калифорнии так уволила недавно, после 10+ лет работы в ней.
Самое смешное что в момент увольнения я был не постоянным работником (форма W2), а на контракте, где увольнение прописано немного по другому (не at will как в большинстве случаев в штатах).
То есть технически я не был уволен так как был контрактором , но процедура была проведена как для w2 работников которых пачкой тоже сократили. Увлекся менеджер по персоналу, но не лететь же судиться ради этого? :-)
Получил зп за 10 недель примерно и на выход, в тот же день, на сборы 3 часа. Какие сборы? Файлы потер, письма потер, коллегам письмо "хорошо работали вместе, до свидания", комп компании себе в подарок оставил (по согласованию). Комп вовремя заменил, свежий, в прошлом года за 175 тыс руб. И лаптоп еще живой, мало пользовался.
Пора лавку бу техники открывать, если все железки посчитать, штук 7. С каждого проекта обычно лаптоп от клиента оставался, хоть и раздавал их.
Одно хорошо - лето, нормальный отдых наконец то, больше 10 лет считай, от отпуска не было.
Код пусть пишет ChatGPT, а если всплывут вопросы по Легаси который вел, как обычно, подниму ставку вдвое (так принято - короткие заказы дороже в 2 раза). Либо пусть долбятся с этими залежами новички которых наймут.
Нормальные результаты, надо посмотреть поближе скрипты, на компьютере а не на телефоне. Спасибо за статью (перевод). Все в пределах ожидания, у питона вычисления активнее и не такое активное кеширование (в котором люсин "большой специалист" - память жрет будь здоров). Завтра на свежую голову еще раз посмотрю статью и код.
Индексирование по скорости нормальное, 600 к/hr у эластика, это укладывается в норму, у меня типичное для простых документов на всех видах движков на люсин было примерно 1-2 млн в час. Это зависит от настроек и клиента, возможно железо медленное или коммиты частые.
Недавно заглянул в код базы H2 и что я вижу - полнотекстовый поиск на люсин!
Почему бы тогда не прикрутить индексы на b-tree или sstable в люсин поисковике для ускорения JoinUtil? Вполне себе вариант, вот на днях выделю пару выходных и прикручу, посмотрим как join запрос в люсин будет себя вести.
А может в эластике уже индексы прикрутили? У них join поля регистрируются в схеме, в отличие от солр, и проект пухлый, напихали много чего.
Печаль, печаль. Получается контроллер работает с одним диском в потоке, распараллеливания на уровне одного потока нет.
Отмасштабировали горизонтально а не вертикально контроллер.
А если сделать костыль программным путем - загрузка порезанного gguf из кусков в разных mount points?
У меня был проект кастомного серчера Lucene ( довольно извращенного, по наследству), где нужно было выжимать максимум в вертикальном масштабировании, использовали в нем композитный индекс на нескольких дисках. Поиск в шардах был многопоточный. Этакий сплющенный в одном процессе кластер
Смотрел эти варианты - задач под ai у меня реальных нет, просто обучение.
Если делать что то нормальное, конечно нужно арендовать подходящее железо а не городить дома ферму. Отказался от 25гб карты - она ничего не решает в плане обучения, 16+4 карт достаточно вполне.
С докером знаком несколько лет, выпускал сборки своих продуктов на нем, так как вел 3 достаточно больших проекта на java, интеграционные тесты тоже на нем же, и просто разработка, к примеру базы не нем часто гонял (ставить замаешься). С начальством по поводу докера шла позиционная война, в итоге продавили, но тут "меня ушли".
K8s подзабыл, да и не был девопсом - lens пользовался пару лет назад когда разбирали 3 монолита на набор микросервисов, но в прод это не пошло - почти два года работы в унитаз. Собрал минимальный кластер на 3 ноды (не люблю виртуалки для этого), поиграюсь с одним пет проектом (security in lucene), встряхнуть, а там и работу надо будет искать к началу сезона (август)
Глянул, приложения все те же - сетевые устройства, базы данных. Очень быстро и очень дорого.
360 миллиардов запросов в секунду поиск в таблице, для связу 40G+. Впечатляет...Устройство с чипом 20 мбит стоит больше пары тыс баксов. Сильно дешевле не стало, больших объемов все так же нет.
Продукт не массовый, вот и вся причина почему не используется опять же, в массовом сегменте.
спасибо за информацию, если посмотрим на лицензию apache 2.0, то получается что сеть покрытия лицензией apache 2.0 можно и нужно расширять - для блокирования проектов использующих продукты под лицензией апаче.
К примеру, модифицировал проект на основе апаче лицензии, но не все компоненты изменены и попадаем на блокировку: "Users can create derivative works and distribute them under different licenses, but must ensure that all unmodified parts of the original software remain under the Apache 2.0 license. "
Хотя, если дошло до эмбарго и блокировок, то на лицензии наплевать...
вопрос хороший, дополнительный - а запись на флешку есть или она одноразовая (заменить своей)?
и риторический вопрос - на будущее, какие способы защиты информации на флешке могут быть (шифрование? запрос от флешки, ответ от чипа, затем заливка?) Сложновато конечно для копеечной камеры, просто любопытно
Неужели pulsed/spiked neural networks начали использовать? Однако, интересно, надо бы покопаться. Эти виды сетей предпочтительнее для встроенных устройств, рад за сибиряков
за ссылочку спасибо. 24 понятно что не топ, это вопрос бюджета.
Я вот сейчас, в творческом отпуске - если покупаю что то себе (видюху к примеру), значит и жене надо сопоставимый подарок сделать (женщины найдут на что потратить любой бюджет). Никаких заначек не хватит если для проб 96 гб карты покупать поиграться. Это ж не более чем практикум, для наработки опыта, играться с железяками дома. Хотя, тысяч 10-20 баксов можно потратить, если очень нужно, но все таки дом не работа.
Для домашних демок нормальных сеток можно токены купить, в том же vsegpt.ru - посмотрел, сравнил, оценил и достаточно.
Смотреть как сетка выплевывает по токену в секунду (или две) так себе удовольствие, это как программировать в windows на 386SX33 (была такая шутка) - я бы рядом с таким человеком опасался сидеть рядом ;-)
вчера как раз попробовал gemma 3 27b на 16 VRAM карточке (4060 вроде).
Тормозит как пьяный слон. 12б работает резво (целиком входит).
Сегодня забираю 3090 24 ГБ (бу), попробую с ней. Две карты нужны были для достаточно простой задачи, не для прогона больших моделей (RAG демки).
Валялось всякое железо - десктоп старый, в нем карта 4060 от демки год назад, minisforum 1290 Intel /64 RAM, пара плашек на 64 ГБ, штуки 3 SSD.
Докупил minisforum еще один (на озоне из Китая, цена вполовину), в минисфоруме что хорошо: оптика, 2 SPF+, в дополнение к обычной сети и один слот pcie, можно еще карту расширения вставить (oculink), при этом компактный.
Карточку добавил на 2 SFP+ для десктопа (intel 570 вроде, на али, 1800 руб), и метровые кабели (тоже на али). Oculink PCIe карты (около 1000 руб) и внешний minisforum egpu на oculink (5600 руб).
Получилось бюджетно собрать мини кластер, с full mesh SPF+, выделенные каналы по 10 гбит между всеми нодами (гигабайт в секунду льется без проблем с пингом менее 1 мсек) - можно собрать небольший K8S кластер для домашних PoC, цеплять видюхи к нодам по окулинку, или все три видюхи по тому же окулинку к десктопу.
раньше попадались ускорители для баз данных - CAM память (content addressable) и блок обычной (для удешевления). Ускорение поиска в несортированных массивах.
Вопрос специалисту: актуальна еще тема CAM памяти для ускорения баз или заглохла?
Сейчас начал раскопки RAG, копаю примерно месяц.10 лет примерно занимался написанием поисковых корпоративных систем по классике. Работа на заказчика закончилась но привычка, как говорится, осталась. Идеи на полке тоже. Решил освежить знания, немного отойти от колеи и сразу попал на RAG.
RAG по сути, есть трех типов: vanilla, это когда в лоб ищем по knn векторам составленным из кусков текста. Подобный поиск встроен в Solr/Elastic.
Hybrid Rag - когда ищем применяя knn и классический поиск по фразам и ключевым словам а затем пытаемся отранжировать и соединить результаты поиска. Как вы извлекли ключевые слова и фразы, это отдельная песня. Бывает так, что нужно отделить поиск по метаданным от поиска по контенту, и создать маппинг от онтологии в NLP запросе к полям метаданных в базе или индексе.
И третий, он же немного второй способ, RDF хранилища, SPARQ, использование graph db как хранилища и если ресурсы позволяют, нейросети для обработки и хранения связей графа знаний.
Сразу после сокращения создал проект на гитхабе, пригласил туда коллегу из QA (нас кучно сократили, отвалился клиент жирный), создал организацию на гитхаб чтобы работать в группе. Учебное окружение должно напоминать рабочее. Может еще кого подтяну из знакомых.
С недельку помучал ChatGPT, придумал себе имя для домена и заодно продукта. За небольшие деньги зарегал пару доменов, . Dev с SSL (18 баксов) и . аi (140), чтоб застолбить, заодно нормальную почту корпоративную.
Все нужно делать по настоящему, даже когда учишься. Потихоньку пилим в песочнице то что уже делали раньше но в силу NDA не могли утащить - создаю базу, улучшаю код с учетом опыта. Делаю необходимый минимум но по феншую чтоб не краснеть когда выложу в открытый доступ. Потихоньку набьем руку, затем начну прощупывание клиентов с которыми работал, попробую на контракт заскочить.
Питон если честно, раздражает, но делать нечего - учу. Он меня как Бейсик, немного выбешивает. Что то сложное поставить - надо anaconda + mamba, это просто ужасно.
Проектов масса, по RAG заинтересовал haystack. Лонгчейн, ллм индекс, пара векторных баз типа milvus, тоже мимо не пройдут.
На литкод зашел и вышел. Одной книжки по алгоритмам достаточно полистать, и пару листингов или публикаций, зачем больше то знать на обычной работе? 90 процентов разработчиков в запарке применяют наивные алгоритмы или готовые библиотеки и все на этом
поймал себя на мысли, что устал кодировать. Начал почитывать пару книг по корпоративной архитектуру и это мне зашло намного лучше чем программирование. Авторы поумнее как то показались, меньше тупой бравады и думать пытаются. Все как в реальных больших проектах - много шишек и компромиссов. Наверное пора с кодинга уходить.
Через полгода примерно подкуюсь, демо проекты закончу, буду готов но работу начну прощупывать примерно через месяц - новье конечно нужно знать но по Легаси работы море никто не отменял принцип "сначала продай а потом сделай", это норма сейчас.
YouTube прекрасно работает без впн, просто замедлители программные. Проверено у трех провайдеров в 3х городах плюс мобильный МТС.
У меня ребенок подсел на YouTube for kids, пробовал на рутюб пересадить но 1) нет мобильного приложения 2) на веб клиенте начинает листать и уходит вообще не пойми куда.
Поставил одинаковые по настройкам openwrt роутеры с VPN по доменам (на Хабре есть статьи), с vless - живу на 2 города плюс езжу, всего 3 роутера. Скрипт который скачивает список доменов для впн, чуть доделал - убрал оттуда YouTube сервисы.
Поставил youtubeUnblocker на опенврт, youtube работает без впн.
Для поездок поставил openwrt клон freelywrt на nanoPi R5C Rockchip, добавил туда свисток Huawei (опционален) и флешку на 256 гб (NAS), чтобы с планшета смотреть учебные материалы и тд. Ютюб и впн есть в машине сейчас и во время визитов тещи в райцентре. NanoPi отличная находка, питается от USB 5v, от powerbank и тд, экономичный.
У меня был случай на работе - в raid 5 два диска умерли с разницей в 15 минут.
не жил именно в том месте но 80 км легко превращаются в пару часов в одну сторону если живешь неудачно (работа не против шерсти у трафика).
Ездил как то 50 км в одну сторону в Торонто... Ну его нафиг. Был на контракте, потерпел полгода.Лучше переехать (не всегда возможно).
Либо приезжать на работу в 7 утра и если договоришься, сваливать в 16. Либо сиди минимум до 19 или 20 пока толпа рассосется на дороге.
да хотя бы страдальцев в Подмосковье посмотрите на м7 в час пик. Если работа у Садового, полтора часа из Москвы будешь до МКАДа ехать и еще полтора оставшиеся 50 км (Ногинск тот же)
У меня такой был опыт - в основном сотрудники сидят на удаленке, но если нужно поработать в офисе - бронируешь рабочее место на определенную дату и приходишь. Иногда митинги, мозговые штурмы лучше получаются, или встретить нужно клиента в переговорной, и тд.
В компании 150 человек, офис на 25 мест, 10 постоянно в офисе, 15 мест доступно. К примеру.
у меня 15 лет на удаленке, из компании (хорошая была компания, кстати, с высокой культурой ) ушел в 2008 потому что был вынужден жить на два города и мотался в Москву еженедельно понедельник/пятница. Просил хотя бы частичную удаленку - закусились. Я ушел. Ипотеку взять не мог - зарплата в конверте была, белая низкая. Нашел работу с зп выше и удаленно.
и надсмотрщик, индус нанятый по блату, так как родственник/знакомый местного айти директора, тоже индуса.
Потихоньку "нормальная" Америка холодной войны, какой ее знали раньше, превращается в то что в начале 2000х один персонаж на радио Торонто называл " Пакистаном северной Америки". Ползучая деградация и замещение бандустаном.
В крупных компаниях человек 300 туда сюда (уволить, нанять, переориентировать) - постоянная практика.
Мне разок по окончании проекта табун (отдел) пригнали перенимать опыт по java проекту, как оказалось, вообще не программистов.
Дело было в Wells Fargo, Миннеаполис, ICMP проект (ипотека). Прикольное кстати место, Миннеаполис -таксисты эфиопы (сомалийцы, пардон), хотя почти везде индусы. BLM там опять же, выстрелил (хотя место как болото спокойное).
Самый лучший магазин бухла тоже там случайно нашел, недалеко от аэропорта. Там было все. От Балтики, японского пива до бутылок дороже 50 тыс баксов в комнате с охлаждением. Футбольное поле заставленное бухлом. Совершенно неожиданно, неприметное здание.
У меня вышло примерно 10 мес, если не жировать, для семьи. Честно сказать обрадовался так как работу сменить хотел и не раз, но все накладки мешали.
Полгода академического отпуска, почитать новинки, на огороде позагорать и тд. Это же круто! Кто сидел годами не разгибаясь за компом, поймёт.
Погреб свое на галере, надо отдохнуть
меня контора родом из Калифорнии так уволила недавно, после 10+ лет работы в ней.
Самое смешное что в момент увольнения я был не постоянным работником (форма W2), а на контракте, где увольнение прописано немного по другому (не at will как в большинстве случаев в штатах).
То есть технически я не был уволен так как был контрактором , но процедура была проведена как для w2 работников которых пачкой тоже сократили. Увлекся менеджер по персоналу, но не лететь же судиться ради этого? :-)
Получил зп за 10 недель примерно и на выход, в тот же день, на сборы 3 часа. Какие сборы? Файлы потер, письма потер, коллегам письмо "хорошо работали вместе, до свидания", комп компании себе в подарок оставил (по согласованию). Комп вовремя заменил, свежий, в прошлом года за 175 тыс руб. И лаптоп еще живой, мало пользовался.
Пора лавку бу техники открывать, если все железки посчитать, штук 7. С каждого проекта обычно лаптоп от клиента оставался, хоть и раздавал их.
Одно хорошо - лето, нормальный отдых наконец то, больше 10 лет считай, от отпуска не было.
Код пусть пишет ChatGPT, а если всплывут вопросы по Легаси который вел, как обычно, подниму ставку вдвое (так принято - короткие заказы дороже в 2 раза). Либо пусть долбятся с этими залежами новички которых наймут.
Нормальные результаты, надо посмотреть поближе скрипты, на компьютере а не на телефоне. Спасибо за статью (перевод). Все в пределах ожидания, у питона вычисления активнее и не такое активное кеширование (в котором люсин "большой специалист" - память жрет будь здоров). Завтра на свежую голову еще раз посмотрю статью и код.
Индексирование по скорости нормальное, 600 к/hr у эластика, это укладывается в норму, у меня типичное для простых документов на всех видах движков на люсин было примерно 1-2 млн в час. Это зависит от настроек и клиента, возможно железо медленное или коммиты частые.
Недавно заглянул в код базы H2 и что я вижу - полнотекстовый поиск на люсин!
Почему бы тогда не прикрутить индексы на b-tree или sstable в люсин поисковике для ускорения JoinUtil? Вполне себе вариант, вот на днях выделю пару выходных и прикручу, посмотрим как join запрос в люсин будет себя вести.
А может в эластике уже индексы прикрутили? У них join поля регистрируются в схеме, в отличие от солр, и проект пухлый, напихали много чего.
Печаль, печаль. Получается контроллер работает с одним диском в потоке, распараллеливания на уровне одного потока нет.
Отмасштабировали горизонтально а не вертикально контроллер.
А если сделать костыль программным путем - загрузка порезанного gguf из кусков в разных mount points?
У меня был проект кастомного серчера Lucene ( довольно извращенного, по наследству), где нужно было выжимать максимум в вертикальном масштабировании, использовали в нем композитный индекс на нескольких дисках. Поиск в шардах был многопоточный. Этакий сплющенный в одном процессе кластер
Raid на ssd?
Смотрел эти варианты - задач под ai у меня реальных нет, просто обучение.
Если делать что то нормальное, конечно нужно арендовать подходящее железо а не городить дома ферму. Отказался от 25гб карты - она ничего не решает в плане обучения, 16+4 карт достаточно вполне.
С докером знаком несколько лет, выпускал сборки своих продуктов на нем, так как вел 3 достаточно больших проекта на java, интеграционные тесты тоже на нем же, и просто разработка, к примеру базы не нем часто гонял (ставить замаешься). С начальством по поводу докера шла позиционная война, в итоге продавили, но тут "меня ушли".
K8s подзабыл, да и не был девопсом - lens пользовался пару лет назад когда разбирали 3 монолита на набор микросервисов, но в прод это не пошло - почти два года работы в унитаз. Собрал минимальный кластер на 3 ноды (не люблю виртуалки для этого), поиграюсь с одним пет проектом (security in lucene), встряхнуть, а там и работу надо будет искать к началу сезона (август)
15 лет не смотрел тему CAM. Причем тут облака?
Глянул, приложения все те же - сетевые устройства, базы данных. Очень быстро и очень дорого.
360 миллиардов запросов в секунду поиск в таблице, для связу 40G+. Впечатляет...Устройство с чипом 20 мбит стоит больше пары тыс баксов. Сильно дешевле не стало, больших объемов все так же нет.
Продукт не массовый, вот и вся причина почему не используется опять же, в массовом сегменте.
https://ieeexplore.ieee.org/document/9211457 и прочие статьи, легко найти по запросу
Если CAM вдруг станет доступным и массовым, оно "перевернет доску" и ускорит очень многие приложения
спасибо за информацию, если посмотрим на лицензию apache 2.0, то получается что сеть покрытия лицензией apache 2.0 можно и нужно расширять - для блокирования проектов использующих продукты под лицензией апаче.
К примеру, модифицировал проект на основе апаче лицензии, но не все компоненты изменены и попадаем на блокировку: "Users can create derivative works and distribute them under different licenses, but must ensure that all unmodified parts of the original software remain under the Apache 2.0 license. "
Хотя, если дошло до эмбарго и блокировок, то на лицензии наплевать...
вопрос хороший, дополнительный - а запись на флешку есть или она одноразовая (заменить своей)?
и риторический вопрос - на будущее, какие способы защиты информации на флешке могут быть (шифрование? запрос от флешки, ответ от чипа, затем заливка?) Сложновато конечно для копеечной камеры, просто любопытно
Неужели pulsed/spiked neural networks начали использовать? Однако, интересно, надо бы покопаться. Эти виды сетей предпочтительнее для встроенных устройств, рад за сибиряков
за ссылочку спасибо. 24 понятно что не топ, это вопрос бюджета.
Я вот сейчас, в творческом отпуске - если покупаю что то себе (видюху к примеру), значит и жене надо сопоставимый подарок сделать (женщины найдут на что потратить любой бюджет). Никаких заначек не хватит если для проб 96 гб карты покупать поиграться. Это ж не более чем практикум, для наработки опыта, играться с железяками дома. Хотя, тысяч 10-20 баксов можно потратить, если очень нужно, но все таки дом не работа.
Для домашних демок нормальных сеток можно токены купить, в том же vsegpt.ru - посмотрел, сравнил, оценил и достаточно.
Смотреть как сетка выплевывает по токену в секунду (или две) так себе удовольствие, это как программировать в windows на 386SX33 (была такая шутка) - я бы рядом с таким человеком опасался сидеть рядом ;-)
вчера как раз попробовал gemma 3 27b на 16 VRAM карточке (4060 вроде).
Тормозит как пьяный слон. 12б работает резво (целиком входит).
Сегодня забираю 3090 24 ГБ (бу), попробую с ней. Две карты нужны были для достаточно простой задачи, не для прогона больших моделей (RAG демки).
Валялось всякое железо - десктоп старый, в нем карта 4060 от демки год назад, minisforum 1290 Intel /64 RAM, пара плашек на 64 ГБ, штуки 3 SSD.
Докупил minisforum еще один (на озоне из Китая, цена вполовину), в минисфоруме что хорошо: оптика, 2 SPF+, в дополнение к обычной сети и один слот pcie, можно еще карту расширения вставить (oculink), при этом компактный.
Карточку добавил на 2 SFP+ для десктопа (intel 570 вроде, на али, 1800 руб), и метровые кабели (тоже на али). Oculink PCIe карты (около 1000 руб) и внешний minisforum egpu на oculink (5600 руб).
Получилось бюджетно собрать мини кластер, с full mesh SPF+, выделенные каналы по 10 гбит между всеми нодами (гигабайт в секунду льется без проблем с пингом менее 1 мсек) - можно собрать небольший K8S кластер для домашних PoC, цеплять видюхи к нодам по окулинку, или все три видюхи по тому же окулинку к десктопу.
раньше попадались ускорители для баз данных - CAM память (content addressable) и блок обычной (для удешевления). Ускорение поиска в несортированных массивах.
Вопрос специалисту: актуальна еще тема CAM памяти для ускорения баз или заглохла?