Возможно это косяки конкретных реализаций, но на thetom/turboquant и форках с турбоквантом просто люто падает скорость префилла и генерации на больших контекстах порядка 20к и выше.
Да в общем то нормальное мнение. Судя по описанию, у вас типовые задачи и нейронки с этим уже хорошо справляются. Единственное что - контроль, доверять задачи нейронкам уже ни для кого не вопрос, а вот менеджить, особенно большие проекты - не факт, надо держать в уме что вообще у вас за сервисы, как это устроено в целом, что легко сделать, что сложно, нейронка в этом однозначно поможет разобраться, но не факт что будет права всегда.
Полезная статья! Что можете посоветовать для чистки трафаретов в домашних и лабораторных условиях? Обычные салфетки и бумажные полотенца любят рваться и оставляют на краях апертур волокна
По существу очень даже есть что сказать - соответствие общественным запросам и интересам закона это взаимоисключающие вещи. Если делать по LDD, то получим очередной зонд, ну и кому он понадобится?
Не, можно конечно сделать такое с нормальной модерацией и позиционировать это как "макс без скамеров", но, боюсь, тоже долго не просуществует
Больше всего удивился тому что внутри абсолютно чистый сишный код, так ещё и в качестве фреймворка arduino а не esp-idf. Я честно ожидал там esp-dsp, полное использование векторных инструкций на LX7, а оно вот как оказывается.
Ну началось. По сути идеи вам уже напихали, теперь прикопаюсь по экономической и организационной части.
У меня ощущение что в статье "думал" чатгпт причем с весьма слабо предоставленным контекстом.
5G RF Sensing
В России, ага. 5G сначала найдите тут. Но это и не нужно! Вон есть господин @astronotius который обещал сделать пассивный радар из ТВ вышек и KrakenSDR, результаты и ТЕПЛОВЫЕ карты есть и вот вот будут опубликованы.
Мультисенсорные комплексы
дорого
А теперь финт ушами. Выкидываем пользователей смартфонов из вашей формулы. Ранее уже описали почему никто не станет в этом участвовать. Смартфон это уже мультисенсорный комплекс только без РЛС. Почему бы тем, кому эта тема с БПЛА релевантна не развернуть такую систему? Купить кучу дешёвых рутуемых смартфонов, установить стационарно и по тем же мобильным сетям передавать инфу, до кучи приделать LoRa? Ответ, боюсь, лежит уже вне тематики и правил хабра
Занятная статья. Я так понимаю речь про исключительно встроенные приемники в авто? Для отдельных модулей, даже примитивных, можно организовывать детектирование спуфинга мониторя скачки времени приемника и сигнала 1pps.
За перевернутый футпринт и монтаж WQFN проволочками сразу лойс!
Расстановка компонентов и трассировка платы пока выполняются вручную. Для этих этапов я не нашёл подходящего применения ИИ
А как же quilter? Даже есть бесплатные прогоны. Правда там получается ну очень инопланетная расстановка компонентов и нормально это работает только для 4-слоек с очень низкой плотностью, но всё же
Извините, но это индусслоп. Был бы оригинал - окей, но переводить такое как-то неуважительно к аудитории даже. Вся суть: чувак взял готовый одноплатник, готовый дисплей, готовый контроллер аккумулятора, соединил, напечатал корпус на 3д принтере, получил что-то среднее между моноблоком и ранним беспроводным телефоном по внешнему виду.
Проект вот ну максимально не выдающийся, как с точки зрения своей сути так и усилий автора. Ну единственный момент где нужна была хоть какая-то работа и подумать это дизайн корпуса и всё. Остальное - тривиально, на уровне кружка старшей школы.
Циклические рассуждения и стопор генерации почти 100% проблема в памяти, но какой именно (VRAM, кэш GPU, RAM) - вопрос открытый. Драйвер тоже исключать не стоит, хотя если вина в нём, проблема вероятно проявилась бы у кого-то ещё и гуглилась.
Ваш субъективный вывод это абсолютный бред. Окей, я не исключаю что проблема в видеокарте, возможно, но вот эта потенциальная причина
через линии PCIe уже проходят паразитные токи — утечки на уровне самого кристалла GPU
отборная шизофрения. Я надеюсь что вы хотя бы в школе не прогуливали физику, про университетский курс цифровых устройств молчу вообще. Для начала ядро GPU и PCI-e работают на разном напряжении, утечка между ними это дохлый кристалл сразу. Далее, контроллер PCI-e в кристалле это наименее нагруженный и сложный блок и, чисто статистически, последний кандидат на источник проблем. Ну и напоследок, даже если мы предположим какие-то там фантастические паразитные уровни создает видеокарта на PCI-e, то у вас от этого будут проблемы НА ВСЕЙ ШИНЕ: SSD, чипсет, что там ещё висит.
Удивительно, что в комментах никто ещё не указал на это
Блин, это пока самая low effort статья про домашний "суперкомпьютер". Типа надо купить проц, мать и память, хотя бы 64 гига - отлично, замечательно, ладно точные модели но можно было хотя бы примерно сказать о какой платформе идет речь? Десктоп? HEDT/Рабочая станция? Б/У серверное?
Если брать серверное, то найти плату с 4, а иногда более, x16 разъемами не такое сложное дело. Это намного лучше чем страдать с райзерами и бифуркацией.
По поводу дисков, мое мнение, но если человек собирает такое, то у него наверняка дома где-то уже стоит NAS на пару (десятков) ТБ, хватит одного или двух SSD под систему.
Брать видеокарты AMD под вычисления - осуждаю. LLM на них гоняться то будет, но запускать любые другие HPC вычисления - много боли.
FP4 и даже BF16 вообще никакой роли не играют для моделей в квантах. По ценам 32 сейчас на али с pcie адаптером 50-60к. Там больше проблема в том что не поддерживаются штуки типа flash attention, их конечно портировали умельцы, но это значит нужно использовать форки движков для инференса, возможно навайбкоженные.
Во-первых есть ВУЗы с весьма большими территориями, во-вторых, когда я учился, мы остались без лаб по соткам, потому что в ВУЗ их не поставить, а кооперироваться с опсосами и при этом проводить вне ВУЗа - ещё геморрнее по бюрократии.
Имелось в виду не радиоволны (их теория кстати была разработана до того как экспериментально обнаружили), а проводное электричество и его эффекты. Там что такое напряжение, электромагнит, статическое электричество.
Ну, так себе идеи. Во-первых, "скрытые параметры" это и есть допущение о том что мы чего-то не знаем или не воспринимаем. Во-вторых, электричество и было открыто вслепую, у нас нет органов для восприятия электрических или магнитных полей напрямую, только по косвенным эффектам.
Удлинители купил Bykski B-EXJ-50 и то пришлось стачивать накатку, у большинства, что смотрел, диаметр с накаткой 18 мм, а толщина акрила - 17. Вот такая экономия от китайцев. На первой фотке фитинг под шланг 10/13.
У автора в статье уже новая версия с вырезами, я сначала тоже хотел на ЧПУ друга сделать вырезы, но потом подумал что смысл, будет же хуже охлад VRM.
Возможно это косяки конкретных реализаций, но на thetom/turboquant и форках с турбоквантом просто люто падает скорость префилла и генерации на больших контекстах порядка 20к и выше.
Да в общем то нормальное мнение. Судя по описанию, у вас типовые задачи и нейронки с этим уже хорошо справляются. Единственное что - контроль, доверять задачи нейронкам уже ни для кого не вопрос, а вот менеджить, особенно большие проекты - не факт, надо держать в уме что вообще у вас за сервисы, как это устроено в целом, что легко сделать, что сложно, нейронка в этом однозначно поможет разобраться, но не факт что будет права всегда.
Полезная статья! Что можете посоветовать для чистки трафаретов в домашних и лабораторных условиях? Обычные салфетки и бумажные полотенца любят рваться и оставляют на краях апертур волокна
По существу очень даже есть что сказать - соответствие общественным запросам и интересам закона это взаимоисключающие вещи. Если делать по LDD, то получим очередной зонд, ну и кому он понадобится?
Не, можно конечно сделать такое с нормальной модерацией и позиционировать это как "макс без скамеров", но, боюсь, тоже долго не просуществует
Ну то есть всё то же самое что может XMPP, так?
Больше всего удивился тому что внутри абсолютно чистый сишный код, так ещё и в качестве фреймворка arduino а не esp-idf. Я честно ожидал там esp-dsp, полное использование векторных инструкций на LX7, а оно вот как оказывается.
Ну началось. По сути идеи вам уже напихали, теперь прикопаюсь по экономической и организационной части.
У меня ощущение что в статье "думал" чатгпт причем с весьма слабо предоставленным контекстом.
В России, ага. 5G сначала найдите тут. Но это и не нужно! Вон есть господин @astronotius который обещал сделать пассивный радар из ТВ вышек и KrakenSDR, результаты и ТЕПЛОВЫЕ карты есть и вот вот будут опубликованы.
А теперь финт ушами. Выкидываем пользователей смартфонов из вашей формулы. Ранее уже описали почему никто не станет в этом участвовать. Смартфон это уже мультисенсорный комплекс только без РЛС. Почему бы тем, кому эта тема с БПЛА релевантна не развернуть такую систему? Купить кучу дешёвых рутуемых смартфонов, установить стационарно и по тем же мобильным сетям передавать инфу, до кучи приделать LoRa? Ответ, боюсь, лежит уже вне тематики и правил хабра
Я в одном RM наблюдал замечательный пункт в чейнджлоге:
Занятная статья. Я так понимаю речь про исключительно встроенные приемники в авто? Для отдельных модулей, даже примитивных, можно организовывать детектирование спуфинга мониторя скачки времени приемника и сигнала 1pps.
За перевернутый футпринт и монтаж WQFN проволочками сразу лойс!
А как же quilter? Даже есть бесплатные прогоны. Правда там получается ну очень инопланетная расстановка компонентов и нормально это работает только для 4-слоек с очень низкой плотностью, но всё же
Скрытый текст
Извините, но это индусслоп. Был бы оригинал - окей, но переводить такое как-то неуважительно к аудитории даже. Вся суть: чувак взял готовый одноплатник, готовый дисплей, готовый контроллер аккумулятора, соединил, напечатал корпус на 3д принтере, получил что-то среднее между моноблоком и ранним беспроводным телефоном по внешнему виду.
Проект вот ну максимально не выдающийся, как с точки зрения своей сути так и усилий автора. Ну единственный момент где нужна была хоть какая-то работа и подумать это дизайн корпуса и всё. Остальное - тривиально, на уровне кружка старшей школы.
Циклические рассуждения и стопор генерации почти 100% проблема в памяти, но какой именно (VRAM, кэш GPU, RAM) - вопрос открытый. Драйвер тоже исключать не стоит, хотя если вина в нём, проблема вероятно проявилась бы у кого-то ещё и гуглилась.
Ваш субъективный вывод это абсолютный бред. Окей, я не исключаю что проблема в видеокарте, возможно, но вот эта потенциальная причина
отборная шизофрения. Я надеюсь что вы хотя бы в школе не прогуливали физику, про университетский курс цифровых устройств молчу вообще. Для начала ядро GPU и PCI-e работают на разном напряжении, утечка между ними это дохлый кристалл сразу. Далее, контроллер PCI-e в кристалле это наименее нагруженный и сложный блок и, чисто статистически, последний кандидат на источник проблем. Ну и напоследок, даже если мы предположим какие-то там фантастические паразитные уровни создает видеокарта на PCI-e, то у вас от этого будут проблемы НА ВСЕЙ ШИНЕ: SSD, чипсет, что там ещё висит.
Удивительно, что в комментах никто ещё не указал на это
Блин, это пока самая low effort статья про домашний "суперкомпьютер". Типа надо купить проц, мать и память, хотя бы 64 гига - отлично, замечательно, ладно точные модели но можно было хотя бы примерно сказать о какой платформе идет речь? Десктоп? HEDT/Рабочая станция? Б/У серверное?
Если брать серверное, то найти плату с 4, а иногда более, x16 разъемами не такое сложное дело. Это намного лучше чем страдать с райзерами и бифуркацией.
По поводу дисков, мое мнение, но если человек собирает такое, то у него наверняка дома где-то уже стоит NAS на пару (десятков) ТБ, хватит одного или двух SSD под систему.
Брать видеокарты AMD под вычисления - осуждаю. LLM на них гоняться то будет, но запускать любые другие HPC вычисления - много боли.
FP4 и даже BF16 вообще никакой роли не играют для моделей в квантах. По ценам 32 сейчас на али с pcie адаптером 50-60к. Там больше проблема в том что не поддерживаются штуки типа flash attention, их конечно портировали умельцы, но это значит нужно использовать форки движков для инференса, возможно навайбкоженные.
Во-первых есть ВУЗы с весьма большими территориями, во-вторых, когда я учился, мы остались без лаб по соткам, потому что в ВУЗ их не поставить, а кооперироваться с опсосами и при этом проводить вне ВУЗа - ещё геморрнее по бюрократии.
Имелось в виду не радиоволны (их теория кстати была разработана до того как экспериментально обнаружили), а проводное электричество и его эффекты. Там что такое напряжение, электромагнит, статическое электричество.
Ну, так себе идеи. Во-первых, "скрытые параметры" это и есть допущение о том что мы чего-то не знаем или не воспринимаем. Во-вторых, электричество и было открыто вслепую, у нас нет органов для восприятия электрических или магнитных полей напрямую, только по косвенным эффектам.
Небольшое визуальное пособие по теме:
Скрытый текст
Удлинители купил Bykski B-EXJ-50 и то пришлось стачивать накатку, у большинства, что смотрел, диаметр с накаткой 18 мм, а толщина акрила - 17. Вот такая экономия от китайцев. На первой фотке фитинг под шланг 10/13.
У автора в статье уже новая версия с вырезами, я сначала тоже хотел на ЧПУ друга сделать вырезы, но потом подумал что смысл, будет же хуже охлад VRM.
Нельзя, китайские острова есть только на 4 карты и стоят от 60к, а чтоб было 128 это нужна 32 гб версия v100, которая идёт где-то 45-55к за штуку.
На 8 карт в теории можно найти б/у сервак dell, hp или супермикро, но я бы не надеялся что это будет дёшево.