не жил именно в том месте но 80 км легко превращаются в пару часов в одну сторону если живешь неудачно (работа не против шерсти у трафика).
Ездил как то 50 км в одну сторону в Торонто... Ну его нафиг. Был на контракте, потерпел полгода.Лучше переехать (не всегда возможно).
Либо приезжать на работу в 7 утра и если договоришься, сваливать в 16. Либо сиди минимум до 19 или 20 пока толпа рассосется на дороге.
да хотя бы страдальцев в Подмосковье посмотрите на м7 в час пик. Если работа у Садового, полтора часа из Москвы будешь до МКАДа ехать и еще полтора оставшиеся 50 км (Ногинск тот же)
У меня такой был опыт - в основном сотрудники сидят на удаленке, но если нужно поработать в офисе - бронируешь рабочее место на определенную дату и приходишь. Иногда митинги, мозговые штурмы лучше получаются, или встретить нужно клиента в переговорной, и тд.
В компании 150 человек, офис на 25 мест, 10 постоянно в офисе, 15 мест доступно. К примеру.
у меня 15 лет на удаленке, из компании (хорошая была компания, кстати, с высокой культурой ) ушел в 2008 потому что был вынужден жить на два города и мотался в Москву еженедельно понедельник/пятница. Просил хотя бы частичную удаленку - закусились. Я ушел. Ипотеку взять не мог - зарплата в конверте была, белая низкая. Нашел работу с зп выше и удаленно.
и надсмотрщик, индус нанятый по блату, так как родственник/знакомый местного айти директора, тоже индуса.
Потихоньку "нормальная" Америка холодной войны, какой ее знали раньше, превращается в то что в начале 2000х один персонаж на радио Торонто называл " Пакистаном северной Америки". Ползучая деградация и замещение бандустаном.
В крупных компаниях человек 300 туда сюда (уволить, нанять, переориентировать) - постоянная практика.
Мне разок по окончании проекта табун (отдел) пригнали перенимать опыт по java проекту, как оказалось, вообще не программистов.
Дело было в Wells Fargo, Миннеаполис, ICMP проект (ипотека). Прикольное кстати место, Миннеаполис -таксисты эфиопы (сомалийцы, пардон), хотя почти везде индусы. BLM там опять же, выстрелил (хотя место как болото спокойное).
Самый лучший магазин бухла тоже там случайно нашел, недалеко от аэропорта. Там было все. От Балтики, японского пива до бутылок дороже 50 тыс баксов в комнате с охлаждением. Футбольное поле заставленное бухлом. Совершенно неожиданно, неприметное здание.
меня контора родом из Калифорнии так уволила недавно, после 10+ лет работы в ней.
Самое смешное что в момент увольнения я был не постоянным работником (форма W2), а на контракте, где увольнение прописано немного по другому (не at will как в большинстве случаев в штатах).
То есть технически я не был уволен так как был контрактором , но процедура была проведена как для w2 работников которых пачкой тоже сократили. Увлекся менеджер по персоналу, но не лететь же судиться ради этого? :-)
Получил зп за 10 недель примерно и на выход, в тот же день, на сборы 3 часа. Какие сборы? Файлы потер, письма потер, коллегам письмо "хорошо работали вместе, до свидания", комп компании себе в подарок оставил (по согласованию). Комп вовремя заменил, свежий, в прошлом года за 175 тыс руб. И лаптоп еще живой, мало пользовался.
Пора лавку бу техники открывать, если все железки посчитать, штук 7. С каждого проекта обычно лаптоп от клиента оставался, хоть и раздавал их.
Одно хорошо - лето, нормальный отдых наконец то, больше 10 лет считай, от отпуска не было.
Код пусть пишет ChatGPT, а если всплывут вопросы по Легаси который вел, как обычно, подниму ставку вдвое (так принято - короткие заказы дороже в 2 раза). Либо пусть долбятся с этими залежами новички которых наймут.
Нормальные результаты, надо посмотреть поближе скрипты, на компьютере а не на телефоне. Спасибо за статью (перевод). Все в пределах ожидания, у питона вычисления активнее и не такое активное кеширование (в котором люсин "большой специалист" - память жрет будь здоров). Завтра на свежую голову еще раз посмотрю статью и код.
Индексирование по скорости нормальное, 600 к/hr у эластика, это укладывается в норму, у меня типичное для простых документов на всех видах движков на люсин было примерно 1-2 млн в час. Это зависит от настроек и клиента, возможно железо медленное или коммиты частые.
Недавно заглянул в код базы H2 и что я вижу - полнотекстовый поиск на люсин!
Почему бы тогда не прикрутить индексы на b-tree или sstable в люсин поисковике для ускорения JoinUtil? Вполне себе вариант, вот на днях выделю пару выходных и прикручу, посмотрим как join запрос в люсин будет себя вести.
А может в эластике уже индексы прикрутили? У них join поля регистрируются в схеме, в отличие от солр, и проект пухлый, напихали много чего.
Печаль, печаль. Получается контроллер работает с одним диском в потоке, распараллеливания на уровне одного потока нет.
Отмасштабировали горизонтально а не вертикально контроллер.
А если сделать костыль программным путем - загрузка порезанного gguf из кусков в разных mount points?
У меня был проект кастомного серчера Lucene ( довольно извращенного, по наследству), где нужно было выжимать максимум в вертикальном масштабировании, использовали в нем композитный индекс на нескольких дисках. Поиск в шардах был многопоточный. Этакий сплющенный в одном процессе кластер
Смотрел эти варианты - задач под ai у меня реальных нет, просто обучение.
Если делать что то нормальное, конечно нужно арендовать подходящее железо а не городить дома ферму. Отказался от 25гб карты - она ничего не решает в плане обучения, 16+4 карт достаточно вполне.
С докером знаком несколько лет, выпускал сборки своих продуктов на нем, так как вел 3 достаточно больших проекта на java, интеграционные тесты тоже на нем же, и просто разработка, к примеру базы не нем часто гонял (ставить замаешься). С начальством по поводу докера шла позиционная война, в итоге продавили, но тут "меня ушли".
K8s подзабыл, да и не был девопсом - lens пользовался пару лет назад когда разбирали 3 монолита на набор микросервисов, но в прод это не пошло - почти два года работы в унитаз. Собрал минимальный кластер на 3 ноды (не люблю виртуалки для этого), поиграюсь с одним пет проектом (security in lucene), встряхнуть, а там и работу надо будет искать к началу сезона (август)
Глянул, приложения все те же - сетевые устройства, базы данных. Очень быстро и очень дорого.
360 миллиардов запросов в секунду поиск в таблице, для связу 40G+. Впечатляет...Устройство с чипом 20 мбит стоит больше пары тыс баксов. Сильно дешевле не стало, больших объемов все так же нет.
Продукт не массовый, вот и вся причина почему не используется опять же, в массовом сегменте.
спасибо за информацию, если посмотрим на лицензию apache 2.0, то получается что сеть покрытия лицензией apache 2.0 можно и нужно расширять - для блокирования проектов использующих продукты под лицензией апаче.
К примеру, модифицировал проект на основе апаче лицензии, но не все компоненты изменены и попадаем на блокировку: "Users can create derivative works and distribute them under different licenses, but must ensure that all unmodified parts of the original software remain under the Apache 2.0 license. "
Хотя, если дошло до эмбарго и блокировок, то на лицензии наплевать...
вопрос хороший, дополнительный - а запись на флешку есть или она одноразовая (заменить своей)?
и риторический вопрос - на будущее, какие способы защиты информации на флешке могут быть (шифрование? запрос от флешки, ответ от чипа, затем заливка?) Сложновато конечно для копеечной камеры, просто любопытно
Неужели pulsed/spiked neural networks начали использовать? Однако, интересно, надо бы покопаться. Эти виды сетей предпочтительнее для встроенных устройств, рад за сибиряков
за ссылочку спасибо. 24 понятно что не топ, это вопрос бюджета.
Я вот сейчас, в творческом отпуске - если покупаю что то себе (видюху к примеру), значит и жене надо сопоставимый подарок сделать (женщины найдут на что потратить любой бюджет). Никаких заначек не хватит если для проб 96 гб карты покупать поиграться. Это ж не более чем практикум, для наработки опыта, играться с железяками дома. Хотя, тысяч 10-20 баксов можно потратить, если очень нужно, но все таки дом не работа.
Для домашних демок нормальных сеток можно токены купить, в том же vsegpt.ru - посмотрел, сравнил, оценил и достаточно.
Смотреть как сетка выплевывает по токену в секунду (или две) так себе удовольствие, это как программировать в windows на 386SX33 (была такая шутка) - я бы рядом с таким человеком опасался сидеть рядом ;-)
вчера как раз попробовал gemma 3 27b на 16 VRAM карточке (4060 вроде).
Тормозит как пьяный слон. 12б работает резво (целиком входит).
Сегодня забираю 3090 24 ГБ (бу), попробую с ней. Две карты нужны были для достаточно простой задачи, не для прогона больших моделей (RAG демки).
Валялось всякое железо - десктоп старый, в нем карта 4060 от демки год назад, minisforum 1290 Intel /64 RAM, пара плашек на 64 ГБ, штуки 3 SSD.
Докупил minisforum еще один (на озоне из Китая, цена вполовину), в минисфоруме что хорошо: оптика, 2 SPF+, в дополнение к обычной сети и один слот pcie, можно еще карту расширения вставить (oculink), при этом компактный.
Карточку добавил на 2 SFP+ для десктопа (intel 570 вроде, на али, 1800 руб), и метровые кабели (тоже на али). Oculink PCIe карты (около 1000 руб) и внешний minisforum egpu на oculink (5600 руб).
Получилось бюджетно собрать мини кластер, с full mesh SPF+, выделенные каналы по 10 гбит между всеми нодами (гигабайт в секунду льется без проблем с пингом менее 1 мсек) - можно собрать небольший K8S кластер для домашних PoC, цеплять видюхи к нодам по окулинку, или все три видюхи по тому же окулинку к десктопу.
раньше попадались ускорители для баз данных - CAM память (content addressable) и блок обычной (для удешевления). Ускорение поиска в несортированных массивах.
Вопрос специалисту: актуальна еще тема CAM памяти для ускорения баз или заглохла?
не жил именно в том месте но 80 км легко превращаются в пару часов в одну сторону если живешь неудачно (работа не против шерсти у трафика).
Ездил как то 50 км в одну сторону в Торонто... Ну его нафиг. Был на контракте, потерпел полгода.Лучше переехать (не всегда возможно).
Либо приезжать на работу в 7 утра и если договоришься, сваливать в 16. Либо сиди минимум до 19 или 20 пока толпа рассосется на дороге.
да хотя бы страдальцев в Подмосковье посмотрите на м7 в час пик. Если работа у Садового, полтора часа из Москвы будешь до МКАДа ехать и еще полтора оставшиеся 50 км (Ногинск тот же)
У меня такой был опыт - в основном сотрудники сидят на удаленке, но если нужно поработать в офисе - бронируешь рабочее место на определенную дату и приходишь. Иногда митинги, мозговые штурмы лучше получаются, или встретить нужно клиента в переговорной, и тд.
В компании 150 человек, офис на 25 мест, 10 постоянно в офисе, 15 мест доступно. К примеру.
у меня 15 лет на удаленке, из компании (хорошая была компания, кстати, с высокой культурой ) ушел в 2008 потому что был вынужден жить на два города и мотался в Москву еженедельно понедельник/пятница. Просил хотя бы частичную удаленку - закусились. Я ушел. Ипотеку взять не мог - зарплата в конверте была, белая низкая. Нашел работу с зп выше и удаленно.
и надсмотрщик, индус нанятый по блату, так как родственник/знакомый местного айти директора, тоже индуса.
Потихоньку "нормальная" Америка холодной войны, какой ее знали раньше, превращается в то что в начале 2000х один персонаж на радио Торонто называл " Пакистаном северной Америки". Ползучая деградация и замещение бандустаном.
В крупных компаниях человек 300 туда сюда (уволить, нанять, переориентировать) - постоянная практика.
Мне разок по окончании проекта табун (отдел) пригнали перенимать опыт по java проекту, как оказалось, вообще не программистов.
Дело было в Wells Fargo, Миннеаполис, ICMP проект (ипотека). Прикольное кстати место, Миннеаполис -таксисты эфиопы (сомалийцы, пардон), хотя почти везде индусы. BLM там опять же, выстрелил (хотя место как болото спокойное).
Самый лучший магазин бухла тоже там случайно нашел, недалеко от аэропорта. Там было все. От Балтики, японского пива до бутылок дороже 50 тыс баксов в комнате с охлаждением. Футбольное поле заставленное бухлом. Совершенно неожиданно, неприметное здание.
У меня вышло примерно 10 мес, если не жировать, для семьи. Честно сказать обрадовался так как работу сменить хотел и не раз, но все накладки мешали.
Полгода академического отпуска, почитать новинки, на огороде позагорать и тд. Это же круто! Кто сидел годами не разгибаясь за компом, поймёт.
Погреб свое на галере, надо отдохнуть
меня контора родом из Калифорнии так уволила недавно, после 10+ лет работы в ней.
Самое смешное что в момент увольнения я был не постоянным работником (форма W2), а на контракте, где увольнение прописано немного по другому (не at will как в большинстве случаев в штатах).
То есть технически я не был уволен так как был контрактором , но процедура была проведена как для w2 работников которых пачкой тоже сократили. Увлекся менеджер по персоналу, но не лететь же судиться ради этого? :-)
Получил зп за 10 недель примерно и на выход, в тот же день, на сборы 3 часа. Какие сборы? Файлы потер, письма потер, коллегам письмо "хорошо работали вместе, до свидания", комп компании себе в подарок оставил (по согласованию). Комп вовремя заменил, свежий, в прошлом года за 175 тыс руб. И лаптоп еще живой, мало пользовался.
Пора лавку бу техники открывать, если все железки посчитать, штук 7. С каждого проекта обычно лаптоп от клиента оставался, хоть и раздавал их.
Одно хорошо - лето, нормальный отдых наконец то, больше 10 лет считай, от отпуска не было.
Код пусть пишет ChatGPT, а если всплывут вопросы по Легаси который вел, как обычно, подниму ставку вдвое (так принято - короткие заказы дороже в 2 раза). Либо пусть долбятся с этими залежами новички которых наймут.
Нормальные результаты, надо посмотреть поближе скрипты, на компьютере а не на телефоне. Спасибо за статью (перевод). Все в пределах ожидания, у питона вычисления активнее и не такое активное кеширование (в котором люсин "большой специалист" - память жрет будь здоров). Завтра на свежую голову еще раз посмотрю статью и код.
Индексирование по скорости нормальное, 600 к/hr у эластика, это укладывается в норму, у меня типичное для простых документов на всех видах движков на люсин было примерно 1-2 млн в час. Это зависит от настроек и клиента, возможно железо медленное или коммиты частые.
Недавно заглянул в код базы H2 и что я вижу - полнотекстовый поиск на люсин!
Почему бы тогда не прикрутить индексы на b-tree или sstable в люсин поисковике для ускорения JoinUtil? Вполне себе вариант, вот на днях выделю пару выходных и прикручу, посмотрим как join запрос в люсин будет себя вести.
А может в эластике уже индексы прикрутили? У них join поля регистрируются в схеме, в отличие от солр, и проект пухлый, напихали много чего.
Печаль, печаль. Получается контроллер работает с одним диском в потоке, распараллеливания на уровне одного потока нет.
Отмасштабировали горизонтально а не вертикально контроллер.
А если сделать костыль программным путем - загрузка порезанного gguf из кусков в разных mount points?
У меня был проект кастомного серчера Lucene ( довольно извращенного, по наследству), где нужно было выжимать максимум в вертикальном масштабировании, использовали в нем композитный индекс на нескольких дисках. Поиск в шардах был многопоточный. Этакий сплющенный в одном процессе кластер
Raid на ssd?
Смотрел эти варианты - задач под ai у меня реальных нет, просто обучение.
Если делать что то нормальное, конечно нужно арендовать подходящее железо а не городить дома ферму. Отказался от 25гб карты - она ничего не решает в плане обучения, 16+4 карт достаточно вполне.
С докером знаком несколько лет, выпускал сборки своих продуктов на нем, так как вел 3 достаточно больших проекта на java, интеграционные тесты тоже на нем же, и просто разработка, к примеру базы не нем часто гонял (ставить замаешься). С начальством по поводу докера шла позиционная война, в итоге продавили, но тут "меня ушли".
K8s подзабыл, да и не был девопсом - lens пользовался пару лет назад когда разбирали 3 монолита на набор микросервисов, но в прод это не пошло - почти два года работы в унитаз. Собрал минимальный кластер на 3 ноды (не люблю виртуалки для этого), поиграюсь с одним пет проектом (security in lucene), встряхнуть, а там и работу надо будет искать к началу сезона (август)
15 лет не смотрел тему CAM. Причем тут облака?
Глянул, приложения все те же - сетевые устройства, базы данных. Очень быстро и очень дорого.
360 миллиардов запросов в секунду поиск в таблице, для связу 40G+. Впечатляет...Устройство с чипом 20 мбит стоит больше пары тыс баксов. Сильно дешевле не стало, больших объемов все так же нет.
Продукт не массовый, вот и вся причина почему не используется опять же, в массовом сегменте.
https://ieeexplore.ieee.org/document/9211457 и прочие статьи, легко найти по запросу
Если CAM вдруг станет доступным и массовым, оно "перевернет доску" и ускорит очень многие приложения
спасибо за информацию, если посмотрим на лицензию apache 2.0, то получается что сеть покрытия лицензией apache 2.0 можно и нужно расширять - для блокирования проектов использующих продукты под лицензией апаче.
К примеру, модифицировал проект на основе апаче лицензии, но не все компоненты изменены и попадаем на блокировку: "Users can create derivative works and distribute them under different licenses, but must ensure that all unmodified parts of the original software remain under the Apache 2.0 license. "
Хотя, если дошло до эмбарго и блокировок, то на лицензии наплевать...
вопрос хороший, дополнительный - а запись на флешку есть или она одноразовая (заменить своей)?
и риторический вопрос - на будущее, какие способы защиты информации на флешке могут быть (шифрование? запрос от флешки, ответ от чипа, затем заливка?) Сложновато конечно для копеечной камеры, просто любопытно
Неужели pulsed/spiked neural networks начали использовать? Однако, интересно, надо бы покопаться. Эти виды сетей предпочтительнее для встроенных устройств, рад за сибиряков
за ссылочку спасибо. 24 понятно что не топ, это вопрос бюджета.
Я вот сейчас, в творческом отпуске - если покупаю что то себе (видюху к примеру), значит и жене надо сопоставимый подарок сделать (женщины найдут на что потратить любой бюджет). Никаких заначек не хватит если для проб 96 гб карты покупать поиграться. Это ж не более чем практикум, для наработки опыта, играться с железяками дома. Хотя, тысяч 10-20 баксов можно потратить, если очень нужно, но все таки дом не работа.
Для домашних демок нормальных сеток можно токены купить, в том же vsegpt.ru - посмотрел, сравнил, оценил и достаточно.
Смотреть как сетка выплевывает по токену в секунду (или две) так себе удовольствие, это как программировать в windows на 386SX33 (была такая шутка) - я бы рядом с таким человеком опасался сидеть рядом ;-)
вчера как раз попробовал gemma 3 27b на 16 VRAM карточке (4060 вроде).
Тормозит как пьяный слон. 12б работает резво (целиком входит).
Сегодня забираю 3090 24 ГБ (бу), попробую с ней. Две карты нужны были для достаточно простой задачи, не для прогона больших моделей (RAG демки).
Валялось всякое железо - десктоп старый, в нем карта 4060 от демки год назад, minisforum 1290 Intel /64 RAM, пара плашек на 64 ГБ, штуки 3 SSD.
Докупил minisforum еще один (на озоне из Китая, цена вполовину), в минисфоруме что хорошо: оптика, 2 SPF+, в дополнение к обычной сети и один слот pcie, можно еще карту расширения вставить (oculink), при этом компактный.
Карточку добавил на 2 SFP+ для десктопа (intel 570 вроде, на али, 1800 руб), и метровые кабели (тоже на али). Oculink PCIe карты (около 1000 руб) и внешний minisforum egpu на oculink (5600 руб).
Получилось бюджетно собрать мини кластер, с full mesh SPF+, выделенные каналы по 10 гбит между всеми нодами (гигабайт в секунду льется без проблем с пингом менее 1 мсек) - можно собрать небольший K8S кластер для домашних PoC, цеплять видюхи к нодам по окулинку, или все три видюхи по тому же окулинку к десктопу.
раньше попадались ускорители для баз данных - CAM память (content addressable) и блок обычной (для удешевления). Ускорение поиска в несортированных массивах.
Вопрос специалисту: актуальна еще тема CAM памяти для ускорения баз или заглохла?
все по полочкам разложили, полезно и наглядно. Отличная статья.
Помню, лет 15 назад, были базы с хешами, на DVD, штук 20 дисков - популярно еще такое?
Этология, как она есть.
вернемся к этому вопросу через лет 10, хорошо? если живы будем