Вот только трэнд последних лет - уход от единой точки отказа: отваливается один сервер, то другие серверы в кластере продолжают работать.
А вот с CXL памятью получается наоборот: если сдохнет такая "общая" память, то упадут все серверы, которые используют эту память... Единая точка отказа.
Впрочем я думаю, что про этот сценарий умные люди тоже подумали, просто я не углублялся...
Из статьи как-то не очень понятно - если несколько серверов будут использовать одну общую ноду с памятью через CXL - как они все будут подключаться к этой CXL ноде?
Есть специальные CXL порты?
Сколько серверов может подключиться к одной CXL ноде?
Очевидно, что автор продвигает свой сервис - BoltHub, через который можно использовать ChatGPT и другие модели.
Я мало что знаю про BoltHub сервис, - сам пользуюсь OpenRouter, и у них есть бесплатные модели: не trial, а всегда бесплатные. Ограничения для бесплатных моделей там есть разные: у некоторые контекст небольшой, у других написано, что они используют вашу переписку для тренинга моделей...
Я пробовал запустить LibreChat у себя в докере месяц назад. Но что-то тогда он мне показался сильно глючным. Может сейчас и стабильней...
Сейчас я использую https://github.com/open-webui/open-webui - это похожий UI. Вроде бы считается чуть менее открытый (есть какие-то ограничения в лицензии). Но запускается проще.
В этом и есть суть at-will employment, что контракта нету.
Конечно, можно назвать контрактом, что в оффере мне написали какая у меня будет зарплата - значит вот он контракт. Можно. Вот только никто это здесь контрактом не называет.
Контракт - это когда работадатель берёт на себя обязательства по тому, что он не уволит, если работник делает одно, другое, третье.. это есть в профсоюзах, в гос.учреждениях.
У программистов в США (не контракторов) нет контракта в котором прописано сколько часов они должны работать.
Поэтому когда в прошлом месяце у нас упал важный сервис, то наш директор не парился насчёт часов, а написал всей нашей команде вечером: все присоединяемся на звонок сюда и чиним.
Но я не в стартапе, поэтому на следующей неделе, тот же директор написал нашей команде в пятницу: сегодня работаем до обеда, всем хорошим выходных.
А в стартапе - там каждый вечер надо чего то допиливать.
Когда Маск купил Твиттер, то он написал: все будут пахать, кто не хочет - свободны. Это не означает, что он менял контракт. Просто сказал и всё.
Если менеджер или директор посчитает, что кто-то не гребёт достаточно старательно, то никто никому ничего не доказывает: просто тебя зовут в кабинет и сообщают, что ты здесь больше не работаешь.
Потому что когда смотришь на зарплаты программистов в США и сравниваешь с зарплатами программистов в Европе, то вообще непонятно, как в Европе вообще хоть кто-то остался? А если ещё на налоги посмотреть - то понятно, что у Европы нет никаких шансов.
А одна из причин почему зарплаты программистов в США в разы больше - это потому что работадатели здесь смелее нанимают людей. В Европе наймёшь человека - и замучаешься сокращать / увольнять с их законами. Лучше уж нанять подороже человека в США, и если что будет не так - то в любой момент можно будет проводить без лишней головной мороки.
У меня 2 карточки:
RTX 4090D 48GB
RTX 3090 24GB
Запускаю вот так:
Но у этой модели скорость будет нормальной даже, если часть модели будет в RAM, не на GPU.
Спасибо. Почитал, действительно интересно.
Вот только трэнд последних лет - уход от единой точки отказа: отваливается один сервер, то другие серверы в кластере продолжают работать.
А вот с CXL памятью получается наоборот: если сдохнет такая "общая" память, то упадут все серверы, которые используют эту память... Единая точка отказа.
Впрочем я думаю, что про этот сценарий умные люди тоже подумали, просто я не углублялся...
Из статьи как-то не очень понятно - если несколько серверов будут использовать одну общую ноду с памятью через CXL - как они все будут подключаться к этой CXL ноде?
Есть специальные CXL порты?
Сколько серверов может подключиться к одной CXL ноде?
На каких дистрибутивах Линукса запустится такой сервер?
И на каких версия Windows будет работать клиент?
Очевидно, что автор продвигает свой сервис - BoltHub, через который можно использовать ChatGPT и другие модели.
Я мало что знаю про BoltHub сервис, - сам пользуюсь OpenRouter, и у них есть бесплатные модели: не trial, а всегда бесплатные. Ограничения для бесплатных моделей там есть разные: у некоторые контекст небольшой, у других написано, что они используют вашу переписку для тренинга моделей...
А приложения в браузере значит - ненормальные?
Я пробовал запустить LibreChat у себя в докере месяц назад. Но что-то тогда он мне показался сильно глючным. Может сейчас и стабильней...
Сейчас я использую https://github.com/open-webui/open-webui - это похожий UI. Вроде бы считается чуть менее открытый (есть какие-то ограничения в лицензии). Но запускается проще.
Would be great to get similar overview for open-source models and UI
Что такого предлагает IPv6 для поддержки мультимедиа, чего нету в IPv4?
Обработка пакетов IPv6 быстрее IPv4?
Вы это в LLM статью накатали?
Нормально ли держат сегодняшние NVMe серверную нагрузку?
Раньше советовали, что для серверов лучше взять Б/У серверную модель, чем новую консумерскую модель. Как сегодня дела обстоят?
Ну я бы не был так категоричен.
В ряде бенчмарков Qwen3-Coder-480B-A35B-Instruct превосходит Claude Sonnet 4, и довольно близок к Claude Opus 4.
Кстати по цене Qwen3-Coder-480B тоже довольно близок к Claude Opus 4.
У Zilip странный open-source: ограничение на 10 пользователей.
Аудио-звонков нет.
Непонятно, кому сегодня нужен такой мессенджер.
Даже джун в США получает больше.
Средний уровень - 10-14 тысяч в месяц.
Хорошо - это 20-25 тысяч в месяц.
Мы наверное слишком в разных культурах живём.
У этого программиста каждый день начинается с кофе и кроссанта в кафе.
Во время обеда он идёт в спортзал или бассейн, который компания уже оплатила всем работникам.
Вечером он со всем офисом идёт в бар, а потом опять возвращается в офис.
Да, наверное на выходных тоже надо будет работать.
Это называется 80-часовая рабочая неделя.
Где ж найти таких сверхчеловеков, кто выдержит такой режим?
И как много вы знаете программистов, которых "загнали в могилу"?
В этом и есть суть at-will employment, что контракта нету.
Конечно, можно назвать контрактом, что в оффере мне написали какая у меня будет зарплата - значит вот он контракт. Можно. Вот только никто это здесь контрактом не называет.
Контракт - это когда работадатель берёт на себя обязательства по тому, что он не уволит, если работник делает одно, другое, третье.. это есть в профсоюзах, в гос.учреждениях.
Но к программистам это не относится.
Программисты, которые в США работают на W-2, в большинстве случаев не имеют employment contract. В этом и есть суть At-will employment
Какое обоснование? Зачем обоснование при at-will employment?
нарушение контракта? Какого контракта?
В США есть работники (employee) и контракторы.
И это вообще два мало пересекающихся мира.
У программистов в США (не контракторов) нет контракта в котором прописано сколько часов они должны работать.
Поэтому когда в прошлом месяце у нас упал важный сервис, то наш директор не парился насчёт часов, а написал всей нашей команде вечером: все присоединяемся на звонок сюда и чиним.
Но я не в стартапе, поэтому на следующей неделе, тот же директор написал нашей команде в пятницу: сегодня работаем до обеда, всем хорошим выходных.
А в стартапе - там каждый вечер надо чего то допиливать.
Когда Маск купил Твиттер, то он написал: все будут пахать, кто не хочет - свободны. Это не означает, что он менял контракт. Просто сказал и всё.
Если менеджер или директор посчитает, что кто-то не гребёт достаточно старательно, то никто никому ничего не доказывает: просто тебя зовут в кабинет и сообщают, что ты здесь больше не работаешь.
Слово "профсоюз" и "программист" в одном предложении практически не встречаются.
Серьёзно? Или это стёб такой?
Потому что когда смотришь на зарплаты программистов в США и сравниваешь с зарплатами программистов в Европе, то вообще непонятно, как в Европе вообще хоть кто-то остался? А если ещё на налоги посмотреть - то понятно, что у Европы нет никаких шансов.
А одна из причин почему зарплаты программистов в США в разы больше - это потому что работадатели здесь смелее нанимают людей. В Европе наймёшь человека - и замучаешься сокращать / увольнять с их законами. Лучше уж нанять подороже человека в США, и если что будет не так - то в любой момент можно будет проводить без лишней головной мороки.