Самое веселое начиналось, когда пираты прописывали старт на несуществующий уровень, игра тупо зависала с мусорным экраном или валилась в бесконечный цикл... Мы тогда думали, что картридж сломался от пыли в разъеме
Забыл добавить в этот прекрасный опекс расходы на психотерапевта через полгода жизни на дошираке, без них релизнуть второй апдейт получается далеко не у каждого фаундера
Полуторагодовой разрыв вроде маленьким кажется пока не упрешься в железо. Китайцы заливают инференс кластерами на собственном кремне и выкатывают новые версии пачками каждый квартал. Мы пока в основном адаптируем их открытые архитектуры под свой корпус текстов. Пока сокращаешь одну дистанцию, топы успевают перепрыгнуть на следующий технологический виток
Радует гибрид MLA с линейным вниманием, архитектурно это куда бодрее старых классических трансформеров. При нормальной интеграции внешних инструментов во время пошагового пайплайна агентские сценарии поедут стабильнее, главное чтоб корпоративный апи потом не зарезали по рейтам до состояния неиграбельности)
Трех тысяч строк для низкоуровневого кернела все еще прилично, особенно для отладки выравнивания памяти и регистрового давления. Санитайзеры на GPU ловят далеко не все гонки данных между варпами
Главный вопрос в том, как поддерживать этот Rust в проде, когда логика поменяется. Нанимать растовика или скармливать каждый фикс обратно модели и надеяться на тесты?
Главное веселье начнется через пару лет, когда этот чип выдаст рейс кондишн на редком батче, а исходный промпт и контекст генерации давно потеряли. Вот весело то будет дебажить сгенерированный Triton-подобный код без понимания регистровых аллокаций
Я вообще в шоке с того как они успевают клепать новые архитектуры каждый месяц. Такое чувство что дата-центры там вообще на перекур не останавливаются)
Ноль это у тех кто ждет от нейронок написания продакшен-архитектуры с нуля по одному промпту. Как генератор бойлерплейта и автокомплит китайчата вполне отбивают свою цену
Лицензия MIT на веса, ничоси, вот это аттракцион невиданной щедрости. Обычно вендоры любят накрутить своих проприетарных ограничений на использование в проде
У нас менеджеры прикрутили бота на первую линию поддержки клиентов. Через месяц посчитали счет за токены, добавили зарплату лида, который правил косяки, и тихонько вернули обычную форму обратной связи)
Если вычесть расходы на покупку железа, разработку, маркетинг и печеньки в офисе, то бизнес вообще золотой)) Осталось только объяснить инвесторам, почему общий минус в кассе продолжает расти с каждым месяцем
Метод научного тыка иголкой в микросхему в детстве практиковали многие)
Самое веселое начиналось, когда пираты прописывали старт на несуществующий уровень, игра тупо зависала с мусорным экраном или валилась в бесконечный цикл... Мы тогда думали, что картридж сломался от пыли в разъеме
Сразу вспомнились желтые картриджи без корпусов, которые приходилось вставлять в приставку за край текстолита
Забыл добавить в этот прекрасный опекс расходы на психотерапевта через полгода жизни на дошираке, без них релизнуть второй апдейт получается далеко не у каждого фаундера
Проще всего в своем стартапе стать генеральным директором, уборщиком и саппортом в одном лице без выходных)
Если каждый второй накодит по гениальному стартапу за вечер, мы просто похороним App Store под терабайтами одинаковых трекеров привычек))
Пока ты сидишь на зарплате в найме, пилить свой сервис фоном безопасно, но без этой подушки энтузиазм улетучивается при первом же списании за облако
Полуторагодовой разрыв вроде маленьким кажется пока не упрешься в железо. Китайцы заливают инференс кластерами на собственном кремне и выкатывают новые версии пачками каждый квартал. Мы пока в основном адаптируем их открытые архитектуры под свой корпус текстов. Пока сокращаешь одну дистанцию, топы успевают перепрыгнуть на следующий технологический виток
Радует гибрид MLA с линейным вниманием, архитектурно это куда бодрее старых классических трансформеров. При нормальной интеграции внешних инструментов во время пошагового пайплайна агентские сценарии поедут стабильнее, главное чтоб корпоративный апи потом не зарезали по рейтам до состояния неиграбельности)
Трех тысяч строк для низкоуровневого кернела все еще прилично, особенно для отладки выравнивания памяти и регистрового давления. Санитайзеры на GPU ловят далеко не все гонки данных между варпами
А менеджмент видит только первую половину этой фразы и радостно режет эстимейты на спринты
Главный вопрос в том, как поддерживать этот Rust в проде, когда логика поменяется. Нанимать растовика или скармливать каждый фикс обратно модели и надеяться на тесты?
Главное веселье начнется через пару лет, когда этот чип выдаст рейс кондишн на редком батче, а исходный промпт и контекст генерации давно потеряли. Вот весело то будет дебажить сгенерированный Triton-подобный код без понимания регистровых аллокаций
Я вообще в шоке с того как они успевают клепать новые архитектуры каждый месяц. Такое чувство что дата-центры там вообще на перекур не останавливаются)
Ноль это у тех кто ждет от нейронок написания продакшен-архитектуры с нуля по одному промпту. Как генератор бойлерплейта и автокомплит китайчата вполне отбивают свою цену
Лицензия MIT на веса, ничоси, вот это аттракцион невиданной щедрости. Обычно вендоры любят накрутить своих проприетарных ограничений на использование в проде
Зато никакой боли с виртуальными окружениями и отваливающимися зависимостями питона. Собрал джарник и он просто работает везде
Ждем следующую статью, где автор переписывает докер на джаву, чтобы было удобнее дебажить)
У нас менеджеры прикрутили бота на первую линию поддержки клиентов. Через месяц посчитали счет за токены, добавили зарплату лида, который правил косяки, и тихонько вернули обычную форму обратной связи)
Если вычесть расходы на покупку железа, разработку, маркетинг и печеньки в офисе, то бизнес вообще золотой)) Осталось только объяснить инвесторам, почему общий минус в кассе продолжает расти с каждым месяцем