Могу предположить, что задача может касаться нескольких проектов и репозиториев к ним, соответственно в рамках задачи может быть создан ряд PR.
Если в задаче подробная аналитика, система разделена на модули адаптированные для ai разработки, то почему нет... можно и в рамках одной постановки задачи поправить каскадно множество модулей. Тем более, ревьювить эти правки не герою истории из новости 😅
Ну оффлайн не долго продержится (относительно). Интересно в этом гипотетическом будущем, как будут бороться с кандидатами у которых нейро-имплант, и будут ли... 😉
Думаю передовые направления разработки и инженерии все больше будут смещаться в инструменты и сервисы для ИИ, а именно: коннекторы сред, базы спецификаций, базы знаний, сортированные наборы тематических данных, системы симуляции, автоматизированные лаборатории для разного рода экспериментов в реальности (мед, физические среды и материалы, электронные прототипы, хим. лаб). И в итоге роль человека сместится от написания прямых машинных функций (от машинных команд мы ушли на прошлом уровне роста абстракций), к управлению векторами общих идей и уточнений, созданию концепций и архитектур, обозначению проблематик и допустимых границ решений.
В итоге по моему мнению, эта революция создаст совершенно новый "мир" технологического переплетения разных областей, с новыми инструментами, стандартами, профессиями, мышлением.
И если посмотреть на прошлые технологические революции, оптимальным решением выглядит сесть на этот поезд 😉
Ещё для большей универсальности можно выстроить архитектуру автотипизации: где для большого набора сырых данных, применяется большая модель, анализирующая некоторые части этих данных, с целью определения их типа и подходящей embedding модели. А дальше набор данных обрабатывает выбранная модель. В том числе так можно и автоматом вычислить параметры чанкования.
Конечно это более ресурсозатратно, но позволяет сделать более универсальный инструмент.
Это уже возможно, например шлемы мета строят 3d пространство помещения и ориентируются в них уже давно, а недавно добавилась ещё и детализация meta hyper scape
Могу предположить, что задача может касаться нескольких проектов и репозиториев к ним, соответственно в рамках задачи может быть создан ряд PR.
Если в задаче подробная аналитика, система разделена на модули адаптированные для ai разработки, то почему нет... можно и в рамках одной постановки задачи поправить каскадно множество модулей. Тем более, ревьювить эти правки не герою истории из новости 😅
Ну оффлайн не долго продержится (относительно). Интересно в этом гипотетическом будущем, как будут бороться с кандидатами у которых нейро-имплант, и будут ли... 😉
Думаю передовые направления разработки и инженерии все больше будут смещаться в инструменты и сервисы для ИИ, а именно: коннекторы сред, базы спецификаций, базы знаний, сортированные наборы тематических данных, системы симуляции, автоматизированные лаборатории для разного рода экспериментов в реальности (мед, физические среды и материалы, электронные прототипы, хим. лаб). И в итоге роль человека сместится от написания прямых машинных функций (от машинных команд мы ушли на прошлом уровне роста абстракций), к управлению векторами общих идей и уточнений, созданию концепций и архитектур, обозначению проблематик и допустимых границ решений.
В итоге по моему мнению, эта революция создаст совершенно новый "мир" технологического переплетения разных областей, с новыми инструментами, стандартами, профессиями, мышлением.
И если посмотреть на прошлые технологические революции, оптимальным решением выглядит сесть на этот поезд 😉
Автор, как там в 2005? 😉
Ещё для большей универсальности можно выстроить архитектуру автотипизации: где для большого набора сырых данных, применяется большая модель, анализирующая некоторые части этих данных, с целью определения их типа и подходящей embedding модели. А дальше набор данных обрабатывает выбранная модель. В том числе так можно и автоматом вычислить параметры чанкования.
Конечно это более ресурсозатратно, но позволяет сделать более универсальный инструмент.
Это уже возможно, например шлемы мета строят 3d пространство помещения и ориентируются в них уже давно, а недавно добавилась ещё и детализация meta hyper scape
Не, этот метод не позволит сжать полноразмерные до уменьшения на два порядка.
Что он позволяет:
Получать качества для сжатой модели 3-4 бит, такое же как у fp16 размерности.
Позволяет проводить сжатие быстрее и с меньшими ресурсами
Таким образом, мы получаем сжатие почти без потерь в 3-5 раз (другие методы квантования уже были, этот повышает качество сжатой)
Например на моей gpu 20gb vram - могу позволить себе запускать 12b в 4-6 бит, и 27b в 1-2