Comments 40
В итоге получили, что самая лучшая нейросеть - это Шизофрения.
Мы стоим на пороге эры персонального искусственного интеллекта, то есть в перспективе – не в последнюю очередь благодаря нашей разработке – появится личный, суверенный ИИ, который целиком помещается в ваш гаджет. Его никто не отберет и не заблокирует. В отличие от того же Chat GPT, который на самом деле находится на серверах
А можете рассказать, как "30-40% улучшение аппаратных характеристик" поможет уместить целый сервер в смартфон?
Не мешайте своими вопросами уважаемым людям бюджет осваивать.
Мы спросили ChatGPT, как наиболее вежливо ответить на ваш комментарий. ИИ предложил следующее:
Спасибо за Ваше замечание. Мы действительно ценим мнение каждого и стремимся к конструктивному диалогу. Хотел бы пояснить, что наша деятельность направлена на проведение реальных научных исследований, которые нацелены на получение новых знаний и развитие технологий. Мы убеждены, что каждый вопрос и каждое обсуждение способствует продвижению науки и помогает достигать значимых результатов, которые могут принести пользу обществу. Будем рады продолжить сотрудничество и обмен мнениями.
Современные смартфоны давно достигли по мощности средненьких персональных компьютеров. При разумном подходе к оптимизации нейросетевых моделей, уже сейчас можно запускать локально обработку фото/видео, распознавание qr и банковских карт, распознавание документов и голоса. Сейчас работаем над тем, как запускать более серьезные локальные модели.
Современные смартфоны давно достигли по мощности средненьких персональных компьютеров.
Это утверждение верно, если в сравнении используется топовый процессор смартфона (например Snapdragon 8 Gen 2) с дешевеньким десктопным процессором (например i3-13100). И то, пока процессор смартфона холодный и турбобуст работает на полную мощность.
Да фиг с ним с процессором. Раз уж сами упомянули GPT (никто за я зык не тянул), я с удовольствием послушаю как на смартфон будет обученная модель запихиваться. Сколько она там сотен гигабайт весит то?)
Если без шуток, то небольшие узкоспециализированные штуки можно, конечно, крутить и локально. Только их уже и так, вроде бы, успешно крутят на edge. Так что речь, видимо, просто про возможность прироста производительности на том же железе.
Посмотрел требования для запуска (не обучения) открытой модели на 340B параметров и там 30-40% улучшение точно не поможет уместиться в смартфон :) А уж про чатгпт и говорить нечего... Но на "не героические" вещи денег обычно не выделяют 🤣🤣🤣
Рискну предположить что речь идёт о специализированных чипах для нейросетевых вычислений. Их реализация будет сильно проще. Более того, такое проще реализовать на аналоговых схемах, а значит, что там энергопотребление будет ещё меньше. Речь конечно не о том, что прям все так и будет, но серьезный потенциал есть.
Поможет старый дедовский способ. Нужен всего лишь...
Российские ученые нашли способ
На Reddit нашли?
суверенный ИИ
Нет, это серьёзно?
Куда более серьезно, чем глобус Украины.
А в отсутствие хозяина (пока телефон выключен), ИИ сможет общаться со своими коллегами из других телефонов и делиться опытом.
Вот вы иронизируете, а один мой бывший ученик, поступив на мобильную разработку в вузе получил задание - обеспечить скрытый от пользователя обмен информацией двух телефонов лежащих на одном столе используя акустические каналы...
Так что и суверенный ИИ с биполярочкой внедрят и общаться телефоны сами по себе будут.
А коллега в данном случае в каком звании?
Цель разработки суверенного ИИ и тензорного процессора - получение субсидий и грантов из бюджета.
Чёт на картинке я вижу замену умножения ... сложением степеней. Т.е. вместо a*b они вычисляют exp(ln(a) + ln(b)). Для float у нас действительно быстрые ln и exp, если не требуется точность. Если требуется - то блок умножения float именно это и делает. Тогда в чём суть?
Не ново, поскольку морфологические сети на логарифмах и приближениях уже давно используются. И опять таки - нишевое решение. Хорошо использовать там где нужны бстрые обработки циферок. Всякие финансы и вычисления.
В случае с той же GPT моделью - там лучше генерация текстов, переводы и различные языковые вещи.
Даа, нишево-нишево, циферки умножать.. А вы знаете как генерируются тексты, производятся переводы и совершаются всякие языковые вещи? Я средней руки профессионал, но слышал там тоже циферки в матрицах под капотом. И умножаются к тому же:)
А по поводу статьи - интересно с какими вызовами столкнулись OpenAI и другие, при использовании данного подхода и почему решили не делать. Едва ли могли упустить из виду экономию в десятки процентов.
Я думаю, взятие максимума не распараллеливается.
Баян, бородатый донельзя.
— Товарищ полковник, а почему там у вас в формуле косинус равен трем?
— А в чем дело, товарищ курсант?
— Да вот нам на математике говорили, что косинус не бывает больше единицы…
— Идиоты, сразу видно, что гражданские, я вам больше скажу — в военное время значение косинуса может достигать пяти!
А значение π может равняться четырём!
Таким образом, площадь круга становится эквивалентной площади квадрата, описанного вокруг этого круга.
Это просто находка для артиллерии, зона поражения которой, как известно, ограничена кругом с радиусом, равным дальности полета снаряда и центром в точке расположения орудия. Это делается специально для того, чтобы в военное время неприятель не прятался по углам.
И решается самая нерешаемая задача тысячелетия, квадратура круга.
А вычислить максимум из максимумов по батчам не считается?
Аналогов нет и это другое? https://spectrum.ieee.org/1-bit-llm
почему ссылка идет в "газете.ру", а не в профильный журнал?
в нейросетях/LLM до сих пор нет общепризнанных метрик и всем приходится говорить про 30-40% своих домашних попугаев?
" появится личный, суверенный ИИ, который целиком помещается в ваш гаджет. Его никто не отберет и не заблокирует. В отличие от того же Chat GPT, который на самом деле находится на серверах”,
звучит скорее пугающе с учетом закона о предустановленом софте. каждый получает надсмоторщика который сообщит о дискредитации куда надо, если она возникнет. что ж начинаю понимать что древние трубки приобретают все больше плюсов по мере развития технологий и эволюции политического режима у нас в стране. жаль в школе не преподавали двоемыслие. тяжело перестраиваться на новые рельсы.
Открыл и почииал что за компания. И стало ясно. Это ж те походу кто ПО для камер наблюдения разрабатывает. Системы распознания лиц и поиск по интернетам этих лий. Ну-ну. Ученые.
Российские ученые нашли способ, как превзойти тензорный процессор от Google