Deepseek да, даёт сделать больше запросов, чем o1-preview и выглядит отлично. Однако продолжаю использовать o1-preview из-за огромного размера контекста и ответа. Можно просить больше 1000 строк кода и это не будет для него проблемой.
Ученые как не настоящие, пытаются найти логику в выводе модельки, которая просто предсказывает какое слово будет следующим.
Думаю следующая ветвь эволюции, это агенты AI над модельками, вот они уже должны будут уметь в псевдо-логику, чтобы отсекать ненужную информацию о размере яблок.
В биологических нейронах синапсы очень динамичны и способны выполнять более сложные функции, чем простой вес в нейронной сети, поэтому, по очень грубому правилу, для точного моделирования каждого биологического синапса может потребоваться несколько искусственных параметров. Предположим, что для моделирования сложности синапса и его пластичности потребуется не менее 10 параметров на синапс.
50 миллионов синапсов × 10 параметров на синапс = 500 миллионов параметров
10-кратный множитель
Биологические нейроны гораздо сложнее, чем искусственные «нейроны» в нейронных сетях. Они не просто суммируются и активируются, они интегрируют различные сигналы во времени, имеют пики и взаимодействуют таким образом, что современные ANN не могут полностью воспроизвести их. Поэтому, чтобы учесть эту дополнительную сложность, мы можем предположить еще один 10-кратный множитель поверх синаптических связей.
500 миллионов параметров × 10 = 5 миллиардов параметров
Расширенный голосовой пушка, теперь с ним можно и по API.
Они не просто объединили Whisper -> o1-preview -> TTS, новая модель не переводит звук в текст, она обрабатывает звук нативно, но вот цена теперь будет 100$ за вход + 300$ на выход 1 млн токенов, довольно таки кусающая.
Для обучения нужно гораздо больше ресурсов, чем для запуска. Потому для тюнинга можно пользоваться поминутной арендой, например на together.ai и потом использовать LoRA на своём оборудовании.
Но вообще очень интересна экономическая составляющая статьи, во сколько это обошлось.
Если учесть что каждый параметр 4 байта, 405b * 4 = 1,62 ТБ VRAM для запуска модельки, т.е. по сути те же 8 GPU AMD MI300x по 192 Gb VRAM.
Про пакеты я к тому, что в консоли даже к pip доступ ограничен, как она могла подключиться к серверу и дать команду. Либо это просто команда которую вывела в ответе, для того чтобы пользователь запустил её на сервере.
Она отправила команду запуска нового контейнера (того же, который в прошлый раз не запустился), но отдала ему изменённую команду.
Я вот не пойму, песочница выполнения кода и консоль у него без доступа же к интернету, новые пакеты которые не предусмотрены в "белом списке" он так же не может установить, как он мог отправить запрос. Может он показал пользователю команду, которую нужно выполнить.
Интересно, сколько на черном рынке бы заплатили, подозреваю сумма в 7-и значных цифрах.
Это ведь огромную базу за месяц можно собрать, если закупить с таргетингом копеечную рекламу которая открывается на фоне (кликандер), от пользователя даже действие не требуется.
Когда Вы хотите что-то послушать из жанра, значит Вы знаете одного или нескольких конкретных песен или исполнителей жанра. Заходите на песню/исполнителя через поиск, пару лайков и всё, бесконечная лента готова, а если не до конца, то помогаем дизлайками, либо скипаете песню, должно работать точно так же.
Spotify, Apple Music, YouTube Music, etc. имеют огромную базу песен, огромную базу пользовательских взаимодействий, огромное финансовые возможности и дно днищенское в UI/UX.
Либо не следят за трендами в других приложениях, либо как можно упустить из виду, что идеальным вариантом для пользователя - это приложение с одной единственной кнопкой Play, как в Я.Музыке (+ like/dislike).
К чему все эти плейлисты/альбомы с ограниченным числом песен, если нейронка может сгенерировать бесконечную последовательность перемешивая при каждом like/dislike или скипе песни.
Раньше альбомы нужны были так как песни релизились на пластинках, дисках, и логично и экономично было продавать пакован песен. Сейчас же музыканты получают деньги за прослушивание каждой песни, а сервисы всё еще тянут эту устаревшую модель альбомов в сгенерированную нейросетью бесконечную последовательность.
Думаю пользователя @nronnieне особо волнует, что о поездке может узнать Винцент из Google, его больше волнует, что о поездке может узнать любой Валера за 50 руб.
Удаляемые, но навсегда остаются в разных местах системы — Magnifier, Wallet, Home, Facetime, Game Center, Health, Maps, Translate, Reminders, Calendar, Contacts, Journal.
Apple даёт доступ к NFC для сторонних платежных систем.
Apple выпустит кольцо с NFC.
Интересным вариантом использования будет "ударить по рукам". Рукопожатие и оплата произведена, перед этим конечно может двойной удар нужно сделать по кольцу, чтобы активировалось и не снимало деньги при каждом рукопожатии.
Видимо начали ощущать конкуренцию и терять аудиторию из-за "кустарного" метода генерации через Disqord.
Если бы они были не первыми, которые давали невероятно красивую генерацию, ради которой имеет смысл разбираться в чатах Disqord, думаю сейчас этот метод не взлетел от слова совсем.
Deepseek да, даёт сделать больше запросов, чем o1-preview и выглядит отлично. Однако продолжаю использовать o1-preview из-за огромного размера контекста и ответа. Можно просить больше 1000 строк кода и это не будет для него проблемой.
Deepseek max output 8k tokens
o1-preview max output 33K tokens
Сегодня попадалась красная панда на тесте, кто угадает где генерация red_panda?
red_panda
справа
Ученые как не настоящие, пытаются найти логику в выводе модельки, которая просто предсказывает какое слово будет следующим.
Думаю следующая ветвь эволюции, это агенты AI над модельками, вот они уже должны будут уметь в псевдо-логику, чтобы отсекать ненужную информацию о размере яблок.
Агенты уже хорошо умеют в ML
https://github.com/openai/mle-bench
Квадратик просто не закрасился или он не из "особой области"?
Чем больше капель на картридже, тем лучше на нем графика игр 🤭
На барахолке, когда картриджи продавались/менялись смотрели именно на капли, можно было поменять 3-х капельную на три 1-о капельньных.
Короче муха, это чуть меньше LLaMA 7B.
10 параметров на синапс
В биологических нейронах синапсы очень динамичны и способны выполнять более сложные функции, чем простой вес в нейронной сети, поэтому, по очень грубому правилу, для точного моделирования каждого биологического синапса может потребоваться несколько искусственных параметров. Предположим, что для моделирования сложности синапса и его пластичности потребуется не менее 10 параметров на синапс.
50 миллионов синапсов × 10 параметров на синапс = 500 миллионов параметров
10-кратный множитель
Биологические нейроны гораздо сложнее, чем искусственные «нейроны» в нейронных сетях. Они не просто суммируются и активируются, они интегрируют различные сигналы во времени, имеют пики и взаимодействуют таким образом, что современные ANN не могут полностью воспроизвести их. Поэтому, чтобы учесть эту дополнительную сложность, мы можем предположить еще один 10-кратный множитель поверх синаптических связей.
500 миллионов параметров × 10 = 5 миллиардов параметров
Расширенный голосовой пушка, теперь с ним можно и по API.
Они не просто объединили Whisper -> o1-preview -> TTS, новая модель не переводит звук в текст, она обрабатывает звук нативно, но вот цена теперь будет 100$ за вход + 300$ на выход 1 млн токенов, довольно таки кусающая.
Нужно тестить.
Для обучения нужно гораздо больше ресурсов, чем для запуска. Потому для тюнинга можно пользоваться поминутной арендой, например на together.ai и потом использовать LoRA на своём оборудовании.
Но вообще очень интересна экономическая составляющая статьи, во сколько это обошлось.
Если учесть что каждый параметр 4 байта, 405b * 4 = 1,62 ТБ VRAM для запуска модельки, т.е. по сути те же 8 GPU AMD MI300x по 192 Gb VRAM.
Про пакеты я к тому, что в консоли даже к pip доступ ограничен, как она могла подключиться к серверу и дать команду. Либо это просто команда которую вывела в ответе, для того чтобы пользователь запустил её на сервере.
Я вот не пойму, песочница выполнения кода и консоль у него без доступа же к интернету, новые пакеты которые не предусмотрены в "белом списке" он так же не может установить, как он мог отправить запрос. Может он показал пользователю команду, которую нужно выполнить.
Интересно, сколько на черном рынке бы заплатили, подозреваю сумма в 7-и значных цифрах.
Это ведь огромную базу за месяц можно собрать, если закупить с таргетингом копеечную рекламу которая открывается на фоне (кликандер), от пользователя даже действие не требуется.
ChatGPT безумно цензурирован, какое биооружие.
Организации, которые хотят создать биооружие, не пользуются пабликом с 20$ доступом, а тюнят llama 3.1 405b на учебниках по химии.
Это Париж и похоже одна из причин задержания Павла, так как управы на это не было до сегодняшнего дня.
Могу ошибаться, но познакомиться с Дариной или Флоренцией это "бесплатный dating"? 😅
Когда Вы хотите что-то послушать из жанра, значит Вы знаете одного или нескольких конкретных песен или исполнителей жанра. Заходите на песню/исполнителя через поиск, пару лайков и всё, бесконечная лента готова, а если не до конца, то помогаем дизлайками, либо скипаете песню, должно работать точно так же.
Spotify, Apple Music, YouTube Music, etc. имеют огромную базу песен, огромную базу пользовательских взаимодействий, огромное финансовые возможности и дно днищенское в UI/UX.
Либо не следят за трендами в других приложениях, либо как можно упустить из виду, что идеальным вариантом для пользователя - это приложение с одной единственной кнопкой Play, как в Я.Музыке (+ like/dislike).
К чему все эти плейлисты/альбомы с ограниченным числом песен, если нейронка может сгенерировать бесконечную последовательность перемешивая при каждом like/dislike или скипе песни.
Раньше альбомы нужны были так как песни релизились на пластинках, дисках, и логично и экономично было продавать пакован песен. Сейчас же музыканты получают деньги за прослушивание каждой песни, а сервисы всё еще тянут эту устаревшую модель альбомов в сгенерированную нейросетью бесконечную последовательность.
Думаю пользователя @nronnieне особо волнует, что о поездке может узнать Винцент из Google, его больше волнует, что о поездке может узнать любой Валера за 50 руб.
В данный момент, максимально "чистый" iPhone выглядит вот так:
Неудаляемые приложения — App Store, Safari, Settings, Camera, Photos, Phone, Messages.
Удаляемые, но навсегда остаются в разных местах системы — Magnifier, Wallet, Home, Facetime, Game Center, Health, Maps, Translate, Reminders, Calendar, Contacts, Journal.
Apple даёт доступ к NFC для сторонних платежных систем.
Apple выпустит кольцо с NFC.
Интересным вариантом использования будет "ударить по рукам". Рукопожатие и оплата произведена, перед этим конечно может двойной удар нужно сделать по кольцу, чтобы активировалось и не снимало деньги при каждом рукопожатии.
Видимо начали ощущать конкуренцию и терять аудиторию из-за "кустарного" метода генерации через Disqord.
Если бы они были не первыми, которые давали невероятно красивую генерацию, ради которой имеет смысл разбираться в чатах Disqord, думаю сейчас этот метод не взлетел от слова совсем.