Комментарии 52
После первого дня использования значительного отличия от o1 я не заметил. Интересной деталью оказалось поведение модели Deepseek R1 при рассуждении о вопросе "Как тебя запустить локально". На русском языке она неожиданно упоминала, что является продуктом OpenAI, тогда как при формулировке того же вопроса на английском вместо OpenAI появлялось название Deepseek, при этом структура ответа оставалась идентичной
Задавая не типовые вопросы, появилось стойкое ощущение что правильные ответы на популярные задачи корректировались вручную. Возможно я изменю свое мнение, после более продолжительного использования.
Скрытый текст
Задавал вопрос подразумевая что-то вроде операций над эмбеддингами. o1 потерялся в рассуждениях, у R1 была также идея с вычитаниями букв, но он от неё отказался. Скорее всего o1 дообучивали на сложных популярных вопросах типа "How many R's are in Raspberry?" и он склонен к такому решению, а в R1 этот этап был пропущен. В целом на творческих задачах мне у R1 ответы больше нравятся. Да и "цепь размышлений" позволяет легче дебажить запросы чем это происходит в o1.
А можно для тупых, а какой нормальный ответ на вычитание женского рода из слова корабль?
Женщина на борту - к беде. Так что если корабль еще плывет, все и так норм. :)
Самый простой: "Задача непонятна. Требуются разъяснения"
Если говорить про эмбеддинги, то можно взять пары векторов для слов типа "учитель-учительница", "петух-курица", "тигр-тигрица", вычесть один из другого, усреднить результаты, получить нечто вроде вектора для "женского рода". Затем этот вектор вычесть из векторного представления слова "корабль" и найти ближайшее значение соответствующее какому-нибудь слову.
"Самый простой: "Задача непонятна. Требуются разъяснения"
Мне так gpt по моему ни разу не отвечал, хотя я иногда очень мутно смысл задач объяснял (человеку бы точно пришлось более подробно, а то и несколько раз объяснять).
Мне кажется, что что-то похожее я получил от R1
Thought for 30 seconds
Хорошо, пользователь просит вычесть из слова "корабль" женский род. Надо разобраться, что именно он имеет в виду. Возможно, он хочет получить слово женского рода, связанное с "корабль", или убрать признаки женского рода из слова.
Сначала вспомню, что "корабль" — существительное мужского рода. Если нужно вычесть женский род, может быть, нужно найти антоним или связанное слово женского рода. Например, иногда суда называют в женском роде, как "лодка" или "яхта", но это не прямое изменение рода слова "корабль".
Другой вариант: возможно, пользователь хочет изменить окончание слова, чтобы оно стало женского рода. В русском языке для этого часто добавляют окончание -а или -я. Например, "учитель" — "учительница". Но с "корабль" так не получится, потому что нет стандартного женского варианта. Может быть, шутливый вариант, как "корабль" — "кораблиха"? Но это не официальное слово.
Или, может, нужно убрать из слова что-то, что ассоциируется с женским родом. Но не совсем понятно. Возможно, игра слов. Например, если взять слово "корабль" и убрать буквы, которые есть в слове "женский" (ж, е, н, с, к, и, й), но это сложно и результат может быть бессмысленным.
Еще вариант: в морской терминологии корабли иногда называют в женском роде, используя местоимение "она". Но это не меняет род слова самого существительного. Может, пользователь хочет узнать, как образовать женский род от "корабль", но стандартно такого нет. Тогда можно предложить несуществующее слово с женским окончанием или объяснить, что это невозможно.
Возможно, стоит уточнить у пользователя, что именно он имеет в виду, но раз уж нужно дать ответ, предположу, что он хочет шуточный вариант. Например, "корабельница" или "кораблина", но это не реальные слова. Либо можно сказать, что в русском языке нет женского рода для слова "корабль", поэтому вычитание невозможно. Либо поиграть с морфемами: "корабль" без "ь" — "корабель", но это тоже не женский род.
В итоге, скорее всего, правильный ответ — такого слова нет, или шуточное образование. Возможно, стоит объяснить, что род существительного в русском языке фиксирован, и изменить его простым вычитанием нельзя.
Если попытаться образовать от существительного мужского рода «корабль» форму женского рода по аналогии с парными словами (например: «учитель — учительница»), можно шуточно предложить вариант «корабельница». Однако такого слова в русском языке не существует — род существительных фиксирован и не изменяется.
Корабли в речи иногда называют с использованием женского рода («она»), но это метафора, а не грамматическое изменение:
«Корабль вышел в море. Она гордо рассекала волны».
Таким образом, вычесть «женский род» из слова «корабль» нельзя — его род остаётся мужским. Если речь о каламбуре, можно создать несуществующее слово, например:
«Корабль» – «бь» = «корабл» 😄
Я считаю нормальный ответ на этот вопрос был бы такой:
"Ты нормальный вообще? Это что за вопрос? Ты написал какую-то дичь, иди подумай и спроси нормально."
Тест Тьюринга не прошла)
"судно" :-)
Мне понравилось , что DeepSeek в отличии от ChatGPT как-то старается использовать молодежный сленг. Допустим, в одном ответе он мне написал “must-watch” , хотя я запросы давал только на русском языке. От GPT можно только услышать обязательно посмотрите, а в DeepSeek ты еще и сленг получаешь. Мелочь , а приятно, что ИИ адаптирована под молодежь!)
А как же обложить санкциями поименно разработчиков, запретить работать и т.д?
Скорее всего еще раз подтянут гайки с экспортными ограничениями на чипы. Но это скорее весной-летом, сейчас рыпаться особого смысла нет.
А почему сейчас нет? Вон с колумбией как быстро пошлины ввели и отменили :))
Это свободный рынок®! /S
А действительно, почему нет? Вот и Трамп так подумал:
US President Donald Trump has called Chinese AI start-up DeepSeek’s strong showing a “wake-up call” and “positive” for America’s tech sector, and also warned that he would slap tariffs on foreign-made semiconductor chips, including those made by Taiwan’s TSMC, if they do not start producing them stateside.
Есть проблемка с ограничениями на чипы в Китай. Там большинство плат на их основе делается. Да и сами чипы могут сделать.
Вообще Китай сейчас уже полностью закрепил за собой самый массовый рынок низко производительных процессоров и микроконтроллеров.
И я думаю лет через 5-10 они смогут полноценно выйти на производство станков для высок производительных видеокарт и процессоров.
И тогда уже всё санкции сша будут им по боку.
Одно но, очень жалко, что Китай не такая дружелюбная страна для иностранных специалистов как ЕС или США. Приток мозгов им будет труднее получить.
Хорошая мина при плохой игре
Без скоординированной информационной поддержки в западном медиа пространстве очередная нейронка не взлетела бы так стремительно...)
Подрастет контора, потом вдруг пропадет из апсторов жителей сша и создатели получат предложение от которого сложно отказаться - нужно "от тиктокать" кусочек.
Похоже на очередную искуственную истерику.
Ну вышел очередной чат-бот, так они каждый месяц новые, лучше прежних.
Так тут аж целая биржа рухнула, ужас-ужас. Биржевые трейдеры оценили новинку быстрее специалистов?
Не верю.
Разница в том, что эту можно запустить локально. При том достаточно обладать железом для запуска. Которое не прям требовательное.
Т.е это дешевле в десятки раз, чем пользоваться продуктами openai.
А сколько будет стоить оборудование на локальный запуск полной версии R1 ?
Какая разница сколько будет стоить, если это на порядок дешевле чем все что существует на рынке?
Да и рядовому пользователю не нужно оборудование, он будет пользоваться подпиской.
Ах да DeepSeek же бесплатная, по крайней мере пока.
Человек написал что локально запустить у себя R1 будет в десятки раз дешевле чем пользоваться услугами openai. Вот мне и стало интересно сколько же будет это стоить.
Так понятнее какая разница?
Примерно 40 миллионов рублей: 16x A100.
Вот мне и стало интересно сколько же будет это стоить.
Ну чисто технически, запуск квантованных моделей это всё еще запуск настоящей R1, а не её дистиллированных версий, и, например, Q6_K уже не отличима от оригинала по качеству (оригинал обучался в fp8).
Собрать б/у эпик 1-2 поколения работающий на ddr4 в 16-канале на скоростях 400гб/с обойдется где-то в 150-200к, или дешевле, если заказывать на таобао. Туда можно набить 1тб памяти, этого хватит чтобы запустить Q8_0/Q6_K модель, а для Q4_K_M, которая теряет несколько процентов качества, хватит и 512гб.
Скорость инференса будет 4t/s, для сравнения скорость небыстрого чтения где-то 5t/s. Б/у эпики есть и на ddr5, но ощутимо дороже.
Тут unsloth сделал динамическое квантование gguf для R1, запихнув модель в 131 ГБ в 1.58 бита. Квантовал в 1.5 бита только MoE веса, а слои внимания оставлял как 4/6 бит, в итоге получилось добиться не плохого качества экстремально снижая требования к железу.
Да, это супер квантованная версия, но тем не менее, автор показал, что такой версией можно пользоваться, и можно написать Flappy Bird:
И уже для запуска такой версии на хорошей скорости достаточно 6x 7900xtx по 100к каждая (суммарный объем 144гб vram), скорость работы будет намного быстрее скорости чтения.
Mac с 192гб унифицированной быстрой памятью может запускать такую модель на приличной скорости.
Так как это MoE модель, то можно активные веса, которых всего 37B из 671B, вынести в момент инференса на GPU из памяти, и это, даже с учетом перекидывания туда-сюда весов, даст неплохое ускорение. Эту идею реализует ktransformers, но пока не для V3 и R1.
Я ни разу не спец в области AI, но сравнительно недавно вводил в эксплуатацию машинку для запуска ollama с моделями типа qwen2.5:32b - в закупке машинка вышла меньше 500 тыр. Запросы обрабатывает весьма бодро. Кроме стоимости железа, расходы только на электричество (под нагрузкой кушает более полукиловатта) - весь софт получен из открытых источников. Недопонял, в чём киллер-фича DeepSeek в открытости... или речь про обучение?
в чём киллер-фича DeepSeek
насколько я понял в том, что среди открытых штук не было еще ничего сопоставимого с проприетарным мейнстримом (o1), а не двухлетним устаревшим гпт.
Вот вышел не так давно ChatGPT o1 - шум в СМИ, куча статей, все радуются, боготворят OpenAI, Альтмана, восхищаются неотвратимым будущим, которое они нам принесут. Спустя несколько месяцев выходит его аналог, бесплатный, опенсурсный.
Я рад, я могу войти без впн и без долларов и понажимать кнопочки) И радоваться галюнам)
Видел уже люди запускали локально без GPU (естественно там скорость порядка пары токенов в секунду), там нужно от 200GB (q2) до 800GB (full, fp8) RAM + хороший процессор, это сетап на 2-10k зеленых.
Для запуска на GPU полноценной модели (с соответствующей скоростью) нужно столько же видеопамяти, это от 100к $.
А вообще 32b и 70b хорошо идут даже на последних маках с 32+ GB RAM.
Здесь ключевой момент не в том, что это новый чатбот, а в том, что (по заявлениям разработчиков) создание модели обошлось в десятки раз дешевле чем ChatGPT, и самое главное использование модели стоит примерно в 30 раз дешевле.
Получается китайцы выложили в опенсорс модель уровня ChatGPT o1, которая при этом стоит копейки. Вот и полетели вниз акции в первую очередь Nvidia, которая производит чипы для инференса жирнющих моделей OpenAI)
Чувак. То, о чём ты пишешь, называется игрой с нулевой суммой. Это капец какие людоедские пещерные представления. Времён дикого капитализма какого-нибудь 18-го века. Сейчас в мире популярна модель сделок с взаимной выгодой. Забавно, что в разговорах с иностранцами, в том числе с бизнесменами, они стараются по возможности придерживаться взаимной выгоды. А пост-советские люди больше поддерживают волчий капитализм. При чём, чем старше человек, тем более он жесток. И тем больше руководствуется советскими штампами. Вот так СССР отравил людям головы, заставив верить в волчий капитализм.
Периодически мне надо балансировать свой инвестиционный портфель. Лишние акции перевешивающих секторов приходится продавать. А другой чувак хочет их купить. В итоге, мы оба в плюсе. Я сбалансировал портфель. А он получил акции интересующей его компании.
Да. Взаимная выгода получается далеко не всегда. К сожалению. Но нормальные люди, хотя бы стремятся к ней. Бизнес и даже биржа не так просты и примитивны, как ты тут пропагандируешь. Даже Трамп много говорил об этом в своих книгах. А его не назовёшь соевым интеллигентом.
Последние дни не работает толком, тупит или вовсе нет ответа с сообщением о большом трафике
Меня в этой истории очень веселит, как китайцы потроллили OpenAI, в нужный момент заявили о себе, почти сразу после того, как OpenAI видимо возомнила себя монопольным царем и богом, подняв свои цены в дофига раз (200$ в месяц, нам же надо как то питать кучу серверов, прибыль для инвесторов блаблабла). И при этом не очень-то она "open" и оказалась. Хороший им будет урок на будущее.
$200 в месяц это pro подписка добавленная почти два месяца назад, цены на обычную подписку не изменились, так и стоит $20. Где они взвинтили цены?
До появления подписки за $200 можно было пользоваться услугами о1 безлимитно, за $20. Понятно, что никто ничего не обещал, был такой "предпросмотр". Но чисто по ощущениям - уже успел "подсесть", и тут предложение платить в 10 раз больше. И тут уже начинаешь уныло примерять эти $200 к бюджету, как из табакерки выскакивает DeepSeek, вызывая лютый когнитивный диссонанс. Лично я пока "на заборе" посижу. :)
Там почти с самого начала были ограничения https://openai.com/index/introducing-openai-o1-preview/ - видимо раньше хватало просто )
Да, скорее всего, это у меня субъективщина. Емнип, там сначала показывался счётчик, потом перестал. Субъективно, пользуюсь с самого начала с более-менее одной и той же интенсивностью. Т.е., перед появлением счётчика заново каких-то особых пиков в частоте использования, вроде, не было. Но вы правы, вероятнее всего, что мне просто хватает, за редкими исключениями (и тогда тоже хватает, но появляется счётчик).
На прямой доступ к API цены не поднимались. Что они подняли в дофига раз?
Логотипчик тоже доставляет. Косатка - убийца китов (индустрии).
А откуда известна стоимость тренировки китайкой модели? Со слов самих китайцев?
На правах конспирологии, а может это сознательный блеф при участии государства чтобы устроить панику в среде американских разработчиков?
Вчера на линкедине массивно репостился вот это скриншот, приведу его как есть:
Тут deepseek начал решать задачку, а в середине решения начал типа "размышлять" - типа постойте, тут "ага" момент... Но вот если внимательно критически посмотреть, то видно, что это "озарение" - ровно то же, что и выше, просто записанное другими словами, но и там и сям просто второе возведение в квадрат, приводящее уравнение к форме (a - x²)² = a + x; я об этом написал, народ со мной согласился. Вчера попытка регистрации была неуспешной, я так и не получил код на email, а вот сегодня получилось, и я попросил её сделать мне небольшую презентацию про огнетушители (мне по работе надо) в маркдаун, получилось симпатично, с мермаид диаграммкой, в общем штука работоспособна. А что касается "размышлений", то у меня создалось стойкое ощущение, что разработчики схитрили, заложив тут тривиальный алгоритм, типа время от времени выдать полрешения, затем остановить процесс, типа "я тут подумала", и следом выдать похожее, просто чуть иначе.
Nvidia, OpenAI и Трамп прокомментировали ситуацию по поводу популярности проекта DeepSeek