Ну я скорее имею в виду именно работу по переводу с человеческого языка на юридический и обратно. Вообще, все юридические перипетии уже давно пора перевести в программный код и обвесить юнит-тестами. LLM-ка может это сделать и нормальным языком объяснить. А ответственность будет нести тот, кто нажимает на кнопку. Собственно, как это сейчас происходит в случаях, когда работа выполняется с помощью программного продукта - вычисления выполняет программа, а ответственность несёт "оператор ЭВМ".
На самом деле, если LLM сможет на себя взять всю бюрократию, то эффект от внедрения такого решения может быть сравним с переходом от бумажного документооборота к электронному.
Из того, что мне попадалось на глаза, абсолютно все французские юристы согласны с тем, что претензии прокуратуры - курам на смех. И тот факт, что они не передают дело в суд, говорит о том, что им просто нечего предъявить.
С другой стороны, во Франции действительно есть уникальный закон LOPMI, который подразумевает уголовную ответственность для владельцев цифровых платформ, распространяющих запрещённый контент. И если бы Telegram его распространял, то Дуров был бы виновен. И вот прокуратура хочет доказать, что раз мало боролись, значит, распространяли (что, естественно, полный бред).
С третьей стороны, Telegram и правда сильно упростил криминальным элементам жизнь. И в случае, например, с террористами, этот вопрос уже порешали ещё в прошлом десятилетии (Telegram сдаёт с потрохами террористов спецслужбам). А вот обычных преступников - ну не особо.
Ну и в итоге образуется такая несколько патовая ситуация, при которой проблема имеется (криминал юзает телегу), но законодательной базы, которая бы это в деталях регулировала, не существует. И при этом есть 1 (один) человек, с которым можно просто договориться и всё порешать (как это сделали в случае с террористами). Вот, собственно, это сейчас и пытаются сделать. И, судя по всему, довольно-таки успешно, потому что телега начала усиленно сотрудничать с правоохранительными органами по всему миру.
По-моему, это отличная идея (по внедрению открытых моделей в Шедеврум). Насколько я понимаю, вся соль Janus в том, что он при увеличении количества параметров в модели показывает гораздо большее улучшение в качестве, чем все другие существующие модели. В плане же конечного результата Janus действительно отстаёт.
Поэтому было бы здорово, если бы Яндекс добавил возможность использования Flux, а также топовых моделей для SD с Civitai.
И да, есть же ещё Hunyuan для видео-генерации - его тоже можно добавить. Даёшь передовой оупен-сорс в массы 📣
Судя по видосу на их сайте, выглядит абсолютно нереалистично. Недавний OmniHuman-1 куда более реалистично выглядит (и не нужно никакого 5-минутного видео).
ЦОДы - это беспроигрышный актив. Даже если завтра OpenAI обанкротится, а на ИИ будет поставлен крест, то вычислительные мощности всегда найдут спрос. В самом крайнем случае их можно просто-напросто сдавать в аренду, тем более, что в данном случае это можно делать виртуально клиентам по всему миру. Кроме того, для запитки ЦОДов планируют строить мини-АЭС, а это тоже абсолютный актив, который всегда найдёт своих потребителей - хоть с ИИ, хоть без.
Единственное серьёзное опасение высказал Маск - они могут тупо не собрать денег. Но Сэм Алтман всю жизнь только этим и занимался - убеждал других людей отдать ему свои деньги. Это его любимое дело.
На самом деле, это вам только кажется, что идея была ваша. А в реальности он просто знал, за какие ниточки дёргать, чтобы вы ему это предложили. И знал, что вы это выложите на Хабре. В общем, всё идёт по плану :)
Претензии по дистилляции относятся к нерассуждающей модели DeepSeek-V3. А на четвёртом шаге в вашем списке к данным, сгенерированным R1-Zero, добавляют также SFT, который содержит в том числе данные, использовавшиеся для DeepSeek-V3:
... we adopt the DeepSeek-V3 pipeline and reuse portions of the SFT dataset of DeepSeek-V3.
В итоге этот дистиллят перетёк из DeepSeek-V3 в DeepSeek-R1.
И вот теперь самый важный момент — они сделали всё open source. Буквально всё: и саму модель, и механику обучения, и все идеи опубликовали на своей странице Hugging Face.
А потом нейросети чуть поумнели, и уже сейчас они могут сильно удешевить подобного рода конвертации. Как только качество станет приемлемым, будем смотреть "Семнадцать мгновений весны" в 4к и 3D с улучшенными басами и спецэффектами.
Чтобы собрать эту информацию воедино, нужно проделать работу.
А вот если в Википедии будет статья "Как собрать бомбу" - это уже будет облегчение задачи.
Так-то оно так. Но если школьники начнут в гараже делать биологическое оружие, то это будет неприятно.
Ну я скорее имею в виду именно работу по переводу с человеческого языка на юридический и обратно. Вообще, все юридические перипетии уже давно пора перевести в программный код и обвесить юнит-тестами. LLM-ка может это сделать и нормальным языком объяснить. А ответственность будет нести тот, кто нажимает на кнопку. Собственно, как это сейчас происходит в случаях, когда работа выполняется с помощью программного продукта - вычисления выполняет программа, а ответственность несёт "оператор ЭВМ".
На самом деле, если LLM сможет на себя взять всю бюрократию, то эффект от внедрения такого решения может быть сравним с переходом от бумажного документооборота к электронному.
Вы про Soft-label дистилляцию. Она более дорогая и требует доступа к весам основной модели.
А при парсинге через API используют Hard-label дистилляцию. Подробнее тут - https://habr.com/ru/companies/yandex/articles/878230/
Из того, что мне попадалось на глаза, абсолютно все французские юристы согласны с тем, что претензии прокуратуры - курам на смех. И тот факт, что они не передают дело в суд, говорит о том, что им просто нечего предъявить.
С другой стороны, во Франции действительно есть уникальный закон LOPMI, который подразумевает уголовную ответственность для владельцев цифровых платформ, распространяющих запрещённый контент. И если бы Telegram его распространял, то Дуров был бы виновен. И вот прокуратура хочет доказать, что раз мало боролись, значит, распространяли (что, естественно, полный бред).
С третьей стороны, Telegram и правда сильно упростил криминальным элементам жизнь. И в случае, например, с террористами, этот вопрос уже порешали ещё в прошлом десятилетии (Telegram сдаёт с потрохами террористов спецслужбам). А вот обычных преступников - ну не особо.
Ну и в итоге образуется такая несколько патовая ситуация, при которой проблема имеется (криминал юзает телегу), но законодательной базы, которая бы это в деталях регулировала, не существует. И при этом есть 1 (один) человек, с которым можно просто договориться и всё порешать (как это сделали в случае с террористами). Вот, собственно, это сейчас и пытаются сделать. И, судя по всему, довольно-таки успешно, потому что телега начала усиленно сотрудничать с правоохранительными органами по всему миру.
По-моему, это отличная идея (по внедрению открытых моделей в Шедеврум). Насколько я понимаю, вся соль Janus в том, что он при увеличении количества параметров в модели показывает гораздо большее улучшение в качестве, чем все другие существующие модели. В плане же конечного результата Janus действительно отстаёт.
Поэтому было бы здорово, если бы Яндекс добавил возможность использования Flux, а также топовых моделей для SD с Civitai.
И да, есть же ещё Hunyuan для видео-генерации - его тоже можно добавить. Даёшь передовой оупен-сорс в массы 📣
Прогресс не стоит на месте - https://research.nvidia.com/labs/toronto-ai/DiffusionRenderer/
Судя по видосу на их сайте, выглядит абсолютно нереалистично. Недавний OmniHuman-1 куда более реалистично выглядит (и не нужно никакого 5-минутного видео).
ЦОДы - это беспроигрышный актив. Даже если завтра OpenAI обанкротится, а на ИИ будет поставлен крест, то вычислительные мощности всегда найдут спрос. В самом крайнем случае их можно просто-напросто сдавать в аренду, тем более, что в данном случае это можно делать виртуально клиентам по всему миру. Кроме того, для запитки ЦОДов планируют строить мини-АЭС, а это тоже абсолютный актив, который всегда найдёт своих потребителей - хоть с ИИ, хоть без.
Единственное серьёзное опасение высказал Маск - они могут тупо не собрать денег. Но Сэм Алтман всю жизнь только этим и занимался - убеждал других людей отдать ему свои деньги. Это его любимое дело.
Интересная подборка, спасибо! Мне ещё запомнилась статья про сверхвеса в LLM - https://habr.com/ru/articles/876620/
А ещё рассуждающий алгоритм DeepSeek-R1 можно воссоздать менее чем за $30 - https://github.com/Jiayi-Pan/TinyZero
На самом деле, это вам только кажется, что идея была ваша. А в реальности он просто знал, за какие ниточки дёргать, чтобы вы ему это предложили. И знал, что вы это выложите на Хабре. В общем, всё идёт по плану :)
Претензии по дистилляции относятся к нерассуждающей модели DeepSeek-V3. А на четвёртом шаге в вашем списке к данным, сгенерированным R1-Zero, добавляют также SFT, который содержит в том числе данные, использовавшиеся для DeepSeek-V3:
В итоге этот дистиллят перетёк из DeepSeek-V3 в DeepSeek-R1.
Вот мультики и последний видос - прям очень реалистично.
Так это посыл от мировых СМИ такой. Они почему-то решили, что AGI достигнут, и больше никому не нужны дорогие GPU...
Ну так то просто эксперимент был, проверка самого концепта. До них никто и не думал, что синтетика вообще даст результат.
Первыми это сделали в Стэндфортском университете аж в марте 2023 года, выпустив Alpaca.
Кроме датасетов ;)
А потом нейросети чуть поумнели, и уже сейчас они могут сильно удешевить подобного рода конвертации. Как только качество станет приемлемым, будем смотреть "Семнадцать мгновений весны" в 4к и 3D с улучшенными басами и спецэффектами.
2048 ускорителей.
2664К часов на пред-обучение + 119К часов на расширение контекста + 5К часов на пост-обучение = 2 788К часов работы на 2048 GPU-ускорителях.