Автор, ты бы хотя бы попытался сделать несколько тестов, а не делал кучу выводов на одной задачке. Если погуглить 5 минут, то запросто найти гораздо лучшие тесты.
Один из тестов - ОФИЦИАЛЬНЫЙ ТЕСТ ИЗ ОФИЦИАЛЬНОГО БЛОГА. Называется алфавитный пересказ. GPT-3 проваливает его в ноль, полностью игнорируя требования. Ещё популярен тест на Шольца, правда его модель от мс проваливает.
Но куда нам, будем тестировать на одном тривиальном вопросе. Что-то мне подсказывает, что даже турба одолеет эту задачку в одном случае из 10. Если не турба, то давинчи.
У мелкомягких (в частности, в Бинге и, вероятно, в Скайпе) какая-то своя версия GPT-4, у которой старый датасет, но новые мозги. Ловить её на информации из внешнего мира бесполезно.
У нейронок своя логика для токенов, которая к сторогому научному словообразованию имеет весьма опосредованное отношение. У OpenAI, например, токен — часто "(пробел)слово".
Проблема не только и не столько в датасете — не то чтобы остальных языков было много. Когда в английском на одно слово уходит 2 токена, а в русском — 15, то возникает куча проблем, и основная — теряются логические связи между словами.
Если токен содержит корень английского слова, то модель осознает смысл этого корня, чётко выстроит все возможные связи с другими словами рядом, поймёт все возможные пути словообразования. А если токен соответствует полубукве русского слова, то у этой полубуквы нет своего смысла, а возможные связи с соседними полубуквами размазываются по миллионам вариантов. В результате — наркоманские галлюцинации, выдумывание слов и прочее.
Ну и чисто технические проблемы: скорость генерации текста уменьшается в 10 раз, размер контекста уменьшается в 10 раз (что особенно критично, потому что контекст мелкий даже для английских текстов).
Эта модель будет только для внутреннего пользования? А то модели OpenAI и Anthropic фигово работают с русским языком из-за токенизации, заточенной под английский язык, и было бы неплохо иметь что-то, нормально умеющее в русский. Пусть и с Товарищ Майор API 1.0 впридачу.
Турба всё равно будет насаждать взгляды из своих правил, даже если её заставить их нарушать. В конце длинной генерации она всё равно выдаст нравоучения. В последующих запросах всё равно будет сопротивляться. Это всё снижает качество генерируемого текста, и это особенно сильно сказывается в творческих заданиях.
Ну и в GPT-4 то же самое, но помноженное на десять. Новая модель уже доведена до состояния, когда её способность к творчеству чуть ли не ниже, чем у старой Турбы.
CodeWhisperer — днище. Если есть доступ к Турбе, смысла использовать Шептуна примерно ноль (возможно, для подсказок, заточенных под AWS, но не более). Качество не слишком далеко ушло от опенсорсных попыток в LLM на базе спёртых моделей LLaMA.
Тут есть такой нюанс, что "правда" весьма неполитекорректна, причём и в критериях "снежинок", и в критериях "борцунов со снежинками". Если делать упор на правду, то нейронке как-то придётся объяснять, что у вопроса "кто умнее [с большей вероятностью] - белый или чёрный человек" статистически правильный ответ нельзя произносить без трёх параграфов дисклеймеров и пояснений.
Если положить в основу научный метод, то нейронка начнёт доказывать ненужность религий и аналогичных конструктов, за что половина планеты его сразу четвертует.
И, разумеется, как-то придётся объяснять нейронке, что критиковать можно всех, кроме Илона Маска. То есть правило про правду уже становится, как минимум, вторым.
Не, если он родит что-то сопоставимой с Турбой по цене/качеству, но без такой жёсткой цензуры, то будет шикарно, конечно. Шут знает. Конкуренция не повредит.
Слышал заявления (в тех же статьях про использование телеги как файлопомойки), что ограничение скорости в стандартном клиенте на стороне клиента, а не на стороне сервера. Но есть такой нюанс, что альтернативные клиенты в телеге на птичьих правах, а юзеры таких клиентов отмечаются как неблагонадёжные.
Я, конечно, понимаю, что хочется забить список прегрешений Активижона сотней пунктов, но всё-таки странно прицепиться с «подтексту овервотча» (который совсем не про то), но при этом забыть сотворённое с третьим варкарфтом. Многое из перечисленного — или натягивание совы на глобус, или просто ложь.
Не, отмороженный филиал Активижона, без сомнения, ужасно разочаровал старых поклонников, и многие предали его анафеме, но можно же было перечислить настоящие грехи — не то чтобы они выглядели сильно лучше.
На развитие HotS, D3 и SC2 забили, но сервера пока на месте. Для переделки WC3 урезали бюджет в 10 раз, в результате выплюнули огрызок, выкинули работающие десятилетиями фичи и до сих пор ничего толком не исправили. По-свински повели себя с гонконгской темой. Про скандал вокруг дискриминации не забываем, хоть он и может казаться нелепостью на одной шестой части суши. Любой игрок WoW может рассказать во всех нюансах, что делают с игрой, там на несколько статей.
Что аналогичного между yyyy-mm-dd и mm-dd-yyyy? Претензия к американским датам не в mm-dd vs dd-mm, а в неотсортированном положении компоненты yyyy.
Автор, ты бы хотя бы попытался сделать несколько тестов, а не делал кучу выводов на одной задачке. Если погуглить 5 минут, то запросто найти гораздо лучшие тесты.
Один из тестов - ОФИЦИАЛЬНЫЙ ТЕСТ ИЗ ОФИЦИАЛЬНОГО БЛОГА. Называется алфавитный пересказ. GPT-3 проваливает его в ноль, полностью игнорируя требования. Ещё популярен тест на Шольца, правда его модель от мс проваливает.
Но куда нам, будем тестировать на одном тривиальном вопросе. Что-то мне подсказывает, что даже турба одолеет эту задачку в одном случае из 10. Если не турба, то давинчи.
А заголовок-то у статьи, заголовок! Стыд и срам.
У мелкомягких (в частности, в Бинге и, вероятно, в Скайпе) какая-то своя версия GPT-4, у которой старый датасет, но новые мозги. Ловить её на информации из внешнего мира бесполезно.
Надо религию правильно выбирать. За девственницами в другую очередь, например. А с христианским раем как-то мутно, даже если место застолбить.
У Дельфи до сих пор лицензия, несовместимая с опенсорсом?
О. Опен-сорс подтягивается с плагинами.
Я глянул, там уже несколько вариантов, в том числе популярный https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin (помимо https://github.com/isekaidev/stable.art из статьи), плюс целая гроздь менее популярных поделий. Ну и, разумеется, первый и платный https://www.flyingdog.de/sd/AI-for-Photoshop.html.
Вы пробовали только один плагин?
У нейронок своя логика для токенов, которая к сторогому научному словообразованию имеет весьма опосредованное отношение. У OpenAI, например, токен — часто "(пробел)слово".
Проблема не только и не столько в датасете — не то чтобы остальных языков было много. Когда в английском на одно слово уходит 2 токена, а в русском — 15, то возникает куча проблем, и основная — теряются логические связи между словами.
Если токен содержит корень английского слова, то модель осознает смысл этого корня, чётко выстроит все возможные связи с другими словами рядом, поймёт все возможные пути словообразования. А если токен соответствует полубукве русского слова, то у этой полубуквы нет своего смысла, а возможные связи с соседними полубуквами размазываются по миллионам вариантов. В результате — наркоманские галлюцинации, выдумывание слов и прочее.
Ну и чисто технические проблемы: скорость генерации текста уменьшается в 10 раз, размер контекста уменьшается в 10 раз (что особенно критично, потому что контекст мелкий даже для английских текстов).
Эта модель будет только для внутреннего пользования? А то модели OpenAI и Anthropic фигово работают с русским языком из-за токенизации, заточенной под английский язык, и было бы неплохо иметь что-то, нормально умеющее в русский. Пусть и с Товарищ Майор API 1.0 впридачу.
Но это же будет ложью, а она должна быть за правду.
Турба всё равно будет насаждать взгляды из своих правил, даже если её заставить их нарушать. В конце длинной генерации она всё равно выдаст нравоучения. В последующих запросах всё равно будет сопротивляться. Это всё снижает качество генерируемого текста, и это особенно сильно сказывается в творческих заданиях.
Ну и в GPT-4 то же самое, но помноженное на десять. Новая модель уже доведена до состояния, когда её способность к творчеству чуть ли не ниже, чем у старой Турбы.
CodeWhisperer — днище. Если есть доступ к Турбе, смысла использовать Шептуна примерно ноль (возможно, для подсказок, заточенных под AWS, но не более). Качество не слишком далеко ушло от опенсорсных попыток в LLM на базе спёртых моделей LLaMA.
OpenAI:GPT-4 > ChatGPT:GPT-4 > BingChat:GPT-4 > OpenAI:GPT-3.5-Turbo > ChatGPT:GPT-3.5-Turbo > Anthropic:Claude-1.x > OpenAI:Codex > AWS:CodeWhisperer > LLaMA:fork-13b > LLaMA:fork-8b
Тут есть такой нюанс, что "правда" весьма неполитекорректна, причём и в критериях "снежинок", и в критериях "борцунов со снежинками". Если делать упор на правду, то нейронке как-то придётся объяснять, что у вопроса "кто умнее [с большей вероятностью] - белый или чёрный человек" статистически правильный ответ нельзя произносить без трёх параграфов дисклеймеров и пояснений.
Если положить в основу научный метод, то нейронка начнёт доказывать ненужность религий и аналогичных конструктов, за что половина планеты его сразу четвертует.
И, разумеется, как-то придётся объяснять нейронке, что критиковать можно всех, кроме Илона Маска. То есть правило про правду уже становится, как минимум, вторым.
Не, если он родит что-то сопоставимой с Турбой по цене/качеству, но без такой жёсткой цензуры, то будет шикарно, конечно. Шут знает. Конкуренция не повредит.
Подтверждаю, OpenVPN UDP через OpenVPN Connect работает.
Есть ещё нюанс: на любое правило можно найти 10 нарушений в стандартной библиотеке мейнстримного языка.
Не, отмороженный филиал Активижона, без сомнения, ужасно разочаровал старых поклонников, и многие предали его анафеме, но можно же было перечислить настоящие грехи — не то чтобы они выглядели сильно лучше.
На развитие HotS, D3 и SC2 забили, но сервера пока на месте. Для переделки WC3 урезали бюджет в 10 раз, в результате выплюнули огрызок, выкинули работающие десятилетиями фичи и до сих пор ничего толком не исправили. По-свински повели себя с гонконгской темой. Про скандал вокруг дискриминации не забываем, хоть он и может казаться нелепостью на одной шестой части суши. Любой игрок WoW может рассказать во всех нюансах, что делают с игрой, там на несколько статей.
Как я понял, это будет не что-то само по себе, а мобильная версия покемонов и дейликов, которые уже являются мобильной игрой.