Zed (FOSS) - https://zed.dev/ - Ultra-fast IDE made from scratch in Rust by the same guys who created https://atom-editor.cc/ the ancestor of VSCode. Has Zeta model (next edit prediction) and agentic flow with external models
Windsurf (Proprietary) - https://windsurf.com/editor - Proprietary VSCode fork with free tier and paid subscription
Cursor - Proprietary - https://www.cursor.com/ - Proprietary VSCode fork with free tier and paid subscription
Continue.dev (Proprietary) - https://www.continue.dev/ - Proprietary VSCode fork with free tier and paid subscription
Для истории - наши сервисы до сих пор все лежат. Шмяндекс считает инцидент исчерпанным и предлагает обращаться в поддержку. Обратился в поддержку - молчат.
Написано с такой помпой, будто сервера делать стали. А это всего лишь сборочный конвейер из готовых комплектующих. Очковтирательство бл...ть, отверточная сборка. Ни в этой статье, ни в оригинальной на сайте ни слова о стране-происхождения компонент.
Сам долгие годы пользовался tor hidden services и tailscale. Но с тором в последнее время стало плохо - постоянно подливать новых мостов, а tailscale пошёл по пути отмены всего русского (http error code 451). Есть конечно и self-hosted open source версия сервера его, как упомянули выше (headscale). Но клиента на тот же андроид или iOS уже официально не поставить, только через приседания.
Выражаю глубокий респект всем участникам этого проекта. Вы проделали крутую работу. Планы у вас отличные и направление на открытость, которое вы взяли, очень подкупает. С нетерпением ждем публичного релиза. Надеюсь, руководство выпишет вам всем бонусов ?
История наимутнейшая, согласен. Как и с датасетом OpenAI. В отсутствии достоверной возможности проверить, что они там использовали для тренировки (а наверняка там было что-то по вирусной GPLv3), им бы не упоминать даже об ограничениях по части использования результатов инференса.
Особенно ярко проблема контроля генерации трансформеров видна при решении символьных задач в математике, физике, биологии и других точных науках, поиске фактов, ответах на вопросы - и поэтому в этих отраслях использовать даже большие языковые модели(LLM) опасно. Даже те кейсы, в которых ChatGPT показывает себя хорошо, такие как генерация сниппетов кода и исправление ошибок по описанию - все равно не расширяются на структурное написание нового кода, собственно потому, что архитектура GPT принципиально не подходит для решения такого рода задач.
Я не претендую на глубокие знания в области NN и трансформеров, но будучи регулярным пользователем последних, позволю себе не согласиться полностью с вашими выводами. По моему мнению то, что вы называется структурной проблемой требующей смены парадигмы и архитектуры, есть лишь побочный эффект сырости подходов в тренировке, файнтюнинге и сырости первых имплементаций. Кодогенерация ChatGPT образца ноября-декабря 2022 и кодогенерация ChatGPT сегодня это значительный шаг вперед. Я даже не говорю о dedicated трансормерах, типа GitHub Copilot, Amazon CodeWhisperer и прочих. А новые открытые и условно открытые модели, появляющиеся на рынке буквально каждую неделю, очень ярко подчёркивают этот тренд.
Но вам в любом случае успеха в ваших исследованиях. В этой области (как и во многих других подобных областях новых знаний) понять, что что-то работает лучше или хуже можно только после того, как получил что-то работающее в руках и сравнив это с конкурентами. Я вполне допускаю, что подход за который вы топите, будет еще более эффективен.
Собрать открытый датасет пристойного качества, который можно использовать для создания продукта под лицензией Apache 2 - это вполне себе задача. Вот железо найти, как раз не проблема. Оно уже в проекте есть, судя по тому, что они сами пишут
С новыми моделями типа open-assistant.ai это уже реально. Да, пока они не очень оптимизированы по части требований к ресурсам и для их локального запуска действительно потребуется GPU, который будет стоить как пару Алис. Но ведь есть и промежуточные варианты. Как и новые модели, которые появляются с каждым днём.
Void (FOSS) - https://voideditor.com/ - VS Clone with Cursor-like capabilities
Aider (FOSS) - https://aider.chat/ - Famous CLI tool
Cline (FOSS) - https://cline.bot/ + https://github.com/cline/cline - VSCode plugin
Roo Code (FOSS) - https://roocode.com/ + https://github.com/RooVetGit/Roo-Code - fork of Cline
Zed (FOSS) - https://zed.dev/ - Ultra-fast IDE made from scratch in Rust by the same guys who created https://atom-editor.cc/ the ancestor of VSCode. Has Zeta model (next edit prediction) and agentic flow with external models
Windsurf (Proprietary) - https://windsurf.com/editor - Proprietary VSCode fork with free tier and paid subscription
Cursor - Proprietary - https://www.cursor.com/ - Proprietary VSCode fork with free tier and paid subscription
Continue.dev (Proprietary) - https://www.continue.dev/ - Proprietary VSCode fork with free tier and paid subscription
Bolt.New (Proprietary) - https://bolt.new/ - meh: web-based IDE
Bolt.DIY (FOSS) - https://github.com/stackblitz-labs/bolt.diy + https://stackblitz-labs.github.io/bolt.diy/ - FOSS reimplementation of Bolt.New
Для истории - наши сервисы до сих пор все лежат. Шмяндекс считает инцидент исчерпанным и предлагает обращаться в поддержку. Обратился в поддержку - молчат.
Подозреваю, что это естественная но немного запоздалая реакция на критическое количество хипстеров-смузихлёбов в Гугл, КПД которых стремится к нулю.
Ну его нах... этот Windows, вместе с его Photos
Написано с такой помпой, будто сервера делать стали. А это всего лишь сборочный конвейер из готовых комплектующих. Очковтирательство бл...ть, отверточная сборка. Ни в этой статье, ни в оригинальной на сайте ни слова о стране-происхождения компонент.
Велосипедостроители вместо того чтобы примкнуть к одному из множества существующих коллективов велосипедостроителей, решили создать свой велосипед
Вот тут щёки раздували - https://yandex.ru/company/technologies/datacenter
Правда, без деталей :)
Сам долгие годы пользовался tor hidden services и tailscale. Но с тором в последнее время стало плохо - постоянно подливать новых мостов, а tailscale пошёл по пути отмены всего русского (http error code 451). Есть конечно и self-hosted open source версия сервера его, как упомянули выше (headscale). Но клиента на тот же андроид или iOS уже официально не поставить, только через приседания.
Сейчас я больше склоняюсь в сторону Nebula от Slack - https://github.com/slackhq/nebula
Шляпа
Для меня важные звонки - это мои собственные исходящие и звонки от людей в моей записной книжке
Нет чтоб порадоваться за ребят, которые заделиверили крутую штуку, так надо брызнуть сарказмом
Выражаю глубокий респект всем участникам этого проекта. Вы проделали крутую работу. Планы у вас отличные и направление на открытость, которое вы взяли, очень подкупает. С нетерпением ждем публичного релиза. Надеюсь, руководство выпишет вам всем бонусов ?
История наимутнейшая, согласен. Как и с датасетом OpenAI. В отсутствии достоверной возможности проверить, что они там использовали для тренировки (а наверняка там было что-то по вирусной GPLv3), им бы не упоминать даже об ограничениях по части использования результатов инференса.
Нашел ваш анонс (https://dtf.ru/u/637184-viktor-nosko/1695665-rossiyskie-razrabotchiki-obyavili-o-starte-fractalgpt-analoga-chatgpt-i-gpt-4-ot-openai), где было сказано вот это:
Я не претендую на глубокие знания в области NN и трансформеров, но будучи регулярным пользователем последних, позволю себе не согласиться полностью с вашими выводами. По моему мнению то, что вы называется структурной проблемой требующей смены парадигмы и архитектуры, есть лишь побочный эффект сырости подходов в тренировке, файнтюнинге и сырости первых имплементаций. Кодогенерация ChatGPT образца ноября-декабря 2022 и кодогенерация ChatGPT сегодня это значительный шаг вперед. Я даже не говорю о dedicated трансормерах, типа GitHub Copilot, Amazon CodeWhisperer и прочих. А новые открытые и условно открытые модели, появляющиеся на рынке буквально каждую неделю, очень ярко подчёркивают этот тренд.
Но вам в любом случае успеха в ваших исследованиях. В этой области (как и во многих других подобных областях новых знаний) понять, что что-то работает лучше или хуже можно только после того, как получил что-то работающее в руках и сравнив это с конкурентами. Я вполне допускаю, что подход за который вы топите, будет еще более эффективен.
Датасеты Альпаки и Викуньи получены из ChatGPT, а OpenAI прямо запрещает использовать output своих моделей для тренировки коммерческих конкурентов
Крадешь бабки, отмываешь, кладешь отмытое в банк
Собрать открытый датасет пристойного качества, который можно использовать для создания продукта под лицензией Apache 2 - это вполне себе задача. Вот железо найти, как раз не проблема. Оно уже в проекте есть, судя по тому, что они сами пишут
Можно ссылочку? Сходу не нашёл, что там за история изменения лицензии
С новыми моделями типа open-assistant.ai это уже реально. Да, пока они не очень оптимизированы по части требований к ресурсам и для их локального запуска действительно потребуется GPU, который будет стоить как пару Алис. Но ведь есть и промежуточные варианты. Как и новые модели, которые появляются с каждым днём.