При этом в компании понимают, что мало кто из разработчиков будет использовать Mellum в рабочих задачах. Для этих целей есть более сообразительные модели, которые доступны во всех современных IDE.
Странно как-то, смысл дообучать эту модель, при наличии более продвинутых и доступных альтернатив, даже тот же Copilot.
А учитывая:
Модель обучили приблизительно на 4,2 трлн токенов
На чем ее дообучивать с такой базой ¯\_(ツ)_/¯
У Вас текст продублировался под спойлером "Комикс о том, как всё это выглядело на самом деле", раза 3-4 Часть 2 описана.
По выводам могу от себя добавить вот что:
Маленькую нейронку можно построить дома
В целом да это так, но если мы будем говорить о построении с нуля, то самая сложная часть будет обучение на собранных данных, особенно если их достаточно много для высокого качества модели. Тут нужно железо достаточно производительное.
Даже на 10 эпохах обучения он включил экстренное охлаждение. Теперь понятно, почему у IT-гигантов электростанции на заднем дворе.
Не столько из за этого, а из за уменьшения стоимости. При закупке электроэнергии у города или другого внешнего источника цена обучения может сильно возрасти. А охлаждение это только производное от этого :)
Без моей ИИ-помощницы я бы, в лучшем случае, осталась на этапе выбора фотографий для датасета.
Да, но намного приятнее и интереснее становится, когда прочитаешь некоторое количество литературы по данной теме и разберёшь с этой же LLM дополнительно нужные аспекты, и тексты/посты по нейронкам вместо непонятных слов обретают смысл, а в голове звучит "А я ведь все понимаю" 😁
Хорошая статья, продолжайте в том же духе, это довольно интересный путь :)
Забавно, но многие старые кнопочные телефоны из 00х которые имели гнездо для microSD блокировали эту карту паролем.
Странно, не могу вспомнить такое. Помню что можно было окирпичить microSD сделав неудачное форматирование (ReadOnly режим) или случайно включенный Lock на адаптере. Но что бы пароль...
Все телефоны, как от Apple, так и на Андроид, зашифрованы по умолчанию
За Apple может быть, не было опыта, но за Андроид не знаю где конкретно там шифрование используется по умолчанию, файловая система вроде открыта, тут не буду спорить.
Может, но если размер каждого файла, исходя из логики его наполнения, будет приближаться к 400+ строк кода, то даже o1, а так-же о3, по моим наблюдениям, не создают его запускаемым.
На моем опыте могу сказать что 4о смог (были несколько проектов с количеством строк как раз 400+, если считать с разделительными строками конечно же, один из них лежит на Gitlab как опенсорс), о3 справился с С кодом (для ESP32) на 500 строк.
Однако замечу что у них есть тенденция к сокращению кода и к забывчивости, но в последних версиях с этим стало кратно полегче.
Допиливание руками, лично для меня, принесло больше пользы, ведь я уже понимал что создал ИИ, и что удалил или дополнил я сам.
Согласен полностью, к тому же ИИ пока не может найти то что способен человек, увы.
Сегодня долго боролся с 4о и 4о-high пока пытался получить рабочий способ загрузки фото на хостинг через запрос. Оказалось что дело было в пути к самому фото которое не находилось корректно, сама LLM это не заметила хотя принты с путями я предоставлял 😁 Ручная проверка помогла найти причину.
ведь именно с помощью их это достигается не так ли?😉
Или все-же, им уже помогает сам ИИ?😊
Думаю тут замкнутый круг: Сеньор создает ИИ -> ИИ обучается -> ИИ помогает сеньору улучшить ИИ 😁
Ключ автоматически ложится в OneDrive, достаточно его оттуда не удалять.
А как быть если я не подключал и не регистрировал OneDrive? А МС аккаунт был создан для галочки, без доп настроек.
Вот так и выходит, если следовать логике
Вопрос был в принудительном включении защиты, а не о ее наличии в целом. Написанный Вами пример описывает наличие чего-то как причину плохого в последствии, а это совсем другая история...
Может, мне у каждого из сотни тысяч пользователей спрашивать, включать ли новую фичу по умолчанию?
Если продукт популярен и эта фича влияет на его работу то сделать срез/опрос у пользователей (в множественном числе) стоит, либо указывать в обновлении что было добавлено и как это отключить, на случай если оно не нужно.
пользователи, которые про безопасность не думают. Но, то, что они не думают, не означает, что им она не нужна.
Если заменить "безопасность" на "свободу", то мы получим то с чего начинались освободительные войны :)
Как говорится: "Если ты не знаешь что это и зачем - то тебе оно не нужно." Если человек не заботится о безопасности своих данных вообще, то даже "добровольное" обезопасивание данных в этом случае, легко нивелируется его запиской с паролем на мониторе или паролем в текстовом файлике на другой системе :)
Если человек хорошо понимает, что ему не нужна та или иная мера безопасности или резервные копии - он волен это отключить
Так в том и дело, он даже не узнает что оно у него включено пока не наступит роковой момент :) Даже наличие галочки при установке ситуацию не изменит, ведь у многих людей "случайно" устанавливаются не обязательные поисковики и браузеры при установки программ :)
Проблема в том, что если это по умолчанию включено, а пользователь об этом не в курсе, то в какой-то момент он может потерять все данные, ибо не знал что они шифруются и не сохранил нужные ключи.
К тому же, если разрешить компании ставить опции по умолчанию включенными, то в какой-то момент мы действительно можем прийти к ситуации, когда вход в систему станет платным, потому что мы забыли снять галочку между строк при установке.
ни один ИИ‑агент, включая крупных игроков, не пишет даже простой проект (15–30 файлов) самостоятельно
Не совсем так. GPT LLM может итеративно, файл за файлом, написать такой проект. В рамках выходного окна контекста, это примерно 99000 (англ.) слов, что не мало на самом деле и для генерации одного файла за раз вполне достаточно.
До машин которые смогут разработать, протестировать, исправить и запустить (отдать пользователю) весь проект за один запрос - нам еще далеко, хотя в эту сторону уже есть попытки действий: "The AI Scientist"
Задачи у всех разные, если нужно разрабатывать специфическое решение под узконаправленную задачу то это будет необходимо, так же возможно потребуется и метрики оценки корректировать или грамотно оценить их эффективность. Ну и оптимизация самих моделей, само собой.
В свое время как и Вы был противником планов и контроля задач, используя парадигму "главное не сроки, а результат". Так-то оно так, но иногда такой метод даёт сбой на крупных задачах и они могут выполняться очень долго. Но все действительно у всех по разному.
Часто замечал как пролетают дни, а результата не особо много. Как Вы описали, стал делал еженедельный анализ, но все равно результат был тот же, с небольшими улучшенными.
Начал каждое утро перед началом дня писать список задач, часто замечал как работает принцип Парето, однако эффективность подросла не сильно.
Что мне помогло, так это заметки в течении дня. Сменил одну деятельность на другую - записал, указав время. И так постепенно собирается неделя, а потом и месяц, которые можно проанализировать. Ушло ощущение течения времени, стало возможным посмотреть куда ушло время и сколько в действительности занимает та или иная задача от запланированного. И сразу проще контролировать день, в том числе и дедлайны.
Спасибо за статью, было приятно прочитать Ваш опыт.
Я так понимаю журналисты опирались на личностные вопросы по типу этих:
Каковы ваши сильные стороны?», «Над чем вам нужно поработать?»
Но такие вопросы решаются настройкой входного параметра перед запросом. Это пофиксят.
Видел кстати похожие проекты в опенсорс, правда только с распознаванием речи и по личным тестам - интересная штука.
Но меня в этой истории удивляет то, что кто-то выделил на такой проект деньги (если грубо упростить то это просто обертка над GPT API) и мало того, это осветили довольно широко, из за чего у меня есть предсказание что начнутся попытки доп проверок и через время смысла от этого сервиса может не стать 👀
Думал над этим, но конкретных идей на данный момент нет. Сейчас все на добровольных пожертвованиях, может будет в будущем какой-то способ монетизации, но пока не могу сказать точно.
Если максимально концентрировать контекст - то хватает даже мизерного контекстного окна.
Тут опять же зависит от обьема проекта, если связка зависимых функций и блоков будет большой и без этой цепочки не разобрать функционал корректно, то мы упремся в контекстное окно. Такой подход очень хорошо работает на небольших блоках данных, где проблема видна явно либо находится в этом узком радиусе.
Даже верстку можно перелопатить ради упрощения логики, удалив все лишние блоки. Потом её обратно "раскрыть" на написанной логике - не проблема.
Опять же, это работает если мы понимаем что и как нужно убрать, не сломав ничего при этом и потом вернуть обратно. А если смотреть на случай который указывался выше:
Написать мобильное приложение, если ты знаешь только веб? Не проблема. Написать веб, если ты знаешь только десктоп - не проблема
То тут и начнутся сложности. Придется потратить некоторое время на изучение вопроса, с той же LLM, и в последствии мы уже будем убирать/возвращать не нужные блоки имея знания/опыт/понимание, а значит изначально без понимания и знаний (базовых по тематике) будет довольно сложно/время-затратно добиться качественного результата.
Но тут опять же, если мы делаем калькулятор, то с такой задачей справится почти любая LLM и будет не сложно производить декомпозицию, а вот на проектах по сложнее...
Разбиение на подзадачи обычно помогает, плюс если LLM "затупила", то это обычно какой-то действительно специфичный момент
В целом да, но сильно зависит от версии LLM. Не могу сказать за все, использую только GPT. Заметил у 04-mini-high и 04-mini свойство возвращаться к прошлым вопросам и отвечать на них, даже при наличии четкой инструкции и конкретики кода, как раз таки с разбиением. 4о при этом таких шагов не делает.
Но тут достаточно немножко погуглить, и всё сразу находится
Вот тут и кроется кирпич, погуглить в целом можно, но понять что действительно поможет, а что отведет на ложный путь можно если есть насмотренность, что приходит с опытом.
Тут надо заставить её дать все возможные варианты и самому прогонять их, включая самые неочевидные, либо же с самой LLM их поочерёдно разбирать
Это хорошая практика при работе с LLM, однако сама LLM может увести в ложное русло в процессе объяснения, особенно часто это случается когда окно контекста заполняется и начальная стадия проекта забывается. Это особенно актуально, когда кодовая база проекта исчисляется сотнями строк. LLM может попросту забыть часть функционала, исправляя что-то другое.
Сразу пишешь - ничего не понимаешь - потом разбираешь
Написать мобильное приложение, если ты знаешь только веб? Не проблема. Написать веб, если ты знаешь только десктоп - не проблема
Не совсем так. Такой результат можно получить в 7-8 случаев из 10, в зависимости от сложности проекта и его объема. Из за (все ещё существующих) галлюцинаций, отлаживать ошибку ничего не зная о ней не так легко, а LLM иногда имеет свойство ходить по кругу, и мы попадаем в бесконечный процесс фиксов.
Поэтому что бы писать код быстро и качественно с LLM, знание программирования все ещё нужно.
Странно как-то, смысл дообучать эту модель, при наличии более продвинутых и доступных альтернатив, даже тот же Copilot.
А учитывая:
На чем ее дообучивать с такой базой ¯\_(ツ)_/¯
Даже так, не знал, спасибо
Ого, сколько пользовался ни разу с этим не сталкивался. Спасибо за информацию, век живи век учись как говорится 😁
Небольшой комментарий по оформлению статьи:
У Вас текст продублировался под спойлером "Комикс о том, как всё это выглядело на самом деле", раза 3-4 Часть 2 описана.
По выводам могу от себя добавить вот что:
В целом да это так, но если мы будем говорить о построении с нуля, то самая сложная часть будет обучение на собранных данных, особенно если их достаточно много для высокого качества модели. Тут нужно железо достаточно производительное.
Не столько из за этого, а из за уменьшения стоимости. При закупке электроэнергии у города или другого внешнего источника цена обучения может сильно возрасти. А охлаждение это только производное от этого :)
Да, но намного приятнее и интереснее становится, когда прочитаешь некоторое количество литературы по данной теме и разберёшь с этой же LLM дополнительно нужные аспекты, и тексты/посты по нейронкам вместо непонятных слов обретают смысл, а в голове звучит "А я ведь все понимаю" 😁
Хорошая статья, продолжайте в том же духе, это довольно интересный путь :)
Странно, не могу вспомнить такое. Помню что можно было окирпичить microSD сделав неудачное форматирование (ReadOnly режим) или случайно включенный Lock на адаптере. Но что бы пароль...
Вообще да, достаточно удобно что LLM сохраняет стиль кода, это действительно очень помогает.
За Apple может быть, не было опыта, но за Андроид не знаю где конкретно там шифрование используется по умолчанию, файловая система вроде открыта, тут не буду спорить.
И снова старый добрый датеншутц, датеншутц
Думаю даже больше пониманием. Сложно тягаться с всем гитхабом и гитлабом вместе взятыми 😁
К сожалению так и есть
На моем опыте могу сказать что 4о смог (были несколько проектов с количеством строк как раз 400+, если считать с разделительными строками конечно же, один из них лежит на Gitlab как опенсорс), о3 справился с С кодом (для ESP32) на 500 строк.
Однако замечу что у них есть тенденция к сокращению кода и к забывчивости, но в последних версиях с этим стало кратно полегче.
Согласен полностью, к тому же ИИ пока не может найти то что способен человек, увы.
Сегодня долго боролся с 4о и 4о-high пока пытался получить рабочий способ загрузки фото на хостинг через запрос. Оказалось что дело было в пути к самому фото которое не находилось корректно, сама LLM это не заметила хотя принты с путями я предоставлял 😁 Ручная проверка помогла найти причину.
Думаю тут замкнутый круг: Сеньор создает ИИ -> ИИ обучается -> ИИ помогает сеньору улучшить ИИ 😁
А как быть если я не подключал и не регистрировал OneDrive? А МС аккаунт был создан для галочки, без доп настроек.
Вопрос был в принудительном включении защиты, а не о ее наличии в целом. Написанный Вами пример описывает наличие чего-то как причину плохого в последствии, а это совсем другая история...
Если продукт популярен и эта фича влияет на его работу то сделать срез/опрос у пользователей (в множественном числе) стоит, либо указывать в обновлении что было добавлено и как это отключить, на случай если оно не нужно.
Если заменить "безопасность" на "свободу", то мы получим то с чего начинались освободительные войны :)
Как говорится: "Если ты не знаешь что это и зачем - то тебе оно не нужно." Если человек не заботится о безопасности своих данных вообще, то даже "добровольное" обезопасивание данных в этом случае, легко нивелируется его запиской с паролем на мониторе или паролем в текстовом файлике на другой системе :)
Так в том и дело, он даже не узнает что оно у него включено пока не наступит роковой момент :) Даже наличие галочки при установке ситуацию не изменит, ведь у многих людей "случайно" устанавливаются не обязательные поисковики и браузеры при установки программ :)
Проблема в том, что если это по умолчанию включено, а пользователь об этом не в курсе, то в какой-то момент он может потерять все данные, ибо не знал что они шифруются и не сохранил нужные ключи.
К тому же, если разрешить компании ставить опции по умолчанию включенными, то в какой-то момент мы действительно можем прийти к ситуации, когда вход в систему станет платным, потому что мы забыли снять галочку между строк при установке.
Не совсем так. GPT LLM может итеративно, файл за файлом, написать такой проект. В рамках выходного окна контекста, это примерно 99000 (англ.) слов, что не мало на самом деле и для генерации одного файла за раз вполне достаточно.
До машин которые смогут разработать, протестировать, исправить и запустить (отдать пользователю) весь проект за один запрос - нам еще далеко, хотя в эту сторону уже есть попытки действий: "The AI Scientist"
Задачи у всех разные, если нужно разрабатывать специфическое решение под узконаправленную задачу то это будет необходимо, так же возможно потребуется и метрики оценки корректировать или грамотно оценить их эффективность. Ну и оптимизация самих моделей, само собой.
В свое время как и Вы был противником планов и контроля задач, используя парадигму "главное не сроки, а результат". Так-то оно так, но иногда такой метод даёт сбой на крупных задачах и они могут выполняться очень долго. Но все действительно у всех по разному.
Часто замечал как пролетают дни, а результата не особо много. Как Вы описали, стал делал еженедельный анализ, но все равно результат был тот же, с небольшими улучшенными.
Начал каждое утро перед началом дня писать список задач, часто замечал как работает принцип Парето, однако эффективность подросла не сильно.
Что мне помогло, так это заметки в течении дня. Сменил одну деятельность на другую - записал, указав время. И так постепенно собирается неделя, а потом и месяц, которые можно проанализировать. Ушло ощущение течения времени, стало возможным посмотреть куда ушло время и сколько в действительности занимает та или иная задача от запланированного. И сразу проще контролировать день, в том числе и дедлайны.
Спасибо за статью, было приятно прочитать Ваш опыт.
Я так понимаю журналисты опирались на личностные вопросы по типу этих:
Но такие вопросы решаются настройкой входного параметра перед запросом. Это пофиксят.
Видел кстати похожие проекты в опенсорс, правда только с распознаванием речи и по личным тестам - интересная штука.
Но меня в этой истории удивляет то, что кто-то выделил на такой проект деньги (если грубо упростить то это просто обертка над GPT API) и мало того, это осветили довольно широко, из за чего у меня есть предсказание что начнутся попытки доп проверок и через время смысла от этого сервиса может не стать 👀
Думал над этим, но конкретных идей на данный момент нет. Сейчас все на добровольных пожертвованиях, может будет в будущем какой-то способ монетизации, но пока не могу сказать точно.
Тут опять же зависит от обьема проекта, если связка зависимых функций и блоков будет большой и без этой цепочки не разобрать функционал корректно, то мы упремся в контекстное окно. Такой подход очень хорошо работает на небольших блоках данных, где проблема видна явно либо находится в этом узком радиусе.
Опять же, это работает если мы понимаем что и как нужно убрать, не сломав ничего при этом и потом вернуть обратно. А если смотреть на случай который указывался выше:
То тут и начнутся сложности. Придется потратить некоторое время на изучение вопроса, с той же LLM, и в последствии мы уже будем убирать/возвращать не нужные блоки имея знания/опыт/понимание, а значит изначально без понимания и знаний (базовых по тематике) будет довольно сложно/время-затратно добиться качественного результата.
Но тут опять же, если мы делаем калькулятор, то с такой задачей справится почти любая LLM и будет не сложно производить декомпозицию, а вот на проектах по сложнее...
В целом да, но сильно зависит от версии LLM. Не могу сказать за все, использую только GPT. Заметил у 04-mini-high и 04-mini свойство возвращаться к прошлым вопросам и отвечать на них, даже при наличии четкой инструкции и конкретики кода, как раз таки с разбиением. 4о при этом таких шагов не делает.
Вот тут и кроется кирпич, погуглить в целом можно, но понять что действительно поможет, а что отведет на ложный путь можно если есть насмотренность, что приходит с опытом.
Это хорошая практика при работе с LLM, однако сама LLM может увести в ложное русло в процессе объяснения, особенно часто это случается когда окно контекста заполняется и начальная стадия проекта забывается. Это особенно актуально, когда кодовая база проекта исчисляется сотнями строк. LLM может попросту забыть часть функционала, исправляя что-то другое.
Не совсем так. Такой результат можно получить в 7-8 случаев из 10, в зависимости от сложности проекта и его объема. Из за (все ещё существующих) галлюцинаций, отлаживать ошибку ничего не зная о ней не так легко, а LLM иногда имеет свойство ходить по кругу, и мы попадаем в бесконечный процесс фиксов.
Поэтому что бы писать код быстро и качественно с LLM, знание программирования все ещё нужно.