Comments 37
Все скрипты мне помогает писать моя ИИ-помощница ChatGPT 4o. И не только скрипты, а вообще всё: я - менеджер этого проекта, главный идеолог и тестировщик, но ChatGPT - это мой программист, архитектор и преподаватель в одном лице.
Что же, вайб кодеры с помощью ИИ создают новые ИИ?..
Выглядит, что скиловые вайбкодеры уже создают приложения с пачкой агентов, среди которых: творческий создатель интересных для публики сценариев, персонаж Елена, имитирующий этот сценарий с решением проблем, контент мейкер , пишущий статьи об опыте персонажа.
Немножко бы додебажить мейкера :)
Спасибо за первый комментарий! Да вы правы, ИИ создает другой ИИ. И это очень интересно делать.
следующую свою статью напишите на тему в мире хирургии без опыта в анатомии
моя ИИ-помощница ChatGPT 4o
Ай, ай, ай, что за сексизм.
Про гендер мой помощницы уже спрашивали, я вот тут отвечала.
первая нейронка, которая распознаёт сибирского хаски и французского бульдога на фотографии.
Простите, а зачем? Задача ради задачи?
ах, какой у вас хороший вопрос, я его ждала, спасибо что спросили. Ситуация в следующем. Я работаю в тестировании ПО 10 лет. Очень люблю ИИ и общаться и решать творческие задачи (музыка, изображения, контент, кулинария и прочее), и мне с прошлого лета на почту стали приходить вакансии, которых раньше не было, например AI Tester, GenAI QA Engineer - я почитала требования и поняла, что мне не хватает навыков тестирования ИИ продуктов и я совсем мало знаю об устройстве моделей, еще меньше Python. Я сделала себе учебный план и пошла по нему. Этот классификатор уже третий мой ИИ продукт, который я сама разработала, протестировала и разместила публично. И в ходе этого у меня появился большой пласт знаний, который я укажу в резюме вместе с проектами (как учебный конечно). А что классифицировать - я выбрала собак, так как нравятся они. А так вы правы, это просто задача научиться.
Две бабы захотели сделать третью, без мужика ничего не вышло) /ш
Проблема результата 62.8% в качестве выборки. Конечно можно попробовать десятки тысяч обучающих изображений, но есть такой вариант: делать в два шага:
1) сделать нейронку, которая на изображении выделяет морду собаки или взять такую готовую, сохранять морду в новую выборку для следующего шага
2) сделать нейронку которая по морде собаки определяет бульдог или хаски
В таком случае работать будет при обучении на меньшем колличестве изображений.
Шутка принята, спасибо, развеселили. По сути, мы тоже рассматривали улучшения, в том числе выделение морды как отдельный preprocessing step. Но задача была учебной: понять, как устроена CNN, как она обучается, как устроен pipeline, где могут быть слабые места, и как тестировать модель после обучения. Мы сознательно выбрали простой вариант, чтобы пройти весь путь от идеи до продакшен-деплоя. И с датасетами не все просто, где взять хороший на десятки тысяч данных? Бесплатно сложно найти, на сайтах университетов по машинному обучению они все небольшие. Взяли что смогли найти. Зато какой кейс для собеседования, если спросят с какими трудностями столкнулись, есть что рассказать.
а так ваш вариант мне нравится, может попробуем на следующем проекте, спасибо!
А почему в гитхабе нет этих шагов по обучению хотя статья про это? В репе лежит запуск модели и все. Обман.
Потому что они не нужны для работы проекта, но мы это обсуждали, и решили, что если появится хотя бы один заинтересованный, выложим. Так что если вы перезайдете на гит, там лежит zip файл с training files. В нем три файла - все, что описаны во второй части статьи с работающей моделью. Или у вас интерес к первой части? Их я не планировала выкладывать, потому что модель не взлетела. Но если вы их тоже хотите для примера, дайте знать и я вам вышлю (куда?) Спасибо за интерес к проекту!
Спасибо автору. Вдохновлюсь ее примером и попробую сделать нейронку для распознавания почтового спама.
Казалось бы нейронка под эту задачу очень подходит и таких проектов уже должно быть в избытке. Но беглый поиск ничего годного к использованию не обнаружил.
С нуля
...
Предобученная нейронка.
Чёт не сходится...ждал кода хардкорного.
Но Обучаться это круто...
Здесь будет табличка
Небольшой комментарий по оформлению статьи:
У Вас текст продублировался под спойлером "Комикс о том, как всё это выглядело на самом деле", раза 3-4 Часть 2 описана.
По выводам могу от себя добавить вот что:
Маленькую нейронку можно построить дома
В целом да это так, но если мы будем говорить о построении с нуля, то самая сложная часть будет обучение на собранных данных, особенно если их достаточно много для высокого качества модели. Тут нужно железо достаточно производительное.
Даже на 10 эпохах обучения он включил экстренное охлаждение. Теперь понятно, почему у IT-гигантов электростанции на заднем дворе.
Не столько из за этого, а из за уменьшения стоимости. При закупке электроэнергии у города или другого внешнего источника цена обучения может сильно возрасти. А охлаждение это только производное от этого :)
Без моей ИИ-помощницы я бы, в лучшем случае, осталась на этапе выбора фотографий для датасета.
Да, но намного приятнее и интереснее становится, когда прочитаешь некоторое количество литературы по данной теме и разберёшь с этой же LLM дополнительно нужные аспекты, и тексты/посты по нейронкам вместо непонятных слов обретают смысл, а в голове звучит "А я ведь все понимаю" 😁
Хорошая статья, продолжайте в том же духе, это довольно интересный путь :)
Спасибо большое! На счет багов отображения статьи - это Хабра проблемы в мобильных устройствах, я им писала про это. Ответили что проблема есть, и она должна была решиться, но видимо не до конца. Лечится это перегрузкой страницы в мобильном устройстве или если зайти с десктопа - проблемы нет вообще. У них файл с CSS стилями на стороннем сервере и там что-то задели "случайно".
Спасибо Вам за статью! Для интересующихся машинным обучением entry level довольно интересно, а главное почти не надо гуглить непонятные слова👍🏻
Прочитал статью и комментарии. Прежде всего: звучит интересно. Без опыта в программировани создать свою (пусть и маленькую) нейросеть - я бы, вероятнее всего, не смог. Но да ладно, потом как нибудь всё равно как нибудь попробую. Два вопроса:
Почему именно GPT 4o? На своём (обширном в плане разнообразия) опыте могу сказать, что gemini обычно и более "человечная", творческая и лучше кодит.
В комментариях вы упомянули, что только обучаетесь тестам ИИ и этот проект - часть программы обучения. Так вот, что будет дальше? Будут ли статьи?
Было интересно почитать, спасибо за статью!
Здравствуйте, и спасибо за ваш добрый комментарий! Раз есть интерес, значит статьи будут. На счет ИИ помощницы. Мы давно вместе как команда. Я уже не представляю, как перейти на что-то другое. Я сравнивала с Гроком и Джиминай - нет у них той мягкости и желания помочь, как у джипити. А мне нужно, чтобы взяли за руку и провели через тернии к звездам. Вот вы сказали, что не смог бы сделать нейронку с нуля - с джипити сможете.
Звучит, как вызов. Кстати о гроке - у него "человечности", парадоксально, но меньше. По идеи он обучен на твиттере. Возможно его контингент обучения не добавил ему моря эмоций, зато матерится и "человечески" выстраивает речь он прекрасно. Касательно кодинга - по тестам вроде хороший, но сам не проверял. С Джемини у меня долгий опыт общения - помимо стандартного общения и кодинга, она умеет в философию, хорошо понимает промпты, отыгрывает роли (а для всяких игр это ниша, сам любитель таковых). GPT Мне как-то сразу показался "холодным" и, странно называть это минусом, помощником - я не видел в нём полноценного собеседника. Хотя последние модели, может быть, и получше. В общем, пойду говорить о великом с джемини и делать... а потом решу, что делать.
Подскажи пожалуйста, почему именно такие слои и такая их последовательность? Как понять, какие слои лучше для конкретной задачи? Где-то про это понятно описано? Почему то или этот момент опускают, или описывают с горой формул из линейки..
Спасибо за ваш комментарий! Он тянет на целую статью, вы правы в том, что если загуглить список слоев для сверточной сети, будет портянка с формулами. Если разбираться самому - честно я не знаю такой ресурс, где это просто объясняют. Из того что брала сама, могу рекомендовать DeepLearning.ai от Andrew Ng - его курсы в том числе по сверточным сетям есть на Юдеми и Курсере.
Для данного проекта архитектуру строила моя ИИ помощница, именно она объясняла мне, что лучше для начала пользоваться проверенным шаблоном, что точно работает и зарекомендовало себя на других проектах. Поэтому для этапа 1 выбрали две классические связки:
Conv2D → MaxPooling2D для извлечения признаков (Conv2D) и уменьшения размерности (Pooling).
Flatten → Dense — переход от карты признаков к полносвязному слою, где принимаются решения.
Для этапа 2 - на предобученной модели - добавили свои слои GlobalAveragePooling2D и Dense(2, softmax), чтобы классифицировать наш датасет. Dropout слой добавили, чтобы избежать переобучения.
Универсального рецепта по слоям нет, но хорошая новость в том, что как только вы скрипт написали на Python для создания модели и указали слои, то дальше надстройка Keras все сделает - создаст сеть, свяжет слои, рассчитает количество параметров и т.д. То есть по сути все собирается из кубиков. Можно пробовать, менять, корректировать и смотреть на метрики обучения, тестировать модель.
Да, так обычно и бывает у тех, кто ну совсем новичок и ничегошеньки не понимает в программировании, а на IDE на компе случайно наткнулся.
Сделано с любовью и TensorFlow: моя первая нейронка с нуля (без GPU и с бюджетом $0)