Пользователь
Почти все мы пользуемся социальными сетями. А почему бы и не пользоваться? Они ведь предоставляют так много возможностей! Взять ту же сеть ВКонтакте: можно пообщаться с друзьями, поделиться с подписчиками фотографиями только что сделанного крабового салата, посмотреть видео с котом соседа, вырастить огурцы на виртуальной ферме в каком-нибудь приложении… Сказка! Ой, а кто это в друзья добавляется?
В одном своём гисте Андрей Карпаты сделал кое-что впечатляющее. Чуть больше чем в 100 строках кода на Python — без тяжеловесных фреймворков для машинного обучения — он прописал довольно полную реализацию языковой модели для обучения символьно-ориентированных рекуррентных нейросетей (РНС). Гист включает полное обучение методом обратного распространения с оптимизацией Adagrad. Подробности — к старту флагманского курса по Data Science.
Привет! Продолжаю стабильно выходить на связь с Хабром раз в несколько лет =) Благо есть повод – пару месяцев назад перешел в новую контору, где снова надо было наладить работу целого отдела сотрудников на удаленке, который раньше как-то справлялся без системы управления задачами.
И потому я решил повторно провести рисерч на эту тему, чтобы посмотреть как изменился рынок и не появилось ли на нем что-то новенькое и интересное.
А изменилось на российском рынке систем управления проектами за минувший год чуть менее, чем всё. И это помимо того, что успело измениться еще раньше. Мы с командой перепробовали десятки новых и старых систем. Искали бесплатные и доступные в РФ. Составили себе подборку из 15 систем, и для особо нетерпеливых – свели в одну таблицу по возможностям бесплатных версий.
В лингвистике принято считать, что основным свойством языковой способности человека является возможность определять, насколько грамматически корректно предложение. Подобные суждения говорящих о правильности языкового высказывания получили название «оценок грамматичности/ приемлемости». Лингвисты используют суждения о грамматичности для исследования синтаксической структуры предложений.
Потихоньку начнём разговор для понимания приёмов и возможностей нейросетевых инструментов. Они с нами навсегда, неплохо бы разобраться в самом начале.
Для примера выберем, конечно же, девчонок.
Prompth: full frontal, stunning blonde, (perfect face), suggestive, bright smile, gorgeous hair, squat,
Negative prompt: paint, anime, cartoon, art,drawing,3d render, digital painting, body out of frame, ((deformed)), (cross–eyed), (closed eyes), blurry, (bad anatomy), ugly, disfigured, ((poorly drawn face)), (mutation), (mutated), (extra limbs), (bad body)
Перед началом генерирования у вас есть много разных настроек и возможностей . Например запрос может быть и отрицательным - negative prompt, фактически запрет, очень мощный инструмент, в котором описывается чего бы вы не хотели видеть в результате. Как правило туда включают все заклинания призванные исключить появление в результирующем изображении шестипалых рук и множества других мутаций, которые только отнимают ценное время. Рисовать правильные пальцы - это вообще больное место нейросетей, поэтому их часто и не видно в сгенерированных изображениях. Впрочем, продолжим.
На картинке ниже результат работы нейросети от компании StableDiffusion, а именно запрос к парсеру img2img — инструменту, который служит для доработки уже имеющегося изображения. В качестве исходника, был взят мем из сети Интернет. Текст запроса:
Привет всем! Сегодня состоялся релиз InvokeAI 2.0: A Stable Diffusion Toolkit, проекта, цель которого — предоставить энтузиастам и профессионалам набор надежных инструментов для создания и редактирования изображений с помощью нейросети. InvokeAI требует всего ~3,5 Гб видеопамяти для создания изображений 512x768 пикселей (и еще меньше для 512х512), и совместим с Windows/Linux/Mac с M1 и M2.
Помню, как еще в школе на Basic я писал программу-переводчик. И это было то время, когда ты сам составлял словарь, зашивал перевод каждого слова, а затем разбивал строки на слова и переводил каждое слово в отдельности. В то время я, конечно же, не мог и представить, как сильно продвинутся технологии, и программы-переводчики станут в основе использовать механизмы глубокого обучения с архитектурой трансформера и блоками внимания.
В этот раз я решил окунуться немного в прошлое и сделать то, что хорошо сделать тогда у меня не получилось.
Эрзянский язык из финно-угорской семьи – один из официальных в республике Мордовия, и на нём говорят сотни тысяч людей, но для него до сих пор не было почти никаких технологий машинного перевода, кроме простых словарей.
Я попробовал создать первую нейросеть, способную переводить с эрзянского на русский (и с натяжкой ещё на 10 языков) и обратно не только слова, но и целые предложения.
Пока её качество оставляет желать лучшего, но пробовать пользоваться уже можно.
Как я собирал для этого тексты и обучал модели – под катом.
Продолжение про релокацию бизнеса на постсоветском пространстве. К плюсам релокации в РК можно отнести многие факторы, среди которых:
Здравствуйте Хабр. Просматривал ленту вечерком и наткнулся на очередную статью про ИИ:
Что мы действительно (не)знаем о наличии сознания у сверхбольших нейросетей?
И, честно говоря, в очередной раз в статье пытаются ответить на вопрос - который, по-моему, ИМХО уже давно имеет ответ. Ну не интересно читать об одном и тоже каждый раз. Это как пройденный уровень в игре. И главное - есть следующий уровень. Интересный. Т.е. есть следующий вопрос. Обсуждение, которого и хотелось бы услышать. Начал писать комментарий. Но по мере увеличения количества текста понял - опубликую его отдельной статьёй. Потому как в ответах на изначальный топик, он просто потеряется. А мне хотелось бы увидеть обсуждение. Какие на сегодня есть подвижки в вопросе, который я подымаю, как следующий цепочке вопросов по проблеме создания ИИ. Может мой взгляд кардинально не верен.
Повторюсь - статья ниже это коммент, который писался без всякой коррекции, выглядит сумбурно, поэтому строго не судите. Я надеюсь, что всё же смог донести свою мысль.
В нашей прошлой статье про синтез речи мы дали много обещаний: убрать детские болячки, радикально ускорить синтез еще в 10 раз, добавить новые "фишечки", радикально улучшить качество.
Сейчас, вложив огромное количество работы, мы наконец готовы поделиться с сообществом своими успехами:
Это по-настоящему уникальное и прорывное достижение и мы не собираемся останавливаться. В ближайшее время мы добавим большое количество моделей на разных языках и напишем целый ряд публикаций на эту и смежные темы, а также продолжим делать наши модели лучше (например, еще в 2-5 раз быстрее).
Попробовать модель как обычно можно в нашем репозитории и в колабе.
Вчера (9.03) Чернобыльская АЭС была обесточена из-за повреждения ЛЭП. Как я говорил ранее, комментируя происходящее вокруг ядерных объектов Украины сейчас, наиболее опасный объект в Чернобылськой зоне – это хранилище отработавшего ядерного топлива (ХОЯТ) с 20 тыс. топливных сборок. А потенциальный аварийный сценарий – условно фукусимский. Когда выброс радиации начался из-за перегрева топлива, охлаждение которого было нарушено из-за обесточивания станции. Но насколько тут этот сценарий реален?
Летом 2020 года GitHub позволила пользователям создавать персональные README-файлы и с их помощью кастомизировать свои профили. Сама платформа при создании подобного файла предлагает уже готовый шаблон, в который можно вписать свои данные. Но о какой кастомизации может идти речь, если у всех будут одинаково оформленные профили? За почти два года сообщество придумало множество различных способов выделиться и особенно оформить свою страницу на GitHub.
Резюме: Новые языковые модели могут быть намного меньше GPT-3, но при этом достигать сравнимых результатов благодаря использованию запросов к базе данных или поиску информации в Интернете. Ключевая идея заключается в том, что построение все более и более крупных моделей — не единственный способ повысить качество.
Последние несколько лет ознаменовались появлением больших языковых моделей (Large Language Models, LLM) — моделей машинного обучения, которые способствовали быстрому развитию сферы машинной обработки и генерации естественного языка. Некоторые из основных вех развития области с 2017 года включают в себя:
Всем привет! Я обычный пользователь MS Excel и Google Docs, любитель-программист на VBA, App Script и JavaScript.
Не так давно Сбер, а затем и Яндекс объявили о создании сверхбольших русских языковых моделей, похожих на GPT-3. Они не только генерируют правдоподобный текст (статьи, песни, блоги и т. п.), но и решают много разнообразных задач, причем эти задачи зачастую можно ставить на русском языке без программирования и дополнительного обучения — нечто очень близкое к «универсальному» искусственному интеллекту. Но, как пишут авторы Сбера у себя в блоге, «подобные эксперименты доступны только компаниям, обладающим значительными вычислительными ресурсами». Обучение моделей с миллиардами параметров обходится в несколько десятков, а то сотен миллионов рублей. Получается, что индивидуальные разработчики и маленькие компании теперь исключены из процесса и могут теперь только использовать обученные кем-то модели. В статье я попробую оспорить этот тезис, рассказав о результатах попытки обучить модель с 30 миллиардами параметров на двух картах RTX 2080Ti.