Обновить
-6
Алексей@java3000

Администратор windows умеющий в программирование

Отправить сообщение

Как с помощью supervised fine-tuning кастомизировать LLM

Время на прочтение7 мин
Охват и читатели6.4K

В быстро развивающейся сфере Natural Language Processing (NLP) fine-tuning стал мощным и эффективным инструментом адаптации предварительно обученных больших языковых моделей (Large Language Model, LLM) под конкретные задачи. Предварительно обученные LLM (например, семейство GPT) продемонстрировали существенный прогресс в понимании и генерации языка. Однако эти предварительно обученные модели обычно учатся на огромных объёмах текстовых данных при помощи обучения без учителя и могут быть не оптимизированы под узкую задачу.

Fine-tuning позволяет закрыть этот пробел, воспользовавшись преимуществами общего понимания языка, полученными во время предварительного обучения, и адаптировав их к целевой задаче при помощи обучения с учителем. Благодаря fine-tuning предварительно обученной модели на специфичном для задачи датасете разработчики NLP могут достигать впечатляющих результатов с гораздо меньшим объёмом данных обучения и вычислительных ресурсов, чем при обучении модели с нуля. В частности, для LLM fine-tuning крайне важен, так как повторное обучение на всём объёме данных вычислительно слишком затратно.


Сравнение предварительного обучения LLM и fine-tuning

Успех fine-tuning привёл ко множеству передовых результатов в широком спектре задач NLP и сделал его стандартной практикой в разработке высокоточных языковых моделей. Исследователи и практики продолжают исследовать варианты и оптимизации методик fine-tuning, чтобы ещё больше расширить возможности NLP.

В этой статье мы глубже изучим процесс fine-tuning LLM на основе инструкций при помощи библиотеки transformers двумя разными способами: просто с библиотекой transformers и с модулем trl.
Читать дальше →

Кворум кроликов или RabbitMQ Quorum

Время на прочтение3 мин
Охват и читатели6.4K

Заводим кворум без фундаментальщины и теории 🤷‍♂️ (думаю, что по этому поводу статей хватает). Разбираем helm bitnami/rabbitmq-cluster-operator (чуть-чуть).

К разбору

Как публиковать библиотеку в Maven Central Portal в 2024 году

Уровень сложностиПростой
Время на прочтение11 мин
Охват и читатели7K

Начиная с 12 марта 2024 года регистрация на OSSRH портале теперь недоступна. Большинство существующих туториалов в интернете описывает как раз опыт публикации через OSSRH на Maven Central. Из-за чего после марта 2024 года эти туториалы стали не актуальны для публикации проектов новых авторов.

Читать далее

Как развивалась технология экстремального сжатия LLM: от QuIP до AQLM с PV-tuning

Время на прочтение4 мин
Охват и читатели16K

Мы живём в эпоху LLM — компании применяют на практике всё более крупные модели с миллиардами параметров. Это здорово, потом что большие модели открывают пользователям сервисов новые возможности, но не всё так просто. Размер накладывает ограничения — запускать такие модели очень дорого, а на пользовательских компьютерах — ещё дороже и сложнее. Поэтому часто исследователи и инженеры сначала обучают большую модель, а потом придумывают, как сжать её с минимальными потерями качества, чтобы сделать доступнее. 

Модели выкладываются в формате float16, где на один вес выделяется 16 бит. Два года назад человечество научилось хорошо сжимать нейросети до 4 бит с помощью таких методов, как GPTQ. Но на этом исследователи не остановились, и сейчас актуальная задача — сжатие моделей до 2 бит, то есть в 8 раз. 

Недавно исследователи Yandex Research совместно с коллегами из IST Austria и KAUST предложили новый способ сжатия моделей в 8 раз с помощью комбинации методов AQLM и PV-tuning, который уже доступен разработчикам и исследователям по всему миру — код опубликован в репозитории GitHub. Специалисты также могут скачать сжатые с помощью наших методов популярные опенсорс-модели. Кроме того, мы выложили обучающие материалы, которые помогут разработчикам дообучить уменьшенные нейросети под свои сценарии.

О том, как исследователи пришли к сегодняшним результатам, мы расскажем на примере двух «конкурирующих» команд и их state-of-the-art алгоритмов сжатия — QuIP и AQLM. Это короткая, но увлекательная история «противостояния» исследователей, в которой каждые пару месяцев случаются новые повороты, появляются оптимизации и оригинальные подходы к решению проблем.

Читать далее

Наш опыт применения AI-технологий для классификации документов для подачи в суд

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели3.3K

Как мы создали, обучили и выпустили в свет сервис, использующий технологию машинного обучения для распознавания и классификации юридических документов? В этой статье мы расскажем об опыте разработки этого решения для автоматизации труда юристов и взыскателей, и о трудностях на этом пути.

Читать далее

Разбираемся с новой уязвимостью Android-библиотеки Jetpack Navigation: как открыть любой фрагмент из вашего приложения?

Время на прочтение16 мин
Охват и читатели10K

Всем привет!

На связи эксперты из Стингрей Технолоджиз – Юрий Шабалин, Веселина Зацепина и Игорь Кривонос. Недавно специалисты из компании Positive Technologies нашли серьезную проблему безопасности в популярной библиотеке для навигации в приложениях Android – Jetpack Compose Navigation. Эта уязвимость позволяет открывать любые фрагменты внутри приложения.

К большому сожалению, несмотря на усилия сообщества, об этой уязвимости мало кто знает. Поэтому сегодня мы хотим еще раз подсветить данную проблему с углублением в детали. В статье мы разберем, что из себя представляет библиотека Jetpack Compose и ее основные элементы, в чем заключается уязвимость и насколько она опасна, а также приведем немного статистики по уязвимым приложениям.

Интересно? Тогда давайте начинать!

Читать далее

Создание 3D-модели компонента EasyEDA в FreeCAD

Уровень сложностиПростой
Время на прочтение2 мин
Охват и читатели5.4K

База компонентов (EasyEDA)[https://easyeda.com] огромна, но не всегда находится образ нужной детали. Если посадочное место можно отредактировать напрямую в редакторе EasyEDA, предварительно подгрузив наиболее похожий прототип, то редактировать 3D-образ компонента в среде EasyEDA нет возможности.

Читать далее

Что изменилось за последние 25 лет в медицине и почему вас часто лечат по старинке

Время на прочтение9 мин
Охват и читатели33K
image

Мы, медики, весьма консервативны и очень не любим рисковать. Все изменения у нас приживаются с большим скрипом и после миллиона тонн проверок. Ответственность за чужое здоровье, а порой и жизнь не даёт нам права нырять во что-то новое и незнакомое с обрыва. Даже если это (может быть?) поможет лечить людей лучше.

Когда технология или методика прошла испытания, это ещё не значит, что врач сразу же возьмётся её применять. Скорее, даже нет. Потому что если предыдущий метод работает — лучше не трогать.

Иногда это полезно, а иногда, как показывает практика, — нет. У нас не оборачивают сломанную руку сеткой полимера, чтобы можно было чесаться, а закатывают в старый добрый гипс. Не ставят трубки в нос при операции по исправлению перегородки носа, а впихивают 4 метра бинта (буквально), чтобы пациент дышал только ртом первые сутки, а потом это одним движением выдёргивают. Не ставят импланты зубов сразу после удаления кисты в кисту (медицински лучше, но пускай пациент пострадает два раза вместо одного, такова традиция).

В общем, короткий обзор того, что поменялось.
Читать дальше →

Краткий гайд по целеполаганию или как ставить цели и достигать их

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели19K

Данный материал поможет вашей команде определить основные цели и составить план действий для их достижения. В данной статье мы рассмотрим основные понятия, обсудим, как ставить цели, приведем примеры, разберем основные шаги по внедрению и опишем типовой цикл постановки целей.

Читать далее

5 удобных Телеграм-ботов с Chat GPT для написания кода

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели45K

Прогнозам первых юзеров чата GPT о том, что нейросети скоро полностью заменят разработчиков, вряд ли суждено сбыться. Даже наоборот, искусственный интеллект сейчас экономит программистам время и дает им возможность закрывать больше тикетов на радость менеджеру проекта.

По популярности лидирует нашумевший Chat GPT, но в России сервис не работает без VPN. Как тебе такое, Илон Маск? Неудобство? — Да. Разочарование? — return false; Давно есть решение — Телеграм-боты со встроенным GPT для кода и борьбы с багами.

Читать далее

ВНЖ на Мадейре

Время на прочтение11 мин
Охват и читатели3.9K

ВНЖ на Мадейре — это разрешение на пребывание, которое предоставляется иностранным резидентам за выполнение квалифицированных инвестиционных требований, регламентированных правительством Португальской Республики. Среди европейских стран, предлагающих вид на жительство за инвестиции, Мадейра занимает лидирующие позиции.

Мадейра, португальская автономная территория, предлагает уникальные условия для инвесторов, стремящихся не только к экономическим выгодам, но и к высокому уровню жизни. В рамках программы инвестиционного вида на жительство Мадейра предоставляет возможность получить вид на жительство в обмен на инвестиции в недвижимость или бизнес. Программа нацелена на привлечение высококвалифицированных специалистов и предпринимателей, что способствует развитию местной экономики и созданию новых рабочих мест.

Если учесть, что начиная с января 2022 года, португальские власти скорректировали условия получения Golden Visa на таких территориях, как Лиссабон, Порту, Алгарве. Можно ожидать, что эти изменения в дальнейшем будут позитивно воздействовать на развитие Мадейры. Подробнее об этом можно прочитать в статье.

Новые правила получения Golden Visa в Португалии

Начнем с того, что правительства многих стран в последнее время вносили изменения в схемах Golden Visa, Португалия не исключение. В стране были внесены изменения, направленные на упрощение и оптимизацию процесса получения визы, на привлечение инвестиций в определенные области экономики или районы. 

С 1 января 2022 года в законодательстве Португалии вступили в силу значительные поправки, касающиеся программы Golden Visa, которые кардинально изменили условия инвестиционного иммиграционного режима. Согласно новым правилам, инвестиции, которые являются частью этой программы, больше не могут быть осуществлены в густонаселенных районах Португалии, за исключением автономных регионов Мадейры и Азорских островов. 

Читать далее

Что творится в Европе? Как это отразится на релокации и куда теперь деваться?

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели42K

Всем привет! Это Женя из Movly. В этом посте я решил поделиться своим взглядом на ситуация в Европе (и не только), немного затронуть тему политики и поговорить о том, что творится с релокацией. Также попробую ответить на вопрос, а где сейчас жить хорошо и куда ехать? Спойлер: туда где нас нет.

Эта статья - всего лишь один из взглядов на мировую ситуацию. Конечно, я постараюсь подкрепить свои аргументы цифрами, но и без субъективного мнение тоже не обойдусь. Если у вас есть, что добавить, и вы согласны или не согласны с моим мнением - всегда welcome в комментарии.

Читать далее

Слияние словарей в PyTorch: зачем нужно и подводные камни

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели6.5K

Сейчас нейросети стали настолько большими, что обучение большой сети на 1 видеокарте технически невозможно или займёт десятки и сотни лет. Кроме того, на большой обучающей выборке всплывают проблемы забывания сетью того, чему её учили вначале.

Одним из способов решения этих проблем является разбивка датасета на куски, и обучение одной и той же нейросети параллельно на разных устройствах. Потом, очевидно, нужно каким-то образом слить обученные нейросети в одну. Обсудим в этой статье детальнее, зачем это вообще может быть нужно, и как это сделать более-менее правильно.
Сливаем клонов!

Есть только 5 способов создать компанию стоимостью более 100 млрд.$. Какие?

Время на прочтение13 мин
Охват и читатели23K

Какие тектонические силы создают по-настоящему успешные технологические компании? Я проанализировал причины успеха компаний с капитализацией свыше 100 млрд.$ и выделил для себя пять моделей, которые отличают данные фирмы от всех остальных. Об этом и будет данная статья.

Начну с того, что у этих компаний есть нечто общее - все они работают на больших концентрированных рынках, где “победитель получает все”. И все они вывели свои флагманские продукты в “окно возможностей”, когда рынок еще не был занят, и при этом превзошли конкурентов. 

Разница в том, как именно данные компании победили в конкурентной борьбе и создали достаточный барьер, чтобы отгородиться от новых конкурентов и закрыть “окно” для входа других предпринимателей. 

Я уверен, что выделенные мной стратегии применимы и для менее крупного бизнеса, который работает на меньших рынках. Но одно можно сказать точно: все из проанализированных мной компаний используют как минимум одну из данных стратегий создания монополии или олигополии на рынке.

Итак, перечислим данные стратегии/эффекты.

Читать далее

Учёные изобрели линзы ночного зрения

Время на прочтение3 мин
Охват и читатели18K

От вечерних поездок до навигации по дому или парку в темноте — существует так много ситуаций, когда было бы удобно использовать простую пару линз ночного зрения, и мир, выходящий за пределы человеческого оптического восприятия, мог бы быть освещён. Это зрение может стать реальностью благодаря технологическому прорыву, ультратонкой плёнки или линзы толщиной с пищевую плёнку.

Учёные из ARC Centre of Excellence for Transformative Meta-Optical Systems (TMOS) в Австралии пытались сделать ночное видение доступным и носимым, отказавшись от громоздких и дорогих гарнитур и приспособлений для линз.

Их новые открытия позволяют осуществлять всю сложную обработку света по более простому и узкому пути, что, по сути, означает, что эту технологию можно упаковать в виде плёнки ночного зрения, которая весит менее грамма и может быть размещена поверх существующих линз.

Наличие повседневной пары очков ночного зрения, которые выглядят так же, как очки для чтения, может изменить то, как мы работаем и играем после наступления темноты. Тут много возможностей: от поиска собаки без поводка в парке во время ночной прогулки до повышения безопасности за рулем и пешком.

Так почему же мы ещё не ходим в ночных очках? Традиционное ночное зрение включает в себя сложную систему, которая использует световые фотоны, проходящие через объектив в электронный усилитель изображения, состоящий из двух важных частей. Сначала фотокатод преобразует фотоны в электроны, которые затем попадают в микроканальную пластину, состоящую из миллионов отверстий, для массового умножения электронов. Далее электроны попадают на экран с люминофорным покрытием и «светятся» зелёным, освещая сцену, просматриваемую через систему ночного зрения.

Читать далее

Как не бояться разработки РПГ

Уровень сложностиПростой
Время на прочтение12 мин
Охват и читатели17K

Ко мне “приходит” мой напарник, списываемся в телеге, как обычно. Уже работали над игровым сценарием для квеста-приключения, как раз закончилась отрисовка арта… Но напарник, назовем его Мир, исследует рынок и вдруг решает.

- Знаешь Pocket Zone, в таком духе игры?

- Примерно. Представление имею.

- Примкнуть бы к этой нише…

- Карманных постап ролевок?

- А‑га.

Читать о разработке карманной ролевой игры

Как работает блокчейн: объяснение от эксперта по ИТ Петра Емельянова

Уровень сложностиПростой
Время на прочтение14 мин
Охват и читатели19K

Блокчейну приписывают три свойства: неизменяемость, распределенность и консенсус. Разберём, что обеспечивает ему эти свойства и как работает. Объясняет эксперт по машинному обучению и AI — дотошно и подробно, заглянем под капот.

Читать далее

Большие простые числа: доказательство простоты

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели5.1K

В предыдущей статье я рассказал об общих принципах поиска больших простых чисел. Но как бы ни был организован поиск, в конце он всегда заканчивается тестом простоты. И, к сожалению, иногда случается ситуация, когда простое число-то мы нашли, но доказать его простоту не можем. Например, так получилось с самым маленьким простым числом из миллиона цифр 10999999+593499. В этой статье я расскажу, почему тестам простоты уделяется так много внимания в сообществах добровольных распределённых вычислений, таких как GIMPS и PrimeGrid.

Читать далее

Чему стоит поучиться у старенькой Bioshock: Infinite?

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели18K

На релизе новенький Bioshock:Infinite (2013) смог удивить многих, удивил бюджетом разработки, превысившим $100 миллионов, на тот момент неслыханные деньги для одиночных шутеров, редко какой поднимался выше пары-тройки десятков. Топы конечно подбирались к этим размерам (Battlefield 4  - 100$М, Grand Theft Auto V - 250$М, Watch Dogs 1 - 70$M). Удивил не суперпродвинутыми технологиями, которые сжигали видяху (игра была сделана движке прошлой игры серии) — хотя картинка превосходная, даже на фоне вышедших топов. Не смесью жанров всего и вся, по сути игра стала намного более линейной, ближе к идеям первой части, чем сама первая часть. Игра удивляла показанной историей, богато поданной, по-настоящему захватывающей до последнего поворота сюжета, который может сравниться по стилю подачи с лучшими книгами, за каждой открытой дверью, как за перевернутой страницей рисуя живой мир с яркими хорошо прописанными и вписанными в геймплей образами, резкими, отталкивающими но запоминающимися персонажами. Сюжетными твистами в декорациях Диснейленда, скрывающего за красивым фасадом дом ужасов.

Перепроходил по двум причинам, интересно было посмотреть порт на switch - шелезяка очень слабенькая в плане производительности, на уровне 6-7 iphone. Еще интересно было освежить в памяти приемы взаимодействия с игроком посредством визуальных образов и функциональности объектов от мастера двойных смыслов Кена Левина. Как говорят ещё "поднять наигранность", хотя, наверное тут уже надо говорить "освежить". Может кому из коллег в игрострое будет тоже интересно, а читателю еще немного рассказать о закулисье создания игр, игровом дизайне, важности психологии в играх, управления игроком и ломания пятой стены.

Читать далее

Квантовый искусственный интеллект: пересечение квантовых вычислений и машинного обучения

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели4.5K

Квантовые вычисления и машинное обучение — две из самых передовых и захватывающих областей современной науки и технологий. Квантовые вычисления, основанные на принципах квантовой механики, обещают революционизировать подход к обработке информации, предлагая возможности, недостижимые для классических компьютеров. В то же время машинное обучение уже преобразовало многие сферы деятельности человека, от анализа данных до создания интеллектуальных систем. Пересечение этих двух областей открывает новые горизонты для инноваций и значительных прорывов.

Читать далее

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность

Специализация

Десктоп разработчик, Администратор серверов
Младший
От 110 000 ₽
Java
Java Spring Framework
RESTful WebServices.
PostgreSQL
SQL
Hibernate
Linux
Базы данных
Microsoft SQL Server
Разработка программного обеспечения