Pull to refresh
0
@lev12read⁠-⁠only

User

Send message

GPT-4, Claude 3, Gemini Pro или опенсорс — как выбрать LLM под свою задачу?

Level of difficultyMedium
Reading time10 min
Views25K
image

Несмотря на то, что сейчас из каждого утюга рекламируется доступ к ChatGPT и GPT-4, вообще говоря, в мире существует несколько больше разных поставщиков LLM (больших языковых моделей), и некоторые из которых могут гораааздо более эффективнее решать какие-то конкретные задачи.

Я уже полгода веду проект VseGPT.ru с доступом к разным LLM из России по OpenAI API (ну, и через вебчат). Львиная доля работы — подключение новых нейросетей. Сейчас их уже свыше 60, и каждую я попробовал хотя бы раз, ну, когда подключал.

Правда, сайт LLMExplorer, собирающий данные об опенсорс нейросетях с портала Hugging Face, говорит, что их там уже более 33 000 штук. М-да.

В общем, вероятно, я не знаю о текстовых сетках всё, но определенно знаю кое-что — хотя бы в пределах своего скромного опыта в 60 сеток. Так что кому интересно — прошу под кат.
Читать дальше →
Total votes 25: ↑24 and ↓1+31
Comments28

Обзор современных подходов персонализации диффузионных нейронных сетей

Level of difficultyHard
Reading time16 min
Views3.2K

Задача персонализации text-to-image модели состоит в донастройке предобученной нейронной сети так, чтобы она могла генерировать изображения заданного объекта в выбранных сценах. Несмотря на то, что подходы к решению этой задачи существуют, для их применения в высоконагруженных системах необходимо решить ряд проблем: большое время дообучения, высокие требования к видеопамяти, неспособность точно захватывать детали целевого объекта и др.

Меня зовут Сергей Михайлин. Я разработчик группы машинного обучения в ОК. В данной статье дан обзор современных подходов к персонализации text-to-image моделей на базе открытой архитектуры Stable Diffision. Мы приводим технические подробности каждого подхода и анализируем его применимость в реальных высоконагруженных системах. На основании собственных экспериментов по персонализации text-to-image моделей мы выделяем список возникающих при решении этой задачи проблем и перспективных способов их решения.

Читать далее
Total votes 10: ↑10 and ↓0+10
Comments0

Kornia — библиотека компьютерного зрения

Level of difficultyMedium
Reading time15 min
Views12K

Kornia это open source библиотека для решения задач компьютерного зрения. Она использует PyTorch в качестве основного бэкенда и состоит из набора дифференцируемых процедур и модулей. Создатели библиотеки вдохновлялись OpenCV, и поэтому Kornia является его аналогом, но при этом в некоторых моментах превосходит. Главным преимуществом Kornia по сравнению с тем же OpenCV, scikit-image или с Albumentations является возможность обрабатывать изображения батчами, а не по одному изображению и возможность обрабатывать данные на GPU.

Читать далее
Total votes 26: ↑26 and ↓0+26
Comments10

Как работает Stable Diffusion: объяснение в картинках

Reading time9 min
Views95K
Генерация изображений при помощи ИИ — одна из самых новых возможностей искусственного интеллекта, поражающая людей (в том числе и меня). Способность создания потрясающих изображений на основании текстовых описаний похожа на магию; компьютер стал ближе к тому, как творит искусство человек. Выпуск Stable Diffusion стал важной вехой в этом развитии, поскольку высокопроизводительная модель оказалась доступной широкой публике (производительная с точки зрения качества изображения, скорости и относительно низких требований к ресурсам и памяти).

Поэкспериментировав в генерацией изображений, вы можете задаться вопросом, как же она работает.

В этой статье я вкратце расскажу, как функционирует Stable Diffusion.

Читать дальше →
Total votes 29: ↑29 and ↓0+29
Comments12

Согласование импедансов: как сломать и как починить

Reading time8 min
Views36K

Рано или поздно в руки любителей, начинавших с Ардуино, попадают куда более быстрые устройства. Накинув щупы осциллографа на навесные провода, они обнаруживают, что сигнал, который задумывался, как голубая линия на заглавной картинке на деле выглядит, как жёлтая. В поисках решения проблемы они приходят к весьма многогранной области знаний под названием «Целостность сигналов». И если такие её аспекты, как питание и возвратные токи относительно просты для понимания, то согласование импедансов содержит ряд контринтуитивных положений. В процессе освоения данной темы мне показалось, что материалы по ней разделены на три не слишком хорошо связанных блока:
1) теория с формулами и отсылками к 2 курсу ВУЗа
2) гипертрофированные примеры на симуляторах
3) применение на практике (с эмпирическими суевериями)

Данная статья является попыткой начать с конца. Я возьму работающую схему, выполненную в текстолите. Затем постараюсь ухудшить её характеристики так, чтобы рассогласование линий стало причиной сбоев в работе или хотя бы стало заметно на осциллографе. А затем постараюсь устранить возникшие проблемы.

Согласовать импедансы
Total votes 68: ↑67 and ↓1+88
Comments40

Неустаревающие книги?

Reading time6 min
Views34K

Некоторым из этих книг уже очень много лет. Главная книга о паттернах — Design Patterns — увидела свет в 1994-м году, значит, ей уже почти тридцать. По сравнению с ней, Clean Architecture, вышедшая десять лет назад — практически, ребёнок!

Но десять лет для индустрии — гигантский срок. Возможно, эти книги уже устарели и нам они не нужны?

Перечитаем и попробуем разобраться
Total votes 22: ↑19 and ↓3+21
Comments34

Скрипт автоматического обновления DDNS для No-IP

Reading time4 min
Views39K
Прочитав множество руководств и примеров написания скрипта для работы Mikrotik с сервисом noip.com, так и не удалось найти готового решения.
Что не устраивало в других руководствах, например, здесь:
при написании необходимо прямо в тексте скрипта указывать имя интерфейса, с которого он будет получать внешний IP-адрес, а что если интерфейсов два, три или десять?
В моем случае имеется 2 канала: pppoe-client и ethernet без пароля, но с динамически получаемым адресом…
Читать дальше →
Total votes 8: ↑7 and ↓1+6
Comments7

Книга «Теоретический минимум по Computer Science. Сети, криптография и data science»

Reading time11 min
Views9.7K
image Привет, Хаброжители! Хватит тратить время на занудные учебники! Это краткое и простое руководство предназначено для читателей, не заботящихся об академических формальностях. Большинство технологических прорывов нашей эпохи происходят в цифровой среде, создаваемой программистами. Ученые-компьютерщики объединяют различные области исследований и расширяют возможности этого нового мира. Чтобы научиться плавать в океане информации, необходимо разбираться в основах сетевых технологий, криптографии и науке о данных. Вы узнаете как эффективно манипулировать данными, освоите машинное обучение и современные концепциии безопасности. Раскройте мощь Computer Science и станьте гуру цифровой эпохи!
Читать дальше →
Total votes 4: ↑3 and ↓1+2
Comments8

Почему стоит использовать тег <picture> вместо <img>

Reading time6 min
Views54K
image

Использование изображений и анимаций в интерфейсах пользователя стало распространённой практикой в современных веб-приложениях. Хотя эти примеры современного дизайна делают упор на повышение удобства работы с приложениями, если изображения не адаптируются ко всем устройствам, то могут возникать проблемы.

Мы, разработчики, должны удовлетворять потребностям пользователей. Но чаще всего мы упускаем мелочи, способные быть очень важными из-за того, что мы ищем решения на более высоких уровнях.

Выбор между тегами picture и img может показаться мелким решением, но сделав правильный выбор, вы сможете повысить и удобство для пользователя, и производительность.

В этой статье мы расскажем о различиях между тегами picture и img и объясним, почему тег picture более совершенен, чем img.
Читать дальше →
Total votes 25: ↑24 and ↓1+33
Comments34

Мощь множества ядер для укрощения кодека AV1

Reading time10 min
Views13K
image

Пролог


Периодически, я интересуюсь видеокодеками и тем, насколько они становятся эффективнее по сравнению со своими предшественниками. В свое время, когда после H264 вышел HEVC, мне было безумно интересно его пощупать, но мое железо того времени оставляло желать лучшего.

Сейчас же железо подтянулось, но и HEVC давно устарел, ему на смену жаждет придти открытый AV1, обещающий нам до 50% экономии по сравнению с 1080p H264, но если скорость качественного кодирования в HEVC кажется медленноватой (по сравнения с H264), то AV1 со своим ~0.2 fps деморализует полностью. Когда что-то кодируется настолько медленно, то это значит, что даже простой 10 минутный ролик, будет обрабатываться около суток. Т.е. чтобы просто посмотреть подходят ли параметры кодирования или нужно добавить немного битрейта, придется ждать не просто часами, а днями…

И вот, как-то раз, любуясь красивым закатом (кодека H264), я подумал: «А что, если натравить на AV1 все железо которое у меня есть одновременно?»
Читать дальше →
Total votes 13: ↑11 and ↓2+14
Comments44

Новый кодек AV1: ускоряем загрузку видео в браузере

Reading time6 min
Views95K
В этом руководстве мы научимся использовать видео в Вебе, как это принято в 2019. Chrome и Firefox начали поддерживать новый кодек AV1 — для них видео можно сделать в два раза меньше.

Отдельно поговорим, как заменить GIF на видео в AV1 и H.264 — тогда его размер упадёт в 20-40 раз.

AV1 в браузере

YouTube уже использует его в TestTube. Netflix заявил, что AV1 будет «их основным кодеком следующего поколения».

Мы в Злых Марсианах уже используем его на нашем сайте и на Ампллифере. В этой статье я поделюсь опытом внедрения AV1 и шаг-за-шагом расскажу, как вставить видео, чтобы оно работало во всех браузерах.
Читать дальше →
Total votes 49: ↑49 and ↓0+49
Comments85

20 лет VideоLAN Client Player: 8 неочевидных возможностей программы

Reading time6 min
Views30K

20 лет — большой срок, даже Windows не сильно старше. Многие удачные проекты, сохраняющие популярность годами, не выдерживали испытания временем и сдулись: помните Winamp, бесспорного фаворита среди аудио-плееров? Или foobar2000 — универсальный, удобный, имеющий огромное количество возможностей… Настоящий медиа-комбайн, только не снискал большой популярности. Или не менее культовый Media Player Classic, заброшенный много лет назад.

VLC это универсальный медийный комбайн, который успешно пережил их всех. Но подавляющее большинство использует его на едва ли на 1% всех возможностей, исключительно как обычный плеер для видеофайлов. В этой статье я расскажу о интересных и неочевидных возможностях VLC: например, как использовать его с PornHub, торрентами, как рисовать ASCII-код и многое другое.
Читать дальше →
Total votes 44: ↑42 and ↓2+59
Comments40

Как собрать радио для коллег без единого разрыва

Reading time5 min
Views10K

Привет, Хабр! Вот уже почти 5 из 10 лет я совмещаю работу сетевиком с любимым хобби — подкастом про IT. За это время наш сервер для аудиотрансляций развивался, менялся и оказался полезен не только нам, но и коллегам. Недавно я правильно клонировал нашу сборку на базе Linux для радио ЦОД.fm в DataLine и решил поделиться своими наработками со всем сообществом.

Сегодня покажу, из чего я собирал новогоднее радио для затравки к онлайн-корпоративу и создания праздничного настроения у коллег перед новым годом.

Читать далее
Total votes 19: ↑18 and ↓1+20
Comments17

Не нравится свой интернет-провайдер? Стань им сам: опыт американца по имени Джаред Мауч

Reading time4 min
Views49K

Качество работы некоторых интернет-провайдеров не выдерживает никакой критики. Подобные компании можно найти в любой стране. Чаще всего проблема в том, что организация является монополистом в своем регионе, поэтому делает, что хочет. Есть на эту тему отличная серия из South Park, которая называется «Informative Murder Porn». И хотя в ней показан провайдер кабельного ТВ, сюжет актуален и для интернет-отрасли.

Так вот, в пригороде Мичигана один из клиентов провайдера интернет-услуг остался настолько недоволен сервисом, что сам стал интернет компанией. Он пробросил оптоволокно, сделал разводку, зарегистрировал предприятие и получил скоростной интернет не только для себя, но и стал обеспечивать связью соседей. Имя этого человека — Джаред Мауч.
Total votes 78: ↑76 and ↓2+99
Comments169

Какой софт и базы использует Bellingcat в своих расследованиях?

Reading time7 min
Views124K


Весь мир обсуждает последнее расследование детективного агентства Bellingcat. Кажется невероятным, что группа обычных пользователей способна распутать такое дело. При этом они используют стандартные инструменты и базы данных, зачастую доступные в интернете.

Неужели сегодня можно раскрыть преступление вообще не вставая из-за компьютера? Только на основании следов, которые люди оставляют в базах данных, в истории мессенджеров, в логах операторов связи, на камерах наблюдения?

Или это фантастический киберпанк?
Читать дальше →
Total votes 217: ↑178 and ↓39+216
Comments864

Схемотехника 100 лет назад. Обзор довоенного радиоприемника ЭЧС-3

Reading time7 min
Views63K

Представляю вам обзор старинного советского довоенного радиоприемника ЭЧС-3. Радиоприёмник сетевой ламповый ЭЧС-3 выпускался с осени 1933 до 1935 года московским электромеханическим заводом им. Серго Орджоникидзе.

Читать далее
Total votes 129: ↑129 and ↓0+129
Comments218

Четыре способа получить аудио вк или «это не баг, а фича»

Reading time127 min
Views67K

Всем привет! Сегодня я расскажу вам о моем опыте с ВК, найденных багах, об отношении к пользователям и, собственно, как получить аудиозаписи вк, пользуясь "не багами а фичами", как меня заверяли сотрудники данной корпорации. Итак, приступим!

Читать далее
Total votes 53: ↑50 and ↓3+64
Comments58

Инфографика средствами Excel и PowerPoint. Часть 2

Reading time12 min
Views23K
Не жди поездку в Гагры!
Давид Маркович, сериал «Ликвидация»

Всем привет!

За время карантина все, наверное, не по разу прочитали о том, как плодотворно А.С. Пушкин провел свой период «заточения», названный впоследствии «Болдинской осенью», поэтому не буду объяснять, что именно меня сподвигло написать следующую статью об инфографике средствами MS Office.

К тому же, мне есть что вам еще рассказать, ведь я более 10 лет преподаю и руковожу группой разработки учебных материалов в учебном центре «Сетевая Академия ЛАНИТ», а также являюсь автором курса по инфографике.

В первой статье я привела несколько примеров использования иконок в диаграммах вместо легенды и для визуализации итогового значения. Предлагаю продолжить тему под просмотр фильмов. За последние пару недель я пересмотрела больше кино, чем за целый год, и это натолкнуло меня на мысль объединить рассматриваемые примеры в группы и подобрать для каждой группы название фильма, с каким они у меня ассоциируются. 

Читать дальше →
Total votes 65: ↑65 and ↓0+65
Comments9

Подкасты для разработчиков

Reading time10 min
Views20K
Интересно наблюдать за историей. Netflix, YouTube, Twitch постепенно вытеснили телевизор из нашей жизни. Сейчас похожий процесс происходит с подкастами и радио. За последние 2 года количество подкастов в мире выросло с 525 000 до 900 000, а количество эпизодов увеличилось с 18 000 000 до 30 000 000. В России эта волна началась в прошлом году, но уже сейчас становится сложно в них ориентироваться. Мы сделали для вас подборку из 57 техноподкастов и около того.


Читать дальше →
Total votes 26: ↑23 and ↓3+29
Comments56

Анатомия накопителей: SSD

Reading time6 min
Views53K
image

Часть 1. Анатомия накопителей: жёсткие диски

Твёрдый, как камень


Точно так же, как транзисторы совершили революцию в компьютерной области, увеличив скорость переключения и выполнения математических операций, использование полупроводниковых устройств в качестве накопителей привело к такому же результату.

Первые шаги на этом пути были сделаны компанией Toshiba, предложившей в 1980 году концепцию флеш-памяти. Четыре года спустя она создала NOR-память, а в 1987 году — NAND-память. Первый коммерческий накопитель с использованием флеш-памяти (solid state drive, или SSD) был выпущен SunDisk (позже переименованной в SanDisk) в 1991 году.
Читать дальше →
Total votes 19: ↑15 and ↓4+20
Comments25

Information

Rating
Does not participate
Registered
Activity