Pull to refresh
9
0
Евгений Горбов @DOLARiON

User

Send message

Как мы применили нейросеть Stable Diffusion в создании контента для интернет-магазина

Level of difficultyMedium
Reading time11 min
Views6.2K

Что делать, если то самое классное изображение никак не удается найти, а у заказчика пока нет ресурса предоставить нужный контент? Что можно придумать для разделов каталога, когда есть только фото для продуктовых карточек, чтобы это выглядело красиво? Как при этом не забыть о метафорах и ассоциациях бренда и создать необходимое настроение на сайте? Да еще и чтобы заказчик все это согласовал без правок…

Читать далее
Total votes 17: ↑12.5 and ↓4.5+8
Comments20

Почему работодатель хочет, чтобы вы были ИП

Reading time7 min
Views61K

Представим сферическую ситуацию в вакууме. Вы никогда до этого не были предпринимателем, только работали по найму. У вас на руках два оффера. Оба по 100 000 руб. на руки, оба на плюс-минус одинаковых условиях. Офис, 5 дней в неделю по 8 часов. Но один работодатель хочет заключить с вами трудовой договор, а другой предлагает вам оформиться как ИП.

Для начала зададимся вопросом, почему работодатель предлагает оформить отношения с вами как с ИП, а не берёт в штат? Если кратко, то работодателю так проще и дешевле. Почему? Давайте разберёмся.

Читать далее
Total votes 142: ↑130 and ↓12+118
Comments268

Двое на самокате, не считая кучи разных датчиков: как мы учились определять поездки вдвоем

Reading time14 min
Views53K

Всем привет, на связи Фарук, инженер-разработчик электроники и встроенного ПО в Whoosh (читается как ВУШ, ощущается как вжууух). Работаю я в embedded отделе (хардкорные программисты, что пишут прошивку на C для различных железок и проектируют эти самые железки), но в основном занимаюсь анализом различных данных от нашего IoT модуля и разработкой алгоритмов для работы с этими данными.

Наша компания — сервис аренды электросамокатов (а местами еще и электровелосипедов) или, иными словами, кикшеринг. О том, как мы к этому пришли и что из себя представляем можно почитать здесь.

Одно из отличий использования шерингового самоката от личного — наличие определенных правил. Например, вы видели когда-нибудь парочку влюбленных, вдвоем на самокате, исчезающих в закате? Или может наблюдали троих парней, которые в обнимку, преодолев смущенье, едут навстречу новым приключеньям? А может быть вы видели как чей-то отец, словно швец, жнец и на самокате ездец, с одним ребенком подмышкой а с другим на шее смело едет по парковой аллее?
Вызывают ли у вас эти картины гнев и праведное негодование? А может быть вы и сами не прочь прокатиться с другом/подругой на одном самокате? У нас для вас есть две новости.

Во-первых, так нельзя. А во-вторых, добро пожаловать под кат.

На самокат и под кат
Total votes 141: ↑133 and ↓8+125
Comments312

Как бизнесу заработать 3,8 млн рублей с помощью трафика, окупив бюджет в 2 раза

Level of difficultyEasy
Reading time6 min
Views6K

Сложный продукт с отложенным спросом в суперконкурентной нише. Масштабировать трафик на него — задача не из простых. Но мы не испугались и принесли клиенту дополнительных продаж на 3,8 млн рублей, окупив рекламный бюджет в 2 раза.

Всем привет! Это Алена Мумладзе, основательница аналитического агентства диджитал-рекламы HotHeads Band. В первой половине кейса мы покажем наши лучшие решения и логику работы. А во второй дадим полезные советы: какие креативы приносят результат и какие воронки работают.

Читать далее
Total votes 6: ↑0 and ↓6-6
Comments9

Как мы тестировали большие языковые модели для модерации отзывов

Reading time10 min
Views1.9K

В приложении «Магнит: акции и доставка» можно оставлять отзывы на товары. Отзывы модерируются: мы публикуем те, которые считаем полезными для других покупателей, — они должны описывать потребительские свойства товара. Отклоняем все остальные: как правило, это жалобы на ценники, сервис в магазине, условия хранения либо просто нерелевантные тексты. Отзывы с жалобами обрабатывают службы поддержки и сервиса.

Рассказываем о том, как мы попробовали применять большие языковые модели, чтобы автоматизировать модерацию отзывов. 

Читать далее
Total votes 9: ↑9 and ↓0+9
Comments3

Введение в Router Cosmo — потрясающе быстрый шлюз с открытым исходным кодом Federation V1/V2

Reading time12 min
Views2.1K

Предприятия имеют разнообразные зависимости от данных — внутренние микросервисы со специализированными доменами данных, устаревшие системы с собственными форматами данных, а также сторонние API и приложения SaaS со своими уникальными моделями данных и конечными точками.

TL;DR: разные (и часто устаревшие) технологии, которые нужно как-то объединить.

Federated GraphQL выделился как главное решение для такого объединения в сфере предприятий, и Router (или Gateway) в Federation действует как ключевой элемент, который связывает все эти разрозненные источники данных вместе, делая их доступными через единственный, согласованный API, сохраняя при этом адаптивность. Это, на самом деле, ключ к тому, как Federated GraphQL позволяет создавать масштабируемые и модульные архитектуры.

Сегодня мы рассмотрим высокопроизводительный, открытый, совместимый с Federation V1/V2 Router от WunderGraph Cosmo. Мы расскажем, что он делает, почему он так важен для стека Cosmo, как вы можете разместить его самостоятельно, а также настроить и расширить его с помощью своего собственного кода на Go.

Читать далее
Total votes 1: ↑1 and ↓0+1
Comments0

Объединить большие языковые модели реально с помощью mergekit?

Level of difficultyMedium
Reading time13 min
Views1.9K

Искусственный интеллект развивается, используя подход, аналогичный коллективному интеллекту людей. Вместо одной мощной системы, разработчики создают много маленьких систем с разными специализациями, которые взаимодействуют между собой. 

Сейчас в открытом доступе уже есть огромное количество ИИ-моделей, которые разработчики улучшают и комбинируют, чтобы создавать новые модели для более глубоких и сложных задач. И нынешние технологии позволяют им делать это, не тратя много времени и ресурсов на обучение.

Слияние моделей — это методика, которая объединяет две или более LLM-модели в одну. Это относительно новый и экспериментальный метод создания новых моделей без использования GPU, а значит, недорого. И да, это работает. Причем работает на удивительно хорошо, что в результате дает множество современных моделей на доске лидеров Open LLM.

Сегодня  мы рассмотрим, как работает объединение больших языков моделей с использованием библиотеки mergekit.  Если более конкретно, то мы рассмотрим четыре метода слияния и предоставим примеры конфигураций. Затем мы воспользуемся mergekit для создания собственной модели, Marcoro14-7B-slerp, которая стала самой эффективной моделью на доске лидеров Open LLM (02/01/2024).

Код доступен на GitHub и Google Colab. Кстати, для простого запуска mergekit можно использовать LazyMergekit.

Читать далее
Total votes 3: ↑2 and ↓1+1
Comments0

Автоматизированная торговля акциями с использованием глубокого обучения с подкреплением

Level of difficultyMedium
Reading time7 min
Views11K

В этой статье мы начинаем рассматривать практическое применение библиотеки FinRL для построения торгового агента. В предыдущей статье мы вкратце рассмотрели библиотеку FinRL, предоставляемые ей возможности моделирования рынка и обучения торговых агентов на основании алгоритмов обучения с подкреплением.

Это вторая статья нашего обучающего цикла и в ней мы построим примитивного агента, который анализирует поступающие данные о стоимости позиции на рынке и пытается предсказать будущую цену. Вполне очевидно, что результат такого примитивного агента будет весьма далек от приемлемого уровня, но этот шаг поможет нам создать модель рынка с помощью библиотеки FinRL, обучить агента и быть готовыми к построению более сложных и осмысленных моделей.

Читать далее
Total votes 23: ↑20 and ↓3+17
Comments12

От хаоса к порядку. Как мы внедряем стандарты в CDEK

Level of difficultyMedium
Reading time11 min
Views4.3K

Привет, Хабр! Меня зовут Олег Бондарь, я архитектор решений в CDEK. В этой статье расскажу о стандартах — сводах правил и требований, которые позволяют всем участникам процесса быть в общем контексте, действовать единообразно и совершать меньше ошибок. Кроме того делают взаимодействие между людьми и системами немного проще.

Статья будет полезна менеджерам проектов, разработчикам, тестировщикам, аналитикам и другим IT‑специалистам. Поговорим о способах выработки и применении стандартов, их влиянии на проектирование, разработку, тестирование и стабильность системы в целом. Для примера возьмем ERP CDEK, которая ежедневно обеспечивает работу десятков тысяч пользователей, нескольких сотен тысяч клиентов и позволяет нам обрабатывать до полумиллиона заказов в день.

Читать далее
Total votes 51: ↑48 and ↓3+45
Comments28

ANNA – сервис для автоматической разработки нейронных сетей

Level of difficultyEasy
Reading time10 min
Views7.3K

Нейросетевые модели уже несколько лет успешно применяются в Альфа-Банке для решения ключевых задач, таких как кредитный скоринг, прогнозирование склонности клиентов к продуктам и определение оттока. Модели глубокого обучения демонстрируют высокое качество и стабильно улучшают метрики при добавлении к традиционным бустинговым моделям, что приносит Банку сотни миллионов рублей ежегодно.

Однако со временем процесс переобучения моделей под новые целевые переменные становится рутиной: используемые архитектуры почти не меняются, данные собираются по стандартным алгоритмам, по стандартным же алгоритмам обучаются модели и внедряются в продакшен. 

Как продолжать успешно внедрять нейросетевые модели в основные бизнес-задачи, не тратя время на неэффективные рутинные процессы – в нашей новой статье.

Читать далее
Total votes 27: ↑26 and ↓1+25
Comments2

Автоматизируем поиск ценной информации в групповых чатах Telegram с помощью LLM

Level of difficultyMedium
Reading time17 min
Views9.6K

Устали мониторить бесконечные групповые чаты в Telegram в поисках важной информации? Решение есть! Пишем компактное приложение на Python, которое будет делать это за нас с использованием LLM.

Читать далее
Total votes 20: ↑18 and ↓2+16
Comments16

Как устроена наша PIM-система, и почему мы не используем ни реакт, ни микросервисы

Level of difficultyMedium
Reading time12 min
Views9.4K

Пара слов обо мне. У меня никогда не было серьезного плана делать свой продукт, открывать под это дело компанию, погружаться в custdev и вот это вот всё. Днем я работал в сеньёр девелопером, по вечерам - делал pet-проекты типа онлайн версии настольной игры или онлайн-редактора пиксель-арта, и все было хорошо.

Но в какой-то момент так совпало, что вопрос с жильем был решен, была накоплена финансовая подушка на пару лет и подвернулся интересный, как мне показалось, проект. Свою лепту также внес мой друг, который вложил в мою голову мысль, что со временем мы стареем, хуже учимся, труднее воспринимаем новую информацию, и чем дальше, тем будет хуже. Так что если я не хочу всю жизнь в найме провести - то вот подходящее время, когда и опыт уже есть, и силы еще есть.

В общем, мы разрабатываем PIM-систему catalog.app, и я оказался ответственным за весь процесс, начиная от общения с клиентами и формирования требований и заканчивая оптимизацией SQL запросов. В этой статье я расскажу, как наша система устроена внутри, и постараюсь обосновать, почему были выбраны именно такие подходы и инструменты, как у нас организован процесс разработки.

У нас нет кубернетеса, кликхауса, реакта, бессерверных вычислений, рэббит эмкью, кафки, кибаны, графаны, дженкинса, ноды, эластика, и много чего ещё нет. Зато есть дотнет последней версии, энтити фреймворк, нгинкс и шваггер. Я постараюсь рассказать, как и почему мы дошли до такой жизни, и жизнь ли это.

Вы не подумайте, все то, что перечислено выше и чего у нас нет, я считаю прекрасными инструментами (кроме ноды, нода ужасна), и со многим когда-то имел дело. Но любая сторонняя зависимость, а особенно инфраструктурная зависимость, имеет свою цену, и я искренне считаю, что на этом этапе развития проекта не все зависимости нам по карману. Возможно, в комментариях будет порция обоснованной критики по выбору технологий, мы постараемся к ней прислушаться.

Читать далее
Total votes 37: ↑35 and ↓2+33
Comments38

Методы глубокого хэширования нового поколения

Level of difficultyHard
Reading time4 min
Views2.7K

В последние годы наблюдается значительный рост объема данных, которые генерируются и сохраняются в различных форматах и большом масштабе. Одним из ключевых направлений в этой области является глубокое хеширование, которое обещает обеспечить компактное представление данных и быстрый поиск по содержанию. В этом контексте, различные методы глубокого хеширования, такие как Deep Lifelong Cross-modal Hashing, LLSH (Deep Neural Network-based Learned Locality-Sensitive Hashing), Graph-Collaborated Auto-Encoder Hashing, Sparsity-Induced Generative Adversarial Hashing (SiGAH) и CLIP Multi-modal Hashing, были предложены для обеспечения эффективного сопоставления между различными модальностями данных.

Эти методы стремятся к созданию хеш-кодов, которые могут эффективно сопоставлять и связывать данные различных модальностей, обеспечивая при этом высокую точность и скорость поиска. Однако, несмотря на обещающие результаты, существует много вопросов и вызовов, которые еще предстоит решить для достижения оптимальной производительности и широкого применения в реальных системах.

Читать далее
Total votes 6: ↑3 and ↓30
Comments0

Надежный обход блокировок в 2024: протоколы, клиенты и настройка сервера от простого к сложному

Level of difficultyMedium
Reading time45 min
Views134K

Поскольку блокировки интернета в РФ в последние недели и месяцы многократно активизировались, а маразм все крепчает и крепчает, стоит еще раз поднять тему обхода этих самых блокировок (и делаем ставки, через сколько дней на эту статью доброжелатели напишут донос в РКН чтобы ограничить к ней доступ на территории страны).

Вы, наверняка, помните отличный цикл статей на Хабре в прошлом году от пользователя MiraclePtr, который рассказывал о разных методах блокировок, о разных методах обхода блокировок, о разных клиентах и серверах для обходов блокировок, и о разных способах их настройки (раз, два, три, четыре, пять, шесть, семь, восемь, десять, десять, и вроде были еще другие), и можете спросить, а зачем еще одна? Есть две основные причины для этого.

Читать далее
Total votes 506: ↑498 and ↓8+490
Comments351

Отдаем рутину нейро-руководителю: ежедневный репост новостей в Telegram канал

Level of difficultyEasy
Reading time4 min
Views2K

Наша цель - избавиться от рутины и без знаний программирования создать нейро-руководителя команды нейро-сотрудников, который сам активируется каждый день и делает репост новостей в наш Telegram канал. При этом текст новости должен быть переписан ИИ и к посту найдена релевантное фото в Яндексе.

Читать далее
Total votes 9: ↑5 and ↓4+1
Comments4

Переключение между контекстами губительно для продуктивности

Reading time6 min
Views14K


Введение


В нашей индустрии есть много вещей, губительных для продуктивности, и одна из худших – это переключение между контекстами. Мы многократно отрываемся от работы, отвлекаемся на что-то, например на изменения в приоритетах или совещания, либо просто теряем концентрацию.
Человеку нужно более двадцати минут, чтобы в должной мере включиться в работу после перерыва.

Я попросил Юджина Шульга, закаленного в боях техлида и технического директора Telnyx, поделиться с нами мыслями о том, как справляться с переключением между контекстами. Его карьерный путь напоминает мой собственный. Он начинал программистом, затем поднялся до руководящей позиции и в конце концов стал техническим директором компании. Рекомендации, которые он дает, основаны на его личном опыте работы программистом, руководителем команды и руководителем руководителями.

Давайте перейдем непосредственно к рекомендациям!
Читать дальше →
Total votes 25: ↑24 and ↓1+23
Comments15

Спасаем Google Shared Drives от санкций (дополнение спустя два года)

Level of difficultyEasy
Reading time3 min
Views7.3K

Ровно два года назад, 16 марта 2022 года, ваш покорный слуга рассказал про нехитрые телодвижения, которые с помощью rclone позволяют сохранить локально ваши корпоративные Google shared drives (не путать с личным Google Drive).

Ок, данные были сохранены и можно выдохнуть. Но что делать, если вам хочется продолжить использование этого продукта, аналогов которому по функциональности и экосистеме нет? И при этом хочется еще спокойно спать по ночам? В том числе и после новых санкций:

Читать далее
Total votes 13: ↑11 and ↓2+9
Comments2

Создание генетического алгоритма для нейросети и нейроcети для графических игр с помощью Python и NumPy

Level of difficultyMedium
Reading time6 min
Views5.6K

Привет, Хабр!

Сегодня я расскажу и покажу, как сделать Genetic Algorithm(GA) для нейросети, чтобы с помощью него она смогла проходить разные игры. Я его испробовал на игре Pong и Flappy bird. Он себя показал очень хорошо. Совет прочитать, если вы не читали первую статью: "Создание простого и работоспособного генетического алгоритма для нейросети с Python и NumPy" , так как я доработал свой код который бы показан в той статье.

Я разделил код на две скрипта, в одной нейросеть играет в какую-то игру, в другой обучается и принимает решения(сам генетический алгоритм). Код с игрой представляет из себя функцию которая возвращает фитнес функцию (она нужна для сортировки нейросетей, например, сколько времени она продержалась, сколько очков заработала и т.п.). Поэтому код с играми(их две) будет в конце статьи. Генетический алгоритм для нейросети для игры Pong и игры Flappy Bird различаются лишь параметрами.

Используя скрипт, который я написал и описал в предыдущей статье, я создал сильно изменённый код генетического алгоритма для игры Pong, который я и буду описывать больше всего, так как именно на него я опирался, когда я уже создавал GA для Flappy Bird.

Вначале нам потребуется импортировать модули, списки и переменные:

Читать далее
Total votes 15: ↑13 and ↓2+11
Comments4

Как заменить фотостоки на нейронки в коммерческих проектах: личный опыт и промпты

Level of difficultyMedium
Reading time4 min
Views8.1K

Зачем нужны фотостоки, если нейросети готовы производить бесконечное количество нужных вам изображений? Расскажу, как мы получили несколько несколько сотен фотореалистичных изображений людей и пакет иконок для коммерческого сайта с помощью нейронок, потратив ~50 часов дизайнеров и $60 на Pro Plan Midjourney.

Плюс, конечно, наша насмотренность и опыт, которым я сейчас поделюсь с вами!

Читать далее
Total votes 13: ↑11 and ↓2+9
Comments23

Интернет-связь для российских эмигрантов в Китае: Как мы это сделали 10Gb\s

Reading time5 min
Views2.5K

Китай — страна с невероятной историей и богатой культурой, ставшая в наши дни одним из главных экономических и технологических лидеров мира. Однако, вопрос свободы информации остаётся актуальным, особенно для тех, кто приехал из других стран. Интернет в Китае имеет свои особенности, которые могут вызвать проблемы для иностранных граждан.

Одной из отличительных черт интернета в Китае является так называемая «Великий китайский фаерволл» — система цензуры интернета, которая блокирует доступ к многим популярным западным сайтам и сервисам. Из‑за этой стены, многие российские эмигранты, проживающие в Китае, испытывают трудности с доступом к государственным услугам России.

Эта проблема стала особенно острой в современные времена, когда большинство государственных услуг предоставляется в онлайн‑формате. Это значит, что для удовлетворения своих потребностей в государственных услугах, российские эмигранты в Китае должны обходить систему цензуры, что может быть сложным и рискованным.

Читать далее
Total votes 12: ↑6 and ↓60
Comments10
1
23 ...

Information

Rating
4,316-th
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity