Как стать автором
Обновить
0
@ksks23read⁠-⁠only

Пользователь

Отправить сообщение

Хабр, GPT, корпоративные блоги и БМЛы: оцениваем глубины ужаса

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров20K

Я не испытываю ненависти ни к корпоративным блогам, как таковым, ни к большим языковым моделям в целом. А вот к мусорному контенту, созданному левой пяткой ради ссылок на сайт или телеграм-канал - испытываю, и еще как. И как раз вот тут встретились два одиночества - ленивые копирайтеры мусоропроизводители и генеративные сети. Получилась, как вы понимаете, вовсе не конфетка.

Долго работая с LLM и GPT, неизбежно начинаешь замечать характерные паттерны, обороты, формулировки, характерные для генеративного контента. Наткнувшись на очередную очевидно генеративную статью и убедившись, что из таких статей у компании состоит весь блог, я решила исследовать это дело подробнее и желательно - автоматически.

За подробностями, результатами, ужасом и даже кодом на VB.NET приглашаю под кат!

Читать далее

Как мы сделали переводчик точнее и дешевле Google и Yandex

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров13K

Всем привет! Меня зовут Никита, я Data Scientist из Raft. Сегодня я расскажу вам о том, как мы решили задачу перевода каталога товаров большого интернет-магазина с русского на арабский язык с применением искусственного интеллекта. Мы рассмотрим различные подходы и идеи, возникавшие в процессе погружения в эту задачу. Также я объясню, почему мы отказались от готовых решений и выбрали Large Language Models (LLM) в качестве основного инструмента. Как вы, возможно, уже догадались из названия, основным преимуществом нашего финального решения стала значительная оптимизация расходов: нам удалось сократить использование API OpenAI в 4 раза, при этом сохранив высокое качество перевода.

Читать далее

Парсинг Instagram в промышленных масштабах

Время на прочтение28 мин
Количество просмотров40K

В декабре 2020 года, завершив работать в научном институте, я увлёкся задачей добычи данных из соцсетей, в частности из Инстаграма. Прежде я работал только с готовыми данными, поэтому мне всегда было интересно, как эти данные можно добывать. За несколько дней до Нового Года я написал достаточно базовую статью про то как парсить Инст. В первых числах января мне написал заказчик и попросил сделать для него масштабный парсер инстаграма, который был бы способен делать более 10.000 запросов в сутки.

С тех пор прошло уже больше полугода, за которые я набил всевозможные шишки в данной области и написал промышленный парсер, который способен делать сотни тысяч, если не миллионы запросов в сутки.

В рамках данной статьи я хочу рассказать про путь развития своего Pet-Project в потенциально мощный и серьёзный инструмент. Впереди вас ждёт увлекательное путешествие от хранения данных в простых Json-ах на жестком диске сервера, до облачной базы данных и автоматической инициализации cron расписания запуска процессов внутри докер контейнера, поехали!

Поехали!

Многорукие бандиты в задаче ритейла

Время на прочтение9 мин
Количество просмотров4.6K

В настоящее время набирают популярность модели Reinforcement Learning для решения прикладных задач бизнеса. В этой статье мы рассмотрим подмножество этих моделей, а именно многоруких бандитов (multi-armed bandits). Также мы:

- обсудим, какие задачи теоретически могут быть решены с помощью этих моделей;
- рассмотрим некоторые популярные реализации моделей многоруких бандитов;
- опишем симулятор ценообразования, применим эти алгоритмы в нём и сравним их эффективность.

Читать далее

Проектирование аналога Google Docs

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров14K

Google docs – это сервис для совместного редактирования документов. В целом подобные сервисы можно спроектировать двумя способами:

  • В качестве централизованного ресурса, использующего клиент-серверную архитектуру для предоставления возможности редактирования документа всем пользователям.
  • На базе одноранговой архитектуры, позволяющей разным людям совместно работать над одним документом.

Большинство коммерческих решений ориентированы на клиент-серверный подход ввиду предоставляемого им более детального контроля. Так что и мы в этой статье разберём проектирование сервиса с использованием именно клиент-серверной архитектуры.
Читать дальше →

Анализ геоданных: как мы запустили game-changer инструмент для бизнеса

Время на прочтение6 мин
Количество просмотров2K

Привет, Хабр! Меня зовут Алексей Алексеев, я руковожу геоаналитическими сервисами в Platforma. И сегодня я хочу рассказать вам, как мы разрабатываем и внедряем инструмент аналитики для бизнеса, с помощью которого предприниматель способен за полчаса выбрать идеальную точку для открытия бизнеса в конкретном городе.

Читать далее

ГИС на машинном обучении: магазины в лучших локациях и развитие «последней мили»

Время на прочтение7 мин
Количество просмотров4.8K
Каждый год «М.Видео» и «Эльдорадо» открывают десятки новых магазинов в разных регионах России. Ремонт, системы безопасности и ИТ, оборудование для магазина в 1500-2000 квадратных метров — недешёвое удовольствие, поэтому к выбору места мы подходим более чем тщательно. Многие выгодные локации уже заняты нами или конкурентами, поэтому правильный выбор новых мест нам помогают делать «умные» технологии. Речь о геоинформационной системе (ГИС) с алгоритмами машинного обучения. ГИС способна обоснованно выбирать места для новых магазинов, прогнозировать их оборот, улучшать процессы в уже открытых магазинах и предоставлять аналитику для роста онлайн-продаж.


Читать дальше →

Поиск локации для магазинов и другие истории

Уровень сложностиСредний
Время на прочтение16 мин
Количество просмотров3.6K

Выбрать правильное место для размещения магазина — ключевая задача в розничной офлайн торговле.

Отраслевые эксперты любят золотое правило трёх самых важных в ритейле «L» (конечно, это «Location», «Location» и еще раз «Location») уже давно.

Сегодня к адептам этого правила присоединились еще и аналитики и data scientist»ы в больших подразделениях сетевых розничных компаний, девелоперов и агентств недвижимости, а также разработчики геосервисов. К слову сказать, правило это тут же преобразовалось в «Location», «Context», «Mobility».

За относительно недолгое время cформировался набор типовых сервисов для определения оптимального месторасположения магазинов. Один из них описан в этой статье.

Читать далее

Тиннитус (шум в ушах) для айтишников, геймеров, и не только

Время на прочтение16 мин
Количество просмотров76K

ВНИМАНИЕ! Если у вас нет шума в ушах (тиннитуса) и/или нейросенсорной тугоухости, но есть особенности психики в части психосоматики или подобного – покиньте данный пост не читая.

Самые важные победы в мире – победы над собой

Всем привет. Меня зовут Паша Герасимов, мне 38, я – инженер в ИТ, геймер, и у меня диагноз НСТ (нейросенсорная тугоухость), а также субъективный шум в ухе (тиннитус) и гидропс правого лабиринта. По ощущениям, это комбо – шум/гул/свист в ухе, снижение слуха, чувство заложенности за перепонкой, и гиперакузия (повышенная чувствительность к некоторым звукам). Для тех, кто не в теме – представьте, что у вас ухо заложено ваткой, а внутри уха – звук неработающего канала ТВ (как видео пример, или mp3). И так – регулярно, месяцами, без возможности исправления.  

До 37 лет я практически не болел и не ходил по поликлиникам, это повлияло на всю историю с тиннитусом, поэтому для многих очевидные вещи, я понял на своей шкуре. 

Читать далее

Заземляем языковую модель на робота

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров3.2K

Поздним вечером, вернувшись с работы, я отправился на кухню, чтобы приготовить ужин. Вернее, я собирался съесть то, что приготовил мой собственный домашний робот. А еще он разложил разбросанные вещи и убрал мое рабочее место. Звучит как начало фантастической книги, не правда ли? Роботы, которые готовят еду, подают инструменты и убираются в помещениях, – это кажется утопичным. Ведь роботы, принимающие самостоятельные решения – это лишь несбывшаяся мечта фантастов XX века… Сейчас мы покажем, что воплощенный ИИ скоро станет еще одной такой же обыденной технологией для нас! 

Читать далее

Точно в яблочко или как запускать проекты

Время на прочтение23 мин
Количество просмотров10K

Я часто слышу, как люди задаются вопросом: «Как стать достигатором»?

Можно ли постоянно запускать проекты успешно и в срок? Как дотянуть проект до старта и запустить свой продукт? На мой взгляд, реализация проектов — это навык, которому можно научиться.

Сегодня я расскажу про модель, которая не раз меня выручала и позволяла выстроить процесс реализации в любом проекте от старта до финиша. Я пользуюсь ею не только в работе, но и в жизни.

Статья будет полезна руководителям проектов, продукт-оунерам и продукт-менеджерам, да и в целом всем, и позволит достигать разных жизненных и рабочих целей.

Читать далее

Как модифицируют старые игры на примере Generals — Zero Hour

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров7.4K

Порой, просматривая моды к старым играм диву даешься - создатели модов умудряются совершенно бессовестно "вертеть" игровой логикой, как им вздумается. А инженерный ум все никак не может понять: как же моддерам такое удается без наличия исходников игр и их движков в публичном доступе?

Чем более старая игра, тем более "бессовестные" моды на нее можно найти в Интернете. Только взгляните на эту кастомную логику из мода Crazy Mod для легендарной игры Command & Conquer: Generals — Zero Hour:

Читать далее

Нейронные сети для планирования движения беспилотных автомобилей

Время на прочтение16 мин
Количество просмотров18K

Планировщик движения беспилотного автомобиля — это алгоритм-помощник, который общается с другими участниками движения посредством манёвров. То есть он действует так, чтобы другим было понятно, куда поедет беспилотник, и сам по действиям других пытается определить, кто куда будет двигаться и почему.

В диалоговых системах совсем недавно произошла революция из-за появления ChatGPT. В беспилотных автомобилях революции, к сожалению, пока не произошло, но если это случится, то как раз в той области, про которую будет мой рассказ.

Под катом — детальный разбор логики движения беспилотника, примеры свёрточных и трансформерных архитектур моделей для предсказания движения и много формул для расчёта вероятных траекторий других машин и пешеходов. А ещё я расскажу, в чём преимущества машинного обучения перед эвристиками и чем может помочь Reinforcement Learning.

Читать далее

Как мы используем NLP в банке

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров4.4K
Изначально у нас была витрина, в которой лежали данные о платежах пользователей банка.

Это данные оплаты различных штрафов, пошлин, налогов и так далее. Такая информация потенциально может быть полезна для разных банковских сервисов. Например, если человек часто платит штрафы ГИБДД, значит, у него есть автомобиль, и это полезно знать для многих вещей вроде кредитного скоринга или понимания, что он может легко уехать в соседний регион и сделать «нетипичную» транзакцию в банкомате. Это позволяет, к примеру, эффективнее проводить фрод-мониторинг по картам и нетипичному месту проведения операции, что привлекательно и для банка, и для клиентов. Таких классов — сотни, то есть в идеале надо пытаться понять по документам платежа смысл действия.

image

Сначала мы просто искали слова вроде «авто» правилами, а потом перешли на NLP-подходы.

Natural Language Processing чаще всего используется в банках для автоматизации обработки заявок и анализа входящих документов, чтобы их маршрутизировать или классифицировать.

Конечно, это можно было бы делать и руками, но тогда это стало бы очень долго и дорого.
Читать дальше →

Первый ИИ, который смог спроектировать робота с нуля

Время на прочтение4 мин
Количество просмотров4.7K

В рамках нового исследования, которое провели научные сотрудники Университета Северо-Запада, ученые представили искусственный интеллект (ИИ), который демонстрирует беспрецедентные возможности в области проектирования роботов. Создатели уже выложили обзор процесса на YouTube.

Данный ИИ отличается высокой скоростью работы, инновационным подходом, способностью концептуализировать и создавать функциональных роботов за считанные секунды. В отличие от своих предшественников, представленный ИИ сочетает в себе эффективность и креативность, открывая новые перспективы в сфере робототехники.

Читать далее

Поднимаем собственный узел в анонимной сети Hidden Lake

Уровень сложностиСложный
Время на прочтение19 мин
Количество просмотров6.6K

Хоть анонимные сети и являются определённого рода остатком, придатком куда большего множества всеразличных коммуникаций, тем не менее их можно рассматривать как некого рода островки приватности, абстрагированные от всего остального мира и завораживающие своей технической ухищрённостью и извращённостью. Таких островков безусловно существует множество и каждый уникален по своему. Одни анонимные сети пытаются брать количеством и расширяться на множество стран и государств, порождая тем самым множество связей между узлами. Другие анонимные сети напротив берут своим качеством, и благодаря этому им становится безразличен уровень централизации и замкнутость пространства в котором они существуют.

Читать далее

Делаем из Black Box мониторинга внешнее observability

Время на прочтение9 мин
Количество просмотров2.2K

Есть мнение, что Black Box подход к мониторингу хуже, чем White Box. Мол, мы получаем от него мало информации. Данных действительно немного, но мы можем развить нашу систему Black Box мониторинга и добиться довольно информативной системы контроля, которую мы условно назвали «внешнее observability».

В этой статье расскажем, как это сделать, и дадим несколько советов: 

• Как поддерживать Black Box в актуальном состоянии; 

• Использовать Black Box мониторинг как аудит безопасности;

• Как работать с алертами в Black Box;

• Как сделать геораспределённый мониторинг;

• Как использовать Black Box с кешированием.

Читать далее

Как я делал бюджетное устройство мониторинга качества среды и что из этого вышло

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров14K
image

В начале немного предыстории.

Однажды я был в гостях у своего товарища, который как и я, активно занимается домашней автоматизацией. Я увидел у него смонтированную систему приточной вентиляции и поинтересовался, как он реализовал автоматизацию этой системы. В ответ услышал, что он её включает вручную, так как у него нет устройства, которое анализирует качество воздуха, а готовые решения имеют зачастую слишком неоправданную цену для систем бытового применения. Недолго думая, я предложил ему своё решение, о котором далее и пойдет речь.
Читать дальше →

Внутри микроконтроллера

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров17K

Рассмотрим новинку отечественных ученых - ультранизкопотребляющий 32-разрядный микроконтроллер. Отличительными особенностями этой разработки является сочетание производительности, функциональности и потребляемой мощности.

Микросхема К1921ВГ015 представляет собой СБИС 32-разрядный микроконтроллер, предназначенный для промышленных и потребительских приложений, включая системы дистанционного мониторинга, контрольно-измерительные приборы, системы автоматизации производственных процессов, автомобильную электронику, а также устройств с батарейным питанием.

Изделие оснащено широким набором цифровой и аналоговой периферии, благодаря чему, может применяться в различных процессах цифровой обработки сигналов, в том числе, требующих точных аналогово-цифровых преобразований, в системах управления и сбора информации.

Архитектура

Микроконтроллер К1921ВГ015 спроектирован на базе RISC-V ядра ВМ-310S6, поддерживающего систему команд RV32IMFCN_ZBA_ZBB_ZBC_ZBS, и два режима привилегированности: machine и user.

 Конвейер BM-310S6 состоит из 2-х стадий, на которых выполняются генерация запроса в подсистему памяти программ (PMS), чтение фрагмента кода из PMS и извлечение команд. Далее происходит декодирование команды и ее исполнение.

Подсистема предварительной обработки команд (FE) отвечает за выполнение операций первой, и частично второй стадии конвейера.

Блок FE состоит из:

1. IFU - Instruction Fetch Unit, где содержится логика формирования адреса следующего фрагмента кода.

2. IDU - Instruction Decode Unit - блок предварительного декодирования инструкций.

Читать далее

Пишем АПИ автотесты на Python по шагам

Уровень сложностиСредний
Время на прочтение27 мин
Количество просмотров36K

Всем привет! В этой статье мы пошагово покроем тестами REST API на Python. Данная статья будет крайне полезна как начинающим, так и действующим тестировщикам и автоматизаторам, а также специалистам из смежных направлений.

Читать далее

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность