Pull to refresh
121
-3
Январев Владислав @janvarev

Когнитивист, предприниматель, Senior Python dev

Send message

CV Tools — система зрения для конечных пользователей

Level of difficulty Easy
Reading time 7 min
Views 728

Задача создания классификатора изображений на основе пользовательского набора данных является частой задачей для AI программиста, однако автоматический инструмент, решающий задачу без участия программиста мне на глаза не попадался.

CV tools — сервис анализа визуальной информации, имеющей в составе средства настройки и тестирования необходимых задач для не‑программиста, он также позволяет использовать обученную систему как REST‑сервер для анализа изображений.

Читать далее
Total votes 8: ↑7 and ↓1 +6
Comments 0

Темная сторона Open Source

Reading time 7 min
Views 14K

"Вносите вклад в открытый исходный код, это лучшее, что со мной случилось!" - все чаще и чаще слышу я в Twitter в последнее время. Хотя я не возражаю против самого высказывания, мне кажется, что в нем непреднамеренно (или намеренно) упускается приличная часть правды о вкладе и авторстве открытого кода. Это похоже на то, как если бы вы рекомендовали туристический маршрут, с которого в конце концов открывается незабываемый вид, но при этом вы не упоминаете о том, сколько трудностей и подготовки требует этот поход.

Я знаю, что найдутся люди, которые пойдут по этому маршруту и окажутся ошеломленными, если не сказать неподготовленными, перед лицом того, что на самом деле представляет собой жизнь сопровождающего открытого кода. Поскольку я создал этот блог с целью писать о вещах, о которых, по моему мнению, люди должны говорить чаще, пришло время и мне прикоснуться к обширной и манящей плоскости открытого исходного кода.

Читать далее
Total votes 32: ↑30 and ↓2 +28
Comments 58

Нейрогенератор игровых миров: рассказ о моём интригующем пет проекте

Level of difficulty Medium
Reading time 12 min
Views 3K

Представьте себе игру с полностью открытым и бесконечным миром, этот мир живет своей жизнью, и игрок полностью свободен делать всё, что заблагорассудиться, а игра просимулирует результаты его действий. Такой, open world со своей уникальной вселенной. Интересная такая идея для петпроекта, не правда ли? В этой статье я расскажу о своей попытке реализовать подобную игру, по крайней мере её фундамент.

Читать далее
Total votes 10: ↑9 and ↓1 +8
Comments 8

Как графы знаний и LLM могут друг другу помочь

Level of difficulty Medium
Reading time 4 min
Views 3.1K

Предобученные языковые модели генерируют качественный текст, сравнимый по качеству с человеческим (иногда даже превосходящий его). Но некоторые проблемы остаются даже у лучших LLM — сеть не понимает, что говорит. Может получаться хоть и виртуозный с точки зрения грамматики и лексики, но всё-таки неверный по смыслу результат. 

Читать далее
Total votes 14: ↑14 and ↓0 +14
Comments 3

Telegram bot для наших bmw G серии часть 3

Level of difficulty Easy
Reading time 3 min
Views 1.7K

В трех частях я постарался описать как создать Telegram Bot для BMW G серии и разместить его на VPS. В первой части рассмотрен процесс получения данных с BMW используя учетные данные Connected drive. Во второй части рассмотрен процесс создания телеграм бота. В третьей части рассказывается о размещении данных скриптов на VPS и конфигурация linux.

Читать далее
Total votes 5: ↑3 and ↓2 +1
Comments 1

Дешево и сердито: геймдев на Godot 4.2 для тех, кто знает Python

Level of difficulty Medium
Reading time 9 min
Views 9.7K

Привет, Хабр! Меня зовут Матвей, я уже несколько лет хочу научиться создавать игры. Скажу честно: все никак не хватало времени и, возможно, целеустремленности, чтобы изучить Unreal Engine, Cry Engine и им подобные движки.

Но я знаю Python. Оказывается, для любителей парселтанга есть относительно простой способ вкатиться в геймдев — игровой движок Godot, который поддерживает программирование на синтаксически похожем языке GDScript. Я его изучил и даже создал небольшую игру. В этой статье хочу рассказать об этом решении подробнее.
Читать дальше →
Total votes 42: ↑38 and ↓4 +34
Comments 21

Дилемма ИИ: когда обучение больших языковых моделей заходит в тупик

Level of difficulty Easy
Reading time 11 min
Views 4.6K

ИИ готовится заменить сотни тысяч должностей не только в разработке ПО, но и во множестве других областей: в журналистике, творческой работе, общении с покупателями и так далее. Это та же самая мантра, которую мы слышим по поводу каждой технологической инновации: «Компьютер полностью заменит людей». Старая история из фильмов про терминаторов.

Хотя я уже перечислил некоторые возможные последствия для ПО в своей статье «Мы снова в кризисе ПО, но в ближайшее время ИИ никого не заменит», мне бы хотелось рассмотреть, что произойдёт, если большие языковые модели (Large Language Model, LLM) полностью заменят человеческий труд. Содержание дилеммы будет практически одинаковым для всех областей, но я сосредоточусь на разработке ПО, потому что самые громкие заявления об LLM звучат как раз в её сторону.

Читать далее
Total votes 24: ↑21 and ↓3 +18
Comments 4

Генерация коротких текстов в жанре фэнтези, по заданным параметрам

Level of difficulty Easy
Reading time 10 min
Views 1.2K

Добрый день! Меня зовут Александр. Меня очень интересует тематика нейронных сетей, связанных с работой с текстом. И по этому я решил пройти курс от OTUS «Natural Language Processing». В рамках выпускной работы на этом курсе, я хотел попробовать расширить знания в сфере генерации текстов и использовании различных стратегий генерации. А так как мне еще нравится стилистика жанра фэнтези, то выбор пал на генерацию текстов этого жанра. При этом хотелось попробовать генерировать не только тексты выбранной стилистики но и по заданным параметрам, например имя главного героя, место действия и др.

Читать далее
Total votes 2: ↑2 and ↓0 +2
Comments 3

Как я зарабатывал $10,000 в месяц на серверах ARK: Survival Evolved

Level of difficulty Easy
Reading time 16 min
Views 84K

Я — ведущий гейм дизайнер с опытом разработки крупных, хардкорных проектов в жанрах от MMORPG и CRPG до мобильной MOBA. Почти три года мы с лучшим другом продюсировали, дизайнили, разрабатывали и занимались живым оперированием своих серверов по игре ARK: Survival Evolved. За это время мы неплохо заработали (в среднем проект приносил $6000-12000 gross ежемесячно). Конечно же, мы столкнулись с тонной сложностей и челленджей, и выучили много уроков. В этой статье я хочу не только рассказать о нашем приключении, но и поделиться выученными уроками. Оперирование кастомных серверов огромных франшиз типа Roblox, Fortnite или Minecraft и других игр похожа на разработку игр в классическом понимании, но имеет под собой свою специфику. Этот опыт будет полезен не только моддерам, но и разработчикам и продюсерам игр. 

ARK: Survival Evolved — ММО экшен от 1 и 3-го лица с крафтом, строительством и динозаврами. На динозаврах в игре можно охотиться, можно приручать, ездить на них, разводить и воевать с другими племенами в игре, и это основная фишка, привлекающая игроков. Но настоящая основная особенность игры в том, что карты — собственно, ковчеги, объединены в кластеры, внутри которых игроки могут беспрепятственно путешествовать между карт, превращая мир игры в настоящее ММО — в отличие от большинства остальных подобных игр. Это гениальная игра, о которой невозможно рассказать в двух словах, и она доводит своих игроков до настоящей аддикции, и те проводят в ней тысячи и десятки тысяч часов.

Читать далее
Total votes 124: ↑118 and ↓6 +112
Comments 44

Не ищите нейросеть — у вас в команде она уже есть

Level of difficulty Easy
Reading time 7 min
Views 9.3K

Откровенно говоря, я не думал, что компании ухватятся за нейросети: во-первых, сразу рассыпается стратегия клиентоцентричности, во-вторых, доверие к автоматизации кажется до предела странным. Ну то есть с 70-х годов средства автоматизации в бизнесе неизбежно вызывали подозрение, а тут внезапно нечто располагает к себе так, что некоторые готовы проводить сокращения в маркетинге, продажах, да даже в разработке и тестировании. Кажется, что за нейросетью маячат продуктивность, экономия, эффективность и всяческий интенсивный рост. А на самом деле, с нами случилось то, что повторялось в истории не раз и не два. Добро пожаловать в очередной карго-культ!

Читать далее
Total votes 37: ↑30 and ↓7 +23
Comments 23

Claude 3 или Хроники Андалора

Level of difficulty Easy
Reading time 44 min
Views 3.3K

Около недели назад вышла новая нейросеть, Claude 3/Opus показывающая state-of-art результаты в большинстве тестов, по которым она существенно превосходит предыдущего лидера, ChatGPT-4 Turbo. У меня появился доступ к ней и немного свободного времени, поэтому я решил опробовать ее навыки в домене творческого письма, и результаты меня лично поразили. Выкладываю ниже нашу переписку.

ИИ:
Здравствуйте! Рад вас приветствовать. Чем я могу вам помочь сегодня?


Я:
Ты можешь предложить детальный план фантастического рассказа про человека, который попал во вселенную реал-рпг, получил доступ к Системе и Интерфейсу и развивает свои навыки и способности?

ИИ:
Конечно, я могу предложить вам детальный план фантастического рассказа на эту тему. Вот возможная структура:

Завязка:

Главный герой (ГГ), молодой человек, живущий обычной жизнью, неожиданно попадает в аварию/засыпает/находит странный артефакт.
Очнувшись, ГГ обнаруживает, что мир вокруг изменился, стал подобен РПГ-игре. Появляется Интерфейс с характеристиками, навыками, инвентарем.
Развитие событий:
3. ГГ исследует новый мир, пытается понять правила Системы. Обнаруживает, что может улучшать навыки, выполняя задания и получая опыт.
4. Встречает других людей/НПС, узнает, что мир делится на безопасные зоны (города) и опасные локации с монстрами. Формирует группу/гильдию для исследований.
5. Сталкивается с первыми монстрами, участвует в сражениях. Получает первые уровни, осваивает боевые навыки и магию.
6. Узнает о скрытом подземелье/данже с ценными ресурсами и редкими артефактами. Собирает группу для рейда.
7. В подземелье сталкивается с сильным боссом. С трудом побеждает, получает ценные навыки и снаряжение. Но узнает тревожные слухи о надвигающейся угрозе.

Читать далее
Total votes 14: ↑8 and ↓6 +2
Comments 9

Технологические компании, в которые нельзя было вкладываться – крупнейшие провалы 2023

Level of difficulty Easy
Reading time 10 min
Views 15K

Обзор стартапов, которые смогли добраться до оценок в миллиарды долларов, но в итоге оказались на экономическом дне. Вас ждут беспилотные такси, индусы, лебеди и обманы инвесторов.

Читать далее
Total votes 43: ↑40 and ↓3 +37
Comments 19

Cross-Encoder для улучшения RAG на русском

Level of difficulty Medium
Reading time 15 min
Views 2.6K

Одно из самых прикладных применений языковых моделей (LLM) - это ответы на вопросы по документу/тексту/договорам. Языковая модель имеет сильную общую логику, а релевантные знания получаются из word, pdf, txt и других источников.

Обычно релевантные тексты раскиданы в разных местах, их много и они плохо структурированы. Одна из проблем на пути построения хорошего RAG - нахождение релевантных частей текста под заданный пользователем вопрос.

Еще В. Маяковский писал: "Изводишь единого слова ради, тысячи тонн словесной руды." Примерно это же самое делают би-энкодеры и кросс-энкодеры в рамках RAG, ищут самые важные и полезные слова в бесконечных тоннах текста.

В статье мы посмотрим на способы нахождения релевантных текстов, увидим проблемы, которые в связи с этим возникают. Попытаемся их решить.

Главное - мы натренируем свой кросс-энкодер на русском языке, что служит важным шагом на пути улучшения качества Retrieval Augmented Generation (RAG). Тренировка будет проходит новейшим передовым способом. Схематично он изображен на меме справа)

Читать далее
Total votes 13: ↑13 and ↓0 +13
Comments 9

Wubuntu: Linux с интерфейсом Windows 11 и возможностью запускать «виндовый» софт. А ещё и Windows 95

Reading time 3 min
Views 48K

Дистрибутивов Linux достаточно много — на любой запрос, вероятно, можно найти подходящий вариант. Не так давно появился ещё один дистрибутив, который внешне является почти полной копией Windows 11. Также он способен запускать Windows-программы и работает на относительно старых компьютерах и ноутбуках. Называется он Wubuntu, и подробности о нём — под катом.

Читать далее
Total votes 62: ↑52 and ↓10 +42
Comments 86

Приручаем нейросети

Reading time 6 min
Views 9.4K

Давно не виделись, уважаемые!

Ну что ж, рад вас видеть, сегодня будем говорить и применять новые инструменты для создания RAG, улучшим качество наших результатов относительно прошлой статьи за счет использования других моделей для embeddings. Также затронем использование трушной векторной БД Chroma.

Читать далее
Total votes 14: ↑14 and ↓0 +14
Comments 8

Какой плащ был у Понтия Пилата? Отвечает GigaChat

Level of difficulty Medium
Reading time 10 min
Views 5.5K

Всем привет! На связи лид разработки SDK GigaChat’a — Константин Крестников. В этой статье я расскажу о том, что такое GigaChain и как в целом SDK позволяет упростить жизнь разработчика LLM, например, научить LLM давать ответы на вопросы по вашим документам или работать в режиме автономного агента. Также поговорим про решения, которые практически невозможно сделать без использования SDK.

GigaСhain — это ответвление (fork) открытой библиотеки LangСhain на Python. Её главная цель — облегчить жизнь разработчику. Библиотека состоит из большого количества различных компонентов, которые позволяют работать с промптами, объединять вызовы к большим языковым моделям в цепочки, загружать данные из разных источников и сохранять обработанные ответы языковой модели. 

Читать далее
Total votes 27: ↑27 and ↓0 +27
Comments 18

Труд разработчиков открытого ПО заслуживает оплаты

Level of difficulty Easy
Reading time 8 min
Views 9.7K

Предупреждение. Пишу я из чувства негодования, и мне не особо хочется сдерживать тон. Если вы не желаете выслушивать мои резкие высказывания на тему опенсорса, то лучше эту статью не читайте.

Недавно в сердцах я написал на Mastodon такой пост:

«Мы считаем, что сфера опенсорса должна быть жизнеспособной, а труд мейнтейнеров должен оплачиваться!»

Мейнтейнер: *вносит коммерческие возможности*
Мы: «Не таким образом».

Мейнтейнер: *работает на крупную технологическую корпорацию*
Мы: «Не таким образом».

Мейнтейнер: *привлекает инвестирование*
Мы: «Не таким образом».

Эта моя публикация вызвала вирусную реакцию, получив множество встречных аргументов и критики (а также немало согласия, и это приятно). Думаю, часть критических ответов объясняется моим намеренно вольным изложением и придирчивостью читателей к терминологии, но некоторые всё же стали следствием искреннего недопонимания моих язвительных высказываний. Я сам виноват, что поднял этот вопрос без должной ясности вместо того, чтобы говорить прямо. Поэтому в текущей статье я выражу свои размышления в виде более рассудительной и развёрнутой тирады.

Мой основной посыл в том, что труд специалистов, работающих в сфере опенсорса, заслуживает оплаты. Без исключений. Нам следует перестать критиковать идею оплаты труда мейнтейнеров и начать её ценить. Да, все используемые для этого механизмы в том или ином смысле несовершенны, но лишь потому, что сам мир таков. И дело не в том, что люди берут деньги. Наезжать на мейнтейнеров, которые нашли способ устроить себе жизнь, неправильно.
Читать дальше →
Total votes 81: ↑74 and ↓7 +67
Comments 98

Всё смешалось — эксперты, модели. Как уменьшить LLM, но не проиграть в продуктивности

Level of difficulty Medium
Reading time 5 min
Views 2K

Накатившая волна LLM с правилом “чем больше, тем лучше” уже вызывала естественный запрос — хочется повысить эффективность не за счет увеличения размера модели. Похоже, что вторая волна будет (или уже есть) именно такая — наращивание размеров уже не так впечатляет, появляется всё больше хитрых подходов, которые делают ставку не на размер. Мы разберем некоторые из них.

Читать далее
Total votes 10: ↑9 and ↓1 +8
Comments 0

Иногда лучше делать, а не планировать

Level of difficulty Easy
Reading time 7 min
Views 42K

Пожилой рабочий на строительстве «Эмпайр-стейт-билдинг» в 1930 г., источник. Вся стройка от подготовки стройплощадки до торжественного запуска лифтов заняла 410 дней

В последнее время часто приходится слышать про новую модель управления — избыток административных кадров, не имеющих отношения к основному производству. К сожалению, это особенно ярко проявляется в IT-индустрии, где количество менеджеров среднего звена сильно превышает стандартные показатели. Например, в компании Google доля менеджеров уже достигла 15% от общей численности персонала, то есть по одному менеджеру на пять-шесть работников. Это заметно превышает средний показатель в сфере услуг 1 к 15.

Избыток менеджеров в компании ведёт к негативным последствиям:

  • засилье KPI с последующей деградацией продукта, которое по менеджерской логике должно увеличивать DAU;
  • деградация корпоративной культуры из-за офисных интриг и карьеризма;
  • снижение продуктивности разработчиков из-за бесконечных совещаний, созвонов, отчётности и использования ПО для «повышения эффективности» (таск-трекеры, тайм-трекеры, календари и проч.);
  • цифровое истощение и выгорание сотрудников.

Это стандартные издержки от переизбытка менеджеров. Иногда даже единственный менеджер приносит больше вреда, чем пользы.
Читать дальше →
Total votes 186: ↑175 and ↓11 +164
Comments 103

Тест USB —>RJ45 переходников. Гигабитная сеть для ноутбуков без RJ45 c не самыми лучшими Wi-Fi модулями и мини ПК

Level of difficulty Easy
Reading time 3 min
Views 7.7K

С целью многократного увеличения скорости передачи информации по сети между недорогими ноутбуками, не оснащенными RJ45 и с не самыми лучшими Wi-Fi модулями подключаем их через переходники USB —> RJ45 к коммутатору, роутеру, непосредственно между собой и мини ПК.

Читать далее
Total votes 11: ↑8 and ↓3 +5
Comments 25

Information

Rating
Does not participate
Location
Королев, Москва и Московская обл., Россия
Registered
Activity