Search
Write a publication
Pull to refresh
-2
0.1
Send message

Как запустить часть большого ИИ на слабом железе

Level of difficultyEasy
Reading time8 min
Views7.4K

Начало работы с Petals


Этот блокнот познакомит вас с основами Petals — системы логического вывода и точной настройки языковых моделей с сотнями миллиардов параметров без необходимости использования высокопроизводительных GPU. С помощью Petals вы можете объединять вычислительные ресурсы с другими людьми и запускать большие языковые модели с миллиардами параметров, например BLOOM-196B или BLOOMZ того же размера, что и GPT-3.

Читать дальше →

Приделываем руки к ChatGPT: бот, который исполняет код в рантайме

Level of difficultyEasy
Reading time5 min
Views37K

В предыдущей статье я рассказывал, как можно доучить GPT на собственных взглядах и вкусах. Сегодня попробуем дать GPT возможность поработать программистом по‑настоящему — с запуском кода и отладкой без участия человека. Весь код опубликован в репозитарии.

Как многие уже убедились, ChatGPT хорош, но есть некоторые типы задач, с которыми у него возникают трудности:

1. Он не может получать новые актуальные знания из сети.
2. Он не может выполнить какие‑либо действия.
3. У него сложности с алгоритмическими задачами (перевернуть строку, решить уравнение, произвести вычисления с применением численных методов).

И если задача 1 решается с помощью BingChat, то 2 и 3 мы сегодня будем решать в рамках данного туториала.

Основная идея такая: пусть ChatGPT сам решает, может ли он справиться с задачей «в уме» или же это лучше сделать с помощью написания кода на python, а наш сервер сразу же выполняет этот код и снова отдает результат работы ChatGPT, чтобы он мог его интерпретировать и или выдать пользователю окончательный ответ или исправить ошибку в своей программе и попытаться ещё раз.

Дальше много примеров и немного кода...

Accessibility/A11Y. Веб доступность — зачем и для кого?

Level of difficultyEasy
Reading time4 min
Views7.5K

Для кого эта статья: не знаешь, что такое доступность или только слышал о ней.

Согласно оценкам, 1,3 миллиарда человек, или каждый шестой человек в мире, страдает существенными ограничениями возможностей здоровья

Accessibility/A11Y. Веб доступность - зачем и для кого?

Читать далее

Как процессинг криптовалют помог решить проблему приема платежей из-за границы

Level of difficultyEasy
Reading time9 min
Views8.4K

Всем привет. В связи с введением всевозможных ограничений в финансовой сфере для пользователей из РФ многие предприниматели, в том числе и я, столкнулись с проблемой приема международных платежей на сайтах своих проектов. Большинство из работающих ранее способов стали не актуальными, в связи с чем многие начали активно искать возможные варианты приема оплаты от зарубежных клиентов.

В своей предыдущей статье я рассказывал о популярных альтернативных способах онлайн-оплаты, одним из которых была криптовалюта. В этой статье я бы хотел поделиться личным опытом решения проблемы приема платежей из-за границы для своего проекта, о котором кратко так же расскажу далее.

Актуальной и практически применимой информации по этой теме в открытом доступе нет так много, поэтому я расскажу о том, как поступал я. Возможно эта статья также поможет кому-то, кто хотел выйти на зарубежный рынок либо продолжить работать на нем, но допускаю, что часть информации, представленной ниже, на момент прочтения может быть неактуальна.

Читать далее

Векторизация данных для модели обнаружения спама в SMS

Level of difficultyMedium
Reading time7 min
Views2K

Отправка URL-адресов через сообщения SMS (служба коротких сообщений) является наиболее используемой функцией SMS. Хакеры часто отправляют вредоносные URL-адреса через эти текстовые сообщения и призывают получателей щелкнуть ссылку, что может поставить под угрозу личность пользователя и раскрыть личную информацию. Хакеры также используют метод, при котором они отправляют номер мобильного телефона через SMS и убеждают получателей позвонить по этому номеру, а затем используют сложное программное обеспечение для извлечения и использования информации о вызывающем абоненте.

Читать далее

Модель обнаружения смс-спама: создаем и тестируем

Level of difficultyMedium
Reading time7 min
Views2.3K

Привет Хабр! В прошлой статье мы векторизировали данные, теперь нам осталось написать модель и протестировать её

Мы построим модель для обнаружения спам-сообщений с использованием алгоритма случайного леса. Случайный лес — это очень мощный алгоритм, который очень широко используется. Мы не будем углубляться в математику алгоритма случайного леса, а воспользуемся его реализацией в библиотеке Scikit-Learn.

Читать далее

Стохастический язык программирования на основе алгоритмов Маркова

Reading time13 min
Views28K

MarkovJunior — это вероятностный язык программирования, в котором программы являются сочетаниями правил перезаписи, а инференс выполняется при помощи распространения ограничений. MarkovJunior назван в честь математика Андрея Андреевича Маркова, придумавшего и исследовавшего то, что сейчас называется алгоритмами Маркова.
Читать дальше →

Перевод: Katana: Обзор мощного сканера безопасности веб-приложений [шпаргалка]

Level of difficultyEasy
Reading time4 min
Views4.4K

Katana — это сканер безопасности веб‑приложений с открытым исходным кодом, который автоматизирует процесс выявления уязвимостей в веб‑приложениях. Он был создан компанией Project Discovery, специализирующейся на оценке уязвимостей и тестировании на проникновение.

Инструмент разработан как быстрый, эффективный и простой в использовании, что делает его популярным среди специалистов по безопасности и разработчиков. Он написан на Go, языке программирования, известном своей производительностью и параллелизмом, что делает Katana мощным и эффективным инструментом для сканирования больших веб‑приложений.

Читать далее

Отображение графа на Python с networkx

Level of difficultyEasy
Reading time6 min
Views37K


Граф — это форма визуализации, позволяющая показывать и анализировать отношения между сущностями. Например, рисунок ниже показывает вклад редакторов Википедии на различных языках энциклопедии в июле 2013 года:



Можно сделать несколько наблюдений:


  • Английский (en) — основной язык, на который переводятся все остальные языки; в то же время многие англоязычные материалы переводятся на другие языки.
  • Китайский (zh) переводится на японский (ja), но не наоборот.
  • И китайский, и японский материалы переведены на английский, и наоборот.

Я же расскажу о том, как для отображения графов использовать пакет networkx.

Читать дальше →

Как я делал кино с помощью нейросетей

Level of difficultyMedium
Reading time5 min
Views14K

В прошлой статье я рассказывал, как использовал нейросети в создании украшений. Сегодня расскажу, как с помощью нейросетей делал фильм для планетария.

Читать далее

Переходите на микрофронтовую архитектуру

Reading time9 min
Views19K

Микрофронтенд-архитектура - это подход к созданию приложений, в котором каждая часть приложения, отвечающая за определенную функциональность, представлена отдельным фронтенд-приложением. Такой подход позволяет достичь более высокой гибкости и масштабируемости приложения, так как каждый микрофронтенд может быть разработан и развернут независимо от остальных.

Как правило, микрофронтенды используются в комбинации с микросервисной архитектурой, в которой приложение состоит из набора независимых микросервисов, каждый из которых выполняет свою функцию. Микрофронтенды позволяют разработчикам разрабатывать интерфейсы для каждого микросервиса отдельно и объединять их в единое приложение, что облегчает поддержку, масштабирование и развертывание приложения.

Одним из ключевых преимуществ микрофронтендов является возможность быстрой разработки и доставки изменений пользовательского интерфейса без необходимости изменения всего приложения. Кроме того, микрофронтенды могут помочь упростить процесс разработки, улучшить переиспользуемость кода и уменьшить зависимость между различными частями фронтенд-приложения.

Полезная ссылка с подробным объяснением концепции микрофронтенда.

Читать далее

Пишем нейросеть для сегментации снимков со спутника

Level of difficultyEasy
Reading time16 min
Views9.1K

Прочитав несколько известных статей по сегментации спутниковых снимков земли, я решил попробовать создать и обучить свою модель нейросети для этой задачи. И конечно, в процессе возникало много вопросов, своими ответами на которые я решил поделиться в рамках этого туториала. Поделиться так подробно и просто, как это было бы понятно таким новичкам, как я.

Читать далее

Как организовать процесс тестирования с 6 шагов

Level of difficultyEasy
Reading time6 min
Views25K

Всем привет! Меня зовут Елена Поплоухина. Я — один из авторов Youtube‑канала по тестированию «Багаж тестировщика».

На канале выходил выпуск про построение процесса ручного тестирования с нуля. Данная статья содержит основную информацию из этого выпуска — 2 общих совета и 6 первых шагов для организации процесса.

Читать далее

Девять советов молодому тимлиду

Level of difficultyEasy
Reading time7 min
Views13K

За свою карьеру я провел множество собеседований с тимлидами. Когда кандидаты рассказывают о своем переходе из программиста в менеджеры, многие из них упоминают одни и те же сложности, причем такие, с которыми вряд ли сталкиваются специалисты из нетехнических сфер. Самая главная неожиданность в том, насколько резко происходит этот переход, и насколько сильно самому человеку приходится поменяться в процессе.

Проведя большую часть карьеры за клавиатурой, полностью погрузившись в технические вопросы, новоиспеченный тимлид внезапно оказывается в ситуации, когда на первое место выходят его софт скиллы. Может случиться и так, что до этого момента у него не было ни возможности, ни мотивации получить эти навыки на собственном опыте. Именно этот фундаментальный сдвиг приоритетов, оставляющий позади собственно программирование, может сделать переход пугающим.

Я много размышлял на эту тему и вывел несколько принципов, которых советую придерживаться начинающим ИТ-руководителям и тем, кто хочет ими стать. Часть моих тезисов вдохновлена книгой “90 THINGS YOU NEED TO KNOW IF YOU WANT TO become the CTO”, изданная CTO Academy. 

Читать далее

Настройка географических ограничений на веб-ресурсе с учетом новых регионов Российской Федерации

Level of difficultyMedium
Reading time4 min
Views24K

Актуальной задачей для веб-ресурса в нынешних реалиях является установка ограничений доступа по регионам, либо географическая привязка выдаваемой информации с учетом региона. Одним из решений, которые можно использовать для этих целей, является база данных и американский сервис MaxMind GeoIP2. Сервис привлекает огромным объемом и детальностью информации, но имеет свои особенности. Так, Крым, ДНР, ЛНР, Запорожская и Херсонская области а также Севастополь указаны в базе как регионы Украины. Соответственно, если, скажем, разрешить доступ к ресурсу только с территории РФ, то эти регионы останутся не у дел.

Так я, первоначально настроив свой ресурс только на доступ с территории РФ, обнаружил, что мои друзья из Крыма и ДНР не могут получить доступ (получают специальную версию страницы, с ограниченным объемом информации). Проблема эта легко решается, и в этой статье я покажу, как именно можно простым спососбом ее решить, а также покажу действующий пример конфигурации сервера.

Читать далее

Перевод предобученной модели Keras на матричные вычисления

Level of difficultyMedium
Reading time11 min
Views7.6K

По заказу одного из проектов мне потребовалось сделать агрегатор новостей в Телеграм. После долгих поисков реализации (о них ниже в статье) была создана нейронная сеть на базе Keras, которая имела высокое качество, но оказалось, что Keras нельзя было установить на инфраструктуре (просто не было соответствующей сборки) и мне пришлось решать вопрос, как перевести обученную модель в Keras на реализацию, которая не требует установленного Keras.

Эта статья о том, как я переписал обученную в Keras сеть на работу с матричными операциями в Numpy. Заодно это помогло мне "заглянуть под капот" нейронной сети.

Читать далее

Делаем векторный логотип с использованием Midjourney

Level of difficultyEasy
Reading time3 min
Views44K

В этой заметке хочу рассказать как можно использовать Midjourney и парочку дополнительных приложений для создания векторных логотипов.

Читать далее

Можем ли мы на самом деле управлять проектами?

Level of difficultyMedium
Reading time6 min
Views4.8K

Многие ответят - конечно! Другие, возможно, скажут: "Ты что, чувак! Что вообще за вопрос? И кто ты такой?"

Классический подход РМbok подразумевает наличие объекта, субъекта и методов - такой набор, по мнению PMbok, делает любой проект управляемым.

Но я думаю, слово "управлять" мало применимо к проектной работе. Да и сама работа называется проектной только потому, что ее результатом должен стать набор уникальных характеристик конечного продукта - процессный подход здесь как бы не подходит, т.к. заточен под унификацию продукта.

Я размышляю об этом потому, что последние 12 лет работаю руководителем проектов в промышленном строительстве и пытаюсь понять, правильно ли делаю свою работу. Вам может показаться, что стройка – это что-то далекое и вообще про мужчин в спецовках и касках, но на самом деле наши подходы становятся все более сходными с Ай-Ти. Прежде всего потому, что строительство стремительно цифровизуется.

Читать далее

Эффект Рогатки: как взломать дофаминовую матрицу

Level of difficultyEasy
Reading time10 min
Views55K

В этой статье я делаю попытки размышлять над тем, как и для чего работают наши гормоны и как наш мозг работает с новой информацией. Выводы мои заведомо дилетантские, хоть я и стараюсь опираться на современные научные исследования. Статья предназначена в основном для тех, кто живет в непрекращающемся информационном шуме. То есть для тебя.

Давайте честно признаем: наша способность добросовестно концентрироваться на делах давно вышла из чата. Когнитивные проблемы нашего времени — это быстрая потеря интереса ко всему (что не позволяет нам глубоко и приятно-долго исследовать новое), а также стресс, выгорание, тревожность, вечная усталость, отсутствие концентрации, brain fog и так далее. Информационный фон выжигает нашу нервную систему настолько, что нас буквально тошнит от любого рода познавательной деятельности — мы испытываем отравление новизной.

Проблемы эти, кстати, не новые и на тему написано множество книг, монографий, проведено множество ресерчей, но чем больше подобной информации, тем сложнее в ней найти что-то реально полезное и эффективное — чтобы вот прочитал немного, выписал себе алгоритм и стал счастливым.

Фишка в том, что даже если бы такой мануал был, он бы нас не спас. Не понимая сути источника проблемы, ни один человек (а он все же смыслосодержащий механизм, а не робот) не будет ему долго и упорно следовать. Как рассказывал David Horsager на Тэде, устойчивая мотивация держится на полной ясности смысла деятельности для конкретного человека.

Вам, конечно, может показаться, что я зря смешиваю потерю интереса к деятельности и стресс — ведь они, кажется, на разных краях стола. Но я проблему вижу так: находясь в вечном стрессе, мы жадно хватаемся за то, что дарит нам положительные эмоции. Пребывая в привычном блэкауте с черными кругами под глазами, мы встречаем человечка, да каааак начинаем им интересоваться и увлекаться, да так упорно, хватаясь за него как за спасительную соломинку, что… через какое-то время перегораем. Как говорят американцы, balls deep. Работает не только с человечками — по такой же гнусной схеме мы обычно набрасываемся на все, что нам внезапно понравилось, особенно на фоне рутинной серости, субъективного однообразия, всемирного сумасшествия и всей этой хтони. Мы постоянно бегаем по этому убивающему нас циклу — набрасываясь на то, что нас вроде как драйвит, быстро выжирая это без остатка, теряя интерес и снова погружаясь в плаванье в этом супе из кортизола.

Читать далее

Кофеиновая трилогия. Часть 2. Сколько можно пить кофе и когда?

Level of difficultyEasy
Reading time6 min
Views28K

Те, кто говорят, что кофе надо пить меньше, и те, которые говорят, что кофе надо пить больше правы в одном. Кофе надо пить. Вопрос только в том, сколько можно пить кофе, чтобы получать от него преимущества, и избегать негативных последствий? Первая часть доступна по ссылке.

Читать далее

Information

Rating
5,724-th
Registered
Activity