Обновить
512K+

Python *

Высокоуровневый язык программирования

537,34
Рейтинг
Сначала показывать
Порог рейтинга
Уровень сложности

Напишем и поймем Decision Tree на Python с нуля! Часть 4. Структуры данных

Время на прочтение5 мин
Охват и читатели12K
Данная статья — четвертая в серии. Ссылки на предыдущие статьи: первая, вторая, третья

4.1 Структуры данных


Структура данных — это представление того, как организованы отдельные данные.

Массив


image
Читать дальше →

Развертывание интерактивных визуализаций данных в реальном времени на Flask и Bokeh

Время на прочтение14 мин
Охват и читатели11K
image

Сегодня, в преддверии старта нового потока курса «Python для веб-разработки», делимся с вами полезным переводом статьи о небольшой интерактивной визуализации, для исследований данных о фильмах. Автор использует не только Flask и Bokeh, но и задействуя бесплатную облачную платформу баз данных easybase.io. Все подробности и демонстрации вы найдёте под катом.
Приятного чтения!

25 лучших репозиториев GitHub для разработчиков Python

Время на прочтение3 мин
Охват и читатели30K
Согласно опросу разработчиков на StackOverflow в 2020 году*, Python — один из самых любимых языков в мире. Что еще более интересно, Python — это язык, который разработчики больше всего хотят попробовать в своей работе. Если вы один из тех, кто использует Python и хочет прокачать свои знания, или один из тех, кто хочет изучить Python, вы попали в нужное место. Под катом 25 лучших репозиториев Python на GitHub.

Читать дальше →

Определение токсичных комментариев на русском языке

Время на прочтение16 мин
Охват и читатели20K

Сегодня социальные сети превратились в одну из главных коммуникационных платформ как в онлайне, так и реальной жизни. Свобода выражения разных точек зрения, в том числе токсичных, агрессивных и оскорбительных комментариев может иметь долговременные негативные последствия для мнений людей и социальной сплочённости. Поэтому одной из важнейших задач современного общества является разработка средств автоматического определения токсичной информации в интернете для уменьшения негативных последствий.

В этой статье описывается решение этой задачи для русского языка. В качестве источника данных мы использовали анонимно опубликованный на Kaggle набор данных, дополнительно проверив качество аннотации. Для создания классифицирующей модели мы сделали тонкую настройку двух версий Multilingual Universal Sentence Encoder, Bidirectional Encoder Representations from Transformers и ruBERT. Настроенная модель ruBERT показала F1 = 92,20 %, это был лучший результат классификации. Мы выложили в открытый доступ обученные модели и примеры кода.
Читать дальше →

Прототип на «коленке»: cоздание приложения для мониторинга датчиков сердечного ритма в спортивном зале

Время на прочтение13 мин
Охват и читатели4K


Однажды за утренним кофе обсуждали с приятелем современные технологии Интернета вещей и разговорились на предмет реализации системы мониторинга фитнес-оборудования в спортивном клубе. Приятель искал способ реализации своей идеи с нулевой стартовой стоимостью, а мне интересно было сделать что-то полезное и устроить себе очередную проверку знаний и творческих способностей.


В результате решили для начала создать, как говорится, «на коленке», прототип устройства, собирающего данные с пульсометров – датчиков сердечного ритма. По результатам работы я решил написать статью для обмена опытом с сообществом читателей, а еще для повышения собственного уровня в практике написания статей. В этой статье мы проследуем поэтапно от идеи до прототипа программы.

Читать дальше →

Подборка статей о машинном обучении: кейсы, гайды и исследования за октябрь 2020

Время на прочтение6 мин
Охват и читатели4.4K


В октябре традиционно в центре внимания вновь GPT-3. С моделью от OpenAI связано сразу несколько новостей — хорошая и не очень.
Читать дальше →

Как искусственный интеллект борется с вредителями

Время на прочтение9 мин
Охват и читатели2.6K
Сегодня, в преддверии старта набора на новый поток курса «Machine Learning», делимся с вами переводом поста из блога PyTorch, в котором рассказывается о работе ИИ для борьбы с вредителями, который анализирует ситуацию по фотографиям феромоновых ловушек в условиях индийской глубинки, где выращивают хлопок, о применении PyTorch Mobile для развертывания моделей прямо на смартфоне в оффлайне, о сжатии моделей и, конечно, немного о том, как работать с аномальными изображениями, которые отправляют индийские фермеры.

image
Приятного чтения!

Вскрытие покажет: Решаем лёгкий crackme и пишем генератор ключа

Время на прочтение3 мин
Охват и читатели24K
Доброго времени суток читающий. Мне хочется рассказать тебе про алгоритм решения одного лёгкого crackme и поделиться кодом генератора. Это был один из первых crackme, который я решил.

На просторах сети найден был наш подопытный. Это сrackme. Естественно, что необходимо изучить его. Для вскрытия нам понадобиться:

  • Немного языка Assembler
  • Логика вместе с отладчиком (IDA PRO)

Лекарство изготовим из яда австралийской змеи с помощью Python. Не будем терять времени.

image

Читать дальше →

Побег из песочницы с Python

Время на прочтение7 мин
Охват и читатели4.5K
В преддверии старта курса «Python Developer. Professional» подготовили перевод пусть и не самой новой, но от этого не менее интересной статьи. Приятного прочтения!





Вчера прошел отборочный тур Nuit du Hack CTF 2013. Как обычно, в нескольких заметках я расскажу об интересных заданиях и/или решениях этого CTF. Если хотите узнать больше, мой товарищ по команде w4kfu также должен в скором времени опубликовать заметки в своем блоге.
Читать дальше →

Шаблонные функции в Python, которые могут выполняться синхронно и асинхронно

Время на прочтение7 мин
Охват и читатели14K
image

Сейчас практически каждый разработчик знаком с понятием «асинхронность» в программировании. В эру, когда информационные продукты настолько востребованы, что вынуждены обрабатывать одновременно огромное количество запросов и также параллельно взаимодействовать с большим набором других сервисов — без асинхронного программирования — никуда. Потребность оказалась такой большой, что был даже создан отдельный язык, главной фишкой которого (помимо минималистичности) является очень оптимизированная и удобная работа с параллельным/конкурентным кодом, а именно Golang. Несмотря на то, что статья совершенно не про него, я буду часто делать сравнения и ссылаться. Но вот в Python, про который и пойдёт речь в этой статье — есть некоторые проблемы, которые я опишу и предложу решение одной из них. Если заинтересовала эта тема — прошу под кат.
Читать дальше →

Файловый менеджер на питоне в 430 строк для начинающих и чайников

Время на прочтение10 мин
Охват и читатели20K
Всем привет!

Я захотел обобщить свои знания питона и решил написать файловый менеджер для пк.



Внимание!
Это всего лишь игрушка и не более, это не реальная ОС!

Импорт библиотек:

import tkinter
import os
import subprocess
from tkinter import messagebox
from tkinter import simpledialog
Читать дальше →

aio api crawler

Время на прочтение3 мин
Охват и читатели2K
Всем привет. Я начал работать над библиотекой для выдергивания данных из разных json api. Также она может использоваться для тестирования api.
Читать дальше →

Стресс-тестер для соревнований по программированию

Время на прочтение6 мин
Охват и читатели6.6K


Во-первых, не бойтесь названия «стресс-тестер». Это просто модный термин для написанного мной служебного инструмента для соревнований по программированию. Вместо того чтобы просто дать вам код, я расскажу о стратегии и плане, которые у меня были, когда я писал этот инструмент.
Приятного чтения!

Ближайшие события

Настройка синхронизации google calendar с web приложением

Время на прочтение3 мин
Охват и читатели14K
В данной статье рассматривается ситуация, когда приложению необходимо получить доступ к одному или нескольким календарям, находящимся под управлением владельца приложения (то есть у приложения изначально есть права на использование и изменение информации в этих календарях).

Пример кода приведен на языке программирования Python.
Читать дальше →

Ловля цен. Практическое руководство в море закупок

Время на прочтение3 мин
Охват и читатели2.2K


Начнем с самого простого способа – попробуем ловить рыбу руками. Открываем базу товаров с закупок и начинаем искать похожий товар. Высока вероятность, что к вечеру мы так ничего и не поймаем.

Попробуем как-то отфильтровать базу товаров с закупок. Каждому товару в закупках присваивается код ОКПД2. Общероссийский классификатор продукции по видам экономической деятельности это код, который содержит информацию о товаре.

Например:



Теперь у нас есть удочка, стало немного лучше, но почему-то рыба не желает вешаться на крючок.

Читать дальше →

Нарисовать холдинг, посчитать доли КИК — networkx,netwulf,webweb

Время на прочтение6 мин
Охват и читатели3K
В юридической практике корпоративных юристов относительно недавно (несколько лет назад) появилась необходимость составлять и подавать уведомления о контролируемых иностранных компаниях (КИК) в рамках ст. 25.13 НК РФ. Суть этой обязанности — составить и подать документ, в котором будут отражены все связи общества в холдинге по цепочкам от текущего ООО (АО) в РФ до владельца- налогового резидента РФ КИК. Говоря проще, если офшором владеет россиянин (налоговый резидент РФ), а офшор российским ООО (даже через забор промежуточных ООО) более 25 % — уведомлению быть. Изюминка в том, что подавать необходимо всем ООО (АО) в которых эта ситуация наблюдается и подавать как сведения о владении более 25%, так и последующие изменения доли владения своевременно, иначе штрафы (100 000 рублей по каждой компании в цепочке — ст. 129.6 НК РФ). Так как холдинг (совокупность юр. лиц) организм живой и постоянные изменения долей владения неизбежны, за всем этим надо как-то следить, чтобы не насобирать штрафов. Как упростить работу в данном направлении, автоматизировать ее, посвящена данная статья. Статья также будет интересна с точки зрения графического представления связанных структур, например соц. сетей.


Читать дальше →

Необходимый инструмент для каждого дата-сайентиста

Время на прочтение5 мин
Охват и читатели3.9K
image

Давайте посмотрим правде в глаза: обучение модели машинного обучения отнимает много времени, даже с учетом развития вычислительной техники за последние несколько лет. Даже самые тривиальные модели имеют более миллиона параметров. В масштабе крупнее у моделей бывает более миллиарда параметров — у GPT-3 их более 175 миллиардов! и обучение этих моделей занимает дни, а то и недели. Как дата-сайентисты мы хотели бы следить за метриками модели, чтобы знать, работает ли она, как мы того ожидаем. Но нет смысла сидеть рядом с компьютером, часами отслеживая показатели. Хорошо было бы получить все эти данные на телефон.

Эту задачу можно решить с помощью TensorDash — инструмента удаленного мониторинга ваших моделей машинного обучения с открытым исходным кодом, о котором и пойдет речь дальше. Под катом примеры применения TensorDash с TensorFlow, Keras, PyTorch и Fast.ai.
Приятного чтения!

Пишем бот для пазл игры на Python

Время на прочтение18 мин
Охват и читатели13K
Давно хотел попробовать свои силы в компьютерном зрении и вот этот момент настал. Интереснее обучаться на играх, поэтому тренироваться будем на боте. В статье я попытаюсь подробно расписать процесс автоматизации игры при помощи связки Python + OpenCV.

image

Реализуем и сравниваем оптимизаторы моделей в глубоком обучении

Время на прочтение14 мин
Охват и читатели78K

Реализуем и сравниваем 4 популярных оптимизатора обучения нейронных сетей: оптимизатор импульса, среднеквадратичное распространение, мини-пакетный градиентный спуск и адаптивную оценку момента. Репозиторий, много кода на Python и его вывод, визуализации и формулы — всё это под катом.
Приятного чтения!

AutoVIML: Автоматизированное машинное обучение

Время на прочтение4 мин
Охват и читатели3K

Перевод статьи подготовлен специально для студентов курса «Промышленный ML на больших данных»

Машинное обучение обладает преимуществом обучения алгоритмов, которые автоматически улучшаются, используя полученный опыт. Существует N различных алгоритмов и методов машинного обучения, и вам, как правило, нужно попробовать множество из них, чтобы найти лучшую модель прогнозирования для вашего датасета -  ту, которая будет иметь наивысшую точность.

Большинство методов машинного обучения, таких как регрессионные методы, классификация и другие модели, есть в Sklearn, но, чтобы выбрать, какой метод лучше всего подходит в нашем конкретном случае, нужно опробовать все эти модели вместе с настройкой гиперпараметров и найти наиболее эффективную модель. Вся эта работа отнимает много сил и времени, объем которых можно уменьшить с помощью пакета AutoVIML в Python.

Читать далее