Как стать автором
Обновить

msgspec: быстрый и экономичный парсинг JSON на Python

Уровень сложности Простой
Время на прочтение 4 мин
Количество просмотров 1.9K
Блог компании SkillFactory Высокая производительность *Python *Программирование *
Кейс
Перевод

В библиотеке msgspec много функций, например кодирование, поддержка MessagePack (альтернативный формат, который быстрее JSON) и другие. Если вы регулярно парсите файлы JSON, и у вас проблемы с производительностью или памятью, или просто нужны встроенные схемы, то попробуйте msgspec.


Ниже рассказываем о библиотеке подробнее. Итак, чтобы обработать большой файл JSON на Python без сбоев и аварийного завершения, нужно:


  1. Убедиться, что используется не слишком много памяти.
  2. Спарсить файл как можно быстрее.
  3. В идеале также заранее убедиться, что данные валидны и имеют правильную структуру.

Конечно, можно объединить решения с несколькими библиотеками. А можно — всего с одной. Схемы, быстрый парсинг и хитрые приемы для уменьшения потребления памяти — все это новая библиотека msgspec.

Читать дальше →
Всего голосов 9: ↑5 и ↓4 +1
Комментарии 4

Рейтинг языков программирования от TIOBE: C# теряет популярность, C++ становится востребованнее

Время на прочтение 1 мин
Количество просмотров 32K
Программирование *Статистика в IT
Компания TIOBE опубликовала обновленный рейтинг языков программирования.

Обновляется этот рейтинг раз в месяц, позволяя следить за динамикой популярности различных языков программирования. Данные, которые используются для оценки, собираются по всему миру, это количество разработчиков в определенной сфере, доступность курсов по конкретным языкам, решения, которые позволяют расширить возможности языка.
Читать дальше →
Всего голосов 16: ↑13 и ↓3 +10
Комментарии 19

Суперкомпьтер помогает разрабатывать алгоритмы для проектирования нейросетей, которые будут обнаруживать рак

Время на прочтение 2 мин
Количество просмотров 2.6K
Python *Машинное обучение *Искусственный интеллект Суперкомпьютеры Будущее здесь


Суперкомпьютер Summit Ок-Риджской национальной лаборатории (ORNL), самый быстрый в мире, используется для разработки алгоритмов, которые могут помочь исследователям автоматически проектировать нейронные сети для исследований рака. Это позволит врачам быстрее распознавать характер опухолей.

По оценкам Всемирной организации здравоохранения, к 2025 году число диагностированных новых случаев рака достигнет 21,5 млн в год (сегодня — 18 млн). Сотрудники Ок-Риджской национальной лаборатории и Университета штата Нью-Йорк в Стони Брук считают, что это означает, что врачам придется исследовать около 200 миллионов анализов в год.

Нейронные сети могут помочь облегчить их нагрузки, чтобы врачи могли больше сосредоточиться на уходе за пациентами. Было проведено несколько исследований, описывающих, как можно обучить модели компьютерного зрения диагностировать раковые клетки на снимках. Тем не менее, как пишет The Register, их создание и обучение требует много времени и денег.
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 12

GeekBrains запускает курсы по обучению программированию для детей

Время на прочтение 2 мин
Количество просмотров 6.6K
Блог компании VK Python *Учебный процесс в IT


Образовательный портал GeekBrains запускает детское направление обучения программированию. 15 октября стартует курс по основам программирования на Python для детей 11-17 лет. За 3 месяца под руководством опытного преподавателя студенты освоят основы программирования и напишут свой первый сайт на Python.
Читать дальше →
Всего голосов 24: ↑20 и ↓4 +16
Комментарии 2

Создатель Python Гвидо ван Россум ушел из Dropbox на пенсию

Время на прочтение 2 мин
Количество просмотров 13K
Python *Программирование *IT-компании
image

Создатель языка программирования Python Гвидо ван Россум уходит из Dropbox. Компания объявила об этом решении 29 октября.

Нидерландский программист проработал в компании 6,5 лет. Теперь 63-летний Гвидо отправляется на пенсию.

В Dropbox заявили, что Россум начал вносить свой вклад в развитие компании фактически с первого дня работы. «Что мне нравится в Python, так это то, что он просто работает. Это так интуитивно и красиво оформлено. Многие из этих атрибутов вдохновили меня и моего соучредителя Араша, когда мы думали о дизайне для Dropbox», — отметил генеральный директор Дрю Хьюстон.

«Это ощущение горькой радости. Я ухожу из Dropbox, теперь я на пенсии. Я многому научился здесь и буду скучать по работе», — написал сам ван Россум.
Всего голосов 25: ↑24 и ↓1 +23
Комментарии 20

GitHub опубликовал ежегодный статистический отчет

Время на прочтение 4 мин
Количество просмотров 18K
Open source *Программирование *GitHub *Статистика в IT IT-компании


Веб-сервис для хостинга IT-проектов и их совместной разработки GitHub опубликовал сводный отчет за прошедший год с анализом разнообразной внутренней статистики по многим направлениям разработок, а также возможностям и достижениям своих пользователей. Оказалось, что Python теперь на втором месте в рейтинге популярности языков программирования, используемых на GitHub, Java сместился на третье место, а лидером остается JavaScript. Количество пользователей GitHub возросло на 25%, а основные страны, где проживают пользователи сервиса — США, Китай и Индия.
Читать дальше →
Всего голосов 25: ↑24 и ↓1 +23
Комментарии 11

Разработчик создал полиграф на Arduino

Время на прочтение 2 мин
Количество просмотров 15K
Python *Разработка под Arduino *3D-принтеры

Источник: JuanGg Projects

Разработчик из Испании, известный под ником Juan Gg, спроектировал и собрал полиграф, работающий на плате Arduino UNO. Плата собирает данные с датчиков и отправляет их на компьютер, после чего программа берет эти данные и отображает их в виде графика.

Кроме того, программа позволяет пользователю хранить результаты, которые показывает полиграф, и отмечать на графике вопросы и ответы. Все результаты сохраняются в текстовых файлах.
Читать дальше →
Всего голосов 9: ↑6 и ↓3 +3
Комментарии 39

OpenCV Hackathon is coming

Время на прочтение 1 мин
Количество просмотров 3.3K
Open source *
image

Этим летом библиотека OpenCV отмечает свой двадцатый юбилей. OpenCV — самая большая библиотека компьютерного зрения в мире. Она используется чуть ли не в каждом мобильном телефоне, планшете и камере, не говоря уже о настольных системах и серверах. SourceForge рапортует о 20 миллионах скачиваний релизных версий библиотеки, и это число продолжает расти.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 0

В начале этого года Python сместил Java и стал вторым по популярности языком программирования среди разработчиков

Время на прочтение 2 мин
Количество просмотров 27K
Блог компании ITSumma Python *Программирование *Статистика в IT
Согласно отчету RedMonk за январь 2020 года, Python стал вторым по популярности языком программирования после Java Script. Ранее эту позицию на протяжении длительного времени уверенно удерживал Java, однако в начале года этот ЯП сместился на третью строчку рейтинга, который формируется на базе информации репозиториев GitHub. Если быть точными, то пара Java Script и Java удерживали топ-2 популярности языков программирования с момента начала формирования указанного рейтинга, то есть с 2012 года.



Популярность JS и Java и их топовые позиции в рейтинге ожидаемы. Java Script — основной язык веб-разработки уже долгие годы, когда как Java — стандарт в разработке под Android и в сфере корпоративных приложений.
Читать дальше →
Всего голосов 31: ↑31 и ↓0 +31
Комментарии 35

X5 Backend Meetup #1

Время на прочтение 1 мин
Количество просмотров 2K
Блог компании X5 Tech Python *Java *
12 марта приходите на митап для разработчиков JAVA и Python в #ITX5. В этот раз наша встреча пройдет в БЦ «Оазис» (Коровий вал, 5). Послушаем классные доклады и обсудим последние тренды:


Читать дальше →
Всего голосов 7: ↑7 и ↓0 +7
Комментарии 0

Вышла версия 0.0.2 snakeware — дистрибутива Linux, в котором всё работает через Python

Время на прочтение 2 мин
Количество просмотров 11K
Python *GitHub *Разработка под Linux *


31 мая 2020 года разработчик Джош Мур (Josh Moore) из американского города Сиракузы опубликовал на GitHub новую версию своего необычного дистрибутива Linux — snakeware v0.0.2. В этом дистрибутиве все работает с помощью языка программирования Python, включая пространство пользователя, оболочку и графический интерфейс.

Фактически, Мур решил создать собственную Python OS, где оконный менеджер snakeware основан на pygame/pygame_gui, а вместо графического стека X11 для отображение графики напрямую используется фреймбуфер (/dev/fb0). Разработчик просит присоединиться к его проекту всех желающих.

Цель проекта, согласно словам Мура, создать «пригодный для использования набор пользовательских приложений и утилит, полностью написанных на Python, и потому что Python — это весело».
Читать дальше →
Всего голосов 19: ↑19 и ↓0 +19
Комментарии 24

Яндекс.Практикум запустил онлайн-курсы для Junior-разработчиков

Время на прочтение 2 мин
Количество просмотров 9.2K
Python *C++ *Учебный процесс в IT
image

Сервис онлайн-образования Яндекс.Практикум объявил о старте программ для фронтенд- и Python-разработчиков начального уровня, которые позволят им вырасти до среднего уровня. Кроме того, появился новый курс «Разработчик C++».
Читать дальше →
Всего голосов 8: ↑6 и ↓2 +4
Комментарии 0

IEEE опубликовал новый рейтинг языков программирования

Время на прочтение 2 мин
Количество просмотров 38K
Python *Программирование *Java *C *Исследования и прогнозы в IT *
image

Институт инженеров электротехники и электроники (IEEE) разместил на своем сайте рейтинг языков программирования за 2020 год. Тройка лидеров не изменилась: это Python, Java и C.
Читать дальше →
Всего голосов 16: ↑13 и ↓3 +10
Комментарии 31

Астрономам порекомендовали меньше использовать суперкомпьютеры и Python из-за вреда экологии

Время на прочтение 2 мин
Количество просмотров 13K
Python *Суперкомпьютеры Экология Астрономия
image

Астрономы из Лейденской обсерватории опубликовали материал, посвященный работе своих коллег. Они подсчитали, что в ходе онлайн-конференции Европейского астрономического общества в атмосферу поступило в три тысячи раз меньше углекислого газа, чем во время очной конференции годом ранее. Их коллеги утверждают, что язык программирования Python, который часто используется в их работе, требует очень много электроэнергии.
Читать дальше →
Всего голосов 26: ↑24 и ↓2 +22
Комментарии 62

Создатель Python Гвидо ван Россум выходит на работу в Microsoft

Время на прочтение 2 мин
Количество просмотров 17K
Python *Программирование *Биографии гиков IT-компании
image

Создатель языка программирования Python Гвидо ван Россум решил выйти с пенсии обратно на работу. Его новым местом станет компания Microsoft.

«Я решил, что уход на пенсию — это скучно, и присоединился к отделу разработчиков в Microsoft», — написал ван Россум в Twitter.
Читать дальше →
Всего голосов 23: ↑22 и ↓1 +21
Комментарии 27

Python как компилируемый статически типизированный язык программирования

Время на прочтение 2 мин
Количество просмотров 16K
Python *

Python как статически типизированный компилируемый язык

Читать далее
Всего голосов 28: ↑22 и ↓6 +16
Комментарии 38

Отключение pip search

Время на прочтение 1 мин
Количество просмотров 11K
Системное администрирование *Python *IT-инфраструктура *

Вчера, при попытке найти интересующий меня пакет через pip я получил довольно объёмное сообщение об ошибке xmlrpc.client.Fault.

Читать дальше →
Всего голосов 9: ↑8 и ↓1 +7
Комментарии 5

Вышла версия 1.0 библиотеки для управления секс-игрушками Buttplug

Время на прочтение 1 мин
Количество просмотров 24K
JavaScript *Программирование *C# *Rust *

После 3,5 лет разработки компания Nonpolynomial обновила открытую библиотеку для секс-игрушек до версии 1.0. Библиотека управляет вибрацией с клавиатур, геймпадов и шлемов виртуальной реальности, а также синхронизирует импульсы с фильмами через плагины для VLC и Kodi.

Читать далее
Всего голосов 43: ↑43 и ↓0 +43
Комментарии 43

Новый Numpy 1.20.0 — что туда завезли и стоит ли обновлять?

Время на прочтение 3 мин
Количество просмотров 4.4K
Python *Машинное обучение *

Друзья, только недавно вышел новый релиз Numpy 1.20.0 и самое время обсудить, что туда завезли интересного.

Само собой, обсуждать будем не все - иначе мы просто с головой погрязнем в изучении доки. Публикуем только самое интересное (на наш скромный и неправильный взгляд). Если Вы для себя выделяете еще что-то важное, о чем мы не упомянули - поделитесь в комментариях!

Итак, приступим.

Читать далее
Всего голосов 8: ↑7 и ↓1 +6
Комментарии 0