Почему Python — не лучший язык для data science. Часть 1 — опыт разработчика и исследователя

Вода. Много воды. Примеры неубедительные. Можно было подвергнуть критике

• Ужасную документацию. Серьезно. У какой-то ноунейм библиотеки на java например для работы с exel документация в 100 раз лучше, чем у python-библиотек. Приходится лезть на гитхаб, открывать код, спускаться сквозь кучу слоев абстракции предоставляемого API, чтобы понять а что же делает этот код и какие данные на вход ожидает.

• Проблем с документацией добавляет kwargs. Потому что что? Фичу добавили, а в доки параметр не прописали. Оно и понятно, если функция/метод вызывает функцию, передавая ей kwargs, а та тоже вызывает функцию, тоже передавая kwargs, то это ж везде надо дублировать доку на каждый ключ словаря. Почему в языках без kwargs такой проблемы нет? А какую проблему kwargs решает? - Проблему гиганстких сигнатур методов (пришлось бы все аргументы явно перечислять для всех функций в цепочке вызовов). А как решают в других языках эту проблему? Создают отдельных класс с полями. Всё. Задокументировал только этот класс и нет проблем. Добавил потом поле, фичу в функцию и доку для поля 1 раз. Всё.

• Предоставление конвейерной обработки данных строго за счет библиотек и у каждой по своему (несовместимо с другими библиотеками, так что приходится добавлять адаптеры).

• Из предыдущего пункта плавно вытекает плохая встроенная в язык реализация ФП (имхо удобнее для анализа данных)

• Отсуствие нормальной поддержки аннотаций типов для библиотек. Там все еще изобилует нетипизированный код. Статическая типизация и борьба с компилятором - это конечно боль для людей которым нужно просто писать бизнеслогику и запускать интерактивно код, но типизация помогает искать и исключать ошибки. И когда добавили аннотации в Python для удобства разработчика, а не компьютера - это было круто. Но некруто когда спустя много лет, mypy бессилен с проверкаами на типы кода вызывающего библиотечные функции.

• Нейминг порой убивает. Вроде snake_style, но startswith, tolist и т д.

Что еще (помимо R и Matlab) могло бы стать лучшим инструментом для анализа данных, если бы было более популярным (и потому с большим числом готовых решений и устоявшихся библиотек):

• Ruby (лучшая поддержка ООП)

• Scala Spark (типизация, ФП)

• Julia (скорость, типизация)

Jupyter кстати поддерживает эти языки. А у Julia есть своя альтернатива в виде Pluto. Но как по мне, у Julia пока полный хаос с библиотеками (много маленьких, часто долго приходится выбирать нужную).

Прорывное доказательство приближает математику к теории Великого объединения после более чем 50 лет работы

Стандартный журналистский пафос, а по математической сути программы Ленглендса мало что сказано. Выглядит как попытка "скучную", "сложную" и "бесполезную" для простого обывателя математику выставить очень значимой и героической за счёт кучи гротескных эпитетов и перечисления имён важных светил науки.

Либо уж погружаемся в детали, либо статью можно было сделать короче.

Какого китайца выбрать? DeepSeek vs Qwen vs Baidu

Простоваты задачки, выборки маловато. А тема интересная.

Интересно посмотреть как модели справятся с написанием класса скажем динамического массива (Java ArrayList на основе Object[T] и сравнить со стандартной реализацией)

Интересно посмотреть какие нибудь задачки скажем из ЕГЭ по матеше, химии. Есть детективные игры, можно дать модели сыграть.

С текстами в принципе хорошо, хоть оценивать качество можно лишь субъективно.

Удачи на Хабре!

Аннотирование args и kwargs в Python

Да, конкретно в моем примере действительно Any прекрасно подходит. Но задача была показать как ещё в принципе можно решить проблему обозначенную автором статьи; и есть задачи, где Any - слишком общий тип.

В принципе, можно ещё юзать тип суперкласса. А когда его нет (библиотечный класс и пользовательский, но с одним и тем же методом) можно протокол объявить и им тип задать. Однако иногда это лишний код и для краткости проще Union использовать.

Но это все будет работать, когда все параметры более менее однородны и их произвольное число. Если же их фиксированное количество и у каждого свой тип, то лучше использовать просто именованные параметры (то есть как в вашем примере).

Иначе потом бегаешь по кодовой базе в поисках что и откуда прилетело и куда полетит. Особенно если автор не прописал тип или влепил Any и ещё документацию проигнорировал. А если аргументов много, есть паттерн parameter-object, чтобы каждый раз не писать всё это полотно.

И видимо, подход автора с TypedDict'ом в роли такого объекта параметров - это как раз такой копмпромис, чтобы и pythonic style, и краткость и последующая поддерживаемость без необходимости искать потом по всему проекту.

Нормальные алгоритмы Маркова как основание языка программирования

Другой синтаксис, но всё же. Saturn Programming Language

пример программы

Аннотирование args и kwargs в Python

SOLUTION

Незнаю, может на момент выхода статьи какие-то проблемы и были, но сейчас на Python 3.13.1 их нет:

• Собственно код

def replace(string: str, **subs: str | int) -> str:
    result = string
    for old, new in subs.items():
        result = result.replace(old, str(new))
    return result

original = "hello world"
print(replace(original, wo='WO', o=1))
print(replace(original, el=81, w='W', l='L', o=0))
print(replace(original, **{'world':'habr', ' ': ' 2 '}))

• Вывод python:

  hell1 WOrld
h81L0 W0rLd
hello 2 habr

• Вывод mypy (1.14.0)

  Success: no issues found in 1 source file

Аннотирование args и kwargs в Python

Да, в данном примере это лишнее. А что если надо передать произвольное количество именованных аргументов?

def replace(string, **subs)
    result = string
    for old, new in subs.items():
        result = result.replace(old, str(new))
    return result

original = "hello world"
print(replace(original, wo='WO', o=1))
print(replace(original, el=81, w='W', l='L', o=0))
print(replace(original, **{'world':'habr', ' ': ' 2 '}))

Тут уже не прокатит вариант с явным перечислением аргументов, потому что нельзя заранее угадать их количество и тип.

Пишем на Python как на Rust

А, не заметил)

Пишем на Python как на Rust

Классная статья! Вам удалось собрать в одной статье много полезных советов. Я сам пишу и на Rust и на Python, тоже пытаюсь использовать "плюшки" Rust везде, где можно, но некоторые способы продемонстрированные здесь более лаконичные чем мои. Спасибо)

Единственное что, разве в Python с его GIL нужны мютексы? Разве что для модуля multiprocessing какого-нибудь.

Почему падают темпы прогресса?

Как по мне, автор не учитывает прогресс в области себестоимости.

Общая стоимость программы «Аполлон» составила около $25,4 млрд, то есть примерно $152 млрд в сегодняшних ценах.

Цена ракеты SpaceX: 60 миллионов долларов.


И так в остальном. Тот же продемонстрированный машинный перевод выполнялся на машине IBM-701, лизинг которой обходился в $8100 в месяц. Готов сейчас кто-то платить такие бабки? - Нет, все пользуются БЕСПЛАТНЫМ на минуточку гуглом. Качество перевода на самом деле тоже оставляло лучшего: специфические темы, ограниченные размеры контекста.

Прогресс не встал. Раньше целью было создать что-то. Не важно какой ценой. А сегодня цель сделать товар рентабельным и покупаемым широким кругом потребителей.


Квантовые компьютеры к слову уже созданы (https://www.hpcwire.com/off-the-wire/ibm-unveils-400-qubit-plus-quantum-processor-and-next-gen-quantum-system-two/). Правда о них никто не говорит в таком смысле. Почему? Да потому что их стоимость не позволяет пользоваться этой возможностью простым смертным и даже университеты и компании вынуждены вставать в очередь, чтобы испытать свои алгоритмы и идеи на КК.

Эволюция разумна?

Спасибо. Изучу ваши статьи. Дискретность мною упомяналась так часто лишь по той причине, что сама идея дискретного аппроксиматора возникла прямо из необходимости решить проблему с перезаполнением памяти при взаимодействии с непрерывной (на макроуровне) реальности. Цель была основательно показать, что такая вот аппроксимация дискретным набором образов вполне справляется с поставленными задачами распознавания и иммитации. Доказать, что с таким предположением можно продолжать работать, что это не заведёт в итоге в тупик.

В дальнейших своих изысканиях я уже положил дискретность в основу и исследовал механизмы образования связей между такими вот образами. Действительно, система, которая может качественно моделировать закономерности окружающего мира, выявлять наиболее абстрактные паттерны, должна быть не просто горсткой выживающих в конфигурационном пространстве клеток. Тема дискретности отступает на второй план.

Эволюция разумна?

Бельмо – это заболевание, связанное, с помутнением роговой оболочки глаза. Такой человек видит не черно-белую картинку, а вообще плохо видит или не видит вовсе. Если врождённое бельмо вылечить, то зрительный центр мозга по-прежнему будет необучен воспринимать сигналы от глазных нервов. Естественно потребуется время на то, чтобы нейроны научились распознавать шаблоны, форму, размер и прочее. И чем взрослее человек, тем больше времени потребуется. Это еще раз доказывает значимость процессов нейрогенеза для обучения и распознавания: во взрослом организме они хоть и протекают, но гораздо медленнее, чем в детском. Именно поэтому ребёнок еще имеет шанс на частичное восставноление зрения, а взрослый – почти нет.

Новорожденные, между прочим, тоже сначала видят лишь размытое изображение, затем, по мере адаптации, они начинают видеть чётку чб картинку и лишь к 4-6 месяцем жизни они начинают видеть мир «полноценно». Но, повторюсь, такая быстрая адаптация мозга у новорожденных обеспечивается за счёт более активного нейрогенеза, чем у взрослого человека.

Мысленный эксперимент на то и мысленный, что его нельзя воплотить. Однако если бы существовали эффективные методы искусственного ускорения нейрогенеза, применяемые в лечебной практике, то взрослые с вылеченной лейкомой адаптировались бы к новым возможностям не сильно хуже младенцев. И тогда бы эксперимент с Марией был бы возможен в реальности, хоть и был бы антигуманным.

Смысл эксперимента в другом. Его смысл показать, что косвенным, в том числе, логическим путём полученная мозгом информация создаёт иные нейроны и связи между ними, нежели непосредственный опыт взаимодействия с объектом, в данном случае с цветом.

Да, сначала бы Мария вообще не воспринимала бы цветной мир. Но затем, у неё бы сформировалась бы отдельная нейронная подсеть (отвечающая за модель цвета) отличная от той, что появилась в ходе научного исследования всех длин волн и их свойств.

Другими словами нейрон, активирующийся при наблюдении зелёного цвета, нейрон, являющийся образом λ=530 нм, и нейрон, отвечающий за словосочетание «зелёный цвет» – это три разных нейрона. Они связываются синаптическими связями, что и позволяет нам говорить, что все три объекта в памяти суть одно и тоже, но сами нейроны – разные.

Эволюция разумна?

Но что тогда эта модель реальности? Если я правильно понимаю, получается, что есть окружающий мир, человек, и некоторый посредник между ними - модель. Напоминает идеи средневекового философа Н. Мальбранша, который считал, что наши ощущения, наше осознанное восприятие являются не прямым следствием внешнего воздействия, но работой Бога.

«Не предмет, колющий нам руку, несет боль через отверстие, проделанное в теле, и отнюдь не душа вырабатывает в себе это неприятное ощущение, ибо она страдает от боли себе вопреки. Это Сам Бог посредством ощущения открывает нам все происходящее внутри и вне нас.»

Я же лично, не вижу отделять смысл и восприятие от реальности. Осмысленный уровень не во взаимодействии с моделью, осмысленный уровень – это и есть сама эта модель. И да, она модифицируется и уточняется.

Это не противоречит ни возможности абстрактно мыслить, ни возможности снов. Представьте себе сложную систему, в которой циркулируют сигналы, есть куча всевозможных обратных связей, но имеющую несколько выводов вовне. Мозг – как раз такая система.

Смысловая составляющая процессов в мозге заключается в иммитировании (искаженном, потому что как указано в статье, мозг лишь аппроксимирует мир) процессов внешнего мира. Если два события связаны, их образы будут связаны и у нас в сознании. Между нейронами передаются импульсы, а на смысловом уровне мы имеем потоки ассоциаций, которые как кадры видео воспроизводят, что происходило с нами, воспроизводят закономерности внешнего мира, не на физическом, но на смысловом уровне.

И теперь представьте, что мы отключаем эту систему от внешнего мира. Что будет? Верно, сигналы продолжат распространяться, а в сознании будет проигрываться «фильм», иммитация реального мира. Что это? – Сон.

Я может излишне физикалист, но я искренне верю, что такие сложные философские вопросы, как «что такое сознание?» и «что такое смысл?» найдут свои ответы в рамках материалистического подхода, не привлекающего что-то ещё, кроме законов природы.

Эволюция разумна?

Это уже не рассказ и не карта. Это новый способ непосредственного восприятия, такой же как зрение, слух и информация от вестибулярки. И, конечно, это будет добавлять новые образы в сознание. Образы от нового органа восприятия. Хотел бы себе такую штуку)

Эволюция разумна?

На мой взгляд, вы слишком ударяетесь в генетическую интерпритацию моей модели. Наследственность, мутации. В роли гена, если можно так сказать, здесь выступает массив координат клетки. Причем наследует она его не столько от родителя, сколько от источника питания. Это как если бы мы становились тем, что едим.

Эволюция разумна?

Существует мысленный эксперимент. Называется "Мария в чёрно-белой комнате". Мария – учёная, специализируется на цвете. Она знает всё, что можно знать: длины волн, неврологические эффекты, каждое возможное свойство, присущее цвету. Но она живёт в чб комнате. Она в ней родилась, в ней выросла и может наблюдать внешний мир только в чб монитор. Однажды кто-то открывает дверь и Мария выходит и видит голубое небо, зелёную траву, пёстрых оттенков всевозможные цветы. В этот момент она понимает то, что при всех её знаниях ей было не известно: она узнаёт какого это – видеть цвет.

К чему это я? А к тому, что мысленная карта местности построенная путём экстраполяции, догадок и т. д. – это не то же самое, что мысле-карта полученная путём непосредственного взаимодействия с этой местностью.
Ни один рассказ знакомого, ни одна карта не передадут в точности те образы, что появятся у вас в голове, когда вы посетите новое для вас место.

Имхо, нейроны места имеют сильное отношение к рецепторам и непосредственному восприятию. Это потом уже на последующих уровнях анализа информации, на более высоких уровнях абстракции мозг "проводит знак равенства" между рисунком на карте и тем, как местность непосредственно воспринималась.

Но всё-таки, это – более абстрактный уровень. В деталях образ карты на бумаге и опыт пребывания в каком то месте – это два разных образа. В каком-то смысле, на высоком уровне абстракции числа 2 и 3 равны, так как оба представляют собой натуральные числа. Но обычно мы считаем их разными. Ладно... уровни абстракции и концепция относительного тождества – это отдельная тема для разговора.

Эволюция разумна?

Именно) Человек или животное не может распознать то, что никогда ранее не встречал. Нейрон, отвечающий за определенное место, появляется только после того, как существо хотя бы раз посетило это самое место. Аналогичным образом модель добавляет клетку, отвечающую за какой-то объект, только после взаимодействия с этим объектом. Так что да, можно сказать, что мы помним не объекты, но события, не место, но опыт взаимодействия с ним. В голове нет и не может быть карт мест, где мы никогда не были.