Если я правильно помню, питоньи либы написанные на Си имеют возможность "отпустить" GIL, то есть какую-нибудь (условно!) функцию из numpy распараллелить по потокам, это может иметь смысл
Тем временем, пишут, что за Аяза вроде как уже впрягаются основатели Qiwi, SkyEng, SkillBox, и ряда других компаний.
Вот их всех и надо сажать. Спекуляция на рынке образовательных услуг такое же преступление против народа и столь же опасно в долгосрочной перспективе, как махинации в медицине. Продажа муляжей под видом образования, это не просто мошенничество, это вредительство в самом прямом смысле этого слова - сознательная деятельность направленная на ослабление государства
"Для работы" такое относительное, кто над чем работает знаете ли. Вот есть у меня планшет Самсунг, весит меньше 0,5 кг, к нему прилагается клавиатура - еще 350 грамм, в целом заметно меньше килограмма. Там 12 Гб оперативки и 12 ядер. Хватит для работы? Мне хватает в поездках презентации рисовать. Чем это не ноутбук?
В слове STUPID букв больше чем в SOLID, а по сути постулируются те же самые принципы, но более многословно, расплывчато и неконкретно. "Отвязывайте зависимости от системы." - ну офигеть совет, а как я это должен соединить с выше декларированным "избегайте «необходимости» добавления неожиданной сложности"? Ну, блин, товарищ, чтобы избежать связности мне придется вводить слои абстракции, например, как вы же советуете "Entity-Control-Boundary". Это не добавление сложности? А что? А как мне руководствуясь вашей статьёй понять, это уже "лишняя" сложность или ещё нет? Думаю, что отвечая на вопрос, вы начнете аппелировать к опыту, чутью, здравому смыслу и прочим спорным понятиям и вкусовщине. Мне вообще кажется, что автор сначала придумал броское словечко, а потом вымучил более-менее осмысленные определения для каждого. Я так в детстве стихи сочинял - сначала рифмы придумывал, а потом заполнял строфы чем угодно, главное чтобы хоть как-то по смыслу подходило.
в основном Python используется для анализа данных, веб‑разработки, машинного обучения, DevOps и разработки веб‑парсеров
Как это так получается то, что ни один фреймворк для анализа данных, машинного обучения и веб-парсинга не попал даже в десятку? Мне очень трудно поверить в то, что среди популярных фреймворков и библиотек нет pandas, numpy, matplotlib (чем же тогда датасайентисты анализируют данные то?), нет Beautiful soap (или чем сейчас модно парсить? Я не знаю, но этого нет в списке), а так же нет ОРМ, коннекторов к СУБД, pydantic, да хоть простро json. Чем весь этот сомн разработчиков пользуется то? Ну не PyGTK же, хотя он почему-то в списке есть.
Насколько я понял, это не про тёмную материю. Это про то, что большое видится на расстоянии, а находясь внутри чего-то, особенно если это что-то не очень прозрачно, трудно оценить его размеры и состав. Отсюда такие большие границы оценки сколько в Галактике вообще звезд. А про тёмную материю размышляют наблюдая галактики со стороны, и там видно гораздо больше
Как это обычно бывает у демагогов, автор с ловкостью фокусника подсовывает ложь предварительно обложив её слоями тривиальных фактов и фраз-пустышек, не забывая предварить внедряемую чушь вводными выражениями провоцирующими у читающего чувство сопричасности. С этого финта, собственно, и начинаеся "философское изыскание":
Бла-бла-бла... А там, где кончается знание, как известно (!!!), начинается территория веры.
Кто-то верит в то, что сингулярность в центре чёрной дыры служит космологической сингулярностью или другими словами Большим Взрывом для других, дочерних вселенных. Кто-то верит, что наш Большой Взрыв ...
Там где кончается знание, начинаеся территория незнания. Начинаются гипотезы, предположения, эксперименты - то есть поиск знания, а вовсе никакая не вера. Это у здорового человека. Любимый довод мракобесов, дескать мы верим в бога, а атеисты верят в отсутствие бога, прокатывает только среди очень недалекой аудитории. Вы, автор, ошиблись площадкой.
Причина этого заключалась в том, что из модели Фридмана при её экстраполяции назад во времени следовал неприятный для коммунистической идеологии факт того, что Вселенная началась с сингулярности
Интересно, а какой бы по вашему мнению сценарий возникновения Вселенной устроил бы ЦК партии?
Потому что слишком сильно напоминала акт Творения
А! Ну да! "И соседа вашего посадят негодяя, потому что он на Берию похож". Так и работала наука СССР.
Эта точка-событие в пространстве-времени, позже получившая название Большой Взрыв
Идем по ссыке и читаем "Большо́й взрыв — общепринятая космологическая модель, описывающая раннее развитие Вселенной[1], а именно — начало расширения Вселенной, перед которым Вселенная находилась в сингулярном состоянии." Ну то есть, только что было дано, что БВ - это расширение Вселенной вполне описываемое в рамках физической модели. И бац, элегантным движением, брюки превращаются БВ превращаеся в сингулярность (а за скобками - в территорию веры, а значит в бога, а значит общепринятая физическая теория, это просто вера в бога. Ловко, да?)
На самом деле, пробираться через все манипуляции автора у меня нет никакого желания. У меня есть вопрос, и он даже не к автору текста (на адекватность автора я не рассчитываю), а к сочувствующим. Каждый раз, когда вы ищете параллели между библией и наукой, вы не замечаете там "перпендикуляров"? Например, происхождение чернокожего населения от белокожего Хама (что с позиций современных представлений о происхождении человека чушь стопроцентная), или история Ноя вся целиком. Как это у вас происходит? Встретив очевидную наивную чушатину, у вас временная слепота наступает? Как так выходит, что священные тексты у вас одновременно источник сокровенной мудрости и в то же время они изобилуют глупостями космического масштаба, которые вы даже никак и не пробуете внятно объяснить?
В 2005 году компания Google решила вступить в конкуренцию с ICQ, MSN и Skype — и выпустила мессенджер Google Talk (Gchat) на открытом протоколе XMPP с распределённой архитектурой. Казалось бы, замечательно: Google продвигает открытый свободный протокол! Как бы не так.
Наверное, я тупой, но я не понял суть претензий. Был открытый протокол XMPP, гугл его поюзали - вполне, насколько я понял, законно в рамках его лицензии. Даже развили и дополнили, как им было интересно. Потом протокол перестал гугл удовлетворять и они перешли на проприетарное решение. XMPP куда-то делся? Они его приватизировали? Вроде нет. > Google не уважала спецификации, не поддерживала все функции XMPP. так вроде и не обязаны были, нахрена они должны были поддерживать ненужные им функции? > В итоге разработка открытого стандарта затормозилась, чтобы адаптироваться к действиям Google. Это гугл виноват или разрабы, которым причудилась гора денег от гугла? > что практически остановило развитие XMPP на долгие годы я не понял, как тот факт, что гугл использовали открытый протокол связан с тем, что развитие протокола остановилось, пожалуйста, объясните этот момент.
Привет! Меня зовут Женя Голева, я занимаюсь developer relations с 2016 года, и постоянно вижу профессиональных чатах холивары о нашей работе. Люди спорят, кто такие деврелы, кто занимается не деврелом, а какие виды деврелов наоборот имеют право на существование и очень нужны в команде.
Не хочу никого обидеть и не холивара ради пишу, но... понимаете, если люди спорят о том, нужен ли им <имянейм> или не нужен, и кто это вообще такой, и чем занимается, то скорее всего - не нужен и занимается он надуманной, никому не нужной фигнёй. Никто не спорит, нужна ли уборщица в офисе, нужен ли сварщик в команде строителей, или инженер по охране труда, или тестировщик. Когда люди нужны и занимаются полезным делом, не возникает вопросов, холиваров и неудопониманий. Да уже сам факт того, что вы (я имею в виду не конкретно Вас, а в общем людей вашего рода занятий) не придумали не только русского, а даже английского слова ёмко описывающего професию и вам пришлось прибегать к иноязу, говорит об искусственности потуг внедрить ещё одного непонятного "менеджера" по запутанным вопросам. Чем полезнее человек, тем проще и понятнее он называется. Уборщица убирает, сварщик - варит, программист - программирует, всё же понятно? А вот деврел - не понятно, и посему, видимо, никому кроме самих деврелов не нужно
Как это умиляет, когда автор поста начинает свой текст с перечисления (как ему кажется) достижений - я разработчик с семилетним стажем(!!), а не хрен с горы, а дальше мы видим совершенно наивную глупость вроде переноса своего (несомненно богатого) семилетнего опыта джаваскриптера на масштабы настолько колоссальные, что не умещаются в голове. Ну подумаешь, надо рассчитывать взаимодействие 10 ^ 90 кварков в реальном времени! Я же применял пару оптимизаций для сайтика. Наверное, архитектор Вселенной тоже не дурак и, наверное, до таких же опримизаций додумался, похожесть налицо! Добавим несколько мутных психологических "фактов" со страниц Спид-инфо, подпустим манипулирования и демагогии вроде "Конечно, это косвенные доказательства" (камрад, это не доказательства, это визуализация гипотизы умственным экспериментом) - и готово!
Легендарно быстро гниёт, легендарно часто ломается, легендарно много жрет и легендарно хреново управляестся. Все легендарные фишки этого волшебного девайса перечислил? Однажды у меня на ходу отвалился кардан, вспоминаю этот момент вовсе не с умилением
Прежде о себе: более 20 лет программирую на С/С++/Objective-C, в разной степени знаком с десятком других языков.
А если я пятьдесят лет программирую и знаю сто языков, но в корне не согласен с автором, факты из моей биографии хоть как-то повлияют на его точку зрения? @tri_tuza_v_karmane Мы не оценивали ваш код, не знаем в каких командах и на каких проектах вы работали, не видели вас на конференциях, не знаем как вас и ваш труд оценивают ваши коллеги. Я поверю на слово - всё что вы пишите про свой опыт в цифрах, всё правда. Но, кажется, это как раз тот случай, когда "мудрость приходит с опытом, но иногда опыт приходит один". Вот такая печальная история, двадцать лет опыта не научили вас азам профессии, гордиться тут не чем.
Как это у них работает вообще? Я правильно понял, что человек работавший в разведке, допущенный к государственной тайне со всеми соответствующими допусками высшей степени, приходит в парламент этой страны и публично разглашает сверхсекретную информацию? Это же сюрреализм какой-то. Давайте я сейчас приду в Госдуму и заявлю, что служил в ГРУ и у меня есть информация о, скажем, группировке секретных спутников-шпионов, кстати вот она. И депутаты такие - О! Срочно в номер, в вечерние новости, мир должен знать!! И мои фотографии с медалями по всему интернету, интервью и страница в википедии.
Прочитав всевозможные форумы, которые хоть как-то намекали на повышение скорость обработки в Pandas, мы поняли, что метод .apply — это то, что необходимо для достижения этой максимальной скорости (само собой, мы видели комментарии насчет использования .numpy, но для нашего случая оно не очень подходило).
Ребят, кажется вы не то читали. Я мало знаю про Pandas, но из того что знаю - apply это самый медленный способ производить расчеты в Pandas и применять его надо только если очень хочется.
Переходя к цифрам, бессмысленно рассматривать файлы с количеством строк меньше 5к — тут на валидацию выходит меньше секунды. Поэтому мы рассматриваем варианты с 10к строк и выше.
Это не серьезно в принципе. Вы попробуйте гигабайт хотя-бы двадцать своему алгоритму скормить.
Вот синтетический пример:
import pandas as pd
from timeit import timeit
n = 10000000
df = pd.DataFrame([{"a": i, "b": i, "c": i} for i in range(n)], columns=["a", "b", "c"], index=list(range(n)))
def test1():
data = df.apply(lambda i: i + 1)
def test2():
df["a"] = df["a"] + 1
df["b"] = df["b"] + 1
df["c"] = df["c"] + 1
t1 = timeit("from __main__ import test1; test1()", number=100)
print(t1)
t2 = timeit("from __main__ import test2; test2()", number=100)
print(t2)
и результат
7.037287416
1.9289679590000013
какой может быть перфоманс с лямбдами, вы что? Вызывать питонью функцию в цикле на большом датасете - это безумие. Мало того, что вызов функций в питоне сам по себе не быстрый процесс, так вы же прям направленно убиваете весь смысл движка - использование векторных инструкций процессора.
Сайты, увы, не открываются
> Error code: PR_END_OF_FILE_ERROR
Если я правильно помню, питоньи либы написанные на Си имеют возможность "отпустить" GIL, то есть какую-нибудь (условно!) функцию из numpy распараллелить по потокам, это может иметь смысл
А что такого проприетарного в производстве любого ширпотреба, например, одежды?
Вот их всех и надо сажать. Спекуляция на рынке образовательных услуг такое же преступление против народа и столь же опасно в долгосрочной перспективе, как махинации в медицине. Продажа муляжей под видом образования, это не просто мошенничество, это вредительство в самом прямом смысле этого слова - сознательная деятельность направленная на ослабление государства
"Для работы" такое относительное, кто над чем работает знаете ли. Вот есть у меня планшет Самсунг, весит меньше 0,5 кг, к нему прилагается клавиатура - еще 350 грамм, в целом заметно меньше килограмма. Там 12 Гб оперативки и 12 ядер. Хватит для работы? Мне хватает в поездках презентации рисовать. Чем это не ноутбук?
В слове STUPID букв больше чем в SOLID, а по сути постулируются те же самые принципы, но более многословно, расплывчато и неконкретно. "Отвязывайте зависимости от системы." - ну офигеть совет, а как я это должен соединить с выше декларированным "избегайте «необходимости» добавления неожиданной сложности"? Ну, блин, товарищ, чтобы избежать связности мне придется вводить слои абстракции, например, как вы же советуете "Entity-Control-Boundary". Это не добавление сложности? А что? А как мне руководствуясь вашей статьёй понять, это уже "лишняя" сложность или ещё нет? Думаю, что отвечая на вопрос, вы начнете аппелировать к опыту, чутью, здравому смыслу и прочим спорным понятиям и вкусовщине. Мне вообще кажется, что автор сначала придумал броское словечко, а потом вымучил более-менее осмысленные определения для каждого. Я так в детстве стихи сочинял - сначала рифмы придумывал, а потом заполнял строфы чем угодно, главное чтобы хоть как-то по смыслу подходило.
Как-то сразу доверие к этой статистике пропало.
Как это так получается то, что ни один фреймворк для анализа данных, машинного обучения и веб-парсинга не попал даже в десятку? Мне очень трудно поверить в то, что среди популярных фреймворков и библиотек нет pandas, numpy, matplotlib (чем же тогда датасайентисты анализируют данные то?), нет Beautiful soap (или чем сейчас модно парсить? Я не знаю, но этого нет в списке), а так же нет ОРМ, коннекторов к СУБД, pydantic, да хоть простро json. Чем весь этот сомн разработчиков пользуется то? Ну не PyGTK же, хотя он почему-то в списке есть.
Насколько я понял, это не про тёмную материю. Это про то, что большое видится на расстоянии, а находясь внутри чего-то, особенно если это что-то не очень прозрачно, трудно оценить его размеры и состав. Отсюда такие большие границы оценки сколько в Галактике вообще звезд. А про тёмную материю размышляют наблюдая галактики со стороны, и там видно гораздо больше
Как это обычно бывает у демагогов, автор с ловкостью фокусника подсовывает ложь предварительно обложив её слоями тривиальных фактов и фраз-пустышек, не забывая предварить внедряемую чушь вводными выражениями провоцирующими у читающего чувство сопричасности. С этого финта, собственно, и начинаеся "философское изыскание":
Там где кончается знание, начинаеся территория незнания. Начинаются гипотезы, предположения, эксперименты - то есть поиск знания, а вовсе никакая не вера. Это у здорового человека. Любимый довод мракобесов, дескать мы верим в бога, а атеисты верят в отсутствие бога, прокатывает только среди очень недалекой аудитории. Вы, автор, ошиблись площадкой.
Интересно, а какой бы по вашему мнению сценарий возникновения Вселенной устроил бы ЦК партии?
А! Ну да! "И соседа вашего посадят негодяя, потому что он на Берию похож". Так и работала наука СССР.
Идем по ссыке и читаем "Большо́й взрыв — общепринятая космологическая модель, описывающая раннее развитие Вселенной[1], а именно — начало расширения Вселенной, перед которым Вселенная находилась в сингулярном состоянии."
Ну то есть, только что было дано, что БВ - это расширение Вселенной вполне описываемое в рамках физической модели. И бац, элегантным движением,
брюки превращаютсяБВ превращаеся в сингулярность (а за скобками - в территорию веры, а значит в бога, а значит общепринятая физическая теория, это просто вера в бога. Ловко, да?)На самом деле, пробираться через все манипуляции автора у меня нет никакого желания. У меня есть вопрос, и он даже не к автору текста (на адекватность автора я не рассчитываю), а к сочувствующим. Каждый раз, когда вы ищете параллели между библией и наукой, вы не замечаете там "перпендикуляров"? Например, происхождение чернокожего населения от белокожего Хама (что с позиций современных представлений о происхождении человека чушь стопроцентная), или история Ноя вся целиком. Как это у вас происходит? Встретив очевидную наивную чушатину, у вас временная слепота наступает? Как так выходит, что священные тексты у вас одновременно источник сокровенной мудрости и в то же время они изобилуют глупостями космического масштаба, которые вы даже никак и не пробуете внятно объяснить?
Часы как бы обязаны прежде всего время показывать. Показывает время - ну значит однозначно часы, и наоборот.
Наверное, я тупой, но я не понял суть претензий. Был открытый протокол XMPP, гугл его поюзали - вполне, насколько я понял, законно в рамках его лицензии. Даже развили и дополнили, как им было интересно. Потом протокол перестал гугл удовлетворять и они перешли на проприетарное решение. XMPP куда-то делся? Они его приватизировали? Вроде нет.
> Google не уважала спецификации, не поддерживала все функции XMPP.
так вроде и не обязаны были, нахрена они должны были поддерживать ненужные им функции?
> В итоге разработка открытого стандарта затормозилась, чтобы адаптироваться
к действиям Google.
Это гугл виноват или разрабы, которым причудилась гора денег от гугла?
> что практически остановило развитие XMPP на долгие годы
я не понял, как тот факт, что гугл использовали открытый протокол связан с тем, что развитие протокола остановилось, пожалуйста, объясните этот момент.
Не хочу никого обидеть и не холивара ради пишу, но... понимаете, если люди спорят о том, нужен ли им <имянейм> или не нужен, и кто это вообще такой, и чем занимается, то скорее всего - не нужен и занимается он надуманной, никому не нужной фигнёй. Никто не спорит, нужна ли уборщица в офисе, нужен ли сварщик в команде строителей, или инженер по охране труда, или тестировщик. Когда люди нужны и занимаются полезным делом, не возникает вопросов, холиваров и неудопониманий. Да уже сам факт того, что вы (я имею в виду не конкретно Вас, а в общем людей вашего рода занятий) не придумали не только русского, а даже английского слова ёмко описывающего професию и вам пришлось прибегать к иноязу, говорит об искусственности потуг внедрить ещё одного непонятного "менеджера" по запутанным вопросам. Чем полезнее человек, тем проще и понятнее он называется. Уборщица убирает, сварщик - варит, программист - программирует, всё же понятно? А вот деврел - не понятно, и посему, видимо, никому кроме самих деврелов не нужно
Как это умиляет, когда автор поста начинает свой текст с перечисления (как ему кажется) достижений - я разработчик с семилетним стажем(!!), а не хрен с горы, а дальше мы видим совершенно наивную глупость вроде переноса своего (несомненно богатого) семилетнего опыта джаваскриптера на масштабы настолько колоссальные, что не умещаются в голове. Ну подумаешь, надо рассчитывать взаимодействие 10 ^ 90 кварков в реальном времени! Я же применял пару оптимизаций для сайтика. Наверное, архитектор Вселенной тоже не дурак и, наверное, до таких же опримизаций додумался, похожесть налицо! Добавим несколько мутных психологических "фактов" со страниц Спид-инфо, подпустим манипулирования и демагогии вроде "Конечно, это косвенные доказательства" (камрад, это не доказательства, это визуализация гипотизы умственным экспериментом) - и готово!
Легендарно быстро гниёт, легендарно часто ломается, легендарно много жрет и легендарно хреново управляестся. Все легендарные фишки этого волшебного девайса перечислил? Однажды у меня на ходу отвалился кардан, вспоминаю этот момент вовсе не с умилением
А если я пятьдесят лет программирую и знаю сто языков, но в корне не согласен с автором, факты из моей биографии хоть как-то повлияют на его точку зрения?
@tri_tuza_v_karmane Мы не оценивали ваш код, не знаем в каких командах и на каких проектах вы работали, не видели вас на конференциях, не знаем как вас и ваш труд оценивают ваши коллеги. Я поверю на слово - всё что вы пишите про свой опыт в цифрах, всё правда. Но, кажется, это как раз тот случай, когда "мудрость приходит с опытом, но иногда опыт приходит один". Вот такая печальная история, двадцать лет опыта не научили вас азам профессии, гордиться тут не чем.
Интернет по паспорту уже и не кажется такой безумной идеей
Как это у них работает вообще? Я правильно понял, что человек работавший в разведке, допущенный к государственной тайне со всеми соответствующими допусками высшей степени, приходит в парламент этой страны и публично разглашает сверхсекретную информацию? Это же сюрреализм какой-то. Давайте я сейчас приду в Госдуму и заявлю, что служил в ГРУ и у меня есть информация о, скажем, группировке секретных спутников-шпионов, кстати вот она. И депутаты такие - О! Срочно в номер, в вечерние новости, мир должен знать!! И мои фотографии с медалями по всему интернету, интервью и страница в википедии.
Ребят, кажется вы не то читали. Я мало знаю про Pandas, но из того что знаю - apply это самый медленный способ производить расчеты в Pandas и применять его надо только если очень хочется.
Это не серьезно в принципе. Вы попробуйте гигабайт хотя-бы двадцать своему алгоритму скормить.
Вот синтетический пример:
и результат
какой может быть перфоманс с лямбдами, вы что? Вызывать питонью функцию в цикле на большом датасете - это безумие. Мало того, что вызов функций в питоне сам по себе не быстрый процесс, так вы же прям направленно убиваете весь смысл движка - использование векторных инструкций процессора.
А французам не сказали об этом или они тупые?
А про скорость чтения/записи сознательно умолчали?