Я постарался сделать интерфейс максимально, так близко как только возможно, приближенным к numpy/pandas/scipy/sklearn. То есть по интерфейсу это по сути то же самое. Так что "переобучиться" для тех, кто хоть немного понимает в C++ - не проблема.
Спс за ссылку. Цифры перфа с примерами можно использовать как бейзлайн. В статье говорится о вещах известных - кэш-миссы, branch misprediction, SIMD, но правильно вкрутить все эти вещи в софт (в смысле SIMD и побороться с первыми двумя) - та еще задачка. SIMD делает и компилятор как умеет, но он может делать это не оптимально. И можно вырулить на том, что ещё не очень многие хорошо научились делать это оптимально. И спасибо Intel VTune/Intel Advisor!
Спасибо за идею @N-Cube! Нужна ниша, но-таки да, я не ориентируюсь в конкретных потребностях пользователей. А не скинете конкретный example чего бы вы хотели? Поподробнее о numpy-совместимых функциях? Лучше в личку. Спасибо!
Если сравняюсь с numpy по некоторым бенчмаркам, то может быть и станут доверять, но и то не факт. В любом случае, пока я работаю над этим один, всё это скорее похоже на авантюру и ресерч-проект в стол, поскольку ресурсов сделать что-то конкурентоспособное нет. Можно попробовать не распыляться, и что-то одно хотя бы довести до ума, но у меня пока даже нет идей, на чем лучше сконцентрироваться - перф дожимать или функциональность наращивать.
Это точно статья про Яндекс? Там же 6-этапные многодневные изнурительные евроинтервью, они же отбирают сливки из лучших из лучших… не могу поверить, что тамошние программеры так могут косячить или не уметь оптимизировать SQL...
Да, я понял и согласен — сам так же зачастую делаю.
Просто запостил предыдущий мессаж не в ту ветку — надо было туда, где обсуждали как находить подходящие области для изучения.
Есть такая штука, как кривая Гартнера (умные люди собрались в этом треде, поэтому, думаю, все понимают, о чем речь). Чтобы понять, что изучать, просто смотрите, что напрогнозировали другие люди. И то, что мы в РФ, а не в Силиконовой, мать её, я просто уверен, что через какое-то время это не будет так важно.
То есть, если я правильно вас понял, при переходе из технологии в технологию весь предыдущий опыт обычно обесценивается, и сколько бы его ни было — хоть 20, хоть 100 лет — для работодателя нормально, что ты начинаешь как бы «джуном», и что в моем случае этого не произошло — это ещё мне крупно повезло.
Фигово, что все время приходится подстраиваться под рынок, а не спокойно заниматься чем хочется.
Плюсы мне показались тупиком, я их вдоль поперёк знаю, у меня опыт на плюсах 18 лет, и на текущей работе есть проекты на плюсах, которыми я занимаюсь.
Но это мне показалось тупиковой ветвью, и когда мне предложили поработать с бигдатой, оупеншифтом и NoSQL, я с радостью уцепился за эту возможность. А плюсы никуда не делись.
А з-п никак с этим не коррелирует. Тем более я всего этого не знал, и рыпаться было неуместно в тот момент. Года через 4 можно будет пересмотреть свою позицию… но проблема есть, и работать негде.
Да, это правда. Spring раскурю. Славбогу, что его взял для проекта, почувствовав, что это мейнстрим (при этом в Java я был абсолютный нуль).
Но вот через время, когда надо будет выбирать (у меня растут года, будет мне как грится 50; что же делать мне тогда, чем заниматься?), сыграть на том, что у меня год джава, а все остальное псу под хвост, как-то тупо… а я ловлю все, что есть: ML, алгоритмы, девопс, все модное. И чего со всем этим делать — непонятно. Надо как-то конвертировать в СКВ. Но как? В рашке почти нет контор… уезжать не хочу… инофирмы в гомеопатических количествах… остаётся только надеяться, что к тому времени все изменится.
Ну вот я работаю с оупеншифтом, hbase, кафкой и проч и проч уже около года. И что? Надо оно кому-то? Кроме ещё пары контор — навряд ли.
Опыт на C++ — 20 лет. Опыт на Java — 1 год. Опыт на пайтоне — 18 лет. И все нафик не надо.
И из рашки уезжать не хочется… так и живем...
Как-то взял отпуск поитерироваться. И доитерировался до того, что «остался при своих», не получив абсолютно никакого внятного фидбэка, а только отказы, отказы и отказы. Формальные, просто отписки.
Фидбэк же выцепить невозможно практически. И понять, что делаешь не так — очень трудно.
А если в следующую итерацию я приму Ваш совет, Color, можно на вопрос, почему вы так много хотите денег, отвечать: а мне так на Хабре посоветовали, сам Color?
Тут в РФ инфляция сумасшедшая, так что з-п просто тупо за ней не успевает, да и профсоюзов особо нет. Поэтому приходится каждый раз при поиске новой работы прибавлять к текущей з-п 10% на покрытие накопившейся инфляции и на небольшую «прибавку». С такой цифрой выходишь, работодатели безэмоционально говорят «нет». Тогда ты потихоньку опускаешься градиентным спуском в поисках локального минимума до равновесного значения, когда хотя бы один скажет «да». Вот такой вот минимакс.
А скилы демонстрировать (по кр мере у нас в РФ) это почти дохлый номер. А я вот машин ленинг знаю. Ну и хорошо, но у нас вакансия не об этом. Может понадобится, но это не повлияет на вашу з-п. А я ещё это знаю. А я ещё то знаю. Ну и идите вы… а вакансий и нету куда идти со всем этим багажом...
А как вы узнали свою рыночную стоимость? Допустим, вас берут на з-п S в контору X. Но вдруг бы взяли на з-п S + delta S в контору Y? То есть рыночная стоимость это max по S среди всех контор, которые потенциально могут взять. Но это NP-полная задача, неразрешимая в обозримой перспективе. То есть верифицировать можно, а вычислить нереально.
Я постарался сделать интерфейс максимально, так близко как только возможно, приближенным к numpy/pandas/scipy/sklearn. То есть по интерфейсу это по сути то же самое. Так что "переобучиться" для тех, кто хоть немного понимает в C++ - не проблема.
В Jupyter можно работать и с C++ (https://github.com/jupyter-xeus/xeus-cling), и с Java, и с многими другими популярными языками, так что это не проблема.
Спс за ссылку. Цифры перфа с примерами можно использовать как бейзлайн. В статье говорится о вещах известных - кэш-миссы, branch misprediction, SIMD, но правильно вкрутить все эти вещи в софт (в смысле SIMD и побороться с первыми двумя) - та еще задачка. SIMD делает и компилятор как умеет, но он может делать это не оптимально. И можно вырулить на том, что ещё не очень многие хорошо научились делать это оптимально. И спасибо Intel VTune/Intel Advisor!
ok, спс, посмотрю как и что у них там сделано.
Спасибо за идею @N-Cube! Нужна ниша, но-таки да, я не ориентируюсь в конкретных потребностях пользователей. А не скинете конкретный example чего бы вы хотели? Поподробнее о numpy-совместимых функциях? Лучше в личку. Спасибо!
В numpy и sklearn под капотом C и Fortran, если я не ошибаюсь, так что ничего удивительного. Но у меня есть шанс догнать и перегнать их.
Возможно, моя библиотека/ки будут полезны тем, кто страдает от неудобной интеграции с Python-ом и готовы немного пожертвовать перформансом.
А вообще посмотрим куда всё это пойдет. Пока не знаю.
Если сравняюсь с numpy по некоторым бенчмаркам, то может быть и станут доверять, но и то не факт. В любом случае, пока я работаю над этим один, всё это скорее похоже на авантюру и ресерч-проект в стол, поскольку ресурсов сделать что-то конкурентоспособное нет. Можно попробовать не распыляться, и что-то одно хотя бы довести до ума, но у меня пока даже нет идей, на чем лучше сконцентрироваться - перф дожимать или функциональность наращивать.
Это точно статья про Яндекс? Там же 6-этапные многодневные изнурительные евроинтервью, они же отбирают сливки из лучших из лучших… не могу поверить, что тамошние программеры так могут косячить или не уметь оптимизировать SQL...
Да, я понял и согласен — сам так же зачастую делаю.
Просто запостил предыдущий мессаж не в ту ветку — надо было туда, где обсуждали как находить подходящие области для изучения.
Однако и у нас в раше иногда бывают няшные вакансии, вот, например, не в целях рекламы: https://hh.ru/vacancy/32538349
Есть такая штука, как кривая Гартнера (умные люди собрались в этом треде, поэтому, думаю, все понимают, о чем речь). Чтобы понять, что изучать, просто смотрите, что напрогнозировали другие люди. И то, что мы в РФ, а не в Силиконовой, мать её, я просто уверен, что через какое-то время это не будет так важно.
То есть, если я правильно вас понял, при переходе из технологии в технологию весь предыдущий опыт обычно обесценивается, и сколько бы его ни было — хоть 20, хоть 100 лет — для работодателя нормально, что ты начинаешь как бы «джуном», и что в моем случае этого не произошло — это ещё мне крупно повезло.
Фигово, что все время приходится подстраиваться под рынок, а не спокойно заниматься чем хочется.
Плюсы мне показались тупиком, я их вдоль поперёк знаю, у меня опыт на плюсах 18 лет, и на текущей работе есть проекты на плюсах, которыми я занимаюсь.
Но это мне показалось тупиковой ветвью, и когда мне предложили поработать с бигдатой, оупеншифтом и NoSQL, я с радостью уцепился за эту возможность. А плюсы никуда не делись.
А з-п никак с этим не коррелирует. Тем более я всего этого не знал, и рыпаться было неуместно в тот момент. Года через 4 можно будет пересмотреть свою позицию… но проблема есть, и работать негде.
Да, это правда. Spring раскурю. Славбогу, что его взял для проекта, почувствовав, что это мейнстрим (при этом в Java я был абсолютный нуль).
Но вот через время, когда надо будет выбирать (у меня растут года, будет мне как грится 50; что же делать мне тогда, чем заниматься?), сыграть на том, что у меня год джава, а все остальное псу под хвост, как-то тупо… а я ловлю все, что есть: ML, алгоритмы, девопс, все модное. И чего со всем этим делать — непонятно. Надо как-то конвертировать в СКВ. Но как? В рашке почти нет контор… уезжать не хочу… инофирмы в гомеопатических количествах… остаётся только надеяться, что к тому времени все изменится.
Ну вот я работаю с оупеншифтом, hbase, кафкой и проч и проч уже около года. И что? Надо оно кому-то? Кроме ещё пары контор — навряд ли.
Опыт на C++ — 20 лет. Опыт на Java — 1 год. Опыт на пайтоне — 18 лет. И все нафик не надо.
И из рашки уезжать не хочется… так и живем...
Как-то взял отпуск поитерироваться. И доитерировался до того, что «остался при своих», не получив абсолютно никакого внятного фидбэка, а только отказы, отказы и отказы. Формальные, просто отписки.
Фидбэк же выцепить невозможно практически. И понять, что делаешь не так — очень трудно.
А если в следующую итерацию я приму Ваш совет, Color, можно на вопрос, почему вы так много хотите денег, отвечать: а мне так на Хабре посоветовали, сам Color?
Тут в РФ инфляция сумасшедшая, так что з-п просто тупо за ней не успевает, да и профсоюзов особо нет. Поэтому приходится каждый раз при поиске новой работы прибавлять к текущей з-п 10% на покрытие накопившейся инфляции и на небольшую «прибавку». С такой цифрой выходишь, работодатели безэмоционально говорят «нет». Тогда ты потихоньку опускаешься градиентным спуском в поисках локального минимума до равновесного значения, когда хотя бы один скажет «да». Вот такой вот минимакс.
А скилы демонстрировать (по кр мере у нас в РФ) это почти дохлый номер. А я вот машин ленинг знаю. Ну и хорошо, но у нас вакансия не об этом. Может понадобится, но это не повлияет на вашу з-п. А я ещё это знаю. А я ещё то знаю. Ну и идите вы… а вакансий и нету куда идти со всем этим багажом...
А как вы узнали свою рыночную стоимость? Допустим, вас берут на з-п S в контору X. Но вдруг бы взяли на з-п S + delta S в контору Y? То есть рыночная стоимость это max по S среди всех контор, которые потенциально могут взять. Но это NP-полная задача, неразрешимая в обозримой перспективе. То есть верифицировать можно, а вычислить нереально.
Ильз он безуа ун петит було. Ильз н’он па безуа де травай. Но проблем.
Ах ты черт. Они скажут: I’ll finish it by the next week. Облом-с.