да, это так. Все через координатор гоняет. Я очень сильно протупил, перепутал внезапно с apache phoenix-ом.
Почитал ваш коннектор, я немного не до конца понял, как у вас планируются партиции ( это надо видимо с дебагером погонять), а в каждом PartitionReader-е/DataWriter-е у вас внутри RmiSlave поднимается http-server c gpfdist-протоколом, и одновременно создается в gp внешка с location-ами этих серверов, и в нее пишется/из нее читается. В принципе, это все и без коннектора можно сделать, будет проще. Я свой последний коннектор написал в 2020м, и в принципе, кмк, его стоит писать только тогда, когда есть возможность обеспечить data locality.
И почему-то меня не покидает ощущение, что можно сделать еще проще (возможно, ложное).
Я может чего не понимаю, но в jdbc-коннекторе есть возможность параллельного чтения данных с разбиением на партиции по одной колонке, с параллельной записью тоже проблем нет, тем более gp должен поддерживать copy, можно ж просто сделать dataframe.foreachPartition и в ней через copy залить. Едтнственное, где я вижу необходимость в своем коннекторе - если spark-ноды и gp-ноды нахожятся на одних машинах, и надо по возможности read local обеспечить. В любом случае, исходники на гитхаб было бы плюсом, а так в статье одна вода "какие мы молодцы бла бла бла и как мы круто сделали бла бла бла"
Там в самом начале дается PV-диаграмма при атмосферном давлении и при 100 барах. При наддуве цилиндра PV-диаграмма вытягивается по вертикали и перепад давления вместо 0.02-0.1 становится 2-10. А надуть цилиндр можно насосом, работающим от поршня, который будет вдувать в холодную часть цилиндра в фазе всасывания. Главная проблема там - уплотнения поршня и штока.
Теперь к паровой технике. Мне кажется, без холодильника-конденсатора обойтись будеь сложно, так как без регенерации пара на одном котле далеко не уедешь, мот - не паровоз. А регенератор должен большую площадь теплообменника иметь, +насос, который воду будет обратно в котел вкачтвать, да еще и с давлением больше, чем в котле. Это увнличивает габариты, и надо будет аккуратно компоновать. По-моему нв ютубе был видос про автомобили Добля, как он там все делал.
С техническими собеседованиями вообще всегда было непросто - последние 10 лет все кинулись решать задачи, до этого (~ 2010 - 2012) все были укушены паттернами программирования, чуть раньше и одновременно с этим досконально зубрили стандарт языка, чтобы отвечать на бесконечные вопросы "что выдаст вот этот говнокод".
Но вообще алгосы нужны, но в них нужна мера. По моему опыту, нужно обязательно проверять 4 вещи: знает ли человек про динамический массив и куда в него можно вставлять, а куда нельзя, знает ли про двусвязный список и куда в него можно вставлять, а куда нельзя, знает ли пользу сортировки и бинарного поиска и знает ли, что такое хэш-мапа. RB-мапа - как бонус. Потому что 80% неоптимального кода - когда юзают динамический массив вместо мапы. 20% - на все остальное, преимущественно списки (это моя личная статистика за ~12 лет, когда я так или иначе ревьюил чужой код в разных компаниях).
Тестовое задание - вообще тема. Если честно, я бы никогда не взял человека, который откажется сделать тестовое. Единственный минус тестового - нет уверенности в том, что человек его сделал лично, даже после беседы (да, я обожаю делать тестовые, никогда не отказывался и всегда они были интересными).
Просто на поговорить - мне кажется, такие собеседования контрпродуктивны, так как проверяют навыки коммуникации, а не собственно разработки, я такие интервью не люблю ни проводить, ни проходить.
Привет! Смотрел твои видео на ютубе еще наверное год назад, мне показалось, что у тебя оси мота чуток вразвалку.
И еще, не замерял ли ты в лошадях сколько у тебя получилось?
Еще, мне кажется, стоит подумать над пароперегревателем, тогда расход воды будет меньше, а мощности больше.
Холодильник-конденсатор с насосом, который воду обратно в котел будет загонять - это было бы идеально, тогда котел можно будет уменьшить.
Если будешь делать на твердом топливе, то делай только на угле, с остальным не запаривайся, для него автоподачу проще всего сделать, но места это все жрет немеряно. И котел для твердого топлива надо паротрубным делать, а не жаротрубным, как у тебя сейчас.
Вообще, тоже тащусь от старой техники, больше всего, наверное, от моноциклов. А вообще моя мечта - мот на стирлинге) плюсы - нет котла и расхода воды, минус - если даже 5 лошадей получится сделать, это будет огромный успех. Но в принципе, если на выходную ось движка поставить маленький насос, который время от времени будет подкачивать в холодный цилиндр давление атмосфер до 50, и + мудреный медный горячий цилиндр, тогда наверное может что-то получиться.
Сорян за длиннотекст, раз в сутки могу комментить.
В 22м году через getmatch много писали, было 3 собеса, 3 офера с релокацией, макс 6200 евро на руки предлагали, сначала была возможность удаленки, но резко настал день X и стали предлагать только релокацию, но как-то по деньгам это невыгодно мне получалось, да и с женой на эту тему сильно разругались.
Сейчас локти сижу кусаю.
Я может линкедин как-то не так заполнил, что там штиль полный? Чет не знаю уже даже, куда смотреть(
по-моему тот же Капица заставлял при приеме к себе на работу решать интегралы. А он вроде не безумец.
Я в топ 20% литкода по мидяхам (это всего 80 медиум, изиков можно штук 50 за день вшатать, а харды я не особо решаю, они от мидях отличаются только количеством геморроя), это дало мне именно ощущение, что я не хуже "их" и если что могу поднапрячься и пройти, а если не пройду, то сделал все, что мог
Ни разу еще такого вайтишника не видел. Но если вайтишник прорешает хотя бы сотку задач, в т.ч. пару десятков медиум, то он уже не такой уж и вайтишник.
У меня из опыта работы есть куча кейсов, когда казалось бы мидлы, а то и синьоры разрабы не знали про хэшмапу
Мне в октябре 2020го встретилась на собеседовании задача запилить LRU кэш, и как фоллоу-ап - запилить LinkedHashMap, на которой был написан мной этот кэш. Чтг, в целом, не мешало разработчикам оттуда вместо мапы использовать список пар с линейным поиском, писать отдачу паркетного файла страницами и читать каждый раз файл с начала, писать компоненты связности за O(N^2), копировать список вставкой в конец другого immutable односвязного списка
Первая задача действительно простая, решается через std::unordered_map<int, std::set<int>>, O(N*logK)
Вторая неожиданно сложная, хоть и easy. На ум приходит суффиксный массив + sliding window за O(NlogN), но это чет не easy
Третья на префиксную сумму, можно обойти если общая сумма gas больше, стартовая точка - где префиксные суммы последний раз пересекаются
я подозреваю, что люди постоянно приносят/забирают документы и списки постоянно меняются
да, это так. Все через координатор гоняет. Я очень сильно протупил, перепутал внезапно с apache phoenix-ом.
Почитал ваш коннектор, я немного не до конца понял, как у вас планируются партиции ( это надо видимо с дебагером погонять), а в каждом PartitionReader-е/DataWriter-е у вас внутри RmiSlave поднимается http-server c gpfdist-протоколом, и одновременно создается в gp внешка с location-ами этих серверов, и в нее пишется/из нее читается. В принципе, это все и без коннектора можно сделать, будет проще. Я свой последний коннектор написал в 2020м, и в принципе, кмк, его стоит писать только тогда, когда есть возможность обеспечить data locality.
И почему-то меня не покидает ощущение, что можно сделать еще проще (возможно, ложное).
Я может чего не понимаю, но в jdbc-коннекторе есть возможность параллельного чтения данных с разбиением на партиции по одной колонке, с параллельной записью тоже проблем нет, тем более gp должен поддерживать copy, можно ж просто сделать dataframe.foreachPartition и в ней через copy залить. Едтнственное, где я вижу необходимость в своем коннекторе - если spark-ноды и gp-ноды нахожятся на одних машинах, и надо по возможности read local обеспечить. В любом случае, исходники на гитхаб было бы плюсом, а так в статье одна вода "какие мы молодцы бла бла бла и как мы круто сделали бла бла бла"
Про стирлинг вы не правы. Вот очень хороший видос от siemens, в котором по полочкам разложено, как сделать мощный стирлинг:
https://youtu.be/XWAoaU1q-Yw?si=UKnbxnxYuLIh019W
Там в самом начале дается PV-диаграмма при атмосферном давлении и при 100 барах. При наддуве цилиндра PV-диаграмма вытягивается по вертикали и перепад давления вместо 0.02-0.1 становится 2-10. А надуть цилиндр можно насосом, работающим от поршня, который будет вдувать в холодную часть цилиндра в фазе всасывания. Главная проблема там - уплотнения поршня и штока.
Теперь к паровой технике. Мне кажется, без холодильника-конденсатора обойтись будеь сложно, так как без регенерации пара на одном котле далеко не уедешь, мот - не паровоз. А регенератор должен большую площадь теплообменника иметь, +насос, который воду будет обратно в котел вкачтвать, да еще и с давлением больше, чем в котле. Это увнличивает габариты, и надо будет аккуратно компоновать. По-моему нв ютубе был видос про автомобили Добля, как он там все делал.
С техническими собеседованиями вообще всегда было непросто - последние 10 лет все кинулись решать задачи, до этого (~ 2010 - 2012) все были укушены паттернами программирования, чуть раньше и одновременно с этим досконально зубрили стандарт языка, чтобы отвечать на бесконечные вопросы "что выдаст вот этот говнокод".
Но вообще алгосы нужны, но в них нужна мера. По моему опыту, нужно обязательно проверять 4 вещи: знает ли человек про динамический массив и куда в него можно вставлять, а куда нельзя, знает ли про двусвязный список и куда в него можно вставлять, а куда нельзя, знает ли пользу сортировки и бинарного поиска и знает ли, что такое хэш-мапа. RB-мапа - как бонус. Потому что 80% неоптимального кода - когда юзают динамический массив вместо мапы. 20% - на все остальное, преимущественно списки (это моя личная статистика за ~12 лет, когда я так или иначе ревьюил чужой код в разных компаниях).
Тестовое задание - вообще тема. Если честно, я бы никогда не взял человека, который откажется сделать тестовое. Единственный минус тестового - нет уверенности в том, что человек его сделал лично, даже после беседы (да, я обожаю делать тестовые, никогда не отказывался и всегда они были интересными).
Просто на поговорить - мне кажется, такие собеседования контрпродуктивны, так как проверяют навыки коммуникации, а не собственно разработки, я такие интервью не люблю ни проводить, ни проходить.
Привет! Смотрел твои видео на ютубе еще наверное год назад, мне показалось, что у тебя оси мота чуток вразвалку.
И еще, не замерял ли ты в лошадях сколько у тебя получилось?
Еще, мне кажется, стоит подумать над пароперегревателем, тогда расход воды будет меньше, а мощности больше.
Холодильник-конденсатор с насосом, который воду обратно в котел будет загонять - это было бы идеально, тогда котел можно будет уменьшить.
Если будешь делать на твердом топливе, то делай только на угле, с остальным не запаривайся, для него автоподачу проще всего сделать, но места это все жрет немеряно. И котел для твердого топлива надо паротрубным делать, а не жаротрубным, как у тебя сейчас.
Вообще, тоже тащусь от старой техники, больше всего, наверное, от моноциклов. А вообще моя мечта - мот на стирлинге) плюсы - нет котла и расхода воды, минус - если даже 5 лошадей получится сделать, это будет огромный успех. Но в принципе, если на выходную ось движка поставить маленький насос, который время от времени будет подкачивать в холодный цилиндр давление атмосфер до 50, и + мудреный медный горячий цилиндр, тогда наверное может что-то получиться.
Сорян за длиннотекст, раз в сутки могу комментить.
у меня в линкеде вообще пустота с перекати полем(
В 22м году через getmatch много писали, было 3 собеса, 3 офера с релокацией, макс 6200 евро на руки предлагали, сначала была возможность удаленки, но резко настал день X и стали предлагать только релокацию, но как-то по деньгам это невыгодно мне получалось, да и с женой на эту тему сильно разругались.
Сейчас локти сижу кусаю.
Я может линкедин как-то не так заполнил, что там штиль полный? Чет не знаю уже даже, куда смотреть(
Мм, а есть чисто теоретически какие-то шансы для 37-летнего сеньера в бигдате, с B1 английским и 120 leetcode (80 мидях)?
по-моему тот же Капица заставлял при приеме к себе на работу решать интегралы. А он вроде не безумец.
Я в топ 20% литкода по мидяхам (это всего 80 медиум, изиков можно штук 50 за день вшатать, а харды я не особо решаю, они от мидях отличаются только количеством геморроя), это дало мне именно ощущение, что я не хуже "их" и если что могу поднапрячься и пройти, а если не пройду, то сделал все, что мог
это скорее аналог матвьюх из clickhouse, но не аналог dynamic table
Коллабораттвная фильтрация
Поддерживается ли аналог dynamic tables из apache flink?
А чем плоха ARIMA ?
Ни разу еще такого вайтишника не видел. Но если вайтишник прорешает хотя бы сотку задач, в т.ч. пару десятков медиум, то он уже не такой уж и вайтишник.
У меня из опыта работы есть куча кейсов, когда казалось бы мидлы, а то и синьоры разрабы не знали про хэшмапу
На некоторых моих работах мидлы и сеньеры не знали вообще о ее существовании, а один 13 лет назад искал по мапе итератором
Мне в октябре 2020го встретилась на собеседовании задача запилить LRU кэш, и как фоллоу-ап - запилить LinkedHashMap, на которой был написан мной этот кэш. Чтг, в целом, не мешало разработчикам оттуда вместо мапы использовать список пар с линейным поиском, писать отдачу паркетного файла страницами и читать каждый раз файл с начала, писать компоненты связности за O(N^2), копировать список вставкой в конец другого immutable односвязного списка
Директору, тем не менее, 300к предлагал
Только не еще одна статья о том, нужны ли алгоритмы ... facepalm
Hidden text
Нужны
Вот вам учебная программа, которая угонится за кем угодно:
1) java 8 + джошуа блох / c++14 + страуструп + майерс
2) алгоритмы aka Кормен
3) sql
4) git
5) bash
Все!