Search
Write a publication
Pull to refresh
9
0
Ямангулов Андрей Наильевич @AYamangulov

Software development engineer / Spark developer

Send message

Я это почувствовал еще несколько лет назад, когда вдруг осознал, что уже долго не могу найти какой-либо продвинутый контент не только по Spark, но и вообще для Data Engineer’ов. 

Более того, ситуация на самом деле еще критичнее. Добавлю мои 5 копеек в общую копилку. После некоторого, довольно солидного по времения стажа (более 3 лет) работы со Spark мне как-то пришло в голову, а не поискать ли, что предлагают не курсы, а вполне солидные ВУЗы под катом "бакалавриат" или даже "магистратура" по этой теме. Догадайтесь с первого раза, что я нашел? Причем я подробно раскапывал ссылки на учебные программы, вытаскивал их, а иногда и запрашивал подробности через контакты ВУЗов. Нашел те же самые базовые + средние знания, мало привязанные к практике и без подробных глубоких продуктовых use cases в процессе обучения. Печально, но в ВУЗах тот же не очень высокий уровень, что и на умеренно длинносрочных курсах. Так пока что ничего и не выбрал, что могло бы мне помочь глубже, чем просто доступная литература на английском и чтение документации + поисковики по запросам. А очень хотелось получить дорожную карту иного уровня, не "как стать мидлом с нуля за полгода-год", а что-то вроде "50 примеров продуктовой разработки высочайшего уровня для senior-ов, которые хотят стать экспертами". Печалька. Грустно жить на этом свете, господа. Понятно, что собственный путь в продуктиве неизбежно приведет к заданной цели, но хотелось бы получить сильно сокращенную "королевскую дорогу" в суперпродвинутый Spark, пусть даже и ценой солидных денег за обучение и собственных учебных усилий. Учебных программ, неважно - курсов или вузовских, именно такого уровня катастрофически не хватает.

Существует более простой и интересный вариант, помимо затопления. Нужно сделать наоборот - вывести ее на очень высокую орбиту, и пусть себе там крутится сколько нужно лет/десятков лет/столетий, пока не появится технология, способная воспользоваться ею как металлоломом на орбите для переработки и изготовления чего-то полезного для космонавтики. Да, именно - прямо на орбите. Сделают какой-то орбитальный заводик, который переработает ее и использует материалы для новых кораблей, например, внутрисистемных (для полетов внутри солнечной системы). Сейчас пока это не проглядывается, но когда-то будет. Стоимость вывода на орбиту такой массы тонн металлов и других материалов была не дешевой - так зачем понапрасну растрачивать уже вложенный в нее капитал, если в дальней перспективе он может еще раз крупно окупиться для нашей цивилизации? И безопасно - на высоких орбитах потери высоты опасной не будет ну ооочень долго. Вывод на высокие орбиты также не очень дешев, но можно параллельно решить еще одну задачу - поставить на МКС экспериментальные двигатели малой тяги, и поднимать ее за долгий срок постепенно. Заодно послужит макетом для отработки новых двигателей. Вариантов множество, этот не единственный. Обязательно что ли грузить мусором дно Тихого океана постоянно? И другие спутники тоже можно складировать на высоких орбитах на будущее, если он отработали свое.

Согласен с тем, что тема скорее академическая, чем практическая. Более того - ETL или ELT система перед вами, вопрос даже совершенно относительный. Одну и ту же систему можно рассмотреть и так, и так. Простой пример. Загружаем данные из БД в Spark, используя sparksql, затем трансформируем их в нем же, получив результирующий dataset. То, что скрывается под капотом метода load() в этом случае одновременно является последовательностью шагов extract и load. Дальше Spark выполняет ваш transform. Вроде бы ELT? Но это если мы используем датасет здесь же, на сервере Spark. А теперь давайте ту же конструкцию дополним загрузкой вашего результирующего dataset в какую-то другую БД, например, для работы с ней аналитиков. Налицо другая схема - первые два этапа теперь для вас - это некоторый единый extract для Spark сервера, затем идет transform, и затем load в OLAP систему. Получаем уже ETL. Базовое приложение не изменилось, но является оно ELT или ETL - не зашито в самом приложении, а зависит от архитектурного контекста приложения, то есть - где именно приложение используется. То же самое приложение вы можете скопипастить в другой контекст, и оно кардинально меняет свое функциональное назначение.

"Клиповое мышление" - это плохо замаскированный миф, который просто под разными именами кочует из эпохи в эпоху. Чуть раньше это называлось "лозунговое мышление", еще чуть раньше говорили "он/она думает штампами из бульварной литературы и желтой прессы", еще чуть раньше "лубочное мышление" (кто не помнит: лубочные картинки - это такие "комиксы" дореволюционных времен, продавались на ярмарках и рынках для простого народа и содержали в основном картинки с короткими описаниями, то есть те же комиксы). В любую эпоху в этом стиле мышления доморощенные философы всегда обвиняли какую-то очередную новую информационную технологию. Вспомните полковника Скалозуба из "Горе от ума" Грибоедова - "собрать все книги бы, да сжечь". Так будет всегда. Теперь у них вот бедные ИТ технологии виноваты, у них всегда все виноваты, кроме их собственной глупости )) Кстати - их собственное представление о "клиповом мышление" - это как раз типичный образец этого же самого "клипового мышления" )))

Смотря что считать "большой" зарплатой в IT. Чтобы не болтать попусту, давайте, просто посчитаем. Действительно большой можно считать зарплату в 250 тыс. руб. в месяц. Почему? Очень прилично и даже не совсем скромно можно жить на 100 в месяц и 150 откладывать. 150 х 12 х 3 = 5 400 тыс. руб. за три года умеренно скромной жизни. Вполне хватит на добрую однушку в Ярославле, например, и еще останется. В МСК, возможно, потребуется еще год-два скромной жизни. Так что "несколько лет ВСЮ" - это очевидное преувеличение. Вообще, если хотите понять, не обманывают ли вас - просто откройте калькулятор. Разумеется, эти выкладки имеют место только если у вас хватает ума не брать кредит, а откладывать - потому что с кредитом смело можете умножать цену любой рыночной квартиры на два, так что математики кредитов не берут, а также в лотереи не играют. Для специалиста хорошего уровня 250 тыс и более - вполне реальный кейс. О джунах, только что "вошедших в IT" я не говорю, джуны они везде джуны...

Полагаю, что при этом отсчет времени нужно вести не "от сего дня", а намного раньше. Уверен, что развитие ситуации с санкциями китайцы прогнозировали давно, и значительную часть срока до постановки на серию незаметно для всех прошли раньше и очень скрытно. Они очень предусмотрительны, насколько мне известно, даже в их культуре нет аналога пословице "пока гром не грянет, мужик не перекрестится".

Благодарю Вас, сударь, извинения считаю достаточными, принимаю.

Конечно я даю свою интерпретацию ваших слов --- как я их понимаю, какие выводы из них делаю. Так публичная дискуссия и работает.

Нет, сударь, публичная дискуссия так не работает. В дискуссии высказанные вами предположения ставятся под знаком вопроса или с уведомлением - "а не имели ли вы ввиду себя самого в таких-то словах, или вот это самое такое-то в них означает вот это ли?". И при положительном ответе пишется "тогда я считаю, что вы неправы потому и потому" Вы же соизволили высказаться категорично-утвердительно, да еще и достаточно нелицеприятно лично в адрес комментатора, то есть в мой адрес, ничего не зная обо мне (камингаут - открытое признание в гендерной принадлежности, непонятно какой именно в данном случае, что может быть воспринято и мной, и другими читающими, как плохо завуалированное оскорбление). В моем же тексте был абстрактный анализ ситуации, который не мог вас оскорбить. И потому я прошу администраторов Хабра обратить внимание на эту псевдодискуссию, потому что считаю, что такой стиль беседы недопустим, и принять те меры, какие они сочтут необходимыми и соответствующими правилам портала.

После такого каминг-аута не стоит удивляться, что вы скептически относитесь к сексу. Было бы странно, если бы было наоборот.

Интересно было бы узнать, а с чего это бы вы вдруг решили, что был каминг-аут? Ну-ка-с, заглянем, ну хотя бы, википедию: "Ка́минг-а́ут, также ка́мин-а́утка́минг а́ут и камина́ут (от англ. сoming out of the closet, обычно сокращаемого до сoming out) — процесс открытого и добровольного признания человеком своей принадлежности к сексуальному или гендерному меньшинству, либо результат такого процесса." Я что, в чем-то открыто признавался в отношении себя лично? Нет, я просто анализировал общую ситуацию в цивилизации Земли с некоторых модельных позиций. Э-ээ.. да вы, батенька (или матушка, извините, не знаю, как вы себя за логином позицинируете, может быть, даже вообще как it или существо 27 пола?) тот еще манипулятор! Проще говоря, врете в открытую, подсовывая читателям свою интерпретацию моего текста вместо него самого )))

которые уверяют что переросли секс интеллектуально, очень часто не доросли до него

Ну прямо вот опять во всей красе перенос тезисов из поста автора о некоторой группе людей, на автора поста, который ни единым словом не утверждал, что сам он себя относит именно к этой группе. Снова без меня меня женили? - Вот это как раз и есть апофеоз "советского" мышления) И что значит "переросли"? Просто уже взяли от него все, что в нем есть, и эта игра им уже наскучила. Вы что, свечку держали у моей постели (или не постели, а, например, рояля или люстры), с чего вы вдруг так упорото утверждаете такие вещи? У вас есть досье на меня? Переход на личности-с. А я делал некоторый обобщенный анализ ситуации )

вы настолько не верите в себя, что мечтаете о времени когда государство будет за вас размножаться

как легко, однако, вы свои собственные мысли переносите на меня )) И где же это я написал, что мне это нравится? Я написал - что это неизбежно БУДЕТ. Если что-то выгодно государству - он будет это делать и нас с вами не спросит. Не надо читать между строк - у вас явно отстутствуют телепатические способности )))

— И вы видели себя в сравнении со всей Вселенной?

— Да видел-видел!

— И что же вы почувствовали?

— Я теперь наверняка знаю то, в чем и так не особо сомневался. Я воистину велик и могуч. Я ж говорил, что вы имеете дело с самим Зафодом Библброксом!

Не вполне ощутил, зачем же автор вставил этот рассказ в статью, что хотел им проиллюстировать? Как оно вообще соотносится с темой статьи и ее деталями? Но вот сам по себе отрывок этот довольно интересен. И именно в нем содержится тайный ответ на вопрос - почему людям становится не интересен секс. А ответ такой - только люди из ранга "почти животное" робеют и испытывают инфернальный ужас от осознания огромности среды, в которой они существуют. Ведь это ж сколько опасностей и вызовов! У таких превалилуют в жизни факторы, которые им управляют - биологические и социальные. Для них секс - это нечто, что управляется этими внешними факторами, и противостоять тяге к нему или отвращению от него они не в состоянии. Как наркотик, только естественный. У них наркотиков таких много - секс, доминирование, адреналиновая наркомания - например. А вот люди из другого ранга "люди, которые прежде всего разумные существа, а не животные", совершенно иначе воспринимают осознание необозримости вселенной. Для них главное - познание и любование чудесами мироздания плюс бесконечные возможности для творчества, они приходят в восторг от того, что впереди еще бесконечный путь и вселенная настолько велика, что ее вид особенно эмоционально подчеркивает для них, что путь жизни и творчества еще богаче и неисчерпаемее, чем они думали. Это могут быть ученые-исследователи, программисты, мыслители и даже некоторые типы людей искусства (из тех, что открыты миру, а не варятся в собственных ограниченных пороках). И вот именно для творческих людей вселенная раскрывает такое неисчислимое количество высших наслаждений в его познании и ощущении, что какой-то там примитивный секс с ограниченным, в общем-то, набором эйфорических физиологических ощущений, все менее и менее со временем интересен. Так что описанные автором причины явления сокращения интереса к сексу применимы лишь для людей уровня "люди-животные", а для "людей-людей" причина уже иная - такая, как я только что описал. Но я не вижу в этом проблемы вообще: 1) какое-то время человечество продержится на запасах людей, которых, действительно, на Земле несколько многовато для ее нормального существования, да и малоразвитые народы также будут какое-то время продолжать вносить свой вклад в прирост запасов "человеческого ресурса" и 2) осталось достаточно мало времени до того момента, как человечество освоит "искусственные матки" и тот момент, когда репродукция населения станет государственным делом, поставленным на промышленный поток, уже вовсе не столетиями от нас отделен, а скорее 3-4 десятилетиями - и страны будут репродуцировать столько новых граждан, сколько им нужно для нормальной жизни и развития, не оглядываясь на взгляды отдельный людей, семей и конфессий на этот процесс.

Но мне кажется, что скепсис Хоссенфельдер вполне может быть пересмотрен, если когда-нибудь мы научимся воспроизводить в реальности небольшие «песочницы» с произвольно корректируемыми законами физики, которые могли бы быть выражены в терминах уилеровских информационно-физических моделей.

Мы уже это умеем. Ни одна математическая модель, реализованная на вычислительных ресурсах не существует сама по себе без этих ресурсов. И подобно этому ни одна информационная составляющая "реальной вселенной" не существует без физической реализации, на которой она исполняется. Те самые программы с моделями вселенных на наших пока еще ограниченных вычислительных ресурсах фактически равноправны с "реальными вселенными", они существуют вместе со своими вычислительными носителями. Физики и математики такие модели вселенных уже строят и вовсю используют. Просто они пока еще очень просты, чтобы в них получилось что-то столько же подробное, сложное и разумное, как мы с вами. Но когда-то этот момент наступит. В этих реализациях вселенных уже будет существовать актор (мы с вами), который, как я уже упоминал, вообще говоря, необязателен. И кстати - возникшие внутри таких моделей разумные существа вполне могут в какой-то момент времени даже обогнать в развитии и сложности актора собственной вселенной - то есть стать умнее и сложнее собственного создателя )))

Мы отображаем только тот из возможных вариантов попадания частицы, который известен по завершении операции, а все прочие варианты при этом не реализуются, но, возможно, кэшируются до следующей операции.

Это прямое указание на "новую физику" - а именно, на то, что в пределах отрезка времени между началом и завершением операции в этом пространственно ограниченном участке реализованы несколько "временных линий" сразу - то есть мы имеем локализованное в пространстве и времени расслоение временного потока, как бы "квантовый мини-мультиверсум" или же "многомерность времени".

Кстати, знаменитый физик Фрэнк Вильчек, лауреат Нобелевской премии за 2004 год, также указывал, что наша Вселенная содержит слишком много избыточной сложности, чтобы быть компьютерной симуляцией.

Однако, при отсутствии актора - создателя избыточная сложность свидетельствует только лишь в пользу самовозникновения данной нашей Вселенной. И это никак не отрицает того, что наша Вселенная может быть компьютером, просто она самовозникла и самовычисляет саму себя. Почему-то всегда эти две вещи путают, подразумевая, что компьютер не может возникнут сам по себе, эволюционно, без наличия создателя компьютера. Как раз избыточность и свидетельствует в пользу этого, каждый элемент избыточности - это "хвостовые" остатки эволюционного пути развития Вселенной, подобно тому, как в человеческом геноме масса эволюционного "мусора", который ему не нужен, но участвовал когда-то в эволюции человека.

Физика до сих пор не даёт ответа, почему исходные параметры, при которых случился Большой Взрыв, оказались подходящими для возникновения жизни и сознания. 

Неверно в корне, ответ на этот вопрос есть и давно известен. Рассматривая Мегавселенную, в которой, не могут не быть реализованы все возможности, неизбежно приходишь к выводу, что обязательно существуют области Мегавселенной, где структура исходных параметров отдельного ее участка обязательно будет подходящей для возникновения жизни и сознания (мы называем ее нашей вселенной, пузырем Большого Взрыва, но это необязательно - нужный набор параметров мог возникнуть и без него, в бесчисленном множестве других моделей). Разумное существо в такой области неизбежно обнаружит "удивительное совпадение" этих исходных параметров с теми, которые были необходимы для возникновения такого существа, как оно. А никакого совпадения- то и нет - есть неизбежность такой связки. Более того - саморазвивающиеся сверхсложные структуры могут возникать в бессчетном количестве областей Мегавселенной с совершенно другим набором исходных параметров, чем у нас - это вам любой серьезный математик скажет. И совершенно непохожие на нас существа будут тоже удивлены - как это их иной набор исходных параметров "удивительно" совпадают с теми, которые нужны для его возникновения. Если мы, или иные такие существа будут достаточно развиты, они уже будут понимать, что пути возникновения жизни и сознания не уникальны. И даже более того - в одной и той же "минивселенной" (нашем пузыре БВ) могут возникать совершенно разные типы сверхсложных структур, неизбежно приводящие к разуму.

Так возникла идея тонкой настройки, фактически, допускающая участие разумного актора в подборе начальных значений для образования Вселенной. 

И именно по той причине, которую я только что изложил, никакое участие разумного актора при создании Вселенной (а фактически ограниченного участка Мегавселенной) абсолютно не требуется )))

Таким образом, на микро- и макроуровне определённо тождественны лишь информация и энтропия.

Строго говоря, это не точное утверждение. Энтропия существует только в статистических ансамблях изучаемых объектов при условии, что можно хотя бы условно провести границу между ними и отличить один объект от другого. На уровне одной отдельно выделенной частицы, рассматриваемой вне ансамблей, в которые она может входить, энтропии не существует даже как понятия.

Ну процессор и процессор, что тут такого?

"Такое" здесь то, что он у них ВООБЩЕ ЕСТЬ! Они научились их делать. Процентные отклонения в параметрах в несколько худшую сторону, чем у тех образцов, с которыми он сравнивается - не принципиальны и преодолимы. Технологическая независимость практически достигнута, увеличить качество и кол-во - дело обозримого и не слишком большого времени. "Критикуям" очень советую оглянуться вокруг и осознать, какой путь прошли в КНР и проспали и прокутили в РФ в "жирные" годы экономики, не сделав почти ничего собственного в этой области технологий и загубив даже то, что было. Это вопрос уже к СК РФ, пусть разбираются.

Правильный ответ - "в таком-то диапазоне событий при измерении таких-то эффектов с такой-то точностью электрон достаточно точно ведет себя, как частица", "в таком-то наборе измеряемых эффектов в таких-то диапазонах модель электрона как облака вероятностей наиболее точно отражает измерения в сравнении с другими моделями" и так далее. И поскольку диапазоны этих измерений могут в значительной степени не пересекаться, то НЕТ ответа, что такое электрон. Мы МОЖЕМ СЧИТАТЬ его частицей, облаком, волной, возмущением поля и так далее, тогда, когда результат использования одного из этих подходов нас устраивает с приемлемой точностью предсказания его поведения для текущих задач. Нет и никогда не будет абсолютного ответа, что он такое "на самом-то деле" )))

частица до момента измерения действительно не обладает определёнными свойствами

Не понимаю, что здесь может смущать кого-то. Люди просто открыли тот принцип, что некие свойства объектов реальности, в данном случае частиц, включают в себя саму процедуру получения/измерения значений этих свойств - как некий процесс взаимодействия с измерительной установкой/внешней по отношению к частице реальностью, вне какового процесса это свойство не может быть определено ВООБЩЕ. Естественно, что если предположить, что дважды два четыре, а затем непротиворечиво преобразовать это утверждение произвольно сложной цепочкой логических заключений, то можно снова прийти к тому, что дважды два это четыре )) А вы полагали, что свойства частиц существуют как сферический конь в вакууме, в некоем безусловном абсолюте? Вне взаимодействия нет существования, вне измерения нет "свойств", это очевидно. Объекты взаимодействуют согласно своей природе и только изучая это взаимодействие мы из полученных данных о нем конструируем некую "модель" со "свойствами". Если модель расходится с данными, создаем новую, более точную модель. Путаница возникает только когда мы слишком всерьез принимаем очередную промежуточную модель, особенно, когда пытаемся проводить "интуитивно понятные" аналогии, типа классического линейного непрерывного времени или классического локального взаимодействия, или даже пытаясь как-то словами описать "запутанность", спотыкаясь на каждом шагу, вместо того, чтобы просто работать с моделью, как с моделью, математически. Никогда и нигде невозможно в принципе провести измерение, не влияющее на измеряемые объекты, это следует из самой сути бытия. Ни одна модель не может быть окончательной, это очевидно, так как мир не исчерпаем. Ни одна поверхностная словесная аналогия не отражает богатства сложной физико-математической модели, только запутывая читателей в бесплодных попытках красивой популяризации такого уровня физики, какой уже невозможно чрезмерно наглядно упростить в словесном описании ))

Information

Rating
11,099-th
Location
Ярославль, Ярославская обл., Россия
Works in
Date of birth
Registered
Activity

Specialization

Backend Developer, Data Engineer
Senior
From 350,000 ₽
Java
Java Spring Framework
MySQL
PostgreSQL
RabbitMQ
Apache Kafka
Python
Spark
Scala
Kotlin