заметьте, у вас в посте вообще нет ни одного слова про скалу. не нужно быть эркюлем пуаро или иметь десятки лет айти опыта за плечами чтобы заподозрить что как-то скала не выглядит как ферст класс ситизен))
ну да не суть. подход ваш бесспорно возможен. да что там говорить, во многом схожие соображения определяли 6 лет назад архитектуру хозяйства доставшегося по наследству. сейчас не осталось ни архитекторов, ни людей которые это разрабатывали. и я вижу к чему всё пришло сегодня - бизнес принял решение просто выбросить всю логику реализованную в датабрикс на скале, собственно вместе с датабрикс, и переписать на разной степени плохих решениях. плохих, но матчащихся с существующим стеком и навыками имеющейся команды. хотя настоящих проблем то по сути еще и не было, есть пара человек работавшие вместе со старой командой, есть личный контакт с одним из старых разработчиков. но никто не хочет думать про то как жить с этим дальше через эн лет, когда ситуация изменится. се ля ви.
и возвращаясь к проблеме миддл дата инженера в средней полосе, ну вот вы сами будучи миддлом в конце 2025го, ввязывались бы в подобный пир духа? сложно, муторно, перспективы что приобретаемых навыков, что самой разработки, не совсем понятны, денег не предлагают. и зачем такое? мне собственно поэтому всё описанное в статье выглядит как единственный вариант нормы.
хорошо если бы да (поддержка датабриксом скалы), но нет. используйте на скале тот же lakeflow declarative pipeline. да и чего рассуждать когда уже официальная документация английским по белому пишет про скалу и р - The following languages have limited support, so Databricks does not recommend them for new data engineering projects.
сам лично ничего против скалы не имею, если что, интересный язык. для датаинженерных задач на световые годы опережающий джаву, как по мне. но боль и страдания идут за скалой следом, делая её всё более и более нишевым решением. если смотреть на опытных синиоров с соответствующим бэкграундом, картина будет иная. но топикстартер искал миддлов.
хорошо если есть кому учить и желание учиться. у скалы хватает совершенно чужеродных питонистам сбт, фмт, линтер приколупывающийся к контринтуитивным моментам, да иде банально нужно сменить с привычного условного пайчарма. и толку от ллм со скалой драматически меньше чем с питоном, что только усугубляется незнанием вопрошающего.
как питонист, вынужденно сталкивавшийся с падающими на проде оставшимися в наследство скала спарк джобами, могу сказать что удовольствие очень среднее. и бессмысленное в наши дни.
может всё дело в том что ЦА топикстартера как раз прекрасно всё понимала, и именно поэтому он её и не видел? особенно если речь идет про датабрикс, где у всех новейших свистоперделок джавы/скалы в поддерживаемых языках попросту нет. вкатываться с ходу в легаси, на туманноперспективном языке, зато за мизерные деньги? дайте две!!
ну да, как же это джейсон формировать в скл, еще небось и сразу анлоад в нужный бакет делать. пацаны на районе не поймут. другое дело несколько тысяч строк говнокода собираемого через мейк, потом дженкинс, октопус, еще пачка авс сервисов прицепом. боже упоси обойтись запросом на 20 строк
да какую там всю работу, побойтесь аллаха. написал найди использование того и сего в файлах проекта, шесть попыток, час траблшутинга, второй час тыкания носом и выслушивания "вы совершенно правы, просто на половом органе я вращал ваши сентенции, файлы и сигнатуры методов, просто написал как получилось", потом за третий час мы осилили функционал двух кликов мышкой и ввода того что мы ищем в файлах...
смеркалось, шел четвертый час вайбкодинга работы делаемой за 15 минут. наверное нужен рой агентов, иначе поиск в файлах это слишком сложно
ах, ну и конечно после генерации простыни с решением несуществующей проблемы, очень средненьким решение другой и просто неправильным третьей, сообщил что лимиты тю-тю, приходите попозже😂
конечно улавливаю! буквально только вот обсуждал с ним средней сложности запрос к таблице на три столбца. сначала рассказывал мне про синтаксическую ошибку которой на самом деле не было. потом не самым оптимальным образом решил проблему триангуляр джоина, и в конце для рассчета одной из метрик просто предложил неправильное решение.
и толку от 80.9% в сферическом вакууме? хоть 180.9
для задач помасштабнее создания "n+1го туду листа", объяснение задачи занимает больше времени самостоятельного решения примерно всегда. десяток-другой репозиториев с количеством файлов под сотню тысяч, если не больше, куча сервисов в облаке, не в облаке. что ж может быть проще постановки задачи в этом случае.
а самое веселое начинается когда ты сам не знаешь каких-то частей всей картины. в такие моменты замена программистов на ллм начинает блестеть особенно ярко!
вопрос "а можно ли быть нормальным и выпускать ноутбуки где базовый функционал работает ровно так как и должен, без настроек, без реддита, без ориентации в сортах темнокоричневой субстанции Sn там или Sm под капотом, без приседаний и два раза ку", конечно же остается риторическим..
и через комментарий ниже абсолютно новый для меня производитель ноутбуков (lg), но с до боли знакомыми проблемами. что-то не очень похоже что именно не везло и только мне..
dell xps модель 2019го, от трети до половины попыток самостоятельного ухода в сон заканчивались зависанием намертво. перезагрузиться потом можно было зажатием кнопки питания на 8+ секунд. если отправлять в сон самостоятельно - статистика успешных засыпаний улучшалась на порядок.
количество выпитой крови - гектолитры. скорость на которой скакал через весь офис, вспомнив что не сохранился и задержался на пару минут отойдя от ноута, - хоть на легкоатлетические соревнования иди. вишенка на торте - рабочие политики которые как раз лезли в управление питанием, определяя когда ноуту нужно лочиться и когда спать.
до сих пор с нежностью вспоминаю криворучко-разработчика политик и криворучек-инженеров делл. отключение рабочих политик ситуацию улучшило, баг этот остался, но вокруг него уже можно было плясать хотя бы настройкой невер слип. на этом делл для меня как производитель ноутбуков закончился.
справедливости ради, он был не первый мой ноут на винде, и не последний. проблема со сном была похоже что у всех. асер из начала 10х как-то так удачно решил выйти из сна находясь в рюкзаке решеткой охлаждения в пол, что просто сгорел. последний асус спасибо что намертво не зависает, но уход в сон всегда лотерея. "мне показалось ты пошевелил мышкой и я проснусь через 5 минут", "не хочу спать, усну и сразу проснусь", "просто проснусь посреди ночи и сяду к началу рабочего дня" кошмар приснился, не иначе.
единственным ноутом с виндой лишенный любых проблем со сном, был мак. старая прошка 13го года с виндой через буткемп, уже еле жива старушенция, но уходит в сон и просыпается как никакой ноут на винде не умел никогда
убунту, снап. выбрал, нажал установить, получил ошибку, совершенно дебильную конечно же. в 500 раз удобнее виндового, может и в 5000.
пока не нагуглил заклинание для перезапуска стора с терминала, дело продвигалось примерно как в коряво установленной винде 95. и это убунту! как там дела в манджаро с прочими генту, я наверное не хочу знать..
помню знакомство с федорой завершилось на двух зависших намертво попытках установки. понял что записаться в федорасы могут не только лишь все. а там еще и лаги потом ждут🫠
вполне себе базовый принцип всего, просто чуть по другому интерпретируется - keep it sql, stupid. это как раз оно, когда вместо статьи на 18 экранов текста можно написать три строчки сиквел кода из которых одна intersect🤷♂️
заметьте, у вас в посте вообще нет ни одного слова про скалу. не нужно быть эркюлем пуаро или иметь десятки лет айти опыта за плечами чтобы заподозрить что как-то скала не выглядит как ферст класс ситизен))
ну да не суть. подход ваш бесспорно возможен. да что там говорить, во многом схожие соображения определяли 6 лет назад архитектуру хозяйства доставшегося по наследству. сейчас не осталось ни архитекторов, ни людей которые это разрабатывали. и я вижу к чему всё пришло сегодня - бизнес принял решение просто выбросить всю логику реализованную в датабрикс на скале, собственно вместе с датабрикс, и переписать на разной степени плохих решениях. плохих, но матчащихся с существующим стеком и навыками имеющейся команды. хотя настоящих проблем то по сути еще и не было, есть пара человек работавшие вместе со старой командой, есть личный контакт с одним из старых разработчиков. но никто не хочет думать про то как жить с этим дальше через эн лет, когда ситуация изменится. се ля ви.
и возвращаясь к проблеме миддл дата инженера в средней полосе, ну вот вы сами будучи миддлом в конце 2025го, ввязывались бы в подобный пир духа? сложно, муторно, перспективы что приобретаемых навыков, что самой разработки, не совсем понятны, денег не предлагают. и зачем такое? мне собственно поэтому всё описанное в статье выглядит как единственный вариант нормы.
хорошо если бы да (поддержка датабриксом скалы), но нет. используйте на скале тот же lakeflow declarative pipeline. да и чего рассуждать когда уже официальная документация английским по белому пишет про скалу и р - The following languages have limited support, so Databricks does not recommend them for new data engineering projects.
сам лично ничего против скалы не имею, если что, интересный язык. для датаинженерных задач на световые годы опережающий джаву, как по мне. но боль и страдания идут за скалой следом, делая её всё более и более нишевым решением. если смотреть на опытных синиоров с соответствующим бэкграундом, картина будет иная. но топикстартер искал миддлов.
хорошо если есть кому учить и желание учиться. у скалы хватает совершенно чужеродных питонистам сбт, фмт, линтер приколупывающийся к контринтуитивным моментам, да иде банально нужно сменить с привычного условного пайчарма. и толку от ллм со скалой драматически меньше чем с питоном, что только усугубляется незнанием вопрошающего.
как питонист, вынужденно сталкивавшийся с падающими на проде оставшимися в наследство скала спарк джобами, могу сказать что удовольствие очень среднее. и бессмысленное в наши дни.
может всё дело в том что ЦА топикстартера как раз прекрасно всё понимала, и именно поэтому он её и не видел? особенно если речь идет про датабрикс, где у всех новейших свистоперделок джавы/скалы в поддерживаемых языках попросту нет. вкатываться с ходу в легаси, на туманноперспективном языке, зато за мизерные деньги? дайте две!!
ну да, как же это джейсон формировать в скл, еще небось и сразу анлоад в нужный бакет делать. пацаны на районе не поймут. другое дело несколько тысяч строк говнокода собираемого через мейк, потом дженкинс, октопус, еще пачка авс сервисов прицепом. боже упоси обойтись запросом на 20 строк
да какую там всю работу, побойтесь аллаха. написал найди использование того и сего в файлах проекта, шесть попыток, час траблшутинга, второй час тыкания носом и выслушивания "вы совершенно правы, просто на половом органе я вращал ваши сентенции, файлы и сигнатуры методов, просто написал как получилось", потом за третий час мы осилили функционал двух кликов мышкой и ввода того что мы ищем в файлах...
смеркалось, шел четвертый час вайбкодинга работы делаемой за 15 минут. наверное нужен рой агентов, иначе поиск в файлах это слишком сложно
а что будет некоторое время спустя, когда у сеньора с агентами уже достаточно атрофируются мозги и с агентами что-то случится?
ах, ну и конечно после генерации простыни с решением несуществующей проблемы, очень средненьким решение другой и просто неправильным третьей, сообщил что лимиты тю-тю, приходите попозже😂
конечно улавливаю! буквально только вот обсуждал с ним средней сложности запрос к таблице на три столбца. сначала рассказывал мне про синтаксическую ошибку которой на самом деле не было. потом не самым оптимальным образом решил проблему триангуляр джоина, и в конце для рассчета одной из метрик просто предложил неправильное решение.
и толку от 80.9% в сферическом вакууме? хоть 180.9
для задач помасштабнее создания "n+1го туду листа", объяснение задачи занимает больше времени самостоятельного решения примерно всегда. десяток-другой репозиториев с количеством файлов под сотню тысяч, если не больше, куча сервисов в облаке, не в облаке. что ж может быть проще постановки задачи в этом случае.
а самое веселое начинается когда ты сам не знаешь каких-то частей всей картины. в такие моменты замена программистов на ллм начинает блестеть особенно ярко!
вопрос "а можно ли быть нормальным и выпускать ноутбуки где базовый функционал работает ровно так как и должен, без настроек, без реддита, без ориентации в сортах темнокоричневой субстанции Sn там или Sm под капотом, без приседаний и два раза ку", конечно же остается риторическим..
давно все говорено-переговорено, и на реддитах в том числе, деллу просто начхать
и через комментарий ниже абсолютно новый для меня производитель ноутбуков (lg), но с до боли знакомыми проблемами. что-то не очень похоже что именно не везло и только мне..
dell xps модель 2019го, от трети до половины попыток самостоятельного ухода в сон заканчивались зависанием намертво. перезагрузиться потом можно было зажатием кнопки питания на 8+ секунд. если отправлять в сон самостоятельно - статистика успешных засыпаний улучшалась на порядок.
количество выпитой крови - гектолитры. скорость на которой скакал через весь офис, вспомнив что не сохранился и задержался на пару минут отойдя от ноута, - хоть на легкоатлетические соревнования иди. вишенка на торте - рабочие политики которые как раз лезли в управление питанием, определяя когда ноуту нужно лочиться и когда спать.
до сих пор с нежностью вспоминаю криворучко-разработчика политик и криворучек-инженеров делл. отключение рабочих политик ситуацию улучшило, баг этот остался, но вокруг него уже можно было плясать хотя бы настройкой невер слип. на этом делл для меня как производитель ноутбуков закончился.
справедливости ради, он был не первый мой ноут на винде, и не последний. проблема со сном была похоже что у всех. асер из начала 10х как-то так удачно решил выйти из сна находясь в рюкзаке решеткой охлаждения в пол, что просто сгорел. последний асус спасибо что намертво не зависает, но уход в сон всегда лотерея. "мне показалось ты пошевелил мышкой и я проснусь через 5 минут", "не хочу спать, усну и сразу проснусь", "просто проснусь посреди ночи и сяду к началу рабочего дня" кошмар приснился, не иначе.
единственным ноутом с виндой лишенный любых проблем со сном, был мак. старая прошка 13го года с виндой через буткемп, уже еле жива старушенция, но уходит в сон и просыпается как никакой ноут на винде не умел никогда
потом в дурку забрали конечно же (с)
убунту, снап. выбрал, нажал установить, получил ошибку, совершенно дебильную конечно же. в 500 раз удобнее виндового, может и в 5000.
пока не нагуглил заклинание для перезапуска стора с терминала, дело продвигалось примерно как в коряво установленной винде 95. и это убунту! как там дела в манджаро с прочими генту, я наверное не хочу знать..
помню знакомство с федорой завершилось на двух зависших намертво попытках установки. понял что записаться в федорасы могут не только лишь все. а там еще и лаги потом ждут🫠
если бы...
вполне себе базовый принцип всего, просто чуть по другому интерпретируется - keep it sql, stupid. это как раз оно, когда вместо статьи на 18 экранов текста можно написать три строчки сиквел кода из которых одна intersect🤷♂️