очень интересная тема ITSM (у нас используется ServiceNow для этого).
Можно вопрос, по «можно вместо формул создать конфигурационный excel (пример ниже)» — а если есть такой конфиг файл, тогда ML модель не нужна же получается?
что-то даже расхотелось вообще использовать эти таблицы после прочитанного, лучше уж сразу редис/мемскл какой-нибудь, да даже sqlite в памяти получше будет
Автор хорошая работа, но у вас конкуренция высокая и пока что Airflow выглядит как лидер в питоновское среде для etl.
Можно вопрос, а как обстоят дела с трансформациями данных которве не помещаются в оперативку? может ли ваше решение трансформировать сотню Гб с одного источника(постгрес) и сделать джойн с другим источгиком(мускул) размером в пару Гб?
и как быстро льются данные? можно ли лить в несколько потоков в партиционированные таблицы?
супер, спасибо, что поделились. Тоже опытным путем пришли к точно такому же подходу как и вы: тимлид и фулл-стек БИ, у каждого свои сильные стороны: есть Табло-джедай мастер, есть волшебник SSIS, есть черный маг по SQL, и т.д: целая MMORPG команда.
"«Кодеров по ТЗ»/токсичных «рок-звезд» нет и не будет от слова «совсем»." — очень правильный подход, к сожалению в моей ситуации тимлид токсичный рокстар, но это скоро решится сменой работы (мною и другими членами команды)
N52 это легендарный неубиваемый движок относительно других бмвшных.
Ничего не могу сказать про регламент, т.к. я не читал сервисную книжку, а тупо меняю масло каждые 3000 миль если ездил по городу, и каждые 5000 миль если ездил на дальние расстояния — текущий пробег 181,000 миль.
на американских бмв форумах люди хвастаются 400,000 мильным пробегом на N52.
горячий движок это скорее всего про N54 с горячей турбиной и N63 — V8 турбо с hot-V где турбина поверх движка и от перегрева весь пластик перегревается и выходит из строя — это реально самые худшие движки на свете.
на этих движках нереально прокататься 30 тыс км между сменой масла т.к. они жрут масло как бензин.
статистически да, но с фанга переходить надо не в любой стартап, а в стадии попозже, когда какой-то доход есть, и когда вложились толстосумы венчурные капиталисты — им по любому надо на горизонте 5-7 лет выходить в кэш и отбвать инвестиции и VC акционеры по любому доведут компанию до liquidity event когда можно будет выйти в кэш. Благо денег на фондовом рынке полно и они любую компанию могут красиво упаковать и продать лохам на фондовом рынке, опций валом: прямой листинг, IPO, SPAC, stategic acquisition.кому как по
насчет директорства и кодинга — это да кому как по вкусу, но в стартапах даже директора кодят, а то и кодят больше остальных, но самые важные вещи — core technology так сказать. не круды и формы с джейсонами, а самое сердце/мозги стартапа.
после фаангов можно уйти в перспективный стартап на директорскую позицию с опционами и если дожить до IPO то получить хорошие деньги. смотрите на оценку всех стартапов, даже Bumble (Badoo) — многие сотрудники стали мультимиллионерами
клауд приучает новое поколение г*внокодеров (особенно в США, где за расходы платят деньгами венчурных капиталистов) не думать об оптимизации, а просто шлеп-шлеп и в продакшен да побыстрее.
какая там архитектура, безопасность, эффективность всем пофигу
их некомпетентность не сильно видна, если у сайта посещаемость дохлая, а как только нагрузка вырастает так сразу все и летит к чертям
я делаю high-performance скрапинг с одной биржи и там только через реверс-инжиниринг бекенда.
пишу скрапер для одного потока, потом просто создаю 20-30-100 потоков и выжимаю все из I/O и их бекенда.
проблема это отслеживать их многие фишечки а-ля CSRF токены и кукисы, которые следят что это пользователь в броузере, а не бот — с опытом приходит понимание всех их защит и их становится легко победить.
Также хотелось бы узнать кто как делает ip masquerading? это если вы скрапите в 100 потоков, чтобы запросы шли через 100 разных прокси по всему миру
делаю ручками что-то похожее в data warehouse.
каждая таблица имеет кластерный индекс типа date на день когда данные были залиты (Report date), и можно сгенерить отчеты на самую последнюю дату, либо же сделать time-travel на предыдущий месяц.
классно, а вы используете микроскоп для лечения каналов?
интересно узнать про сложные кейсы эндодонтии, когда особенно когда вытаскивают сломанные файлы с прошлых докторов, непролеченные/пропущенные каналы с витиеватой формой, находят микро-трещины в зубе и т.д.
западные компании уже все разузнали за нас — идут к венчурным капиталистам и рейзят миллионы долларов.
рисуют красивые презентации с розовыми единорогами и как они захватят весь мир, дайте только деняк чуть.
результат: продукт потихонечку переписывается, деньги вкладываются в кучу продажников и пытаются набрать клиентов, продажи растут, все хорошо, идем на IPO.
либо же продукт тухляк, деняк мало, куча долгов венчурными капиталистам — компания продается целиком какому-нибудь крупному игроку-лоху (айбиэм, делл какой-нибудь или микрофокус) опять же с теми же красивыми презентациями и лапшой
тесты (ТДД) как раз и был создан во время бума аутсорсной разработки, когда разработку давали командам малообразованных южноазиатских кодеров для экономии.
профит в том, что для клиента экономия на кодерах, и хоть какая-то уверенность в стабильности кода благодаря повсеместному тестированию.
если кодишь продукт сам или в малой команде высококвалифицированныхз спецов — интеграционных тестов хватит.
Если оффоршная, аутсорная разработка где тысячи кодеров на сотни продуктов разных платформ и языков — без тестов тут не справишься и быстро утонешь в гавнокоде. Плюс хороший инструмент для контроля качества кода от людей, которые полгода назад работали в сфере быстрого питания, а сейчас пришли кодером после 3-х месячных курсов ВойтиВАйти
очень даже рабочая стратегия, нашлепать побыстрому на рубях/php чтобы оценить приживется ли продукт на рынке.
если будет большой спрос, все равно придется переписывать медленные места полностью или вообще менять архитектуру.
никому не интересны юнит-тесты если при стократном росте все равно все идте на помойку и переписывается на яве/плюсах
Можно вопрос, по «можно вместо формул создать конфигурационный excel (пример ниже)» — а если есть такой конфиг файл, тогда ML модель не нужна же получается?
Автор хорошая работа, но у вас конкуренция высокая и пока что Airflow выглядит как лидер в питоновское среде для etl.
Можно вопрос, а как обстоят дела с трансформациями данных которве не помещаются в оперативку? может ли ваше решение трансформировать сотню Гб с одного источника(постгрес) и сделать джойн с другим источгиком(мускул) размером в пару Гб?
и как быстро льются данные? можно ли лить в несколько потоков в партиционированные таблицы?
супер, спасибо, что поделились. Тоже опытным путем пришли к точно такому же подходу как и вы: тимлид и фулл-стек БИ, у каждого свои сильные стороны: есть Табло-джедай мастер, есть волшебник SSIS, есть черный маг по SQL, и т.д: целая MMORPG команда.
"«Кодеров по ТЗ»/токсичных «рок-звезд» нет и не будет от слова «совсем»." — очень правильный подход, к сожалению в моей ситуации тимлид токсичный рокстар, но это скоро решится сменой работы (мною и другими членами команды)
Ничего не могу сказать про регламент, т.к. я не читал сервисную книжку, а тупо меняю масло каждые 3000 миль если ездил по городу, и каждые 5000 миль если ездил на дальние расстояния — текущий пробег 181,000 миль.
на американских бмв форумах люди хвастаются 400,000 мильным пробегом на N52.
горячий движок это скорее всего про N54 с горячей турбиной и N63 — V8 турбо с hot-V где турбина поверх движка и от перегрева весь пластик перегревается и выходит из строя — это реально самые худшие движки на свете.
на этих движках нереально прокататься 30 тыс км между сменой масла т.к. они жрут масло как бензин.
насчет директорства и кодинга — это да кому как по вкусу, но в стартапах даже директора кодят, а то и кодят больше остальных, но самые важные вещи — core technology так сказать. не круды и формы с джейсонами, а самое сердце/мозги стартапа.
кому подойдет — кому нравятся деньги
кому нет — кто не любит деньги
какая там архитектура, безопасность, эффективность всем пофигу
их некомпетентность не сильно видна, если у сайта посещаемость дохлая, а как только нагрузка вырастает так сразу все и летит к чертям
пишу скрапер для одного потока, потом просто создаю 20-30-100 потоков и выжимаю все из I/O и их бекенда.
проблема это отслеживать их многие фишечки а-ля CSRF токены и кукисы, которые следят что это пользователь в броузере, а не бот — с опытом приходит понимание всех их защит и их становится легко победить.
Также хотелось бы узнать кто как делает ip masquerading? это если вы скрапите в 100 потоков, чтобы запросы шли через 100 разных прокси по всему миру
каждая таблица имеет кластерный индекс типа date на день когда данные были залиты (Report date), и можно сгенерить отчеты на самую последнюю дату, либо же сделать time-travel на предыдущий месяц.
интересно узнать про сложные кейсы эндодонтии, когда особенно когда вытаскивают сломанные файлы с прошлых докторов, непролеченные/пропущенные каналы с витиеватой формой, находят микро-трещины в зубе и т.д.
рисуют красивые презентации с розовыми единорогами и как они захватят весь мир, дайте только деняк чуть.
результат: продукт потихонечку переписывается, деньги вкладываются в кучу продажников и пытаются набрать клиентов, продажи растут, все хорошо, идем на IPO.
либо же продукт тухляк, деняк мало, куча долгов венчурными капиталистам — компания продается целиком какому-нибудь крупному игроку-лоху (айбиэм, делл какой-нибудь или микрофокус) опять же с теми же красивыми презентациями и лапшой
профит в том, что для клиента экономия на кодерах, и хоть какая-то уверенность в стабильности кода благодаря повсеместному тестированию.
если кодишь продукт сам или в малой команде высококвалифицированныхз спецов — интеграционных тестов хватит.
Если оффоршная, аутсорная разработка где тысячи кодеров на сотни продуктов разных платформ и языков — без тестов тут не справишься и быстро утонешь в гавнокоде. Плюс хороший инструмент для контроля качества кода от людей, которые полгода назад работали в сфере быстрого питания, а сейчас пришли кодером после 3-х месячных курсов ВойтиВАйти
если будет большой спрос, все равно придется переписывать медленные места полностью или вообще менять архитектуру.
никому не интересны юнит-тесты если при стократном росте все равно все идте на помойку и переписывается на яве/плюсах