Хороший и мотивирующий обзор. Каждый сам строит свой профиль и создает свое будущее. И нужно понимать, что это путь без немедленного вознаграждения, а адаптация потребует усилий.
Но все равно пробуйте. Лондон прекрасный и безопасный город с хорошим рынком для ИТ. Хотя, судя по всему около половины Global Talent visa не имеют постоянной работы. Но это тоже хороший челлендж.
Спасибо за развернутые ответы, но, к сожалению часть из них из разряда: "У нас есть такие приборы, но мы вам про них не расскажем". Но цифры хорошие и все окупают... Надо верить (С) Давайте задам еще раз. Окупает ли удельное снижение энергоемкости на 1.9-2.6% на тонну помола затраты на такой проект? Удалось ли вам придумать, как превратить увеличение производительности в экономические эффекты? Или это просто приятный бонус.
Второй вопрос был про помол сырья, а не готового продукта. Про мельницу перед печью обжига клинкера. Которая также имеет значительное влияние (как вы правильно заметили) на качество и твердость клинкера на выходе и его размолоспособность. Смотрели ли вы в сторону моделей управления помолом и смешением на входе при подготовке муки перед печью обжига клинкера? А если смотрели, то что увидели? И почему не начали решать эту задачу, в которой гораздо больше эффектов?
Цифровой советчик был только про производительность и энергоэффективность при помоле клинкера, гипса в цемент. Вы показали эффекты повышения производительности до на 2,6 % и удельной энергоэффективности – до на 4 %. Окупают ли они такой проект? Это финальный передел и какие денежные эффекты могут быть здесь?
А что с качеством сырья? Ведь стоило также посмотреть на управление качеством клинкера через химический состав помола сырья. И здесь состав очень важен. Занимались ли этой задачей?
Вы не пытались разбить индекс на бакеты с разной частотой потерь? Может случиться, что есть несколько, на которые может падать десятки % пропаж.
Вы ничего не казали про очистку данных. Обрабатывали и исключали ли понятные массовые пропажи, например авария, когда уничтожается все содержимое контейнера и т.д.
Ребята. Из негатива. Вы потратили кучу услилий на то, чтобы обработать 30 секунд видео. На реальном производстве таких видео можно собрать часами. Здесь налицо отрыв специалистов по DS от реального производственного процесса. Съездите на производство, поговорите с техологами. Уточните задачу.
Вы пропустили очень важные показатели, связанные с уровнем пены, объемами подачи воздуха и.т.д. Разное сырье по разному перемалывается и флотируется. Также в некоторых видах флотации очень важно влияние химии сырья, которые явно убивают процесс флотации, к примеру если много углерода. Тогда идут крупные пузыри, это не норма. Но руда привезена и ее нужно обработать.
Из позитива. При флотации, технологи могут смотреть на цвет пены в контрольной флотации. И этого достаточно, чтобы понять, что все идёт хорошо, все извлекается. И для этого ваш виртуальный датчик на CV, просто прекрасен.
Тогда понятно. Вы строите с параметром "interaction_index='auto' ". Так все инсайты вы не вытащите. Библиотека предлагает расцветку по своему разумению. А гипотезы необходимо отвалидировать на соответствие понимания технологического процесса. К примеру бывает много ложных зависимостей между удаленными переделами, которые точно не взаимодействуют и такое нужно на начальном этапе отсекать, чтобы не показывать технологам и не подрывать доверие к "черным ящикам".
Чтобы проверить все интеракции, необходимо строить как в примере
И задавать в интеракцию те пары, которые имеют смысл. А лучше отсмотреть N^2 графиков и искать явные паттерны, к примеру форма похожая на X - смена направления зависимости. Или явные хвосты вверх и вниз.
Да, вопрос. Как вы объяснили технологам смысл чисел на оси Y?
Все в кучу. Название продукта "Звезда" схема данных "звезда". Та модель данных, что вы описали - называется "снежинка". Она позволяет создавать дополнительные измерения, которые хранят связанные сущности в отдельной таблице и занимают в таблице фактов всего одно поле. А также можно хранить версии мастер-данных с различными временнозависимыми иерархиями. Это позволяет получать в отчете те данные и разрезы, которые были на момент сохранения записи в таблице фактов. Это может делать нормальная DWH платформа.
Но и "звезда" и "снежинка" перестали быть the state of art после появления in-memory решений, где произошел обратный переход к плоской таблице, которая содержит все факты. Это решение за счет сжатия не потребляет много памяти и также эффективно с точки зрения производительности..
Пока вижу попытку спозиционировать новую платформу и показать какая она хорошая. Но объективности ради, рынок BI очень стабилен и на нем несколько лет нет ничего особенно нового и интересного. Удачи вам, это не простой путь.
Такой вид графиков показывает дополнительную дисперсию между переменными, которую возможно объяснить дополнительной переменной. Вот пример как Пол вносит вклад во влияние переменной возраста на вероятность болезни (примеры из shap github)
А этот график непосредственного влияния возраста
Видно, что возраст имеет высокое влияние [-2.0:1.5]. И Пол дает вклад в диапазоне [-0.15:0.15]
Мне кажется, что стоило привести другой вид графика shap без цветовой разметки. Тогда была бы видна нелинейность в процессе отдачи элемента в сталь: " ферросплав Х1 и привнести Y1% чистого элемента в сталь " Вот такой вид, как в статье, показывает остаточную дисперсию, которую можно объяснит за счет влияния третьего фактора, который отображается по цветовой оси. И вклад такого фактора на порядок меньше основной пары признаков.
А в целом годная статья. Для рынка полезно, когда кейсы доводятся до конца, запускаются в продуктив и приносят измеримый value
Мы начинали с книги Чеснокова "Выращивание растений без почвы". Далее форумы типа ponics.ru. Но всё, что там написано необходимо пропускать через внутреннего критика.
Как уже писалось выше, наиболее качественная проработка материала на сайтах по выращиванию censored.
Товарищи-аквариумисты рекомендовали использовать ардуин с датчиком Ph и шаговой помпой для долива кислоты. Насыщенность раствора должна быть в нормальном диапазоне. К сожалению, многие вещи не совсем так, как написаны в книгах и мы несколько раз сожгли корни. Сначала пользовались аквариумными тест-полосками и капельным тестом, пока не приобрели прибор. Количество потребляемых солей из раствора и изменение кислотности сильно зависит от стадии роста, освещённости и температуры.
Вариант с аэропоникой не получился, не стали развивать. На фото:
Чем больше объём раствора, тем легче удерживать параметры. Но иногда было физически сложно натаскать и подготовить столько воды. Хлор из водопровода не самый полезный микроэлемент.
Первые урожаи были хорошие — огурцы, перец, салат
Только потом, с ростом температуры огурцы съел паутинный клещ, а химия дома — не вариант. В обычных теплицах зажигают дымовую шашку с препаратом.
И немного о том, как было сделано. Не красиво, не эстетично. Бочку надо было укрывать, чтобы не росли водоросли. Обязательно стекающий раствор надо фильтровать, чтобы не забивался насос.
Было 2 таких бочки с обеих сторон. Емкости в 30 литров каждая было откровенно недостаточно.
Аэратор на основе простого компрессора. Фильтр из чулка и ткани.
Все трубы куплены в ближайшем сантехническом магазине.
Ещё интересно то, что получилось реализовать вариант со сращиванием двух корневых систем у помидоров простой прививкой
Для высаживания необходимо использовать кокосовый субстракт. Для больших растений — керамзит. Он является хорошим буфером. И требует предварительной обработки, вымачивания и дезинфекции.
Перлит и вермикулит показали себя с плохой стороны. Растишки их не получили. Он спресовывается и корням некомфортно без воздуха. Все корни были с края горшка. И он забивал систему, создавая много мусора.
Не концентрацию, а состав. По Чеснокову меняли состав в разные периоды.
Было плохо то, что не было ортофосфорной кислоты в доступности. Ph приходилось уменьшать серной.
И еще. Для тепличных установок с солнцем актуально управлние температурой раствора. На солнце температура воздуха уходит под 30 и рекомендовали управлять температурой раствора, подаваемого на корни. При +28 воздуха салаты уже не растут. И создание микроклимата — это дополнительные ресурсы.
В Израиле теплицы затемняют. По сути это «холодницы».
Ощипывали. Это вызывало более активный рост боковых побегов.
В больших теплицах помидор постоянно растет вверх, его каждую неделю немного опускают, обматывая стебель вокруг мешка с стекловатой, где находится корень и куда подается раствор.
Такая технология обеспечивает то, что зрелые помидоры находятся на удобной для сбора высоте.
По поводу нитратов и проч. Мы носили нашу продукцию в лабораторию на рынке. По нитратам было содержание в 2 раза ниже, чем помидоры от бабушек со своего огорода. Возможно из-за сбалансированности раствора.
В жаркий день два куста выпивали почти 20 литров воды, поэтому готовили концентраты для разведения. При этом сразу Ph улетал в щелочную среду. Поэтому контроль важен.
Еще интересное замечание. Супруга начала визуально замечать признаки недостатка того или иного элемента.
Начали листья вянуть — развела хилат железа и через пол-часа уже упругие и красивые листья.
Как хобби — это отлично. Разгружает мозг программиста.
Как бизнес-надо смотреть в сторону готовых решений, к примеру, готовый контейнер для выращивания клубники.
Желаю удачи в начинании!
Мне кажется, что Вам надо начинать готовиться к переливам воды через верх.
Растения на гидропонике имеют очень развитую корневую систему, которая забивает все сливы.
Шаг установки горшков подходит для салата. В условиях гидропоники два куста занимали объём 1.1х1.1х2 метра в высоту и их сдерживали только окна и стены. Надо было раз в неделю делать обрезку.
При хорошем освещении урожаи шли постоянно. На утеплённом балконе дожили до начала декабря.
Хороший и мотивирующий обзор. Каждый сам строит свой профиль и создает свое будущее. И нужно понимать, что это путь без немедленного вознаграждения, а адаптация потребует усилий.
Но все равно пробуйте. Лондон прекрасный и безопасный город с хорошим рынком для ИТ. Хотя, судя по всему около половины Global Talent visa не имеют постоянной работы. Но это тоже хороший челлендж.
Удачи!
Хорошая статья, лайк.
В основе физика процесса и правильный алгоритм моделирования
Так и работает масштабируемость. Правильные усилия по управлению охлаждением, оптимизации нагрузки, которые снижают пиковую нагрузку.
Если бы стояла задача уменьшения времени отклика, то это была бы другая история.
Спасибо за развернутые ответы, но, к сожалению часть из них из разряда: "У нас есть такие приборы, но мы вам про них не расскажем". Но цифры хорошие и все окупают... Надо верить (С)
Давайте задам еще раз.
Окупает ли удельное снижение энергоемкости на 1.9-2.6% на тонну помола затраты на такой проект?
Удалось ли вам придумать, как превратить увеличение производительности в экономические эффекты? Или это просто приятный бонус.
Второй вопрос был про помол сырья, а не готового продукта. Про мельницу перед печью обжига клинкера. Которая также имеет значительное влияние (как вы правильно заметили) на качество и твердость клинкера на выходе и его размолоспособность. Смотрели ли вы в сторону моделей управления помолом и смешением на входе при подготовке муки перед печью обжига клинкера? А если смотрели, то что увидели? И почему не начали решать эту задачу, в которой гораздо больше эффектов?
Цифровой советчик был только про производительность и энергоэффективность при помоле клинкера, гипса в цемент. Вы показали эффекты повышения производительности
дона 2,6 % и удельной энергоэффективности – дона 4 %. Окупают ли они такой проект? Это финальный передел и какие денежные эффекты могут быть здесь?А что с качеством сырья? Ведь стоило также посмотреть на управление качеством клинкера через химический состав помола сырья. И здесь состав очень важен. Занимались ли этой задачей?
Смотрели ли на печь обжига клинкера?
Хорошие результаты и понятные инсайты.
Вы не пытались разбить индекс на бакеты с разной частотой потерь? Может случиться, что есть несколько, на которые может падать десятки % пропаж.
Вы ничего не казали про очистку данных. Обрабатывали и исключали ли понятные массовые пропажи, например авария, когда уничтожается все содержимое контейнера и т.д.
Ребята. Из негатива. Вы потратили кучу услилий на то, чтобы обработать 30 секунд видео. На реальном производстве таких видео можно собрать часами. Здесь налицо отрыв специалистов по DS от реального производственного процесса. Съездите на производство, поговорите с техологами. Уточните задачу.
Вы пропустили очень важные показатели, связанные с уровнем пены, объемами подачи воздуха и.т.д. Разное сырье по разному перемалывается и флотируется. Также в некоторых видах флотации очень важно влияние химии сырья, которые явно убивают процесс флотации, к примеру если много углерода. Тогда идут крупные пузыри, это не норма. Но руда привезена и ее нужно обработать.
Из позитива. При флотации, технологи могут смотреть на цвет пены в контрольной флотации. И этого достаточно, чтобы понять, что все идёт хорошо, все извлекается. И для этого ваш виртуальный датчик на CV, просто прекрасен.
Тогда понятно. Вы строите с параметром "interaction_index='auto' ". Так все инсайты вы не вытащите. Библиотека предлагает расцветку по своему разумению. А гипотезы необходимо отвалидировать на соответствие понимания технологического процесса. К примеру бывает много ложных зависимостей между удаленными переделами, которые точно не взаимодействуют и такое нужно на начальном этапе отсекать, чтобы не показывать технологам и не подрывать доверие к "черным ящикам".
Чтобы проверить все интеракции, необходимо строить как в примере
shap.dependence_plot( ("Age", "Sex"), shap_interaction_values, X.iloc[:2000,:], display_features=X_display.iloc[:2000,:] )
И задавать в интеракцию те пары, которые имеют смысл. А лучше отсмотреть N^2 графиков и искать явные паттерны, к примеру форма похожая на X - смена направления зависимости. Или явные хвосты вверх и вниз.
Да, вопрос. Как вы объяснили технологам смысл чисел на оси Y?
Все в кучу. Название продукта "Звезда" схема данных "звезда".
Та модель данных, что вы описали - называется "снежинка". Она позволяет создавать дополнительные измерения, которые хранят связанные сущности в отдельной таблице и занимают в таблице фактов всего одно поле. А также можно хранить версии мастер-данных с различными временнозависимыми иерархиями. Это позволяет получать в отчете те данные и разрезы, которые были на момент сохранения записи в таблице фактов. Это может делать нормальная DWH платформа.
Но и "звезда" и "снежинка" перестали быть the state of art после появления in-memory решений, где произошел обратный переход к плоской таблице, которая содержит все факты. Это решение за счет сжатия не потребляет много памяти и также эффективно с точки зрения производительности..
Пока вижу попытку спозиционировать новую платформу и показать какая она хорошая. Но объективности ради, рынок BI очень стабилен и на нем несколько лет нет ничего особенно нового и интересного. Удачи вам, это не простой путь.
Позвольте Вам возразить.
Такой вид графиков показывает дополнительную дисперсию между переменными, которую возможно объяснить дополнительной переменной. Вот пример как Пол вносит вклад во влияние переменной возраста на вероятность болезни (примеры из shap github)
А этот график непосредственного влияния возраста
Видно, что возраст имеет высокое влияние [-2.0:1.5]. И Пол дает вклад в диапазоне [-0.15:0.15]
Мне кажется, что стоило привести другой вид графика shap без цветовой разметки. Тогда была бы видна нелинейность в процессе отдачи элемента в сталь: " ферросплав Х1 и привнести Y1% чистого элемента в сталь "
Вот такой вид, как в статье, показывает остаточную дисперсию, которую можно объяснит за счет влияния третьего фактора, который отображается по цветовой оси. И вклад такого фактора на порядок меньше основной пары признаков.
А в целом годная статья. Для рынка полезно, когда кейсы доводятся до конца, запускаются в продуктив и приносят измеримый value
Флотационные ячейки собраны в каскад и обладают высокой корреляцией. Почему не использовали сжатие пространства?
Хороший обзор, спасибо. Причинно-следственный граф поможет внести знания о структуре процесса и дать обоснованные зависимости.
Мы начинали с книги Чеснокова "Выращивание растений без почвы". Далее форумы типа ponics.ru. Но всё, что там написано необходимо пропускать через внутреннего критика.
Как уже писалось выше, наиболее качественная проработка материала на сайтах по выращиванию
censored.Товарищи-аквариумисты рекомендовали использовать ардуин с датчиком Ph и шаговой помпой для долива кислоты. Насыщенность раствора должна быть в нормальном диапазоне. К сожалению, многие вещи не совсем так, как написаны в книгах и мы несколько раз сожгли корни. Сначала пользовались аквариумными тест-полосками и капельным тестом, пока не приобрели прибор. Количество потребляемых солей из раствора и изменение кислотности сильно зависит от стадии роста, освещённости и температуры.
Вариант с аэропоникой не получился, не стали развивать. На фото:
Чем больше объём раствора, тем легче удерживать параметры. Но иногда было физически сложно натаскать и подготовить столько воды. Хлор из водопровода не самый полезный микроэлемент.
Первые урожаи были хорошие — огурцы, перец, салат
Только потом, с ростом температуры огурцы съел паутинный клещ, а химия дома — не вариант. В обычных теплицах зажигают дымовую шашку с препаратом.
И немного о том, как было сделано. Не красиво, не эстетично. Бочку надо было укрывать, чтобы не росли водоросли. Обязательно стекающий раствор надо фильтровать, чтобы не забивался насос.
Было 2 таких бочки с обеих сторон. Емкости в 30 литров каждая было откровенно недостаточно.
Аэратор на основе простого компрессора. Фильтр из чулка и ткани.
Все трубы куплены в ближайшем сантехническом магазине.
Ещё интересно то, что получилось реализовать вариант со сращиванием двух корневых систем у помидоров простой прививкой
Для высаживания необходимо использовать кокосовый субстракт. Для больших растений — керамзит. Он является хорошим буфером. И требует предварительной обработки, вымачивания и дезинфекции.
Перлит и вермикулит показали себя с плохой стороны. Растишки их не получили. Он спресовывается и корням некомфортно без воздуха. Все корни были с края горшка. И он забивал систему, создавая много мусора.
Было плохо то, что не было ортофосфорной кислоты в доступности. Ph приходилось уменьшать серной.
И еще. Для тепличных установок с солнцем актуально управлние температурой раствора. На солнце температура воздуха уходит под 30 и рекомендовали управлять температурой раствора, подаваемого на корни. При +28 воздуха салаты уже не растут. И создание микроклимата — это дополнительные ресурсы.
В Израиле теплицы затемняют. По сути это «холодницы».
В больших теплицах помидор постоянно растет вверх, его каждую неделю немного опускают, обматывая стебель вокруг мешка с стекловатой, где находится корень и куда подается раствор.
Такая технология обеспечивает то, что зрелые помидоры находятся на удобной для сбора высоте.
По поводу нитратов и проч. Мы носили нашу продукцию в лабораторию на рынке. По нитратам было содержание в 2 раза ниже, чем помидоры от бабушек со своего огорода. Возможно из-за сбалансированности раствора.
В жаркий день два куста выпивали почти 20 литров воды, поэтому готовили концентраты для разведения. При этом сразу Ph улетал в щелочную среду. Поэтому контроль важен.
Еще интересное замечание. Супруга начала визуально замечать признаки недостатка того или иного элемента.
Начали листья вянуть — развела хилат железа и через пол-часа уже упругие и красивые листья.
Как хобби — это отлично. Разгружает мозг программиста.
Как бизнес-надо смотреть в сторону готовых решений, к примеру, готовый контейнер для выращивания клубники.
Мне кажется, что Вам надо начинать готовиться к переливам воды через верх.
Растения на гидропонике имеют очень развитую корневую систему, которая забивает все сливы.
Шаг установки горшков подходит для салата. В условиях гидропоники два куста занимали объём 1.1х1.1х2 метра в высоту и их сдерживали только окна и стены. Надо было раз в неделю делать обрезку.
При хорошем освещении урожаи шли постоянно. На утеплённом балконе дожили до начала декабря.