Визуализация необходима в рамках объясняемого искусственного интеллекта XAI, существует множество способов и это один из его видов. И да, у данного метода есть недостаток трудная для восприятия визуализация при большой размерности данных. Это один из инструментов, для каждой задачи его необходимо подбирать, универсального решения нет
В случае, если речь идет про одну таблицу (без джойнов, агрегатов, etc) – можно не отсекать лишние столбцы, а просто обращаться к нужным.
Обратная ситуация возникает, если у нас столбцы в разных связанных таблицах, мы их джойним и имеем результирующую таблицу с кучей столбцов – а вам нужно всего несколько - тогда да, делаем отбор столбцов через select new и анонимный класс.
Среди читателей есть начинающие и те, кто по каким-либо причинам не соприкасался с темой ORM и EF в частности. Для них такие статьи вполне котируются и в 2023
Возможно, что в данный момент работа риелтора и не будет автоматизирована, но учитывая как развивается Machine Learning, то может быть частично какая-то часть работы и сможет быть автоматизирована с помощью методов машинного обучения.
Модель не тестировалась для сравнения с текущими ценами и выявлениями погрешностей, но есть идеи для доработки этой истории и расширить набор данных, так как модель сейчас предсказывает только для одного города (Санкт-Петербург), для других городов на обученной модели могут быть некорректные прогнозы. Спасибо за идею для доработок!
Посмотрите в сторону решений готовых программ по типу AbbyFineReader и HotFolder. Например, при помощи этих программ можно правильно ориентировать изображение, т.е. текст будет без наклонов, а дальше использовать уже OCR или tesseract или решение, представленное в статье
Думаю удобнее будет использовать OCR, т.к. данная программа предназначена для поиска текста. Метод, указанный в статье, также можно попробовать использовать, но это будет затратнее по времени, т.к. нужно будет самому продумывать структуру построения модели, в то время как OCR – готовый продукт. Также если текст находится в pdf-сканах можно попробовать предобработать их при помощи программ AbbyFineReader или HotFolder, в которых также есть способы поиска текста на изображении
Нет, не пользовался данной библиотекой, но есть много способов сравнивать изображения, указанный вами один из них, нужно пробовать. Также можно обратить внимание на библиотеку face_recognition, которая написана на основе библиотеки dlib – удобная библиотека для распознавания лиц
Спасибо за комментарий! В статье ориентировался на самые распространённые дистрибутивы. Если описывать работу с python во всех дистрибутивах, то получится целая техническая документация
Да, вход gluon может подаваться один или больше временных рядов. Нейронные сети, которые лежат в основе данной библиотеки, смогут находить зависимости нескольких временных рядов. Модели используемые в GluonTS, используют вероятностный прогноз, основанный на распределении вероятностей, для каждой выходной позиции, а не для одноточечной оценке для отдельного значения. Более подробную информацию можно найти на сайте Amazon – https://aws.amazon.com или на сайте с документацией по GluonTS – https://ts.gluon.ai/stable/
Визуализация необходима в рамках объясняемого искусственного интеллекта XAI, существует множество способов и это один из его видов. И да, у данного метода есть недостаток трудная для восприятия визуализация при большой размерности данных. Это один из инструментов, для каждой задачи его необходимо подбирать, универсального решения нет
Зависит от конкретной ситуации:
В случае, если речь идет про одну таблицу (без джойнов, агрегатов, etc) – можно не отсекать лишние столбцы, а просто обращаться к нужным.
Обратная ситуация возникает, если у нас столбцы в разных связанных таблицах, мы их джойним и имеем результирующую таблицу с кучей столбцов – а вам нужно всего несколько - тогда да, делаем отбор столбцов через select new и анонимный класс.
+ это еще зависит от потребления памяти
Среди читателей есть начинающие и те, кто по каким-либо причинам не соприкасался с темой ORM и EF в частности. Для них такие статьи вполне котируются и в 2023
Возможно, что в данный момент работа риелтора и не будет автоматизирована, но учитывая как развивается Machine Learning, то может быть частично какая-то часть работы и сможет быть автоматизирована с помощью методов машинного обучения.
Модель не тестировалась для сравнения с текущими ценами и выявлениями погрешностей, но есть идеи для доработки этой истории и расширить набор данных, так как модель сейчас предсказывает только для одного города (Санкт-Петербург), для других городов на обученной модели могут быть некорректные прогнозы. Спасибо за идею для доработок!
Что-то модно, а что-то вечно!)
Действительно, пропустил «return avg_loss, total_preds»
В связи с отсутствием доступа в интернет с используемой машины, я указывал путь к папке с загруженной локально моделью. Вы исправили корректно
Посмотрите в сторону решений готовых программ по типу AbbyFineReader и HotFolder. Например, при помощи этих программ можно правильно ориентировать изображение, т.е. текст будет без наклонов, а дальше использовать уже OCR или tesseract или решение, представленное в статье
В качестве функции потерь тоже не использовал, но думаю можно пробовать и экспериментировать.
Думаю удобнее будет использовать OCR, т.к. данная программа предназначена для поиска текста. Метод, указанный в статье, также можно попробовать использовать, но это будет затратнее по времени, т.к. нужно будет самому продумывать структуру построения модели, в то время как OCR – готовый продукт. Также если текст находится в pdf-сканах можно попробовать предобработать их при помощи программ AbbyFineReader или HotFolder, в которых также есть способы поиска текста на изображении
Нет, не пользовался данной библиотекой, но есть много способов сравнивать изображения, указанный вами один из них, нужно пробовать. Также можно обратить внимание на библиотеку face_recognition, которая написана на основе библиотеки dlib – удобная библиотека для распознавания лиц
Спасибо за проявленный интерес к статье
Конечно, для больших систем никто не будет использовать pyvenv, pyenv или poetry. Для этого целесообразнее применять docker.
В точку!
Спасибо, важное дополнение!
Спасибо за комментарий! В статье ориентировался на самые распространённые дистрибутивы. Если описывать работу с python во всех дистрибутивах, то получится целая техническая документация
Согласен, но в статье это позволило установить/обновить ещё ряд необходимых пакетов. Посмотрите на скрин в статье.
Да, вход gluon может подаваться один или больше временных рядов. Нейронные сети, которые лежат в основе данной библиотеки, смогут находить зависимости нескольких временных рядов. Модели используемые в GluonTS, используют вероятностный прогноз, основанный на распределении вероятностей, для каждой выходной позиции, а не для одноточечной оценке для отдельного значения. Более подробную информацию можно найти на сайте Amazon – https://aws.amazon.com или на сайте с документацией по GluonTS – https://ts.gluon.ai/stable/
Спасибо, что поделились своим опытом)