Обновить

Комментарии 17

Есть способ намного проще - парсить SMS от банка.

Есть еще проще, разрешить получать чеки в банковском приложении, там получат чеки из OFD, распарсят, разложат по категориям и в интерфейсе отобразят.

Доброго. У меня не все операции, к примеру, выливаются в СМС. Часть идёт в пуши. При этом банков всего два. Вопрос в том - не проще ли попробовать через банковскую выписку

Пуши вроде тоже можно паристь. Выписку? Единоразово проще наверное, если надо пайплайн то кажется что смс / пуши проще парсить, выписку еще же надо сгенерировать как-то, не руками же каждый раз выгружать.

Ну ОК, API банки не дают (Open Banking в какой-то непонятной стадии внедрения и для пет-проекта точно не вариант). Но выписки-то выгружает любой банк, и уж точно проще их обрабатывать, чем скриншоты.

Согласен, для чистого учёта расходов — проще. Но цель цикла статей — построить CDC-пайплайн с нуля и разобраться как он работает. Скриншоты дают разнообразные события: INSERT при парсинге, UPDATE при верификации, DELETE при удалении мусора. Выписка дала бы только INSERT'ы

Там проблема в том что многие банки скриншоты блочат на уровне системы, так что решение не универсальное. У себя (андроид) через АДБ стримлю экран и делаю скриншоты, которые потом загоняю в нейросеть. Стоило бы автоматизировать, но мотивации пока не придумал ;)

Ведь есть еще личный кабинет на сайте банка...

Как сделано у меня: Пуш-уведомления об операциях от банка -> парсинг в Macrodroid -> расширение для гугл таблиц Apps Script -> занесение в файл в гугл таблицы.

Рабочее решение. У меня была похожая идея, потом реализовал с сохранением в excel, но тут хотелось именно PostgreSQL → Debezium → Kafka — чтобы разобраться в стеке, который использую на работе

Незнаю как сейчас в РФ, но в Казахстане скрины банк аппов не сделать без особых выкрутасов.

Тоже помню раньше такое было, сейчас попробовал у тбанка скриншоты запрещены только на странице где реквизиты карты, причем только после нажатия "показать реквизиты". Остальное все скриншотится. Я думаю юзеры часто скидывают скрин после оплаты.

Да раньше также выборочно было, теперь любая страница черный квадрат малевича. И отключить запрет нельзя.

Мне кажется, что без разбивки на категории такой учёт не очень полезен, в смысле, что в той или иной форме он уже есть в банковском приложении. А к какой категории относится чек на 123 рубля от ООО Ромашка знает только пользователь. Ну или покупки на маркетплейсе, где всегда одна и та же организация в чеке. В итоге всё равно надо вспоминать и руками прописывать категорию ко многим транзакциям. Я понимаю, что задача решается во многом учебная, но тем не менее.

Категории, вообще самая непростая штука. Если пытаться из этого пользу извлекать.

т. к. многие покупки идут "одним чеком" и бнз разбивки теряют много ценности.

я когда-то начал вести учёт, чтобы понимать диапазон расходов с расбивкой на категории т.к. именно по отдельным категориям можно легко ужиматься

например в кафе и рестораны или вовсе перестать или запланированно сократить. а наример алкоголь (пиво/вино) часто в чеках с едой, и тоже очевидно его можно пустить "под нож" в случае необходимости ;) ( не все меня поймут) и опять де хорошо посматривать на тенденции в этой категории. бытовые всякие порошки/мыло и т.п. тоже часто в чеке с едой.

именно такие нюансы делают бесполезными во многом отчеты от банка, трудно реализуемыми автоматизацию. все тупо упирается в личную дисциплину по ведению расходов, а когда она соблюдается, уже расчеты и "парсинг данных из записей" хоть экселькой делаются

Понятно, что это pet-проект, но... почти все банки, которые стоит использовать, дают делать экспорт транз в csv прямо в аппе. К чему эти скачки со скриншотами...

Telegram → PostgreSQL → Debezium → Kafka → HDFS → DWH

Это именно у вас. А в других организациях более по-другому устроено. А ещё реализация DWH у каждого своя. Мне, например, интересны общие принципы построения, соответственно, для своего проекта я беру то, чего на работе нет. Брать работу на дом - <тут должна быть картинка из "Операция Ы" про "поллитра? Вдребезги? Да я тебя!">

Хочу видеть свои расходы в нормальной аналитике

В банковском сообщении - только сумма и продаван. Т.е. только и исключительно деньги, а это синтетический учёт, если мне память по части терминологии не изменяет. По крайней мере, на тот момент, когда нас пичкали знаниями по бухгалтерии...
Лично для меня нормальная аналитика - это, помимо денег, товары, группы товаров и их (товаров) количество, т.е. к синтетическому учёту добавляется аналитический. Из банковских документов аналитику не вытащить.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации