Формально - Пользователь, вводя данные третьего лица, сам должен иметь на это законное основание - согласие или другую правовую основу. А мы уже работаем в рамках оферты. В этой теме много нюансов - например, кто в каком случае становится оператором ПД, где проходит грань между поручением и самостоятельной обработкой.
Можно "в уме" прикинуть юридическую конструкцию, но она не самая очевидная, согласен. Собираю материал - думаю, отдельная статья на эту тему будет полезна не только нам, но и всем, кто работает с открытыми данными.
А, теперь понял) У нас есть набор кейсов с реальными людьми и компаниями, по которым точно знаем, что должно вернуться. Иногда даже слишком хорошо знаем :)
Завидую вам с вашим ecomm и сандбоксами. Интересно сравнить миры
Да, мокать тут в большинстве случаев бесполезно. У нас более 150 источников, и основная проблема - не в интеграции, а в том, что данные могут отдаваться некорректно при полностью штатной работе краулера. Тут вопрос не "успешного запроса", а соответствия результату в первоисточнике.
Насчёт канарейки - если речь про интерфейсы или фичи, то да. У нас есть стейджи, модераторы и разные уровни доступа к проду, поэтому можем выпускать точечно, начиная с узкой аудитории (иногда наоборот).
А вот с краулерами всё гораздо веселее. Это постоянная борьба с изменчивыми внешними источниками: одни меняют верстку, другие вводят антибот-защиту, третьи возвращают странные ошибки без причины, четвёртые меняют схему данных без предупреждения, пятые просто лежат потому что таких как мы много, и так далее... Мы знаем основные паттерны, учли кучу кейсов в коде, многое автоматизировано. Но несмотря на 10 лет опыта - "кремлёвской таблетки" не появилось :)
А вы в своих проектах как тестируете сбор с нестабильных систем? Есть ли живой опыт?
Юридическая часть тут тонкая. Мы с ней сталкиваемся не меньше, чем с техническими траблами.
Хранить - полбеды. А вот анализировать, связывать, делать выводы - это уже совсем другая история... Здесь включаются другие статьи, и тут уже офертой не отделаешься))
Вопросы с ПД нельзя игнорировать. Они реальные, часто даже гос источники работают на грани допустимого. Но дальше уже вопрос, где грань между техническим архивом и публичной систематизацией. И вот тут - серые зоны, мнения юристов расходятся.
Думаю, со временем можно будет поделиться интересными кейсами в этом направлении, только без призывов, но с уважением к теме
Да, подход у нас своеобразный, но это скорее вынужденный прагматизм. Когда ты работаешь с госданными, где API не существует или ломается через день, а прод каждый день живёт под разными нагрузками, модные практики не всегда выживают.
Постараюсь рассказать, как мы живём на своей инфраструктуре - уверен, получится материал в духе «мы это пережили и хотим, чтобы вы не повторяли».
Спасибо, хороший и весьма частый вопрос. Мы в рамках проекта проходили много итераций по теме персональных данных — от реестра операторов до разъяснений от Роскомнадзора. Мы не обрабатываем закрытые данные и используем только открытые источники (ФНС, ФССП и пр.), где публикация уже предполагает правовую доступность информации. Оферта на сайте построена с учётом ФЗ-152.
Возможно, стоит сделать серию коротких публикаций на эту тему — где тонкая грань между данными, их публичностью и юридическими последствиями. Если будет интерес — напишу.
Расскажите, как вы тестировали гипотезу, что Steppo сократит нагрузку на команды? Есть ли количественные данные (например, % снижения обращений в поддержку)?
Формально - Пользователь, вводя данные третьего лица, сам должен иметь на это законное основание - согласие или другую правовую основу. А мы уже работаем в рамках оферты.
В этой теме много нюансов - например, кто в каком случае становится оператором ПД, где проходит грань между поручением и самостоятельной обработкой.
Можно "в уме" прикинуть юридическую конструкцию, но она не самая очевидная, согласен. Собираю материал - думаю, отдельная статья на эту тему будет полезна не только нам, но и всем, кто работает с открытыми данными.
А откуда у Пользователя “не свои данные”? И на каком основании он передаёт их нам?
Конечно знают :)
А, теперь понял)
У нас есть набор кейсов с реальными людьми и компаниями, по которым точно знаем, что должно вернуться. Иногда даже слишком хорошо знаем :)
Завидую вам с вашим ecomm и сандбоксами. Интересно сравнить миры
Да, мокать тут в большинстве случаев бесполезно. У нас более 150 источников, и основная проблема - не в интеграции, а в том, что данные могут отдаваться некорректно при полностью штатной работе краулера. Тут вопрос не "успешного запроса", а соответствия результату в первоисточнике.
Насчёт канарейки - если речь про интерфейсы или фичи, то да. У нас есть стейджи, модераторы и разные уровни доступа к проду, поэтому можем выпускать точечно, начиная с узкой аудитории (иногда наоборот).
А вот с краулерами всё гораздо веселее. Это постоянная борьба с изменчивыми внешними источниками: одни меняют верстку, другие вводят антибот-защиту, третьи возвращают странные ошибки без причины, четвёртые меняют схему данных без предупреждения, пятые просто лежат потому что таких как мы много, и так далее... Мы знаем основные паттерны, учли кучу кейсов в коде, многое автоматизировано. Но несмотря на 10 лет опыта - "кремлёвской таблетки" не появилось :)
А вы в своих проектах как тестируете сбор с нестабильных систем? Есть ли живой опыт?
Юридическая часть тут тонкая. Мы с ней сталкиваемся не меньше, чем с техническими траблами.
Хранить - полбеды. А вот анализировать, связывать, делать выводы - это уже совсем другая история... Здесь включаются другие статьи, и тут уже офертой не отделаешься))
Вопросы с ПД нельзя игнорировать. Они реальные, часто даже гос источники работают на грани допустимого. Но дальше уже вопрос, где грань между техническим архивом и публичной систематизацией. И вот тут - серые зоны, мнения юристов расходятся.
Думаю, со временем можно будет поделиться интересными кейсами в этом направлении, только без призывов, но с уважением к теме
Да, подход у нас своеобразный, но это скорее вынужденный прагматизм. Когда ты работаешь с госданными, где API не существует или ломается через день, а прод каждый день живёт под разными нагрузками, модные практики не всегда выживают.
Постараюсь рассказать, как мы живём на своей инфраструктуре - уверен, получится материал в духе «мы это пережили и хотим, чтобы вы не повторяли».
Спасибо, хороший и весьма частый вопрос. Мы в рамках проекта проходили много итераций по теме персональных данных — от реестра операторов до разъяснений от Роскомнадзора.
Мы не обрабатываем закрытые данные и используем только открытые источники (ФНС, ФССП и пр.), где публикация уже предполагает правовую доступность информации. Оферта на сайте построена с учётом ФЗ-152.
Возможно, стоит сделать серию коротких публикаций на эту тему — где тонкая грань между данными, их публичностью и юридическими последствиями. Если будет интерес — напишу.
Расскажите, как вы тестировали гипотезу, что Steppo сократит нагрузку на команды? Есть ли количественные данные (например, % снижения обращений в поддержку)?
Очень вдохновляющая история! Интересно, как вы справлялись с техническими трудностями без команды. Были ли моменты, когда хотелось всё бросить?