использовать excecute-функции куда можно в одну запихнуть до 25 обращений к методам. Делаем метод удаления, в который нужно передать список из 25 wall_id . Итого получаем 75 постов в секунду на удаление. Можно подключить 10 админов и удалить со скорость 750 постов в секунду. Но удаление не такой частый и нужный метод, чтобы так с ним по скорости заморачиваться. 75 в секунду более чем достаточная скорость
Проблема даже не в развитии, а в удержании как минимум того, чего удалось достичь. Сетевые проблемы оказались сложнее, чем можно было себе представить, а как с ними работать - практика только нарабатывается и она будет растянута на очень долгое время, так как часть процессов не такая быстрая как смена поколений обучения в ИИ.
Используем NocoDB 2 года. Из полезного, что не отметили в статье, это наличие удобной настройки вебхуков на изменения в базе: новая строчка, изменение поля и др. Очень полезно для автоматизации.
Ответ получил за секунды. Вчера проверял ЧатИИ про себя - частично врут. Так что поиск информации по не очень популярному человеку всё равно должен быть сопряжён с обычным поиском и дообучением.
Для подобных кейсов перешли больше года назад на Nocodb и в целом довольны, так как есть более удобное API для взаимодействия и наличие вебхуков на изменения полей/новых строк и тд.
Первые через сарафанное радио. с 2017 по 2021 наверное пытался понять что я вообще продаю и кому. Как определился - стало понятно кому его предлагать, зачем он им нужен и какие у них проблемы без "моего" продукта. За 2021 сразу в 2 раза вырос.
Пример шаблонной услуги (не наша) - организация облачного хранилища на Nextcloud. Может с продажей малинок преднастроенных (вопрос к безопасности конечно). Для небольших компаний какая проблема есть? За каждого юзера подписка. Там где есть выгода можно поискать и спрос.
Была похожая ситуация - пытался заработать через создание продукта и продажи его. Потратил на это большое количество времени и нервов. В итоге переключился на оказание шаблонной услуги, набрал 30+ клиентов и начал оптимизировать свою работу с целью повышения маржи от этих клиентов. При 300+ клиентах уже можно будет вывести это как "массовый" продукт, но не раньше, так как у каждого клиента, какой бы шаблонной услуга не была, есть нюансы. Но даже эти 30 клиентов дают работу 5 сотрудникам. При этом проблем с оптимизацией процессов нет, так как есть опыт в разработке и с собой быстрее договориться по ТЗ без лишней волокиты.
Так что рекомендую присмотреться к схеме: более менее шаблонная услуга - > оптимизацией своей работы с целью повышения маржинальности - > расширение спектра услуг для допродажи - > при достаточной постоянной базе выводить это в продукт при необходимости .
Так как у меня аналогичные скрипты, то отвечу за себя
Никакой проблемы в аутентификации нет .
Запуск локальный и руками, то есть прям кнопку нажимаю запуска скрипта когда требуется
Предположу, что в рамках задачи сбор по таймеру не требовался, а если бы даже сбор скажем раз в месяц, то опять же можно и по будильнику скрипты запустить, если не хочется разбираться с тем, что не особо доставляет проблем. Если нужен таймер, то смотрим в сторону Serveless в Яндекс.Облаке (облачные функции, триггер по времени)
В чем проблема дополнительных библиотек?
Зачем разбираться как работает Apps Script , какие там ограничения, да еще и js нужен ? Временные затраты на изучение не соизмеримы с тем эффектом, который можно получить (при условии его наличия)
С учетом ограничений самих таблиц бывает недостаточно размера таблиц и приходится считать сводные таблицы в питоне, а потом уже записывать их в Google Sheets для конечного заказчика . Скорость работы с таблицами в питоне через pandas будет гораздо быстрее скорости работы Apps Script
Ваша рекомендация в сторону Apps Script не предлагает решение конкретных проблем, возникших у автора в статье, так как их особо и не было, а то что вы привели списком - не проблемы.
В методе API VK wall.get параметр 'count' можно до 100 установить (сейчас у вас 10).
Если захочется ускорять этот процесс - смотрите в сторону VK Exexute , если еще ускорять, то через несколько токенов от пользователей (если нужна расширенная статистика, то нужно всех будет добавить в админы), если еще ускорять, то собирать асинхронно (для себя открыл import grequests и сбор обычной статистики постов в группах с 10к-15к постов занимает 5 секунд).
Скорость сбора расширенной статистики удалось разогнать до 700 постов в секунду (через vk execute) при условии большого сбора постов. Вынес часть наработок в итоге в пользовательский интерфейс c графиками - https://hitalama-aea54.web.app/
Прогресс движется к тому, что большая часть сегодняшних айтишников будет не нужна, потому что делают одно и тоже.
Называть всех тех, кто создаёт "информационные миры" - "интеллектуальной элитой современности " не совсем корректно. Одно дело код уметь писать, какой бы он эффективный не был, а другое - быть интеллектуалом. Единицы задумываются о реальных проблемах и как-то пытаются с ними работать. Большинство получают хорошую ЗП и закрывают свои потребности. Зачем им делать свою работу лучше, если это приведёт к их сокращению? Не все готовы сделать еще один шаг на уровень выше, чтобы оставаться востребованными.
С другой стороны сам бизнес работает по своим правилам. Бизнесу не нужен ваш супергибкий фреймворк, который работает в сотни раз лучше и быстрее аналогов. Ему нужно конкретное решение текущей проблемы с поддержкой этого решения. Да, бизнес чаще всего переплачивает за это, но получает рабочее решение. Взять всё переписать, чтобы получить профит - идея конечно хорошая, но чаще не реализуемая.
Есть огромное количество накопившихся системных проблем, которые просто решить не получится. Нужны фундаментальные изменения в подходах к разработке и организации информационных систем, включая работу с персональными данными. Хорошо бы всё переписывать, но другой вопрос - как это должно выглядеть, чтобы могло эволюционно развиваться в течении следующих десятков лет. А то каждый раз всё переписывать - слишком дорогая затея. IT сегодня находится во власти корпораций и пока так будет особых изменений можно не ждать, так как они не заинтересованы в эффективности \ выгодности для конечного потребителя своих услуг.
А нельзя у вас Steam-игры запускать? У меня к примеру куплена ГТА5, но поиграть на своём железе нет никакой возможности. В таком варианте и у вас проблем с правообладателями не будет. За это соответственно брать абонентскую плату.
Information
Rating
Does not participate
Location
Санкт-Петербург, Санкт-Петербург и область, Россия
Для ускорения
Задержку можно 0.34, так как 3 запрос в секунду.
использовать excecute-функции куда можно в одну запихнуть до 25 обращений к методам. Делаем метод удаления, в который нужно передать список из 25 wall_id . Итого получаем 75 постов в секунду на удаление. Можно подключить 10 админов и удалить со скорость 750 постов в секунду. Но удаление не такой частый и нужный метод, чтобы так с ним по скорости заморачиваться. 75 в секунду более чем достаточная скорость
Добрый день
Повтор текста
В целом, с тезисами согласен.
Проблема даже не в развитии, а в удержании как минимум того, чего удалось достичь. Сетевые проблемы оказались сложнее, чем можно было себе представить, а как с ними работать - практика только нарабатывается и она будет растянута на очень долгое время, так как часть процессов не такая быстрая как смена поколений обучения в ИИ.
Используем NocoDB 2 года. Из полезного, что не отметили в статье, это наличие удобной настройки вебхуков на изменения в базе: новая строчка, изменение поля и др. Очень полезно для автоматизации.
Ответ получил за секунды. Вчера проверял ЧатИИ про себя - частично врут. Так что поиск информации по не очень популярному человеку всё равно должен быть сопряжён с обычным поиском и дообучением.
Для подобных кейсов перешли больше года назад на Nocodb и в целом довольны, так как есть более удобное API для взаимодействия и наличие вебхуков на изменения полей/новых строк и тд.
Первые через сарафанное радио. с 2017 по 2021 наверное пытался понять что я вообще продаю и кому. Как определился - стало понятно кому его предлагать, зачем он им нужен и какие у них проблемы без "моего" продукта. За 2021 сразу в 2 раза вырос.
Пример шаблонной услуги (не наша) - организация облачного хранилища на Nextcloud. Может с продажей малинок преднастроенных (вопрос к безопасности конечно). Для небольших компаний какая проблема есть? За каждого юзера подписка. Там где есть выгода можно поискать и спрос.
Была похожая ситуация - пытался заработать через создание продукта и продажи его. Потратил на это большое количество времени и нервов. В итоге переключился на оказание шаблонной услуги, набрал 30+ клиентов и начал оптимизировать свою работу с целью повышения маржи от этих клиентов. При 300+ клиентах уже можно будет вывести это как "массовый" продукт, но не раньше, так как у каждого клиента, какой бы шаблонной услуга не была, есть нюансы. Но даже эти 30 клиентов дают работу 5 сотрудникам. При этом проблем с оптимизацией процессов нет, так как есть опыт в разработке и с собой быстрее договориться по ТЗ без лишней волокиты.
Так что рекомендую присмотреться к схеме: более менее шаблонная услуга - > оптимизацией своей работы с целью повышения маржинальности - > расширение спектра услуг для допродажи - > при достаточной постоянной базе выводить это в продукт при необходимости .
А вот про эту базу что думаете dragonflydb.io ? Тоже позиционирует себя как замену редиса
Добрый день!
Может подскажете, когда будет обновление версии API VK ?
когда появится статистика по клипам?
когда будут добавлены методы для получения всех данных по статистике сообществ?
Так как у меня аналогичные скрипты, то отвечу за себя
Никакой проблемы в аутентификации нет .
Запуск локальный и руками, то есть прям кнопку нажимаю запуска скрипта когда требуется
Предположу, что в рамках задачи сбор по таймеру не требовался, а если бы даже сбор скажем раз в месяц, то опять же можно и по будильнику скрипты запустить, если не хочется разбираться с тем, что не особо доставляет проблем. Если нужен таймер, то смотрим в сторону Serveless в Яндекс.Облаке (облачные функции, триггер по времени)
В чем проблема дополнительных библиотек?
Зачем разбираться как работает Apps Script , какие там ограничения, да еще и js нужен ? Временные затраты на изучение не соизмеримы с тем эффектом, который можно получить (при условии его наличия)
С учетом ограничений самих таблиц бывает недостаточно размера таблиц и приходится считать сводные таблицы в питоне, а потом уже записывать их в Google Sheets для конечного заказчика . Скорость работы с таблицами в питоне через pandas будет гораздо быстрее скорости работы Apps Script
Ваша рекомендация в сторону Apps Script не предлагает решение конкретных проблем, возникших у автора в статье, так как их особо и не было, а то что вы привели списком - не проблемы.
df['date']= [datetime.fromtimestamp(df['date'][i]) for i in range(len(df['date']))]Вот тут проще и наверное быстрее
df['date'] = pd.to_datetime(df['date'], unit='s')https://pandas.pydata.org/docs/reference/api/pandas.to_datetime.htmlВ методе API VK wall.get параметр 'count' можно до 100 установить (сейчас у вас 10).
Если захочется ускорять этот процесс - смотрите в сторону VK Exexute , если еще ускорять, то через несколько токенов от пользователей (если нужна расширенная статистика, то нужно всех будет добавить в админы), если еще ускорять, то собирать асинхронно (для себя открыл
import grequestsи сбор обычной статистики постов в группах с 10к-15к постов занимает 5 секунд).Скорость сбора расширенной статистики удалось разогнать до 700 постов в секунду (через vk execute) при условии большого сбора постов. Вынес часть наработок в итоге в пользовательский интерфейс c графиками - https://hitalama-aea54.web.app/
мне для слепой печати на обычной клаве очень помог тренажер VerseQ. Эффективность обучения проверена на нескольких знакомых.
Прогресс движется к тому, что большая часть сегодняшних айтишников будет не нужна, потому что делают одно и тоже.
Называть всех тех, кто создаёт "информационные миры" - "интеллектуальной элитой современности " не совсем корректно. Одно дело код уметь писать, какой бы он эффективный не был, а другое - быть интеллектуалом. Единицы задумываются о реальных проблемах и как-то пытаются с ними работать. Большинство получают хорошую ЗП и закрывают свои потребности. Зачем им делать свою работу лучше, если это приведёт к их сокращению? Не все готовы сделать еще один шаг на уровень выше, чтобы оставаться востребованными.
С другой стороны сам бизнес работает по своим правилам. Бизнесу не нужен ваш супергибкий фреймворк, который работает в сотни раз лучше и быстрее аналогов. Ему нужно конкретное решение текущей проблемы с поддержкой этого решения. Да, бизнес чаще всего переплачивает за это, но получает рабочее решение. Взять всё переписать, чтобы получить профит - идея конечно хорошая, но чаще не реализуемая.
Есть огромное количество накопившихся системных проблем, которые просто решить не получится. Нужны фундаментальные изменения в подходах к разработке и организации информационных систем, включая работу с персональными данными. Хорошо бы всё переписывать, но другой вопрос - как это должно выглядеть, чтобы могло эволюционно развиваться в течении следующих десятков лет. А то каждый раз всё переписывать - слишком дорогая затея. IT сегодня находится во власти корпораций и пока так будет особых изменений можно не ждать, так как они не заинтересованы в эффективности \ выгодности для конечного потребителя своих услуг.