Приветствую. Делал похожее (пока забросил), напишу свои отличия, может пригодится кому:
- у меня воркеры не лазили в БД, а получали задачи от шедулера. Шедулеров могло быть несколько, у каждого свои воркеры. Воркер не имел доступа к БД, все обновления статусов задач - через шедулер.
- шедулеры занимались пуллингом задач из БД, но с помощью триггеров (на таблице задач висел триггер на появление новых записей).
- задача представляла из себя скрипт (на python либо bash), хранились скрипты задач тоже в БД, в таблице шаблонов
- воркер запускал для каждой задачи дочерний процесс, соотв-но все свои задачи выполнял параллельно.
- воркер ничего не знал конкретно о задаче, кроме скрипта и параметров, и не был как-то специализирован на конкретный вид задач. Соответственно любой воркер мог взять любую задачу. Результат и прогресс выполнения задачи воркер отправлял своему шедулеру.
- если воркер не отвечает, все задачи этого воркера будут перекинуты шедулером на другой воркер, без какого-либо участия БД в этом процессе.
Рад, что стали говорить как надо было сразу. Вот вам для примера статья соседняя (по времени выхода имею ввиду) с вашей https://habr.com/ru/articles/964282/ Почитайте и увидите разницу, и поймете мбыть, что значит своими словами написано.
Здесь тоже торчат уши ллм. Вы можете своими словами отвечать? Вам уже 45 лет. Неужели вы не можете сфорулировать пару слов самостоятельно. Статья ваша - это памятка, ничего нового, все это было прочитано давно уже и руками набрано не раз. Непрошенный совет вам еще - пишите сами, пока есть такая возможность, пока мозги не отсохли еще.
Привет. Нагадил вам в карму, потому что вторая статья от вас - полностью сгенерированная нсетью. На хабре много статей "подправленных" ллм, но с авторским содержанием, у вас же ни одной своей мысли там не видно. Прекращайте это дело. пс: сгенерированным "спасибо" не надо отвечать, уже тошнит видеть это дмо кругом.
я знаю, знаю что 5 лет обучения, n лет практики, и ошибки на млн-ны. Только я не создаю этот градиент, не создаю рын запрос, а плыву в потоке как и все к катастрофе. С этим тоже полностью с вами согласен. Но я не хочу пудрить мозги молодым людям, словами типа "смотрите как много надо учиться, знать, уметь.. чтобы стать Настоящим Инженером" и в итоге получать минимум, и жить в родительском жилье (если повезло).
Мешки на верху пытаются протянуть промышленность на дешевой раб силе еще сколько-то лет. А товарищ в своей статье им вторит - манипуляциями громкими словами пытается загнать людей в тех вузы поднять престиж. Я против этого.
Пусть делают выбор осознанно - доход сантехника/курьера выше - значит так на самом деле нужны инженеры стране.
Нет, не надо так делать. Не надо громких жирных слов, пыли в глаза. Говорите правду, как есть, я сам электронщик (не схемотехник правда, а АСУТП) бывший, отношение (в мое время было 10лет назад) чуть получше чем к работягам и зп на их же уровне.
Хорошо, что меняется в лучшую сторону, но посмотрите на цены в магазине, цены на жилье, тоже ведь все изменилось, на жилье цены выросли в 10 раз относительно 2000х годов.
Это же все вы пишите для молодежи, не для нас уже. А ей в наше время - настоящее время - надо смотреть на оценку профессии, а потом уже на все остальное (престиж, кайф, который проходит со временем и тд).
Отлик в материальном плане будет, когда будет дефицит кадров, когда люди не будут вестить на эту пропаганду о кол-ве творчества, инженер звучит гордо, таблички на дверях и тп.
На инженерах‑конструкторах и электронщиках лежит большая ответственность:
Инженеры работают с физическим миром,
работа инженеров не заканчивается
Спасибо за статью. Пафоса поменьше. Лучше напишите сколько на руки платят. (на HH посмотрел, инж-схемотехник от 90тр много вакансий (но большая часть ниже), уже хорошо конечно, думал что меньше будет).
IT маленькая деревня, а у вас вся жизнь впереди, всего 24 года, уже сеньер (серьезно, почитал прошлые ваши статьи). У вас все впереди, не закапывайте сами себя такими статьями, и не плюйте в колодец, то есть не говорите плохо о прошлом. Действуйте осторожнее, чтобы потом не вспоминать наломаные дрова всякие потом всю жизнь.
Еще как вариант на расте веб-сервер запустить, а графики в браузере смотреть - страничку нарисовать не долго, есть инструменты удобные (типа D3.js) для графиков на вебе. Данные по websocket передавать, тоже быстро будет все.
Еще свою разработку прорекламирую, пользуясь случаем. У меня ограничение только 1кГц макс, но если экстремумы будете только отправлять, то пойдет тоже.
И делайте неспеша, не надо торопиться, показать быстрее. Передо мной не надо отчитываться, я один из млн-ов которые будут смотреть ваш код на гитхабе, а не здесь. Эту статью будут читать очень мало людей, до комментов тоже еще меньше дойдет, то есть здесь можете не стараться писать в комментах как-что делать для сборки и тд. Все пишите на гитхабе, чтобы там вопросов не возникло у людей, раз решили поделиться изделием.
Я пока не умею делать юнит-тесты. Думаю можно и баз них всё оставить, т.к всё хорошо работает. Не представляю что там может пойти не так.
ай. ё-моё. У вас гитхб с 2012 года, сколько лет вам, вы же пишите получается больше 10 лет? Как можно так говорить, такую глупость, наивность блин.
Вы не профессиональный программист значит, то есть работаете не в разработке, а поддержке какой-то чтоли, или рядом где-то, менеджер чтоли, раз такой бред в голове.
Вот это все надо в Readme написать (не на русском, есст-но), подробно и понятно. QapGen.exe - бинарник уберите этот, за место него положите код, и чтобы можно было собрать не только под винду.
+юнит-тесты еще обязательно тоже (много тестов) и как их запустить инструкция. Без тестов никто не поверит, что это все работает как надо, и время свое дорогое тратить не будет - проверять на себе.
Вы и так могли бы на базе С-го интер-са создать (потом) вспом классы на конкретном языке, для удобства юзеру. И он бы сам выбирал, пользоваться ими, или спуститься пониже и свои написать обертки.
Сейчас у него один вариант только - использовать ваши ручки.
Еще BSON как вариант использовать, если у вас там прямо большие стр-ры данных передваться будут.
Плюс такого интр-са С-го простого, что можно его в любых языках использовать один и тот же, не надо ничего городить для каждого языка. Пусть юзер сам себе городит сверху что-то, если надо ему.
Для пользователя protobuf мбыть не всем удобен, да. (но протобуф быстре парсить есст-но, чем json, но это мелочь все). Вот что имею ввиду, если json-ом пусть пользоваться (на самом деле любым можно текст протоколом, без разницы):
имеем в "С" апи такую ф-ю: BOOL setParam(int ptype, char* jsonVal);
и для валидации json пусть ф-ю, пригодится чтобы проверить апи на изменение в будущем
BOOL checkParamValid(int ptype, char* jsonVal);
< задавать перелеты и сложные алгоритмы для изменения параметров камеры во время слежения:
Генератор бывает надо докручивать, и мало кто туда лезет это делать. В общем, сложно выглядит в поддержке с обоих сторон получается, и у вас и у юзера.
Приветствую.
Делал похожее (пока забросил), напишу свои отличия, может пригодится кому:
- у меня воркеры не лазили в БД, а получали задачи от шедулера.
Шедулеров могло быть несколько, у каждого свои воркеры.
Воркер не имел доступа к БД, все обновления статусов задач - через шедулер.
- шедулеры занимались пуллингом задач из БД, но с помощью триггеров (на таблице задач висел триггер на появление новых записей).
- задача представляла из себя скрипт (на python либо bash), хранились скрипты задач тоже в БД, в таблице шаблонов
- воркер запускал для каждой задачи дочерний процесс, соотв-но все свои задачи выполнял параллельно.
- воркер ничего не знал конкретно о задаче, кроме скрипта и параметров, и не был как-то специализирован на конкретный вид задач.
Соответственно любой воркер мог взять любую задачу.
Результат и прогресс выполнения задачи воркер отправлял своему шедулеру.
- если воркер не отвечает, все задачи этого воркера будут перекинуты шедулером на другой воркер, без какого-либо участия БД в этом процессе.
Вот основные вроде отличия.
Скрытый текст
Все работает без впн. Браузер для новостей не плохо заменяет.
Рад, что стали говорить как надо было сразу.
Вот вам для примера статья соседняя (по времени выхода имею ввиду) с вашей
https://habr.com/ru/articles/964282/
Почитайте и увидите разницу, и поймете мбыть, что значит своими словами написано.
Здесь тоже торчат уши ллм.
Вы можете своими словами отвечать? Вам уже 45 лет. Неужели вы не можете сфорулировать пару слов самостоятельно.
Статья ваша - это памятка, ничего нового, все это было прочитано давно уже и руками набрано не раз.
Непрошенный совет вам еще - пишите сами, пока есть такая возможность, пока мозги не отсохли еще.
Привет.
Нагадил вам в карму, потому что вторая статья от вас - полностью сгенерированная нсетью. На хабре много статей "подправленных" ллм, но с авторским содержанием, у вас же ни одной своей мысли там не видно.
Прекращайте это дело.
пс: сгенерированным "спасибо" не надо отвечать, уже тошнит видеть это дмо кругом.
я знаю, знаю что 5 лет обучения, n лет практики, и ошибки на млн-ны.
Только я не создаю этот градиент, не создаю рын запрос, а плыву в потоке как и все к катастрофе. С этим тоже полностью с вами согласен.
Но я не хочу пудрить мозги молодым людям, словами типа "смотрите как много надо учиться, знать, уметь.. чтобы стать Настоящим Инженером" и в итоге получать минимум, и жить в родительском жилье (если повезло).
Мешки на верху пытаются протянуть промышленность на дешевой раб силе еще сколько-то лет. А товарищ в своей статье им вторит -
манипуляциямигромкими словами пытаетсязагнать людей в тех вузыподнять престиж. Я против этого.Пусть делают выбор осознанно - доход сантехника/курьера выше - значит так на самом деле нужны инженеры стране.
Нет, не надо так делать. Не надо громких жирных слов, пыли в глаза.
Говорите правду, как есть, я сам электронщик (не схемотехник правда, а АСУТП) бывший, отношение (в мое время было 10лет назад) чуть получше чем к работягам и зп на их же уровне.
Хорошо, что меняется в лучшую сторону, но посмотрите на цены в магазине, цены на жилье, тоже ведь все изменилось, на жилье цены выросли в 10 раз относительно 2000х годов.
Это же все вы пишите для молодежи, не для нас уже. А ей в наше время - настоящее время - надо смотреть на оценку профессии, а потом уже на все остальное (престиж, кайф, который проходит со временем и тд).
Отлик в материальном плане будет, когда будет дефицит кадров, когда люди не будут вестить на эту пропаганду о кол-ве творчества, инженер звучит гордо, таблички на дверях и тп.
Спасибо за статью.
Пафоса поменьше. Лучше напишите сколько на руки платят.
(на HH посмотрел, инж-схемотехник от 90тр много вакансий (но большая часть ниже), уже хорошо конечно, думал что меньше будет).
Удалите эту статью.
IT маленькая деревня, а у вас вся жизнь впереди, всего 24 года, уже сеньер (серьезно, почитал прошлые ваши статьи).
У вас все впереди, не закапывайте сами себя такими статьями, и не плюйте в колодец, то есть не говорите плохо о прошлом.
Действуйте осторожнее, чтобы потом не вспоминать наломаные дрова всякие потом всю жизнь.
Приветствую.
Нормально так сделали.
Еще как вариант на расте веб-сервер запустить, а графики в браузере смотреть - страничку нарисовать не долго, есть инструменты удобные (типа D3.js) для графиков на вебе. Данные по websocket передавать, тоже быстро будет все.
Еще свою разработку прорекламирую, пользуясь случаем. У меня ограничение только 1кГц макс, но если экстремумы будете только отправлять, то пойдет тоже.
И делайте неспеша, не надо торопиться, показать быстрее.
Передо мной не надо отчитываться, я один из млн-ов которые будут смотреть ваш код на гитхабе, а не здесь. Эту статью будут читать очень мало людей, до комментов тоже еще меньше дойдет, то есть здесь можете не стараться писать в комментах как-что делать для сборки и тд.
Все пишите на гитхабе, чтобы там вопросов не возникло у людей, раз решили поделиться изделием.
ай. ё-моё. У вас гитхб с 2012 года, сколько лет вам, вы же пишите получается больше 10 лет?
Как можно так говорить, такую глупость, наивность блин.
Вы не профессиональный программист значит, то есть работаете не в разработке, а поддержке какой-то чтоли, или рядом где-то, менеджер чтоли, раз такой бред в голове.
Вот это все надо в Readme написать (не на русском, есст-но), подробно и понятно.
QapGen.exe - бинарник уберите этот, за место него положите код, и чтобы можно было собрать не только под винду.
+юнит-тесты еще обязательно тоже (много тестов) и как их запустить инструкция.
Без тестов никто не поверит, что это все работает как надо, и время свое дорогое тратить не будет - проверять на себе.
я чот не могу понять, исходников-то нет, и никто выше об этом не говорит. Или я не там где-то смотрю.
где грамматика QapDSL описана? на гитхабе не вижу, только какие-то сравнительные таблицы.
Не понятно как этим пользоваться в общем.
Вы и так могли бы на базе С-го интер-са создать (потом) вспом классы на конкретном языке, для удобства юзеру. И он бы сам выбирал, пользоваться ими, или спуститься пониже и свои написать обертки.
Сейчас у него один вариант только - использовать ваши ручки.
Сложно у вас все я и говорю об этом.
Ладно, пользователь если доволен, и у вас есть (пока) столько сил тащить все эти языки (Swift, Kotlin, Dart, потом еще другие надо будет), то.. ну ок.
колбеки же никто не отменял, С-й же интр-с. Пользователь задаст вам свой колбек, вы дерните его когда там надо..
Еще BSON как вариант использовать, если у вас там прямо большие стр-ры данных передваться будут.
Плюс такого интр-са С-го простого, что можно его в любых языках использовать один и тот же, не надо ничего городить для каждого языка. Пусть юзер сам себе городит сверху что-то, если надо ему.
Для пользователя protobuf мбыть не всем удобен, да. (но протобуф быстре парсить есст-но, чем json, но это мелочь все).
Вот что имею ввиду, если json-ом пусть пользоваться (на самом деле любым можно текст протоколом, без разницы):
имеем в "С" апи такую ф-ю:
BOOL setParam(int ptype, char* jsonVal);
и для валидации json пусть ф-ю, пригодится чтобы проверить апи на изменение в будущем
BOOL checkParamValid(int ptype, char* jsonVal);
< задавать перелеты и сложные алгоритмы для изменения параметров камеры во время слежения:
setParam(CAM_TANG, "{"deg": 2, "posA": 1234, "posB" : 567...}");
Пользователю давать эти ф-ии в руки, а не сгенерирован классы, и он будет доволен.
Генератор бывает надо докручивать, и мало кто туда лезет это делать. В общем, сложно выглядит в поддержке с обоих сторон получается, и у вас и у юзера.