Реддит говорит, что с затратами на уровне 600$ удалось создать модель, обогнавшую по тестам chatGPT4.
Тут вопрос больше в сборе адекватного и с минимальным количеством ошибок датасета.... Американским грандам полафрики их за 2$/ч проверяет.... А вам кто будет создавать?
Ни сравнения, ни остального, не говоря уже о том, что в выборку объединены абсолютно разные программы. Попробуйте распознать фото на идише с помощью Лингво. Это словарь, слова в который надо вводить. А если язык незнакомый? Если нет нужной раскладки? МП типа DeepL тоже не имеют OCR. Имхо, текст название абсолютно неадекватно содержимому....
Последнее время очень регулярно сталкиваюсь с г...документацией, написанной даже вроде в соответствии с ГОСТами, но по сути - ради галочки....
Почти вся виденная в последнее время техдокументация страдает от одной единственной вещи - техписы НЕ ЗНАЮТ, ДЛЯ ЧЕГО ОПИСЫВАЕМАЯ ИМИ ВЕЩЬ И КАК ЭФФЕКТИВНО С ЕЁ ПОМОЩЬЮ ДЕЛАТЬ ТУ РАБОТУ, ДЛЯ КОТОРОЙ ОНА ПРЕДНАЗНАЧЕНА. Вот и ограничивается всё по сути описанием элементов, которые в идеале должны быть самопонятными. А потом, например в ИТ, через год-два валом начинают выходить книги разной степени практической направленности - для чайников, приёмы и секреты работы и т.п.
Самая наглая ложь... Попробуйте стандартными средствами задействовать/переназначить кнопки у многих многокнопочных мышей (их X-mouse button даже не видит эти кнопки).... Сколько их поддерживает стандартный виндузный драйвер? То же самое и с клавиатурами, да и в принципе со всей периферией...В лучшем случае рабочим останется самый минимальный функционал.
Знаете, сейчас почти везде очень заметно, что в ИТ-компаниях программисты понятия не имеют для чего и как используется их программа (или как её эффективно использовать), как работает код, написанный до них и т.п. Поэтому и выходят новые версии с навешанными свистоперделками, перерисованными иконками и с фигой вместо реальных улучшений и исправления багов, которые тянутся порой десятки лет уже (зато часто с новыми багами из-за попыток пристыковать новое к непонятно как работающему старому). Время, когда софт по конкретные потребности писали люди:
а) хорошо понимающие эти потребности (потому что это были именно их потребности, а не потребность выкачать бабло из потребителей) б) чётко представляющие, как этот софт должен работать (понимание задачи, гораздо более серьёзная системная физмат подготовка) с) понимающие, что свистоперделки - это свистоперделки, а никакие не улучшения
При аппаратном контроле нет необходимости останавливать аппарат для проверки состояния сита, можно кратковременно прекратить подачу продукта, сфотать сито и открыть подачу продукта. Пыль конечно проблема - но она и в цеху будет проблемой, особенно в зоне ссыпания. Если пыль не липкая - обдув сжатым воздухом защитного стекла объектива поможет. А вот при контроле мелочи даже уровень очистки стекла может стать проблемой. К тому же есть просто масса дешёвых механических способов определения наличия крупноразмерных включений, свидетельствующих о проблеме с ситом....
Нет необходимости в постоянной работе. Ваша система имеет всего лишь гораздо большую частоту выборки - равную частоте кадров, которая подбирается по размерам и скорости прохождения частиц в поле обзора.... Цикл будет примерно 0,05-0,1 с
Вы сравниваете вашу систему с изначально дефектной системой, не позволяющей отобрать представительную пробу... Тогда я подчеркну дефектность вашей системы — одномерная съёмка не даёт адекватной информации о размере частиц, а 2 или 3 мерная съёмка на ссыпе с ленты по сути невозможна...
Почти любое механическое устройство вам сделает инструментальный завод, чего не скажешь про камеры и вашу электронику, особенно сейчас, когда производители хотят контролировать всё онлайн (и могут поступить, как некоторые автопроизводители, отключившие российских пользователей от баз). Во вторых, оно будет дешевле даже одного сервака, способного обсчитывать картинки в реальном времени, особенно если в 4к и 60 кадров..... К тому же с простым механическим устройством производитель по попадает в зависимость от вас при возникновении проблем.
Камеры, интерфейсы, крутой сервак для обсчёта, софт, лицо, которое всё это будет контролировать, исправлять косяки, допиливать еще несколько месяцев (с ЗП явно поболее чем у рабочего, и скорее всего, чем у основных специалистов/руководства нижнего/среднего звена) - ЭТО СОВСЕМ НИЧЕГО ЧТО-ЛИ?
Пока заявления о ТОЧНОСТИ РЕЗУЛЬТАТОВ абсолютно ГОЛОСЛОВНЫ. По каким утверждённым хотя бы в ТЗ методикам вы проверили и подтвердили точность? Каково полученное среднее отклонение результатов оптического контроля от результатов контроля гранулометрического (рассев). Назовите цифру, максимальное отклонение вверх и вниз, объём выборки, доверительный интервал...
Сбор статистики и отслеживание динамики - для каких целей? Такая задача была в ТЗ?
Т.е. движущиеся частицы вы контролировать камерами можете - а состояние сита нет... ???
А то, что вы делаете - это что не доработка? Решить решение, делать этого нельзя - я перестаю вас понимать.... Любые технические вопросы требуют технических решений. Они могут быть удачными или неудачными, дешёвыми или дорогими сразу или в эксплуатации .... Нельзя без доказательств - признак нежелания заниматься вопросом или заинтересованности в альтернативном решении.
Сколько решений вы предложили и рассмотрели, прежде чем остановиться на камерах? И это в среде с высокой запылённостью, вибрациями, помехами от мощных двигателей и т.п.
грансоставе, которую на непрерывной основе нельзя узнавать никаким другим образом — Что по теме вы прочитали? Этот вопрос уже давным давно решён. 1. Если, как вы пишете, никаким другим способом нельзя - чем вы подтвердите полученные вами данные о гран. составе? 2. Чтобы в сплошном потоке чётко выделять частицы - нужно разделять их в нескольких неперекрывающихся направлениях. (Вдруг большой кусок будет закрывать несколько малых, или из-за нечёткой линии разделения - несколько малых кусков система пример за один большой, или кусок будет иметь длинный задний хвост). И сложность сразу возрастает на порядки. Во-первых у потока с конвейера удобное только одно направление съёмки - перпендикулярно плоскости ленты. Как определить, что две разных картинки XZ и YZ принадлежат одной частице? и т.д. и т.п.
Не проще ли поставить улавливатель совмещенный с грохотом и весами, который будет раз в 3-5-10-30-60 минут отбирать порцию материала и выдавать состав по данным рассева. Или скат из параллельных труб и ковш в конце самоопрокидывающийся при наполнении, и отслеживать частоту его опрокидывания. А если в скате трубы сложить веером и установить перегородку снизу там, где отверстия станут чрезмерно широкими - можно сразу отсеивать крупные куски....
Так может проще сделать систему контроля целостности сит? Или поставить контрольное сито - улавливатель, при появлении крупных кусков на котором, идти искать дефектное сито.....
Говорить о том, что сложное решение лучше простого - сие есть странность или материальная заинтересованность в сложном решении, с которого еще потом можно хорошо иметь на техподдержке/допилинге.... Сито - цельная железяка....В нём нет движущихся частей..... А вот компьютер, интерфейсы, защита от ЭМП, защита камер от пыли, которой в таких системах ВОЗ.....- это всё очень просто и легко - уж точно «проще цельной железной решётки»..... Зачем придумывать - есть конкретное тех. задание... Считать - глупость. Есть такой процесс - (дополнительное) грохочение....
Вы бы толкового технолога нашли сначала. А то смотрю разные ИТ решения последних лет - ОБЩАЯ ПРОБЛЕМА —неадекватное понимание проблемы и стремление решить её через задний проход....
Такое решение похоже на придумывание супер-пупер автоматического пистолета для забивания 1-2 гвоздей..... Зато, вероятно, позволяет хорошо жить и ИТ и тем кто их подряжает....
В чём смысл увеличивать производительность, если весь этот рост загонят в минус говнокодеры? Во вторых - самым медленным звеном в системе человек-компьютер уже давно является человек... Общая производительность любых сложных систем определяется самым медленным звеном... Отсюда вытекает вывод, что производительность наращивается, чтобы скрыть нарастающий дебилизм и полнейшее отсутствие оптимизации у говнокодеров из больших компаний....
Вон сегодня опять - обновление Windows приводит к нарушению запуска основных программ, включая MSOffice....
Странно, но постоянно слышу такое именно от тех, у кого и продукты гуано, а документация нередко что фиговый листок... Вот у тех, у кого она нормальная есть, те да, могут указывать на определённые недостатки, но никогда не покрывают всё навозом огульно.
Это в каком это госте есть такой вид документации, как мануал? В течении дня - ОРФО тоже подчёркивает, как ошибку....Жаль только среди всех ИТ-шных льгот и субсидий не нашлось немного денег для ИНФОРМАТИКА с Институтом русского языка для допиливания ОРФО по качеству и в части поддержки других форматов и его принятия в качестве некоего базового уровня или стандарта.....
Интересно, у вас жена никогда не убирала ваши вещи в место, которое нравится ей, или которое она считает более уместным для этих вещей?
А если по аналогии производители машин поменяют местами педали тормоза и газа - тоже сглотнёте всякую муйню про прогресс или выскажете, всё что думаете, въехав в первое дерево?
Мусор - мусорные сегменты: цифры, обозначения, оригинал=перевод, дубликаты, непереводы, неверно разбитые сегменты. Если вы чистили автоматами - вы могли удалить только мусор типа цифр, обозначений, оригинал=перевод, дубликаты.
Я поверху посмотрел 3 корпуса - ООН - самый качественный. Там 2 проблемы — наличие в части документов исправлений в обеих частях, и плохая сегментация (разбиение текста на единицы перевода - т.е. на предложения). Навскидку - таких сегментов там около процента. Wiki — там непереводы сразу попадаются на глаза - и таких в начальной части - несколько процентов.
База МП текстов с сайтов (ибо внутри есть параметры оценки по различным алгоритмам и много интернет ссылок) - общим объёмом 34 GB — ГОВНО - там нормальных переводов 10-20% навскидку.
Часть мусора можно очистить автоматикой Olifant - гуглите. Логический мусор - непереводы очистить можно только вручную.... (частично - при наличии некоторых ключевых идентификаторов - слова, имеющие только один перевод, числа, даты, ФИО, имена собственные — такие сегменты можно вычистить по ним/повторному МП ———— это относится к базе Вики).
Но беда с сырьём — это сейчас проблема почти всех, кто работает с Big-data.... Только программисты готовы делать из говна непонятно что. В любых реальных отраслях есть жёсткие требования к качеству исходного сырья и материалов.
Написал я то, что материалы для работы ненадлежащие. По тому, что вижу, реальным путём повышения качества может быть простая очистка баз от всякого мусора и повторное обучение.
Реддит говорит, что с затратами на уровне 600$ удалось создать модель, обогнавшую по тестам chatGPT4.
Тут вопрос больше в сборе адекватного и с минимальным количеством ошибок датасета.... Американским грандам полафрики их за 2$/ч проверяет.... А вам кто будет создавать?
Ни сравнения, ни остального, не говоря уже о том, что в выборку объединены абсолютно разные программы. Попробуйте распознать фото на идише с помощью Лингво. Это словарь, слова в который надо вводить. А если язык незнакомый? Если нет нужной раскладки?
МП типа DeepL тоже не имеют OCR.
Имхо, текст название абсолютно неадекватно содержимому....
Последнее время очень регулярно сталкиваюсь с г...документацией, написанной даже вроде в соответствии с ГОСТами, но по сути - ради галочки....
Почти вся виденная в последнее время техдокументация страдает от одной единственной вещи - техписы НЕ ЗНАЮТ, ДЛЯ ЧЕГО ОПИСЫВАЕМАЯ ИМИ ВЕЩЬ И КАК ЭФФЕКТИВНО С ЕЁ ПОМОЩЬЮ ДЕЛАТЬ ТУ РАБОТУ, ДЛЯ КОТОРОЙ ОНА ПРЕДНАЗНАЧЕНА.
Вот и ограничивается всё по сути описанием элементов, которые в идеале должны быть самопонятными.
А потом, например в ИТ, через год-два валом начинают выходить книги разной степени практической направленности - для чайников, приёмы и секреты работы и т.п.
Самая наглая ложь... Попробуйте стандартными средствами задействовать/переназначить кнопки у многих многокнопочных мышей (их X-mouse button даже не видит эти кнопки).... Сколько их поддерживает стандартный виндузный драйвер? То же самое и с клавиатурами, да и в принципе со всей периферией...В лучшем случае рабочим останется самый минимальный функционал.
Знаете, сейчас почти везде очень заметно, что в ИТ-компаниях программисты понятия не имеют для чего и как используется их программа (или как её эффективно использовать), как работает код, написанный до них и т.п. Поэтому и выходят новые версии с навешанными свистоперделками, перерисованными иконками и с фигой вместо реальных улучшений и исправления багов, которые тянутся порой десятки лет уже (зато часто с новыми багами из-за попыток пристыковать новое к непонятно как работающему старому). Время, когда софт по конкретные потребности писали люди:
а) хорошо понимающие эти потребности (потому что это были именно их потребности, а не потребность выкачать бабло из потребителей)
б) чётко представляющие, как этот софт должен работать (понимание задачи, гораздо более серьёзная системная физмат подготовка)
с) понимающие, что свистоперделки - это свистоперделки, а никакие не улучшения
давно прошло.....
При аппаратном контроле нет необходимости останавливать аппарат для проверки состояния сита, можно кратковременно прекратить подачу продукта, сфотать сито и открыть подачу продукта. Пыль конечно проблема - но она и в цеху будет проблемой, особенно в зоне ссыпания. Если пыль не липкая - обдув сжатым воздухом защитного стекла объектива поможет. А вот при контроле мелочи даже уровень очистки стекла может стать проблемой. К тому же есть просто масса дешёвых механических способов определения наличия крупноразмерных включений, свидетельствующих о проблеме с ситом....
Нет необходимости в постоянной работе. Ваша система имеет всего лишь гораздо большую частоту выборки - равную частоте кадров, которая подбирается по размерам и скорости прохождения частиц в поле обзора.... Цикл будет примерно 0,05-0,1 с
Вы сравниваете вашу систему с изначально дефектной системой, не позволяющей отобрать представительную пробу... Тогда я подчеркну дефектность вашей системы — одномерная съёмка не даёт адекватной информации о размере частиц, а 2 или 3 мерная съёмка на ссыпе с ленты по сути невозможна...
Почти любое механическое устройство вам сделает инструментальный завод, чего не скажешь про камеры и вашу электронику, особенно сейчас, когда производители хотят контролировать всё онлайн (и могут поступить, как некоторые автопроизводители, отключившие российских пользователей от баз).
Во вторых, оно будет дешевле даже одного сервака, способного обсчитывать картинки в реальном времени, особенно если в 4к и 60 кадров.....
К тому же с простым механическим устройством производитель по попадает в зависимость от вас при возникновении проблем.
Хотя это проблемы вашего заказчика....
Камеры, интерфейсы, крутой сервак для обсчёта, софт, лицо, которое всё это будет контролировать, исправлять косяки, допиливать еще несколько месяцев (с ЗП явно поболее чем у рабочего, и скорее всего, чем у основных специалистов/руководства нижнего/среднего звена) - ЭТО СОВСЕМ НИЧЕГО ЧТО-ЛИ?
Пока заявления о ТОЧНОСТИ РЕЗУЛЬТАТОВ абсолютно ГОЛОСЛОВНЫ. По каким утверждённым хотя бы в ТЗ методикам вы проверили и подтвердили точность? Каково полученное среднее отклонение результатов оптического контроля от результатов контроля гранулометрического (рассев). Назовите цифру, максимальное отклонение вверх и вниз, объём выборки, доверительный интервал...
Сбор статистики и отслеживание динамики - для каких целей? Такая задача была в ТЗ?
Т.е. движущиеся частицы вы контролировать камерами можете - а состояние сита нет... ???
А то, что вы делаете - это что не доработка?
Решить решение, делать этого нельзя - я перестаю вас понимать.... Любые технические вопросы требуют технических решений. Они могут быть удачными или неудачными, дешёвыми или дорогими сразу или в эксплуатации ....
Нельзя без доказательств - признак нежелания заниматься вопросом или заинтересованности в альтернативном решении.
Сколько решений вы предложили и рассмотрели, прежде чем остановиться на камерах? И это в среде с высокой запылённостью, вибрациями, помехами от мощных двигателей и т.п.
грансоставе, которую на непрерывной основе нельзя узнавать никаким другим образом — Что по теме вы прочитали? Этот вопрос уже давным давно решён.
1. Если, как вы пишете, никаким другим способом нельзя - чем вы подтвердите полученные вами данные о гран. составе?
2. Чтобы в сплошном потоке чётко выделять частицы - нужно разделять их в нескольких неперекрывающихся направлениях. (Вдруг большой кусок будет закрывать несколько малых, или из-за нечёткой линии разделения - несколько малых кусков система пример за один большой, или кусок будет иметь длинный задний хвост). И сложность сразу возрастает на порядки. Во-первых у потока с конвейера удобное только одно направление съёмки - перпендикулярно плоскости ленты. Как определить, что две разных картинки XZ и YZ принадлежат одной частице? и т.д. и т.п.
Не проще ли поставить улавливатель совмещенный с грохотом и весами, который будет раз в 3-5-10-30-60 минут отбирать порцию материала и выдавать состав по данным рассева. Или скат из параллельных труб и ковш в конце самоопрокидывающийся при наполнении, и отслеживать частоту его опрокидывания. А если в скате трубы сложить веером и установить перегородку снизу там, где отверстия станут чрезмерно широкими - можно сразу отсеивать крупные куски....
Так может проще сделать систему контроля целостности сит? Или поставить контрольное сито - улавливатель, при появлении крупных кусков на котором, идти искать дефектное сито.....
Говорить о том, что сложное решение лучше простого - сие есть странность или материальная заинтересованность в сложном решении, с которого еще потом можно хорошо иметь на техподдержке/допилинге....
Сито - цельная железяка....В нём нет движущихся частей..... А вот компьютер, интерфейсы, защита от ЭМП, защита камер от пыли, которой в таких системах ВОЗ.....- это всё очень просто и легко - уж точно «проще цельной железной решётки».....
Зачем придумывать - есть конкретное тех. задание...
Считать - глупость. Есть такой процесс - (дополнительное) грохочение....
Вы бы толкового технолога нашли сначала. А то смотрю разные ИТ решения последних лет - ОБЩАЯ ПРОБЛЕМА —неадекватное понимание проблемы и стремление решить её через задний проход....
Такое решение похоже на придумывание супер-пупер автоматического пистолета для забивания 1-2 гвоздей..... Зато, вероятно, позволяет хорошо жить и ИТ и тем кто их подряжает....
Не проще ли негабарит вылавливать сетками/решётками?
В чём смысл увеличивать производительность, если весь этот рост загонят в минус говнокодеры?
Во вторых - самым медленным звеном в системе человек-компьютер уже давно является человек... Общая производительность любых сложных систем определяется самым медленным звеном...
Отсюда вытекает вывод, что производительность наращивается, чтобы скрыть нарастающий дебилизм и полнейшее отсутствие оптимизации у говнокодеров из больших компаний....
Вон сегодня опять - обновление Windows приводит к нарушению запуска основных программ, включая MSOffice....
Странно, но постоянно слышу такое именно от тех, у кого и продукты гуано, а документация нередко что фиговый листок... Вот у тех, у кого она нормальная есть, те да, могут указывать на определённые недостатки, но никогда не покрывают всё навозом огульно.
ГОСТ 34.201 не предусматривает такого документа как «Руководство оператора»
Манулы и мануалы: можно ли избавиться от дурацких описок в технических текстах
В упор не вижу manual.
Это в каком это госте есть такой вид документации, как мануал?
В течении дня - ОРФО тоже подчёркивает, как ошибку....Жаль только среди всех ИТ-шных льгот и субсидий не нашлось немного денег для ИНФОРМАТИКА с Институтом русского языка для допиливания ОРФО по качеству и в части поддержки других форматов и его принятия в качестве некоего базового уровня или стандарта.....
Интересно, у вас жена никогда не убирала ваши вещи в место, которое нравится ей, или которое она считает более уместным для этих вещей?
А если по аналогии производители машин поменяют местами педали тормоза и газа - тоже сглотнёте всякую муйню про прогресс или выскажете, всё что думаете, въехав в первое дерево?
Затем, что речь идёт о базах для обучения модели. И если вы оставите в них говно, это говно потом будет преследовать вас всю дальнейшую жизнь.....
Мусор - мусорные сегменты: цифры, обозначения, оригинал=перевод, дубликаты, непереводы, неверно разбитые сегменты. Если вы чистили автоматами - вы могли удалить только мусор типа цифр, обозначений, оригинал=перевод, дубликаты.
Я поверху посмотрел 3 корпуса - ООН - самый качественный. Там 2 проблемы — наличие в части документов исправлений в обеих частях, и плохая сегментация (разбиение текста на единицы перевода - т.е. на предложения). Навскидку - таких сегментов там около процента. Wiki — там непереводы сразу попадаются на глаза - и таких в начальной части - несколько процентов.
База МП текстов с сайтов (ибо внутри есть параметры оценки по различным алгоритмам и много интернет ссылок) - общим объёмом 34 GB — ГОВНО - там нормальных переводов 10-20% навскидку.
Часть мусора можно очистить автоматикой Olifant - гуглите. Логический мусор - непереводы очистить можно только вручную.... (частично - при наличии некоторых ключевых идентификаторов - слова, имеющие только один перевод, числа, даты, ФИО, имена собственные — такие сегменты можно вычистить по ним/повторному МП ———— это относится к базе Вики).
Но беда с сырьём — это сейчас проблема почти всех, кто работает с Big-data.... Только программисты готовы делать из говна непонятно что. В любых реальных отраслях есть жёсткие требования к качеству исходного сырья и материалов.
Написал я то, что материалы для работы ненадлежащие. По тому, что вижу, реальным путём повышения качества может быть простая очистка баз от всякого мусора и повторное обучение.