"у нас" я реализовал это уже пару лет назад. Претензий (и иллюзий) к скилам ФТ у меня нет. Но такие задачи надо ставить и решать грамотно, а не совать везде ИИшку, используя микроскоп для забивания гвоздей. Ваш подход я не осуждаю, на коленке, для 10-50 ТК может и пойдет. Я против явно неэффективных решений для пром. внедрений, где нужно много, быстро, дешево и надежно.
Ваш подход при поиске дублей ТК - это "из пушки по воробьям". Правильный подход - получить из ТК через эмбеддинги вектора ТК и сравнить их между собой на близость (косинусное расстояние, например). Близкие по смыслу ТК("одинаковые") будут иметь сходство > 0.99 Даже если у вас нет ИИ-модели (например, подойдет LaBSE), которая учитывает "смысл" ТК, можно применить математический метод TF-IDF, который смысл ТК не учитывает, а работает с частотностью - точность будет ниже, но все равно применимо, можно просто на cpu. Условно на 10 000 ТК: LaBSE выдаст 100 ТК для подтверждения, что отобраныне ТК являются дублями TF-IDF выдаст 500 ТК для подтверждения, что отобраныне ТК являются дублями но это все равно намного меньше, чем 10к ТК анализировать
По скорости работы - будет значительно быстрее, чем через промпты закидывать в ИИшку и ждать, пока она сделает почти то же самое, что и LaBSE. Для 10 000 ТК я уже молчу.
вообще это не важно. такой подход закрывает риски (вероятность вредоноса * последствия). яркими примерами могут служить редкие, но сильно влияющие компрометации пакетов trivy, litellm и др. Цена "убытков" от проникновения таких пакетов в прод на порядки выше цены "системы санации пакетов".
Русского нет.. Изначально многоязычный: автоматическое определение языка и современное исполнение на наиболее широко используемых языках мира (английском, испанском, французском, португальском, хинди, немецком, голландском, итальянском).
пожалуйста, не говорите, что вы просили "ГНИИ ПТЗИ не прелагать" на 3 слайде явно описаны все документы, стандарты, последовательность действий. компиляцию действий на их основе и слайдах ниже можно самому составить, полный текст применительно к конкретному случаю (например к Госуслугам) в открытом доступе, конечно, нет. Само наличие таких слайдов, как опоры для действий уже успех. Прошу без негатива, если ничем не помог :-)
AppDynamics в России недоступен, поправьте. В целом как обзорная, "каркасная" статья для джунов - нормально, спасибо, положил в раздел "для новых сотрудников-джунов"
технически это просто: есть коммит разработки. добавляют тест-локаторы. делают коммит раскатывают и тестируют на тест -стенде откатывают коммит раскатывают на проде или вообще добавляют в отдельной ветке локаторы. которую потом удаляют
но вот процесс вставки тест-локаторов интересен, не руками же их вставляют
Тестировщик рассказал обо всем - о маркетинге, о дизайне, о прекрасной команде 1С. Обо всем. Кроме тестирования... Кстати, с точки зрения безопасности, ваш Битрикс дырявый, надеюсь, сейчас станет чуть получше.
могу поделиться своими данными. модели whisper-large-v3 и тюнингованной для русского языка(ссылки в конце). аудиофайл 8 мин, на русском языке, 128 кбит/сек Тестовый стенд: amd r9 7950x 16 core (32 logic proc )/ 64 Gb ram / nvidia 4090 24 gb vram large-v3 на cpu: ram 12 Гб, утилизация cpu >60%, ~16 мин транскрибация large-v3 на gpu: ram 10 Гб, утилизация cpu <10%, утилизация gpu 10 gb, ~2.5 мин large-v3-rus на cpu: ram 12 Гб, утилизация cpu >60%, ~2 мин large-v3-rus на gpu: ram 10 Гб, утилизация cpu <10%, утилизация gpu 10 gb, ~7 сек качество транскрибации на large-v3 - хорошее качество транскрибации на large-v3-rus - отличное
"у нас" я реализовал это уже пару лет назад. Претензий (и иллюзий) к скилам ФТ у меня нет. Но такие задачи надо ставить и решать грамотно, а не совать везде ИИшку, используя микроскоп для забивания гвоздей. Ваш подход я не осуждаю, на коленке, для 10-50 ТК может и пойдет. Я против явно неэффективных решений для пром. внедрений, где нужно много, быстро, дешево и надежно.
Ваш подход при поиске дублей ТК - это "из пушки по воробьям".
Правильный подход - получить из ТК через эмбеддинги вектора ТК и сравнить их между собой на близость (косинусное расстояние, например).
Близкие по смыслу ТК("одинаковые") будут иметь сходство > 0.99
Даже если у вас нет ИИ-модели (например, подойдет LaBSE), которая учитывает "смысл" ТК, можно применить математический метод TF-IDF, который смысл ТК не учитывает, а работает с частотностью - точность будет ниже, но все равно применимо, можно просто на cpu.
Условно на 10 000 ТК:
LaBSE выдаст 100 ТК для подтверждения, что отобраныне ТК являются дублями
TF-IDF выдаст 500 ТК для подтверждения, что отобраныне ТК являются дублями
но это все равно намного меньше, чем 10к ТК анализировать
По скорости работы - будет значительно быстрее, чем через промпты закидывать в ИИшку и ждать, пока она сделает почти то же самое, что и LaBSE. Для 10 000 ТК я уже молчу.
ох уж эти вайбкодеры...
вообще это не важно. такой подход закрывает риски (вероятность вредоноса * последствия). яркими примерами могут служить редкие, но сильно влияющие компрометации пакетов trivy, litellm и др. Цена "убытков" от проникновения таких пакетов в прод на порядки выше цены "системы санации пакетов".
Пожалуйста, прячьте портянки кода под спойлер
Русского нет..
Изначально многоязычный: автоматическое определение языка и современное исполнение на наиболее широко используемых языках мира (английском, испанском, французском, португальском, хинди, немецком, голландском, итальянском).
пожалуйста, не говорите, что вы просили "ГНИИ ПТЗИ не прелагать" на 3 слайде явно описаны все документы, стандарты, последовательность действий.
компиляцию действий на их основе и слайдах ниже можно самому составить, полный текст применительно к конкретному случаю (например к Госуслугам) в открытом доступе, конечно, нет. Само наличие таких слайдов, как опоры для действий уже успех.
Прошу без негатива, если ничем не помог :-)
я ходил. взял оттуда полные данные (название, номер, дату). поискал в инете и вот.
оно? https://gca.voskhod.ru/upload/iblock/e29/3005g0n1ou55rg1afqh6un3k6hf3u404/metod.pdf
https://fstec.ru/dokumenty/vse-dokumenty/informatsionnye-i-analiticheskie-materialy/informatsionnoe-soobshchenie-fstek-rossii-ot-10-fevralya-2021-g-n-240-24-647
Это искали?
AppDynamics в России недоступен, поправьте.
В целом как обзорная, "каркасная" статья для джунов - нормально, спасибо, положил в раздел "для новых сотрудников-джунов"
технически это просто:
есть коммит разработки.
добавляют тест-локаторы.
делают коммит
раскатывают и тестируют на тест -стенде
откатывают коммит
раскатывают на проде
или вообще добавляют в отдельной ветке локаторы. которую потом удаляют
но вот процесс вставки тест-локаторов интересен, не руками же их вставляют
Статья от EPAM (USA), отсюда, видимо, нет Российских примеров.
Подкину один https://testit.software/
Тестировщик рассказал обо всем - о маркетинге, о дизайне, о прекрасной команде 1С.
Обо всем. Кроме тестирования...
Кстати, с точки зрения безопасности, ваш Битрикс дырявый, надеюсь, сейчас станет чуть получше.
а как же Fooocus?
Статья состоит из гпт-лозунгов, без какой-либо конкретики, расчетов, примеров применения.
Публикация ни о чем, простите.
" Мягкие навыки ". Уважаемые авторы, просьба вычитывать гпт-материалы перед публикацией.
https://habr.com/ru/companies/ruvds/articles/865882/
на 8 Гб vram 3070 будет работать, сейчас проводим тесты для определения оптимальной конфигурации под наши нужды
могу поделиться своими данными.
модели whisper-large-v3 и тюнингованной для русского языка(ссылки в конце).
аудиофайл 8 мин, на русском языке, 128 кбит/сек
Тестовый стенд: amd r9 7950x 16 core (32 logic proc )/ 64 Gb ram / nvidia 4090 24 gb vram
large-v3 на cpu: ram 12 Гб, утилизация cpu >60%, ~16 мин транскрибация
large-v3 на gpu: ram 10 Гб, утилизация cpu <10%, утилизация gpu 10 gb, ~2.5 мин
large-v3-rus на cpu: ram 12 Гб, утилизация cpu >60%, ~2 мин
large-v3-rus на gpu: ram 10 Гб, утилизация cpu <10%, утилизация gpu 10 gb, ~7 сек
качество транскрибации на large-v3 - хорошее
качество транскрибации на large-v3-rus - отличное
OpenAI Whisper https://huggingface.co/openai/whisper-large-v3
Тюнингованная модель OpenAI Whisper https://huggingface.co/antony66/whisper-large-v3-russian/tree/main
Astra linux/red os/ ждет вас /s
т.е автоматизация тестирования теперь называется QAOps. Спасибо.