Убираем эту неопределенность любым детерминированным алгоритмом (сортировка по координатам, сумма, умножение), получаем нормальное случайное число, вроде как
Хэш нейросети, это хэш по смыслу, а по сути это полносвязный слой, его размер может быть любым, популярные значения это 128, 512 и 2048, но это просто для красоты, обычно чем больше, тем точнее, чем меньше, тем быстрее выполнять поиск и идёт торг
Извините, вы читали статью? В ней показано, что они не устойчивы даже к зеркалированию, я в первом комментарии акцентировал внимание на том, что они очень чувствительны к кропу (ака сдвиг). Но это не делает их а) бесполезными б) медленными. У них до сих пор есть свое применение (поиск похожих картинок с учетом изменений из статьи, типа поменять яркость), они до сих пор в сотни раз быстрее нейросетей. Для каждой задачи свой инструмент.
Вы заблуждаетесь, самый простой вариант "визуального хэша" это 1) уменьшить картинку максимально грубо, сложные алгоритмы рейсайза не нужны 2) сделать простейшее преобразование (вроде вычесть среднее). Все. Что такое mobilenet - это кроме исходного того же уменьшить картинку (а тут уже алгоритмы уменьшения важны) десятки дорогих сверток, разница в скорости между простейшим хэшом и Mobilenet десятки, если не сотни раз.
Речь, как мне кажется, была про то, что даже самая простая нейронка в разы (десятки, сотни раз) медленнее "метода конца нулевых" и требует больше ресурсов, image processing нейросетями всегда дорогой, увы. Тут скорее выбор между "быстро и тупо" или "качественно". Для личного бложика на VPS нейросети не затащишь, для каждой задачи свой инструмент, и простые хэши все еще актуальны (и долго будут)
Это многое объясняет, учитывая специфику их сайта (мемасы с одной картинкой но разным текстом не баяны, а кропы артов - баяны) pHash там не подходит от слова совсем.
я когда пару лет назад смотрел по теме, часто натыкался на научные работы их, вот для точки отсчета, например, https://arxiv.org/pdf/1908.01707.pdf, мб что-то уже и свежее есть
Спасибо за статью, если правильно помню, все подобные хэши работают нормально до первого кропа (особенно если отрезать чуть сверху). Промежуточным решением тут могут быть ключевые точки, от старых SURF/SIFT до современных нейросетевых, но нишу уже заполняют API варианты "дай мне картинку, дам тебе fingerprint", которые уже end2end сетевые. Так как кроме "дубликатов" многие хотят уже и рекомендации "похожего". На том же Пикабу их поиск дубликатов, кажется, работает на уровне попиксельного сравнения, почему они до сих пор не решат эту проблему - для меня загадка, хотя у них наверно совсем другие приоритеты. А вот в качестве положительного примера могу привести Pinterest, они на этом очень заморочены (включая научные исследования) и имхо часто выглядят сильно лучше Гугла или Яндекса. Но для просто топорного поиска pHash до сих есть и еще долгу будет работать
Это какое-то странное желание юлить, для вас восстановлю хронологию: @AWE64 спрашивает вас: "А чья это проблема, что система в качестве десктопной ос - неюзабельное говно? " На что вы отвечаете: "Благодаря эффективности линукс сейчас везде - от стиралки до AWS. И каждая домохозяйка его использует чаще, чем вы предполагает и чаще, чем какую-нибудь затхлую венду, у которой последнюю аудиторию отняли приставки вроде PS" При чем тут роутеры и Android? Если вы "вдруг" поменяли тему с десктопов, то изначально речь была, среди прочего, про "проблемы драйверов nvidia", очевидно, что речь идет про десктопы, или на роутерах тоже проблемы с драйверами nvidia?
> Баги кде не относятся к линукс. Пользуйте гном или и3
Подскажите, как поставить кде или гном на роутер? Весь тред (и в ваших сообщениях тоже) говорим про десктопы и тут "ой, я про роутеры вообще-то"
Это все здорово, а что с "И каждая домохозяйка его использует чаще, чем вы предполагает и чаще, чем какую-нибудь затхлую венду", это на чем основано? Там даже не близко, там в десятки раз разница не в пользу линукса, это не "чаще", это "крайне редко", какой смысл нести такую очевидную ерунду? Или мы чего-то не знаем и линукс у домохозяек перевалил за 50%?
По моим наблюдениям 100% домохозяек не пользуется линуксом
Обычные такие слова надо как-то подтверждать, я нагуглил рандомные статьи, что на десктопе линукс в 2017 году -- 2.98%, а в 2020 -- 2.33%, это уже прорыв, или еще рывок? Или у вас другие данные? Винда ~90% и ~86% соответственно (ее долю отжирает МакОС)
который понимает наши вопросы, и дает весьма сложные, развернутые, но иногда совершенно бессмысленные ответы. ... Что бы сделал разумный человек в такой ситуации, чтобы показать, что это чепуха?
Далеко от некого "идеального человека разумного", но вполне похоже на детей или студентов на экзаменах :)
> могут быть вспомогательной частью Я имел ввиду другое, просто тут опять таки мешают некоторые внутренние представления о, я, например, держал в голове некого гуманоидного робота (как в фильме ex machine), и частью == зрение реализовано сверточными нейросетями, из картинки получить некоторые внутренние представления, который идут в "мозг", то есть текущие развитие это реализация мелких составных частей некого будущего ИИ (как АЛУ у процессора, но вот сам процессор еще предстоит изобрести).
Следует ли это понимать так, что нейросети не являются (не будут?) основной сильного ИИ?
Вопрос не ко мне, но немного влезу, мы сейчас не особо знаем "что такое сильный ИИ", раньше был тест Тьюринга, но даже он плохо формализован и модель его уже прошла (хоть и с оговорками). Так что я тут согласен с автором, сперва надо сделать хотя бы какие-то формальные критерии сильного ИИ, а уже потом рассуждать о том, что ляжет в его основу. Долго договорили о творчестве как признаке сильного ИИ, сейчас с нейросетевыми картинами побеждают на конкурсе художников, но опять "это не то" (хотя тут я согласен, что это не то). Кстати, это создало прецедент и картина уже достаточно известна из-за этой новости, чистой воды акт творчества. Можно сказать, что тут человек -- это лицо принимающее решение, вроде как выбрал из большого многообразия картину, но много художников делают много картин которые совершенно никому не нужны, нельзя сказать что у человека очень уж хороший скилл выбора, много известных художников "выстрелили" случайно.
А отвечая на вопрос -- он поставлен некорректно, нейросети могут быть основой сильного ИИ, могут не быть, могут быть вспомогательной частью. Это ортогональные понятии, реализация и идея. Это как программу можно написать на одном языке, а можно на другом, и вопрос тогда будет "Следует ли это понимать так, что бэкенд этого сайта не будет написан на python?". Действительно есть путаница между алгоритмом и задачей. Задачи сделать сильный ИИ сейчас нет, сейчас скорее абстрактная неформализованная мечта сделать сильный ИИ, как я это вижу.
Ну нет, это слишком сильное упрощение, так можно сказать что нейросети не развивались тысячи лет, ведь сложение, умножение, вычитание и деление существуют давно.
Буду ссылаться на метафору строительства
Я бы сказал что в нейросетях с персептрона Розенблатта было как минимум несколько действительно революционных шагов, за уши их можно назвать эволюционными, но все-таки я считаю их именно революционными: 1. 80-90ые, сверточные слои для обработки изображений, рекуррентные слои для обработки текста и последовательностей. Это именно смена кирпича на железобетон, то есть мы меняем строительный материал с полносвязного слоя на слой сверточный или рекуррентный. Если свертка существует давно как оператор обработки сигналов, то здесь она все-таки используется по-другому. Необходимо было разработать неплохой мат аппарат для этого, а еще и поверить что это вообще рабочая история. Там несколько раз нагло закрыли глаза на ограничения математики и перешли скорее к практическим приближенным вычислениям в ущерб тому, что математически не очень работает. Пример - функция активации ReLU (=0 if x <= 0 and =x if x>0), которая не дифференцируема в 0, но все работает. Тут важный момент становления "науки нейросетей", если раньше было "придумаем аналитически математикой, потом будем обучать", то сейчас "сделаем что-то, что хорошо работает, потом математикой попробуем объяснить как это работает". Это не конкретно про ReLU, просто остальное сильно сложнее для примера, но таких "хаков" сейчас уже десятки-сотни.
2. 2010ые, глубокие сети, лидерство нейросетей в распознавании изображений. Кажется, что это чистой воды эволюция, но нет, некоторые время глубокие сети не считались чем-то адекватным из-за 1) проблем обучения 2) теоретически три полносвязных слоя могут выучить вообще все (это, емнип, даже математически доказано). Поэтому объединить много слоев и заставить это работать -- именно что революция (ей и стало по духу). Это как начать строить многоэтажные дома из тех же материалов, тут нужен особый подход и технологии.
3. Наше время -- огромные сети на архитектуре трансформеров, которая тоже вполне себе революционная, общего у трансформера и исходного персептрона, как у шалаша и небоскреба, тоже дом, но есть нюанс. Уже и материалы и технологии строительства другие.
Технологии и искусственный интеллект безусловно являются двигателями современного мира, но они также становятся ножом, которым рубят нашу рабочую силу. Как только машина становится эффективнее человека в выполнении какой-либо рутинной работы, работодатель быстро принимает решение уволить человека в пользу машины. И так мы оказываемся в тупике, где наши умения и знания устаревают, а машины только развиваются. Кто защитит нас от этой угрозы? Кто остановит этот непрекращающийся поток увольнений? Мы должны бороться за свои места работы и не давать технологиям и ИИ забрать их у нас!
Тут важно что у Камаза отличается система тормозов от Приоры. При прочих равных - одинаково, бОльшая масса как бы сильнее давит на колеса и увеличивает силу трения, компенсируя инерцию от той же бОльшей массы. Теоретически тормозной путь не зависит от массы совсем, но практически у нас есть ряд других но и если.
Тормозной путь у самоката и так большой, а в случае с двумя людьми он выше
Это не совсем так, в общем случае от массы он не зависит, так как при увеличении массы увеличивается и сила трения. Другое дело, есть ли превышение массы, на которую самокат рассчитан
True RND или что делать с обученной моделью (опыт чайника)
Убираем эту неопределенность любым детерминированным алгоритмом (сортировка по координатам, сумма, умножение), получаем нормальное случайное число, вроде как
Как найти похожие картинки
float чисел, но если использовать квантизацию в int8 будет и 128 байт :)
Как найти похожие картинки
Хэш нейросети, это хэш по смыслу, а по сути это полносвязный слой, его размер может быть любым, популярные значения это 128, 512 и 2048, но это просто для красоты, обычно чем больше, тем точнее, чем меньше, тем быстрее выполнять поиск и идёт торг
Как найти похожие картинки
Извините, вы читали статью? В ней показано, что они не устойчивы даже к зеркалированию, я в первом комментарии акцентировал внимание на том, что они очень чувствительны к кропу (ака сдвиг). Но это не делает их а) бесполезными б) медленными. У них до сих пор есть свое применение (поиск похожих картинок с учетом изменений из статьи, типа поменять яркость), они до сих пор в сотни раз быстрее нейросетей. Для каждой задачи свой инструмент.
Как найти похожие картинки
Вы заблуждаетесь, самый простой вариант "визуального хэша" это 1) уменьшить картинку максимально грубо, сложные алгоритмы рейсайза не нужны 2) сделать простейшее преобразование (вроде вычесть среднее). Все.
Что такое mobilenet - это кроме исходного того же уменьшить картинку (а тут уже алгоритмы уменьшения важны) десятки дорогих сверток, разница в скорости между простейшим хэшом и Mobilenet десятки, если не сотни раз.
Как найти похожие картинки
Речь, как мне кажется, была про то, что даже самая простая нейронка в разы (десятки, сотни раз) медленнее "метода конца нулевых" и требует больше ресурсов, image processing нейросетями всегда дорогой, увы. Тут скорее выбор между "быстро и тупо" или "качественно". Для личного бложика на VPS нейросети не затащишь, для каждой задачи свой инструмент, и простые хэши все еще актуальны (и долго будут)
Как найти похожие картинки
Это многое объясняет, учитывая специфику их сайта (мемасы с одной картинкой но разным текстом не баяны, а кропы артов - баяны) pHash там не подходит от слова совсем.
Как найти похожие картинки
я когда пару лет назад смотрел по теме, часто натыкался на научные работы их, вот для точки отсчета, например, https://arxiv.org/pdf/1908.01707.pdf, мб что-то уже и свежее есть
Как найти похожие картинки
Спасибо за статью, если правильно помню, все подобные хэши работают нормально до первого кропа (особенно если отрезать чуть сверху). Промежуточным решением тут могут быть ключевые точки, от старых SURF/SIFT до современных нейросетевых, но нишу уже заполняют API варианты "дай мне картинку, дам тебе fingerprint", которые уже end2end сетевые. Так как кроме "дубликатов" многие хотят уже и рекомендации "похожего".
На том же Пикабу их поиск дубликатов, кажется, работает на уровне попиксельного сравнения, почему они до сих пор не решат эту проблему - для меня загадка, хотя у них наверно совсем другие приоритеты. А вот в качестве положительного примера могу привести Pinterest, они на этом очень заморочены (включая научные исследования) и имхо часто выглядят сильно лучше Гугла или Яндекса. Но для просто топорного поиска pHash до сих есть и еще долгу будет работать
В чем отличие Linux от Windows и почему я перестал пользоваться продуктами Microsoft
Это какое-то странное желание юлить, для вас восстановлю хронологию:
@AWE64 спрашивает вас: "А чья это проблема, что система в качестве десктопной ос - неюзабельное говно? "
На что вы отвечаете: "Благодаря эффективности линукс сейчас везде - от стиралки до AWS. И каждая домохозяйка его использует чаще, чем вы предполагает и чаще, чем какую-нибудь затхлую венду, у которой последнюю аудиторию отняли приставки вроде PS"
При чем тут роутеры и Android? Если вы "вдруг" поменяли тему с десктопов, то изначально речь была, среди прочего, про "проблемы драйверов nvidia", очевидно, что речь идет про десктопы, или на роутерах тоже проблемы с драйверами nvidia?
> Баги кде не относятся к линукс. Пользуйте гном или и3
Подскажите, как поставить кде или гном на роутер? Весь тред (и в ваших сообщениях тоже) говорим про десктопы и тут "ой, я про роутеры вообще-то"
В чем отличие Linux от Windows и почему я перестал пользоваться продуктами Microsoft
Это все здорово, а что с "И каждая домохозяйка его использует чаще, чем вы предполагает и чаще, чем какую-нибудь затхлую венду", это на чем основано? Там даже не близко, там в десятки раз разница не в пользу линукса, это не "чаще", это "крайне редко", какой смысл нести такую очевидную ерунду? Или мы чего-то не знаем и линукс у домохозяек перевалил за 50%?
По моим наблюдениям 100% домохозяек не пользуется линуксом
В чем отличие Linux от Windows и почему я перестал пользоваться продуктами Microsoft
Обычные такие слова надо как-то подтверждать, я нагуглил рандомные статьи, что на десктопе линукс в 2017 году -- 2.98%, а в 2020 -- 2.33%, это уже прорыв, или еще рывок? Или у вас другие данные? Винда ~90% и ~86% соответственно (ее долю отжирает МакОС)
Про нейросети
Далеко от некого "идеального человека разумного", но вполне похоже на детей или студентов на экзаменах :)
> могут быть вспомогательной частью
Я имел ввиду другое, просто тут опять таки мешают некоторые внутренние представления о, я, например, держал в голове некого гуманоидного робота (как в фильме ex machine), и частью == зрение реализовано сверточными нейросетями, из картинки получить некоторые внутренние представления, который идут в "мозг", то есть текущие развитие это реализация мелких составных частей некого будущего ИИ (как АЛУ у процессора, но вот сам процессор еще предстоит изобрести).
Про нейросети
Вопрос не ко мне, но немного влезу, мы сейчас не особо знаем "что такое сильный ИИ", раньше был тест Тьюринга, но даже он плохо формализован и модель его уже прошла (хоть и с оговорками). Так что я тут согласен с автором, сперва надо сделать хотя бы какие-то формальные критерии сильного ИИ, а уже потом рассуждать о том, что ляжет в его основу. Долго договорили о творчестве как признаке сильного ИИ, сейчас с нейросетевыми картинами побеждают на конкурсе художников, но опять "это не то" (хотя тут я согласен, что это не то). Кстати, это создало прецедент и картина уже достаточно известна из-за этой новости, чистой воды акт творчества. Можно сказать, что тут человек -- это лицо принимающее решение, вроде как выбрал из большого многообразия картину, но много художников делают много картин которые совершенно никому не нужны, нельзя сказать что у человека очень уж хороший скилл выбора, много известных художников "выстрелили" случайно.
А отвечая на вопрос -- он поставлен некорректно, нейросети могут быть основой сильного ИИ, могут не быть, могут быть вспомогательной частью. Это ортогональные понятии, реализация и идея. Это как программу можно написать на одном языке, а можно на другом, и вопрос тогда будет "Следует ли это понимать так, что бэкенд этого сайта не будет написан на python?". Действительно есть путаница между алгоритмом и задачей. Задачи сделать сильный ИИ сейчас нет, сейчас скорее абстрактная неформализованная мечта сделать сильный ИИ, как я это вижу.
Микросервисы — отчуждение от результатов труда
Ну нет, это слишком сильное упрощение, так можно сказать что нейросети не развивались тысячи лет, ведь сложение, умножение, вычитание и деление существуют давно.
Буду ссылаться на метафору строительства
Я бы сказал что в нейросетях с персептрона Розенблатта было как минимум несколько действительно революционных шагов, за уши их можно назвать эволюционными, но все-таки я считаю их именно революционными:
1. 80-90ые, сверточные слои для обработки изображений, рекуррентные слои для обработки текста и последовательностей. Это именно смена кирпича на железобетон, то есть мы меняем строительный материал с полносвязного слоя на слой сверточный или рекуррентный. Если свертка существует давно как оператор обработки сигналов, то здесь она все-таки используется по-другому. Необходимо было разработать неплохой мат аппарат для этого, а еще и поверить что это вообще рабочая история. Там несколько раз нагло закрыли глаза на ограничения математики и перешли скорее к практическим приближенным вычислениям в ущерб тому, что математически не очень работает. Пример - функция активации ReLU (=0 if x <= 0 and =x if x>0), которая не дифференцируема в 0, но все работает. Тут важный момент становления "науки нейросетей", если раньше было "придумаем аналитически математикой, потом будем обучать", то сейчас "сделаем что-то, что хорошо работает, потом математикой попробуем объяснить как это работает". Это не конкретно про ReLU, просто остальное сильно сложнее для примера, но таких "хаков" сейчас уже десятки-сотни.
2. 2010ые, глубокие сети, лидерство нейросетей в распознавании изображений. Кажется, что это чистой воды эволюция, но нет, некоторые время глубокие сети не считались чем-то адекватным из-за 1) проблем обучения 2) теоретически три полносвязных слоя могут выучить вообще все (это, емнип, даже математически доказано). Поэтому объединить много слоев и заставить это работать -- именно что революция (ей и стало по духу). Это как начать строить многоэтажные дома из тех же материалов, тут нужен особый подход и технологии.
3. Наше время -- огромные сети на архитектуре трансформеров, которая тоже вполне себе революционная, общего у трансформера и исходного персептрона, как у шалаша и небоскреба, тоже дом, но есть нюанс. Уже и материалы и технологии строительства другие.
ChatGPT, или почему вам стоит начать беспокоиться и внимательнее посмотреть на ИИ
Да норм он пишет :)
Двое на самокате, не считая кучи разных датчиков: как мы учились определять поездки вдвоем
Да, с этим согласен
Двое на самокате, не считая кучи разных датчиков: как мы учились определять поездки вдвоем
Тут важно что у Камаза отличается система тормозов от Приоры. При прочих равных - одинаково, бОльшая масса как бы сильнее давит на колеса и увеличивает силу трения, компенсируя инерцию от той же бОльшей массы. Теоретически тормозной путь не зависит от массы совсем, но практически у нас есть ряд других но и если.
Двое на самокате, не считая кучи разных датчиков: как мы учились определять поездки вдвоем
Это не совсем так, в общем случае от массы он не зависит, так как при увеличении массы увеличивается и сила трения. Другое дело, есть ли превышение массы, на которую самокат рассчитан
В Google объявлен «красный код»: компания ищет ответ ChatGPT
Ну иногда норм ссылки дает, если явно спросить, иногда ссылки выдумывает :)