Сколько котов на хабре?

    Недавно я ехал на автобусе из Торонто в Нью-Йорк, снаружи автобуса было темно, внутри меня было немного портвейна, спать совершенно не хотелось, и я решил поразбираться с Deep Learning. Скачал Caffe, скормил ему пару картинкок, на которых правильно распознались мяч и банан. Захотелось распознать что-то более интересное, и я вспомнил, что где-то на жёстком диске у меня есть дамп хабрахабра, который я делал, когда проходил курс информационного поиска в ШАДе Яндекса.

    На написание скрипта, который распознаёт, что изображено на аватарке хабропользователя и грепает всех кошачьих, ушло несколько минут, на обновление дампа до актуального и распознавание картинок ушло несколько дней, и теперь я могу утверждать, что на хабрахабре по меньшей мере 748 котов.

    Под хаброкатом можно прочитать чуть больше подробностей и посмотреть на всех котов.





    В течении нескольких дней мой паук дообходил хабрахабр, и, когда я увидел, что у меня скачено более 500000 страниц хабрапользователей, я его остановил. В итоге у меня оказалась информация о 527468 пользователях. Из них у 73193 оказались аватарки.

    Далее я с помощью Caffe получал для каждой картинки первых пять наиболее вероятных тегов. После фильтрации по кошачьим тегам осталось 1013 аватарок. Среди них было некоторые число не котов, например, совы часто распознаются как коты.


    Альф, как бы это ни было забавным, наполовину примат, а наполовину кот. Классы определились такие: 'primate', 'monkey', 'lion', 'Old World monkey', 'feline'.


    А вот Zelenyikot котом не является, самое близкое, что распознаётся — это 'giant panda'.


    После того, как я убрал вручную ошибочно зачисленных в котов, осталось 748 аватарок. Все они приведены на картинке ниже.



    Поимённый список котов
    1acc, 333vs333, 7thrace, a-artur, abikvl, acround, adilet_usenbekov, adov_polosach, aeroztar, aft3rmath, ageratum, aggrohamster, agladysh, ahazat, ahdrey, aircokol, aivandyrkov, akase, alecsey178spb, alekseymotovilov, alex1966, alexantr, alexius_s, alexpolnikov, alexsunsky, alexvarp, alienattack, alkair, alsmile, alvast, alx_voronov, anaphema, andrei_neustroev, andypanda82, angel_d13, anji0997, annael, annenkov, anomaly86, antaki93, antik382, anton_vic, antosik, anxi, arch14, arendil, arruin, artchizhov, arteben, artemchik, arthurstark, artic, artyomcool, asaks, askadias, asker1987, assc, astass, at0m1c, atpmodern, @ave, aver_pasha, avlaak, awwes, azazel17, badcentlemen, bad_student, bagas, baguwka, balashoff, barico, barssn, bato4ka, baxzzzz, bazeyvit, bazlan, bearer, benign, bennyfinch, bereg, beretta, bescom, betepoknoname, bioluh, biorobot, bizdirect, blayder, blazer44, blondinekatze, bloomberg_door, boban1951, boeing777, booldogg, borland34, bristly, bsrginru, bushuevrussia, butylski, byabuzyak, byv81, catmen08, cat_of_castle, catplusplus, c-darwin, cdman2010, celldweller24, ch3sh1r3, chapayev, cheereek24, chelovekot, child, chudoseikin, ciajaxdev, ckuridin, comargo, compoz, comrade_55, contango, controlflow, corpix, corvaxavk, crackedsapphire, crazy_flower, crazytiger, crysis49, curious_tomcat, cyberkuk, cybermanchik, cyfive, d1monster, dahaa, daisy_v, danil1404, danix, darkangel2008, darkmessiah, darkserj, dector, ded_mopo3, deeman313, deeptds, deepx, deleted-krakazyabl, demalah, demosfobos, dempil, denis__sh, denv, denvo, denzik, deorbit, derol, desher, dgad, digvice, di_halt, dikah, dikeyfd, dimf, dimka86, dimmonz, d_ivan, divinity32, d_landau, dmitrychast, dmitryga, doberbeatz, dolphinsoft, drgosh_m, droll13, druh, dsk1306, dyumba, eaterman99, ebashu_na_bayane, echoes11, ed-fruty, egiptyanin, egorikua, ejz, ekup, elektrochajnik, elfets, elnee, erdees, erkowa, erud, eugenco, eugeniyazhenka, eugenyh, eujin, evolutin, exl, extender, extra300, f1ex, f7soft, faantoom, falconm, fastservice, fiery_ice, filoret256, fkysn9wa, flowergirl, foka, folond, fomkadev, forestcat, forever, forgettmenot, foxus, freelock, frikazoid, frumarina, gaparchi, gazizov, gd666, gekty, gena_tcvali, gennadij_13, ghosts, ghovall, gigiwka, ginius, giser, gitarizd, gittarus, gkovaleff, glazunov_v, gliese581, goldkanet, goldkeeper, goodwish, gorbln, grabse, graf_duku, grammidin, gramoboi39, greencat, gregory_epstein, gregosh, gumja, guyvernk, gwee, habralan, habrwaterman, handy, haradzienski, harrry, hinode, hitogirai, hlorofos, hoffman, hollyjohn, homphsexception, hrakk, ibice, icefroz, idimka39, idolopoklonnica, idtm, ig_gor, ihard, iiii, ilirio, iluhinhabr, ilyapenkov, i-marketing, im_nowhare, inbider, individ1, ingift, inikulin, innominate, ioscat, irbisfx, iser, it_fake, itt2, ivachkin, ivanmarkov, ivasyai, ivinnic, iwanerhov, jabberwock, jackson95, jaguar6868, jaster_ru, jazzpixels, jerseyzx, jforum, jholinar, jmayskiy, jms, jonmagon, joossy, julsky, k1b0rg, ka1essin, kai, kamtec1, kamuh, kannoken, kapsh, karavaiker, kateshevchenko, kean, kecapb, kehhu, kerkomen, kettary, kicum, kimiit, kirill89, kirsenn, kiruxa36, kissa, kitekat, kitichka, kk0tt, klaizar, klausfishe, kleory, koen_varvar, kolsat, komzpa, koot, kot8ehemoth, kotanic, kot_dobra, kotelya, kotion, kotlio, kotolenka, kotsomeone, kott, kowkin, kpeamop, kreatiff, krestjaninoff, krevedkoaz, krgz, krubbs, ksenofor, ksevelyar, kultishev, kuprikow, kuzia9, kvil, kvo, kwachboba, kww, ky4web, kyver, la6puk, lakostik, lamkaslim, lanaluna, laroux, lastromantik, lavash, ldvcl, le0nidy4, leeroy, lefechka, leksterviking, lelik13a, lemsergey, lemuil, lemurija, lena_sakhno, leo_sgm, lexinc, lija, likenoother, liquidstorm, lirein, loginsin, logofiles, lonelycat, lonely_tramp, longedok, longnull, lova, lucha, luciferr, luckycoin, lukretsiy, luna12, lyncs, lynxie, lynxknight, mackor, madfortune, madgnu, madhacker, madmaximka, madmit, mahowik, makahsahc, maks78, maksimau, mak_vit, manaxname, manulable, manul, mardy_bum, margin0px, maria_platonova, markstan, mattheus, mauschka, maverick79, max_im_ka, mayorov_vs, mconnect, mcseem85, megamonster99, megaromb, menlod, meph1st0, metzgermeister, mezhevikin, mi4log, mikle, minmatarec, mintonist, mitcenika, mkot, moll, molodoy_ua, mr_gruber, mrjovas, mrzdgg, muhammad_97, muhomor, mulltiq, muramaru, murminathor, musiab, myp3uk, mysterious, my_username, nardin7, nardin, nart09, nastika_namaste, natali_khatkevich, natfomm, ne_kotin, neozoid, neronmoon, nickvenator, nightlion, nik684, nikiomen, nik-nikita, nklnke, nlait, nobr, nomadmoon, norgen, noskivpolosku, notra, noxan, n_ray, nuclear_fly, obramko, odinokij_kot, ogonec, oksumoron, omnitrio, oneiric_ocelot, orcstation, orzik, ouuuuo, owjo, pallaskatze, paththeir, pelvis, peoplespeak, phantasm1c, phantovas, phoenixsod, photo_profile, phprus, pifagor, pishpish, plombeer, ploop, pocheshire, pofigistor, polovinkin, prkassad, progress_man, proshkahabr, prutt, psihopuzzz, psybeaver, pumpingnoise, punk111, pushipu, pyxru, p_zeger, qbbr, qeskido, quartz, r2ot, radiokot, radioniker, rasifiel, rasswet, rastaropnaya, rayvor, razvor, real_voland, rebulus, recosh, refakki, reflash, remuktus, respown, retuned, rez1dent3, rezwyi, rhorobets, rie, rikimaru, riloun, riptravis, rokko195, romanitalian_net, romanvl, romanvz, romens, root1564, rour, rpex, rsilaev, rtaburceanu, rubik, rusakovnikita, ruslanm, rv630, s1lent_ua, sabiovradik, sad_robot, sagibshikar, sagifire, sammily, san41to, sanchez17_08, sandman, satellence, saturday_cinderella, saul, sav13, savann, savvy, sax, scanderberg, schigartsov, schrodingers_cat, scorp2011, sealse, secruity, seeker142, semisay, sempron, sergdrakon, sergeich65, serge_k, sergeyam, sergeylaptev, sergey_may, sergeytykhonov, sergey_vecher, sergfromsimf, sergpnz, sgtram, shabbybastard, shadowpanther, shahob, shamanua, shepardvia, sheree, sherlak, sherwood, sheveron, shevna, shifrovanie, shiki, shiroginne, shokoladko, shuvaevgl, siava3251, siberian_lynx, sickfar, sid44, siddhartha, simple_rb, sirleh, skif300000, skydreamer, smkuzmin, snowleopardik, snuk182, sob_s, sokovenko, solteks, somikosa, sonikelf, sonygirl, source, spectrumcat, speedo, spikerwill, ssezya, stalyer, stamir, stanner, star003, stars9, stasabrosimov, stdio, stemrus, stixnematic, stjuart, strannik7j, superhabrik, surendil, svd, svetlanaang, svetlyiakapro, svinokozel, svirepyy_barsik, svtolstikov, syncsn, syoma2, tamotokushi, tasder, tatita, tatyushev_ms, taya91, taylli, tekhnolife, telephone, tel, terkin76, terol, tevgenius, thargon_sg, thecat2k, thelastofcats, thesouthw0lf, thespian, thevisor, thomas_ross, tiberius, tigert, tigrasan, tigrik, timiriliyev, timofffey, timurnn, tirael78, tk_sherlock, tmassiff, tony_ru, toxygen, triger, true_user, tsukanovroman, tvk, twohouse, tyralion, tyz910, tzx, uglykid, ukr0p4eg, umka13, uorypm, userkga, v1tol, vampire666, vanatka, vasiliylight, vchikarin, velvetcat, verdoga, vetiver, viator_ak, vingor, vipterran, vitaliyk86, vitalyok, vitlaus, vitlk, vladimirandreev, vladimirua, vlatri5264, vldslvdnlv, vol2032, vontaren, vosolovskiy, voult, vovan47, vsden, vuru, wadman, wadyan0i, wantbefree, wase4ka, webcote, welcomerooot, wentswc, whitetigr, wildraid, witjaz007, wmas, wohlstand, wonderkot, x3n, xakka, xakpc, xalasdor, xanderslex, xavadonx, x__cross, xvadim, yadowit, yami513, yanis, yaroslav_dbls, yaruson, yazvin, yurapb, yurc, yushkin, zaynetro, zelik_bog, zellien, zentif, zs000, zshcbka, zurich, zuy, zvoice.

    В заключение три ссылки, из которых можно узнать больше про Caffe и Deep Learning:



    UPD В комментариях указали, что на трёх аватарках не коты. Так что метод находит 745 котов.
    Поделиться публикацией
    Комментарии 108
    • НЛО прилетело и опубликовало эту надпись здесь
        +2
        манул манулу манул!
          +2
          не всех, меня пропустили =)
            +2
            не только вас. много кого
              +3
              Ну вот, меня уже и за кота не считают )
              +11
              Шеф, все пропало! Всемирный заговор котов по Захвату habrahabr раскрыт!
                +2
                Нас пропустили :(
                  0
                  И меня пропустили тоже :)
                    +1
                    UPD: Только сейчас понял, что некропощу.
                    Проверил свою аватарку на http://demo.caffe.berkeleyvision.org/
                    и понял что не совсем кот у меня:
                    device
                    musical instrument
                    instrument
                    covering
                    piano
                    Как говорится — я уже не кот, я — piano!
                +8
                Отличное утро пятницы :)
                  +13
                  К посту гарантировано по меньшей мере 748 плюсов.
                    +8
                    К сожалению причастность к котам не даёт автоматически права ставить плюсы :)
                      +1
                      минус те, которым не хватает кармы
                        +9
                        Ну кстати это может быть тема следующих статей:
                        Сколько котов ведут активную жизнь на хабре;
                        Предпочтения хабракотов;

                        +3
                        Теперь надо пересчитать крыс, чтобы узнать, сколько у статьи будет минусов.
                        +2
                        Остается теперь при помощи BigData выполнить анализ, устанавливающий, какие именно люди предпочитают ставить на аватарку котиков, т.е. какими общими чертами они обладают.
                        Кстати, что на счет свиней?
                          +2
                          Ваще-то я тигр :)
                            0
                            тигр это класс 'big cat' :)
                              +4
                              #хРаброкот ;)
                              +30
                              image
                                +10
                                убедил :D
                                  0
                                  Большому коту — большую коробку!
                                +1
                                Требую посчитать любителей такого фильма как «Звездные войны». Я надеюсь, что я не один)
                                  +2
                                  Поддерживаю.
                                    0
                                    Точно не один )
                                      0
                                      Возможно, KirillGuzenko посчитает.
                                        0
                                        Хм, какой бы критерий выбрать… быть может, по количеству световых мечей на аватарке?
                                      +1
                                      Я на кота не похож? =( А на кого тогда похож?
                                        +3
                                        demo.caffe.berkeleyvision.org говорит, что вы 'giant panda' :)
                                          +1
                                          Почему-то после аватарки Zelenyikot так и подумал. Значит буду синей пандой! С крыльями. Ох, надеюсь сниться такое не будет…
                                            +8
                                            Панда — это ещё неплохо. Про меня caffe убеждён, что я 'measuring instrument' :)
                                              +6
                                              Я видел видео с вашим участием, это 'instrument of destruction' :)
                                              (Simon’s Cat — 04 Fly Guy)
                                                0
                                                А я switch, control, mechanism, device, equipment :/
                                              0
                                              А я — "device", по ходу…

                                                0
                                                А что, не девица? :)
                                                  0
                                                  Определённо, нет! :)
                                              +4
                                              А я? =(
                                                +7
                                                Ага, вот оно как. Бунта машин можно ещё какое-то время не бояться. image
                                                +2
                                                неожиданно :)
                                                  +1
                                                  Кросавчек, лови плюсик!
                                                    0
                                                    Ух, ты! Меня посчитали! Подняли настроение, мяу!
                                                      +11
                                                      В интернете никто не знает, что ты кот.
                                                        0
                                                        А совпадения аватарок были?
                                                        А среди всех остальных?
                                                          +1
                                                          Хм, а это интересно же найти самую популярную аватарку.
                                                          0
                                                          Круто! Созвать в комменты больше 700 человек котов :)
                                                            +2
                                                            Ещё бы валерьянки всем, мрр^^
                                                              0
                                                              В пятницу не грех :)
                                                            +17
                                                            Ну мяу, что-ли…
                                                              +1
                                                              Не мяу… Меня котом не признали. :(
                                                              +1
                                                              Призыв удался. Сегодня буду домашним и пушистым :) Всех с пятницей.
                                                                +4
                                                                Автор, Ваша фамилия идеально подходит к посту
                                                                  –20
                                                                  А всех поимённо упомянули, чтоб получили уведомление, зашли и плюсанули?
                                                                  -1
                                                                    +14
                                                                    Конечно, это ж очевидно. Не думал, что такая нотификация может кому-то не понравится. Извините.
                                                                      –23
                                                                      Вы:
                                                                      — просканировали мою аватарку;
                                                                      — запостили её;
                                                                      — и сообщили об этом мне;
                                                                      … И что теперь? Мне должен понравиться спам с картинкой с котами, потому что там была моя аватарка и сегодня пятница?
                                                                      Окей, большинству нравится, но полагаю, что всё же буду не один такой, для кого это оказалось бесполезной тратой времени.
                                                                        +3
                                                                        Если вам не нравится, будьте Одним Из Восьмерых, вот и всё
                                                                          –10
                                                                          Я говорю от имени тех, кому не хватает кармы для голосования, если вы об этом.
                                                                            +3
                                                                            Интересно, с чего бы…
                                                                    +1
                                                                    Пернатых интересно много?
                                                                      +1
                                                                      Caffe не считает вас пернатым, а почему то решил что это куница
                                                                      +3
                                                                      @ПолиграфПолиграфович потирает руки.
                                                                        +2
                                                                        Чуть больше одного процента? Спасибо. Значит популярность котиков сильно преувеличена.

                                                                        ой!.. что я написал… точне где…
                                                                          +3
                                                                          У юзера strannik7j из шестого ряда снизу на аватарке, очевидно, не кот:
                                                                            +2
                                                                            +1
                                                                            Еще ошибка: 5 ряд снизу, 3 столбец справа — это СОВА
                                                                            7 ряд снизу, 3 столбец справа — опять сова!
                                                                              +1
                                                                              Окей, -3 кота.
                                                                                +1
                                                                                Еще ошибка: 5 ряд снизу, 3 столбец справа — это СОВА
                                                                                Нет никакой ошибки. Все знают что сова — случайно утекшая альфа-версия кота.
                                                                                0
                                                                                Ага, еще слева от первой совы медведь.
                                                                                0
                                                                                если посмотреть внимательно, то среди деревьев угадывается кот…
                                                                                0
                                                                                Спорные утверждения, котов значительно больше.
                                                                                  0
                                                                                  Надеюсь через несколько лет будут алгоритмы, которые найдут всех :)
                                                                                    +5
                                                                                    Коты гуляют сами по себе. Кто-то решил в данной выборке не гулять.
                                                                                    0
                                                                                    И меня не посчитали. Злые вы, уйду от вас.
                                                                                      0
                                                                                      Меня тоже не посчитали.
                                                                                        +5
                                                                                        С вашей аватаркой 16x16 пикселей справятся только алгоритмы будущего.
                                                                                        +1
                                                                                        Отличный пост!
                                                                                        Хотелось бы еще отдельно подборку аватарок, которых Caffe ошибочно принял за котов0
                                                                                          0
                                                                                          А мне вот, как только посмотрел все аватарки, стала интересна статистика, сколько из них — картинки/приколы, а сколько — фотографии собственных котов. С моим-то все понятно.
                                                                                          И еще нашел в таблице всех аватар одну из той же подборки, что и моя. (:
                                                                                          0
                                                                                          А как-же я? Уже не кот? Хнык-хнык…
                                                                                            0
                                                                                            Меня нет, низкая точность, несколько дней потрачены у пустую, увы.
                                                                                              +10
                                                                                              image
                                                                                              Никто!
                                                                                                0
                                                                                                эх, раскусили :)
                                                                                                  +1
                                                                                                  Такой заголовок — это просто беспроигрышный кот!
                                                                                                    +5
                                                                                                    Класс, люблю такое, особенно по пятницам ) Вот ещё классный пост был про распознавание котов.

                                                                                                    image
                                                                                                      0
                                                                                                      А меня нет :)
                                                                                                        0
                                                                                                        О, он и меня сосчитал! :)
                                                                                                        Плюс к карме. И — спасибо!
                                                                                                        Прямо хоть взять и написать сюда уже что-нибудь…
                                                                                                          +1
                                                                                                          Безусловно, лев входит в семейство кошачьих, но он не совсем домашний :) И я не один такой, судя по картинкам. Спасибо за напоминание о «кошатности» :)
                                                                                                            0
                                                                                                            а я не посчитан.
                                                                                                              0
                                                                                                              Не все, не все, не все! :-)
                                                                                                                0
                                                                                                                А мою аватарку определяет как rack, framework и supporting structure.
                                                                                                                  0
                                                                                                                  Идеально
                                                                                                                    +9
                                                                                                                    Благодаря вашему посту узнал, что сегодня пятница. Спасибо.
                                                                                                                      0
                                                                                                                      Меня посчитали =^__^=
                                                                                                                        0
                                                                                                                        Меня тож не посчитали.
                                                                                                                        Конечно же через полгода автор повторит анализ более глубоко и всех найдет!
                                                                                                                          0
                                                                                                                          В первом ряду, шестой справа — очень популярный кот. Десять насчитал.
                                                                                                                            0
                                                                                                                            Результаты для моей аватарки:

                                                                                                                            dog 0.35207
                                                                                                                            rock beauty 0.33036
                                                                                                                            butterfly fish 0.32551
                                                                                                                            domestic animal 0.32442
                                                                                                                            canine 0.31348

                                                                                                                            Нет, за rock beauty спасибо, конечно, но мне кажется весь фреймворк имеет пристрастие к животным.
                                                                                                                              +1
                                                                                                                              «Главное», — подумал Штирлиц, — «удачная маскировка».
                                                                                                                              Не вычислили :)
                                                                                                                                +1
                                                                                                                                Неправильно, дядя Фёдор, ты котов распознаёшь… :)
                                                                                                                                  +2
                                                                                                                                  Вот как видит неопознанных котов Wolfram Language:
                                                                                                                                  image

                                                                                                                                  Зеленый котик распознается как плюшевая игрушка и/или какой-то креатив, кошка-кепка как кролик, но в топ 3 как domestic cat, два котана сразу попадают в нужную категорию, а кот с чупа-чупсом лишь на четвертой позиции узнается.
                                                                                                                                    0
                                                                                                                                    а кот с чупа-чупсом лишь на четвертой позиции узнается
                                                                                                                                    Зато чупа-чупс на третьей!

                                                                                                                                    Сразу видно: вольфрам любит конфеты больше кошек :)
                                                                                                                                      0
                                                                                                                                      Первая картинка у вас гораздо больше, чем оригинальная в профиле: image. Что получится на ней?
                                                                                                                                      +1
                                                                                                                                      А вот:image
                                                                                                                                        0
                                                                                                                                        ну вот, меня опознали как обезьяну-собаку :(

                                                                                                                                        0.65765 primate
                                                                                                                                        0.61400 monkey
                                                                                                                                        0.60609 canine
                                                                                                                                        0.60256 dog
                                                                                                                                        0.59518 domestic animal
                                                                                                                                        +2
                                                                                                                                        С хабром понятно, вы вот тут котов поищите ;)
                                                                                                                                        image
                                                                                                                                          0
                                                                                                                                          Интереса ради закинул ссылку на свой аватар. Лягушек и зверей не обнаружено, но в остальном всё практически верно.
                                                                                                                                          1. Структура. — Декорация в мультфильме.
                                                                                                                                          2. Обстановка. — Затопленная квартира
                                                                                                                                          3. Коммерческое учреждение. — Почти так и есть, только в сумасшедшем доме.
                                                                                                                                          4. Трон. — Квартира собственно и затапливалась ради того, что бы с утра ни куда не выходить, а ловить рыбу королём рыбалки прямо на месте с подоконника как с трона!
                                                                                                                                          5. place of business — так и есть, при чём весьма успешно.
                                                                                                                                          А я вначале думал, что котом определит. А тут 100% попадание почти по всем тегам.
                                                                                                                                            0
                                                                                                                                            Ну вот, прошло всего полтора года с разделения хабра, и тебя уже не вспомнят. Хотя, наверное, сложно вспомнить кота который распознается как "шарик от пинг-понга"...
                                                                                                                                              0
                                                                                                                                              mkot Забавно получилось! На мне grep наверно лупился десяток раз, ведь я ЧелоЛев! :)
                                                                                                                                                0
                                                                                                                                                Моих двух котов пропустили :(
                                                                                                                                                  0
                                                                                                                                                  И моего пропустили
                                                                                                                                                    0
                                                                                                                                                    Своего тоже не обнаружил…

                                                                                                                                                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                                                                                                    Самое читаемое