• Квартет Анскомбе

      Статистика — это такой инструмент… Очень страшный в неумелых руках. В умелых того страшнее, способен разорвать мозг на куски.

      Вот есть последовательности A, B, C и D, про которые известно следующее:
        A B C D
      Среднее значение x 9.00 9.00 9.00 9.00
      Дисперсия х 10.00 10.00 10.00 10.00
      Среднее значение y 7.50 7.50 7.50 7.50
      Дисперсия y 3.75 3.75 3.75 3.75
      Корреляция между x и y 0.82 0.82 0.82 0.82
      Прямая линейной регрессии y = 3 + 0.5 x y = 3 + 0.5 x y = 3 + 0.5 x y = 3 + 0.5 x
      То есть все указанные величины для них совпадают. По крайней мере, до второго знака после запятой.
      А теперь смотрим глазами
    • Краткий обзор популярных нейронных сетей

        К написанию этой статьи меня побудила большая распространенность некоторых заблуждений на тему искусственных нейронных сетей (ИНС), особенно в области представлений о том, что они могут и чего не могут, ну и хотелось бы знать, насколько вопросы ИНС вообще актуальны здесь, стоит ли что-либо обсудить подробнее.

        Я хочу рассмотреть несколько известных архитектур ИНС, привести наиболее общие (в следствие чего не всегда абсолютно точные) сведения об их устройстве, описать их сильные и слабые стороны, а также обрисовать перспективы.

        Начну с классики.

        Читать дальше →
      • Об обучении нейросетей

          image
          Это статья уровня 2 (см. ниже).
          Статья является логическим продолжением моего рассказа про сверточные нейронные сети и их применения для распознавания изображений.
          Прежде чем продолжить хочу дать понимание чем же все таки занимаются люди из области Машинного обучения и какова их глобальная цель. Глобальная цель — это порабощение всех людей машинами создание методов и алгоритмов, способных путем обучения выстраивать сложные и нелинейные модели внешнего мира. В качестве пояснения предлагаю взглянуть на картинку, благодарно позаимствованную из [1]. Сейчас человечество уже умеет создавать алгоритмы, способные учится простым операциям, но что насчет такого вот преобразования — у нас есть изображение сидящего человека которое по сути является сырым вектором значений яркости картинки в каждой точке. И нам необходимо постепенно повышая абстрактность этих сырых данных сделать вывод «человек сидит». Отсюда собственно главный вопрос: Как создать систему способную не только понять простые (пусть и нелинейные) зависимости, но также обучиться сложным, многомерным и многоуровневым иерархиям представлений реального мира?
          Читать дальше →
        • Спать мало, но правильно?

            Навеяно этим постом от юзера case. Пост не новый, и на главную он не попал.
            Но я вот наткнулся на него сегодня и решил написать кое-что о сне. Уверен, что это будет полезно многим хабравчанам, да и случайным читателям тоже.
            Читать дальше →
          • Заметки об NLP (часть 1)

              В преддверии Нового года решил начать небольшой цикл статей, посвящённых наиболее интересующему меня лично направлению в обработке текстов на естественном языке. (То есть NLP в заголовке означает natural language processing — ваш К.О.) Синтаксический анализ, семантика, машинный перевод, поиск смысла слова в контексте — в общем, вся радость компьютерного лингвиста :)

              Наверно, сразу имеет смысл определиться с уровнем изложения. Я сам пытаюсь заниматься компьютерной лингвистикой (с переменными успехами). Постараюсь рассказать о том, что конкретно волнует, чего уже можно, чего пока нельзя, и над чем как раз сейчас надо работать. Быть может, эти статьи помогут мне самому отструктурировать информацию в голове и опираться на уже готовую структуру в новом году. А если у читателей появятся свои идеи или мысли о сотрудничестве — ещё лучше.
              Интересующихся прошу под кат
            • Как пользователи видят ваш сайт

                Google запустил новый инструмент — Browser Size.

                В газетах самая важная статья размещается на главной странице. Если она действительно важна, то она размещается так, чтобы её можно было найти в верхней части первой страницы — нижняя часть обычно сложена и не всегда видна при первом взгляде на газету.

                То же самое относится и к браузерам. Рассмотрим кнопку с просьбой о пожертвовании на некоммерческом сайте. Если она расположена далеко внизу на странице, её можно не увидеть при первом взгляде на эту страницу. Пользователь, конечно, может прокрутить вниз, но многие люди так не сделают и вообще пропустят кнопку. Например, на странице загрузки «Google Планета Земля» количество загрузок увеличилось на 10 %, когда кнопку «Скачать» перенесли на 100 пикселей вверх.
                Читать дальше →
              • Ломаем каптчу Яндекса

                  На прошлой неделе был топик «Ломаем капчу» — каптча там была довольно простая, но в комментариях предложили сломать каптчу Яндекса. Мне эта идея показалась интересной, и я решил попробовать.



                  Читать дальше →
                • Приближаясь к 3D картам



                    Все ближе и ближе картостроители всего мира подбираются к созданию 3D карт. В этом в первую очередь конечно заинтересован google со своими карто-проектами. Пытается не отставать и microsoft, но теперь вперед вырвался тот, чье имя врядли было у всех на слуху — компания из Швеции — C3 Technologies.
                    Дальше
                  • Генная инженерия от A до Z

                      Приветствую уважаемое сообщество!

                      Итак, это мой первый пост на хабре :)
                      Посвящен он будет серьезной теме, в которой, волею судеб, я неплохо разбираюсь. А именно, генной инженерии.

                      Помнится, тут пробегал пост в котором говорилось о геннотехнологической лаборатории “на коленке”. Оказалось, что тема интересна аудитории, поэтому я решил заняться ее развитием с просветительскими целями.

                      Я буду давать наглядные и понятные обычным людям примеры для описания сложных процессов. Если кто-то посчитает нужным меня поправить – не стесняйтесь. Я буду сознательно упускать многие вещи, но если вам кажется, что без них страдает логика изложения – так же поправляйте.
                      Читать дальше →
                    • Управление проектами – управление людьми

                        Я работаю ПМом в небольшой – порядка 50 человек – компании по разработке софта. Данная статья написана исключительно с целью – поделиться своими мыслями по поводу процессов управления людьми в команде и, в идеале, услышать комментарии профессиональных руководителей и разработчиков. Сразу оговорюсь, что я не затрагиваю другие аспекты управления
                        Поскольку работаю весьма недолго, около года, а до этого был программистом (прошёл все ступени от стажёра до архитектора), то в памяти ещё свежи те ошибки, которые осуществляли мои руководители, после которых, в лучшем случае, на душе становилось пакостно. Опять же, дисклеймер, написано всё это исключительно с целью обсуждения… Итак, начнём.
                        Читать дальше →
                      • Сериализация в Qt через использование MetaObject

                          Предыстория


                          Собственно для чего такое могло бы понадобиться? Ведь C++ и так предоставляет достаточно гибкие возможности при сериализации в поток. Однако у меня стояла задача максимально универсализировать процесс сериализации/десериализации для многократного использования в проектах.

                          Итак, было надо организовать как можно более гибкую систему (де)сериалиации в Qt, так чтобы можно было
                          1. либо отнаследовавшись от базового класса и расширив его
                          2. либо имея отдельный класс-сериализатор
                          иметь возможность одной командой отправить поток данные из объекта.

                          При этом каким-либо образом должна была быть обеспечена возможность указывать какие данные в объекте подлежат сериализации, а какие можно (и нужно) «проскипать». Аналогично должна была быть выполнена возможность при десериализации правильно установить данные и связанные с ними зависимые величины внутри объекта.
                          Читать дальше →
                        • Работаем с моделями в QML


                            В продолжении предыдущего поста, хочется рассказать ещё немного о новой технологии от Qt Software и Nokia. Напомню, что QML — это новый язык описания пользовательского интерфейса, призванный упростить разработку современных приложений и наполнить их движением.
                            В этой статье мне хотелось бы немного рассказать о том, как в QML работает парадигма MVC
                            Читать дальше →
                          • Немного о том, как создавался «Аватар»

                              «Художники показывают свою работу, режиссер хочет побольше того или другого, и все это повторяется туда и обратно много раз. Это цикл, который двигает нашу работу и заставляет вещи выглядеть так, как они выглядят в итоге. Таким путем каждый маленький кусочек становится лучше и лучше, потом становится совершенным, а потом мы переходим к следующему кадру», – так описывает свою работу над фильмом «Аватар» Джо Уилки (Joe Wilkie), один из менеджеров студии спецэффектов Weta Digital из Веллингтона, Новая Зеландия. Именно здесь создавалась вся магия фильма «Аватар», которая покорила нас всех.



                              12 Мб на кадр, 288 Мб на секунду, 17,28 Гб на минуту. Все 162 минуты фильма, который мы увидели на экранах – огромный объем информации – это только маленькая толика того, что пропустил через себя новый дата-центр студии Weta. Собранный, как вы уже могли догадаться, на серверах HP: 34 стойки с 32 блейдами HP Proliant BL2x220c в каждой – 40 000 процессорных ядер и 104 Тб RAM, семь строчек в суперкомпьютерном рейтинге Top-500. Посмотрим немного на ту сторону фильма, что осталась за кадром.
                              Читать дальше →
                            • Знакомство с уровнями распараллеливания

                                image
                                Распараллелить решение задачи можно на нескольких уровнях. Между этими уровнями нет четкой границы и конкретную технологию распараллеливания, бывает сложно отнести к одному из них. Приведенное здесь деление условно и служит, чтобы продемонстрировать разнообразие подходов к задаче распараллеливания.
                                Читать дальше →
                              • Где погрызть гранит науки

                                  image Здравствуй, хабрасообщество. Я знаю, ты любишь халяву. А еще ты любишь учиться. Ведь так? А что может быть лучше для хабравчанина бесплатного образования? Вот и решил собрать специально для тебя подборку из ссылок, где можно набраться уму-разуму в области IT.
                                  Все нижеперечисленные ресурсы абсолютно и официально бесплатны и свободны, что не может не радовать.

                                  UPD. Переранжировал сайты. В категорию «Компьютерные науки» попали те сайты, которые можно внести более, чем в одну из нижеперечисленных категорий. Ранжировка производилась по большинству содержимого, то есть в некоторых сайтах, отнесенных к определенной категории, могут попадаться статьи не относящиеся к определенной, но они будут составлять абсолютное меньшинство

                                  Большое спасибо в помощи добавлении ресурсов vansickle, RedFox, kagen, theinterman, sM1Le.

                                  Англоязычные ресурсы



                                  Компьютерные науки



                                  OpenCourseWare MIT




                                  Одно из самых больших хранилищ учебных курсов. Здесь собраны практически все курсы, которые преподаются в Massachusets Institute of Technology, который по праву считается одним из лучших в мире. На сайте всего 1900 курсов, а тех, которые преподаются на факультете Electrical Engineering and Computer Science я насчитал более 200. Состав большинства курсов: краткие конспекты лекций, подробное описание курса, календарный план, задания на лабораторные работы, задания на курсовые проекты и экзамены, промежуточные модули. К некоторым курсам прилагаются и видеолекции.

                                  смотреть другие сайты
                                • Модель CMMI

                                    Всем здравствуйте! Наконец-то я на Хабре. Постараюсь незамедлительно начать приносить пользу если не всему сообществу, то хотя бы некоторой его части:)

                                    Я был немало удивлён, обнаружив, что на Хабре практически нет информации о модели CMMI, если не считать пары упоминаний здесь и здесь.
                                    На западе уже давно крупные заказы по разработке ПО доверяются только компаниям, прошедшим сертификацию на соответствие какому-либо международному стандарту, зачастую им становится модель CMMI. Хотя сами авторы этой модели неоднократно повторяют, что это не стандарт, а всего лишь сборник рекомендаций по улучшению процессов внутри организации.

                                    Что такое CMMI?


                                    Википедия даёт следующее определение:
                                    Capability Maturity Model Integration (CMMI) – Комплексная модель производительности и зрелости – набор моделей (методологий) совершенствования процессов в организациях разных размеров и видов деятельности. CMMI содержит набор рекомендаций в виде практик, реализация которых, по мнению разработчиков модели, позволяет реализовать цели, необходимые для полной реализации определенных областей деятельности.

                                    Читать дальше →
                                  • Асимптотический анализ алгоритмов

                                      Прежде чем приступать к обзору асимптотического анализа алгоритмов, хочу сказать пару слов о том, в каких случаях написанное здесь будет актуальным. Наверное многие программисты читая эти строки, думают про себя о том, что они всю жизнь прекрасно обходились без всего этого и конечно же в этих словах есть доля правды, но если встанет вопрос о доказательстве эффективности или наоборот неэффективности какого-либо кода, то без формального анализа уже не обойтись, а в серьезных проектах, такая потребность возникает регулярно.
                                      В этой статье я попытаюсь простым и понятным языком объяснить, что же такое сложность алгоритмов и асимптотический анализ, а также возможности применения этого инструмента, для написания собственного эффективного кода. Конечно, в одном коротком посте не возможно охватить полностью такую обширную тему даже на поверхностном уровне, которого я стремился придерживаться, поэтому если то, что здесь написано вам понравится, я с удовольствием продолжу публикации на эту тему.

                                      Читать дальше →
                                    • Пишем кандидатскую работу

                                        Этот пост, возможно, будет полезен аспирантам (и магистрам) при написании своих научных работ, так как содержит некоторые наблюдения и выводы, сделанные автором во время работы над кандидатской.

                                        Выбор темы


                                        Наверное, самый важный пункт и к тому же, самый сложный. Причин может быть множество — от организационных, таких как смена университета, кафедры, руководителя до вполне обычных — нынешнее направление не интересное, а новое еще не придумали. Но, как правило, проблема одна — какую тему выбрать для кандидатской?
                                        Читать дальше →