В нашей небольшой, но очень динамично развивающейся компании каждый день тестируется больше сотни задач. Все они проверяются как в тестовом окружении, так и в окружениях, более приближенных к реальному. Подавляющее большинство задач, связанных с web, проверяется автотестами, которых у нас много.

Примерно полгода назад тестов и задач стало столько, что наша маленькая ферма с Selenium в час пик стала буквально «захлебываться» от запросов на новую сессию Firefox или Chrome. Выглядело это примерно так: на Selenium grid образуется очередь из сессий, которые ждут свободный браузер. Пользователи продолжают запускать автотесты, и эта очередь продолжает расти, но браузеры заняты старыми задачами и сессии «отваливаются» с таймаутом.

Привет, дорогие читатели. Я – разработчик в компании “RTL Service”, в которой мои обязанности по разработке продукта пересекаются с обязанностями DevOps. Конкретнее – я создаю и поддерживаю инфраструктуру сборки и первичного тестирования наших продуктов еще до их попадания в отдел тестирования.

В данной статье будет рассказано о том, какой путь у нас проходит код от пуша в хранилище системы контроля версий до формирования установочного deb пакета и размещения в наш репозиторий пакетов.

Это подробная инструкция по распознаванию образов в R с использованием глубокой сверточной нейронной сети, предоставляемой пакетом MXNet. В этой статье приведен воспроизводимый пример, как получить 97,5% точность в задаче распознавания лиц на R.

Привет Хабр! Не так давно, в нашей организации встала задача узаконить wifi доступ, но чтобы в дальнейшем использование системы было бесплатно. (Согласно постановлению Правительства №758 от 31 июля 2014г. и №801 от 12 августа 2014 г. — все публичные WIFI сети обязаны производить идентификацию пользователей). У нас 10 залов для мероприятий (от 30 до 400 человек), а в день в среднем проходит от 4 до 12, плюс постоянная текучка народа и капризные пользователи.

Кажется, не проходит и дня, чтобы на Хабре не появлялись посты о нейронных сетях. Они сделали машинное обучение доступным не только большим компаниям, но и любому человеку, который умеет программировать. Несмотря на то, что всем кажется, будто о нейросетях уже всем все известно, мы решили поделиться обзорной лекцией, прочитанной в рамках Малого ШАДа, рассчитанного на старшеклассников с сильной математической подготовкой.

Материал, рассказанный нашим коллегой Константином Лахманом, обобщает историю развития нейросетей, их основные особенности и принципиальные отличия от других моделей, применяемых в машинном обучении. Также речь пойдёт о конкретных примерах применения нейросетевых технологий и их ближайших перспективах. Лекция будет полезна тем, кому хочется систематизировать у себя в голове все самые важные современные знания о нейронных сетях.



Константин klakhman Лахман закончил МИФИ, работал исследователем в отделе нейронаук НИЦ «Курчатовский институт». В Яндексе занимается нейросетевыми технологиями, используемыми в компьютерном зрении.

Под катом — подробная расшифровка со слайдами.

Когнитивные вычисления (cognitive computing) — тренд последних нескольких лет. Это технологии, которые силами многих специалистов развиваются очень быстрыми темпами и помогают человеку справляться с огромным потоком информации. Причем поток этот очень глубокий и широкий, образно говоря, это весь поток информации, генерируемый человечеством. Мозг человека — мощнейшая система, способная анализировать неструктурированные массивы данных, обрабатывать их и «раскладывать по полочкам». Но даже этот инструмент не справляется с информационными потоками современности, поэтому на службу себе человек поставил компьютеры, как обычные персональные, так и сверхпроизводительные системы. Но тут возникла проблема уже иного характера, а именно — необходимость структурирования данных, которые обрабатываются. Каждый день человечество генерирует около 2,5 квинтиллионов байтов данных, и 80% из них являются неструктурированными. А это означает, что эти 80% невидимы для современных компьютерных систем, созданных по обычной технологии.

На помощь приходят когнитивные вычисления, технологии, которые частично повторяют особенности работы мозга человека и способные работать во много крат эффективнее своего органического предтечи. Здесь стоит оговориться, что речь идет лишь о малой части функций мозга, ответственных за обработку и анализ поступающей извне информации. Также можно говорить и о самообучении системы, с определенными допущениями. Но, тем не менее, когнитивные технологии способны на многое, упрощая жизнь как отдельно взятому человеку, так и бизнес-структурам.

Билл Гейтс один из немногих по-настоящему известных в индустрии людей, который регулярно озвучивает свой список книг для чтения. Ему вторит молодой коллега — Марк Цукерберг — специально создавший в Facebook отдельное сообщество A Year of the Book, в котором сообща выбирают самую значимую книгу года. Также в интернете можно встретить и другие подборки литературы, которые тот или иной заметный в своей сфере человек считает важными, но, судя по всему, только от Билла Гейтса можно получить настоящую "обратную связь" и узнать, что предпочитает читать самый богатый человек на Земле. У бывшего главы Microsoft для этой цели есть личный блог, где он и описывает свои впечатления от новинок.

Эта публикация — вторая в серии. Ранее можно было узнать о тех шести книгах, которые Гейтс рекомендовал в 2015 году.

Хочу поделиться опытом обучения на ресурсе «Coursera», а именно — освоением курсов «Machine Learning Foundations: A Case Study Approach» и «Machine Learning: Regression». Эти курсы являются частью специализации «Machine Learning» (University of Washington).

Мы собрали интересные лекции, которые помогут понять, как работает машинное обучение, какие задачи решает и что нам в ближайшем будущем ждать от машин, умеющих учиться. Первая лекция рассчитана скорее на тех, кто вообще не понимает, как работает machine learning, в остальных много интересных кейсов.

Оглавление

Часть 1 — линейная регрессия
Часть 2 — градиентный спуск
Часть 3 — градиентный спуск продолжение

Введение

Этим постом я начну цикл «Нейронные сети для новичков». Он посвящен искусственным нейронным сетям (внезапно). Целью цикла является объяснение данной математической модели. Часто после прочтения подобных статей у меня оставалось чувство недосказанности, недопонимания — НС по-прежнему оставались «черным ящиком» — в общих чертах известно, как они устроены, известно, что делают, известны входные и выходные данные. Но тем не менее полное, всестороннее понимание отсутствует. А современные библиотеки с очень приятными и удобными абстракциями только усиливают ощущение «черного ящика». Не могу сказать, что это однозначно плохо, но и разобраться в используемых инструментах тоже никогда не поздно. Поэтому моей первичной целью является подробное объяснение устройства нейронных сетей так, чтобы абсолютно ни у кого не осталось вопросов об их устройстве; так, чтобы НС не казались волшебством. Так как это не математический трактат, я ограничусь описанием нескольких методов простым языком (но не исключая формул, конечно же), предоставляя поясняющие иллюстрации и примеры.

Цикл рассчитан на базовый ВУЗовский математический уровень читающего. Код будет написан на Python3.5 с numpy 1.11. Список остальных вспомогательных библиотек будет в конце каждого поста. Абсолютно все будет написано с нуля. В качестве подопытного выбрана база MNIST — это черно-белые, центрированные изображения рукописных цифр размером 28*28 пикселей. По-умолчанию, 60000 изображений отмечены для обучения, а 10000 для тестирования. В примерах я не буду изменять распределения по-умолчанию.

Пусть, пусть дорога вдаль бежит,
Грусть, пусть на сердце не лежит,
Мне, все на свете по плечу.
И с песней этой, качу по свету,
Качу, качу куда хочу.

Собственно, решил я ездить до своей работы, а это примерно 25 км на велосипеде, благо, положительный опыт коллег имеется. А тут начальство любезно решило профинансировать эту инициативу всем желающим и вместо работы после работы мы со знающими коллегами принялись обсуждать необходимые характеристики двухколесного друга. Выбор пал на Pegasus Tecaro E8 немецкой фирмы Pegasus, которая более 30 лет на рынке.

Совсем недавно на Хабре было 2 статьи о том, как автоматизировать процесс скачивания новых серий с торрентов. Авторы обеих статей поделились своими приложениями. Вот уже год мы тоже разрабатываем подобное приложение и мне кажется, пришло время рассказать хабрасообществу о нашем маленьком, но прекрасном проекте Monitorrent, который, возможно, сделает вашу жизнь настолько проще и удобнее, насколько сделал нашу.

Веб приложение написано на Python 2 (с поддержкой Python 3). Оно позволяет добавлять новые торренты для мониторинга, автоматически скачивать новые серии и добавлять их в торрент клиент.

Мы им пользуемся на постоянной основе с конца прошлого года, а 1 мая 2016 мы выпустили первую релизную версию, которая без каких-либо сбоев крутится до сих пор на cubietruck в docker контейнере.

За подробностями того как оно работает внутри прошу под

Удаление своего досье в Google; прямые ссылки в поиске; новый user.js для Firefox; просмотр программ, которые обращаются к конкретному файлу под Windows; запись анимированного GIF с экрана

В этой рубрике мы будем публиковать небольшие хитрости и полезные советы, которые могут пригодиться в повседневной работе.

Как отредактировать/удалить историю своих действий в Сети, которые собирает Google?
Неделю назад Google представила новый инструмент MyActivity («Мои действия»). Здесь представлена разнообразная информация, в том числе:

• история поиска в Google, Google Play, на картах Google Maps и прочих сайтах Google;
• список просмотренных видео на YouTube;
• список действий в браузере Chrome, в том числе список поисковых запросов в других поисковых системах через омнибар;
• информация с мобильного телефона Android (Google сохраняет ваши контакты, календари, информацию о приложениях, музыке, сведения об устройстве).

Когда-то люди просыпались в середине ночи, чтобы подумать, сделать записи или заняться любовью. Что мы потеряли, засыпая на всю ночь?

4:18 утра. В очаге сгорели дрова, и остались только оранжевые кусочки, которые скоро превратятся в пепел. Орион-охотник взошёл над холмом. Мерцающее «V» Тельца стоит прямо над головой, и указывает на Семерых сестёр. Сириус, одна из собак Ориона, мерцает красным, голубым, фиолетовым – как галактический диско-шар. Ночь продолжается, и старый пёс вскоре сядет за холмом.

4:18 утра, и я не сплю. Такое раннее пробуждения обычно считается нарушением, сбоем в естественном ритме тела – признаком депрессии, или возбуждения. Действительно, после пробуждения в 4 утра в голове моей жужжало. И хотя я человек позитивный, но когда я лежу в темноте, в мыслях появляется волнение. Мне кажется, что лучше встать, чем лежать в постели, балансируя на грани лунатизма.

Если я пишу в эти часы, чёрные мысли становятся чёткими и красочными. Они формируются в слова и предложения, одно цепляется за другое – будто вереница слонов, держащихся хоботами за хвосты. В это время ночи мой мозг работает по-другому: я могу писать, но не редактировать. Могу добавлять, но не отнимать. Для чёткости необходимо дневное сознание. Я работаю несколько часов, а затем снова засыпаю.

У всех людей, животных, насекомых и птиц есть встроенные часы, биологические устройства, управляемые генами, протеинами и молекулярными каскадами. Эти внутренние часы зависят от бесконечного, но переменного цикла света и тьмы, происходящего из-за вращения и наклона нашей планеты. Они управляют основными физиологическими, нейрологическими и поведенческими системами в соответствии с примерно 24-часовым циклом, известным, как циркадный ритм. Он влияет на наше настроение, желания, аппетит, схемы сна и чувство времени.

Римляне, греки, инки просыпались без айфоновских будильников или цифровых радиочасов. Их временем заведовала природа: восход солнца, вечерний хор, нужды полевых культур или домашнего скота. До 14 века ход времени отмечался солнечными и песочными часами, а затем на монастырях и церквях появились первые механические часы. К 1800-му году механические часы уже вовсю носили на шее, запястьях и лацканах. Можно было назначать встречи, время для принятия пищи и отхода ко сну.

Общества, построенные на индустриализации и точном времени, породили понятие срочности и такие концепции, как «вовремя» или «потеря времени». Часы начали всё сильнее расходиться с естественным временем, но свет и тьма всё ещё управляли рабочими часами и социальными структурами. Но всё поменялось в 19 веке.

Я предпочитаю работать в маленьких командах: до 10 человек. Всех участников команды ты знаешь лично, чаще всего не нужно специально «бронировать время», чтобы обсудить что-то и принять решения.

Но случается и так, что мы беремся за работу над большими проектами. Под «большими» я понимаю композицию следующих факторов:

1. Более 50 проектов в solution’е. Назначение не всех из них вы знаете
2. Билд и выкладка длятся более 5 минут
3. Над кодом работают десятки или сотни человек в разных офисах (возможно и странах)
4. Существует четкое разделение труда и область ответственности каждой команды
5. Существуют строгие регламенты, стандарты оформления кода, прохождение ревью является обязательным критерием выполнения задачи
6. Учет рабочего времени производится позадачно, анализируются причины расхождения оценок и реальных трудозатрат

Бюрократия в этом случае – необходимое зло, тем ни менее, действующее на нервы. Чтобы избежать потерь драгоценных клеток я советую сразу подготовиться к тому, что придется поменять свой привычный workflow. Хорошая новость состоит в том, что, переучившись, вам не составит труда поступать также и на небольших проектах. Скорее всего, ваши коллеги будут приятно удивлены такой педантичностью

Давай в первых строках я сразу проясню. Я не против технологий и развития. Я против маркетинга и обмана людей мало разбирающихся в технологиях. Стартап, не знаю кому как, а по мне звучит как ругательство. Или надругательство над старыми добрыми изобретателями.

Ведь как все было раньше?

Если вы захотите встроить искусственный интеллект в каждый продукт, вам придётся переобучать вашу армию программистов. Ставим галочку

Карсон Холгейт [Carson Holgate] тренируется на ниндзя. Но не в рукопашном бою – это она уже освоила. Ей 26 лет, и у неё чёрный пояс второго дана по тхэквондо. На этот раз она тренируется в алгоритмах – и вот уже несколько недель проходит программу, которая даст ей силу даже большую, чем дает рукопашный бой. Это машинное обучение, МО. Она работает программистом в Google, в подразделении Android. Холгейт – одна из 18 программистов, участвующих в этом году в программе «Ниндзя машинного обучения», которая выдёргивает талантливых кодеров из их команд и вводит в программу в стиле «Игра Эндера». В рамках программы их обучают техникам внедрения ИИ, которые должны сделать их продукты умнее. Даже ценой усложнения их программ.



«Наш слоган: „Хотите стать ниндзя в машинном обучении?“,- говорит Кристин Робсон, менеджер продукта в области МО во внутренних курсах Google, помогавшая внедрять программу. „Мы приглашаем людей из Google, чтобы провести шесть месяцев внутри команды МО, находиться рядом с наставником, работать над МО полгода, делать свой проект, запускать его и обучаться в процессе“.

Для Холгейт, пришедшей в Google почти четыре года назад с дипломом по информатике и математике, это шанс овладеть самой горячей парадигмой мира софта. Используя обучающиеся алгоритмы и большие объёмы данных, „обучать“ программы выполнению задач. Много лет МО было специальностью, которой владели немногие, „элита“. Это время прошло, и есть мнение, что МО, питаемое нейросетями, эмулирующими работу биологического мозга – это истинный путь по наделению компьютеров возможностями человека, а иногда – и сверхчеловека. Google настроен на увеличение численности этой элиты в своей компании, и надеется, что эти знания станут нормой. Программистам вроде Холгейт эта программа может позволить занять место в первых рядах, и учиться у лучших из лучших. „Эти люди делают невероятные модели, имея при этом степени доктора наук,- говорит она, не скрывая восхищения. Она уже привыкла к тому, что участвует в программе, называющей своих учащихся “ниндзя». – Я сперва морщилась, но привыкла".

Учитывая огромное количество сотрудников компании – почти половина из 60 000 работают программистами – этот проект очень мал. Но программа символизирует когнитивный сдвиг. Хотя МО уже давно используется в технологиях Google – и компания уже стала лидером по найму экспертов в этой области – в 2016 году Google просто помешалась на этой теме. На конференции по обучению в конце прошлого года директор Сандар Пичай пояснил намерения корпорации: «МО – это ядро, путь преобразований, через который мы меняем представление о том, как мы достигаем наших целей. Мы вдумчиво применяем его во всех продуктах – будь то поиск, реклама, YouTube или Play. Мы ещё в начале пути, но вы увидите, что мы систематически будем применять машинное обучение во всех этих областях».

Как часто у вас бывает такое, что когда вы уже почти заснули, вам в голову неожиданно приходит совсем неплохая идея?

Ньютон предположительно спал, перед тем как ему на голову упало яблоко. Менделеев свою таблицу придумал во сне. У Сальвадора Дали был особый метод — он спал на работе. Если верить рассказам Дали, он дремал за мольбертом, держа в руке ключ, кисть или ложку. Когда предмет выпадал и ударялся о положенную заранее на пол тарелку, грохот будил художника. И он немедленно брался за работу, пока не улетучилось состояние между сном и явью.

Имея некоторый теоретический базис и практический опыт генерации, развития и внедрения идей, имею основания полагать, что этот феномен является следствием того, что идеи — продукт деятельности бессознательного, в народе именуемого подсознанием. Наша с вами задача в этой статье состоит в том, чтобы понять как можно научиться извлекать из бессознательного идеи.

Введение

Эта история началась практически сразу после написания статьи об исследовании аркады небезызвестной корейской компании: в аркадном автомате Tank! Tank! Tank! от Namco вышел из строя жесткий диск (что неудивительно, т.к. производитель установил в автомат не отличающиеся надежностью Seagate 7200.12), диск взяли с рабочей аркады и скопировали его через WinHex, после чего игра перестала запускаться. Предположив, что целостность диска была нарушена неосторожным нажатием клавиши в окне редактирования данных на диске в WinHex, был взят другой диск с еще одного рабочего автомата, скопирован аналогичным образом, который также перестал запускаться. Тут-то и стало понятно, что в диск каким-то образом встроена защита от копирования.

Внимательный читатель найдет на этой картинке IPv6

Люди часто озадачены доменами. Почему мой сайт не работает? Почему эта хрень поломана, ничего не помогает, я просто хочу, чтобы это работало! Обычно, вопрошающий или не знает про DNS, или не понимает фундаментальных идей. Для многих DNS — страшная и непонятная штука. Эта статья — попытка развеять такой страх. DNS — это просто, если понять несколько базовых концепций.

Что такое DNS

DNS расшифровывается как Domain Name System. Это глобальное распределенное хранилище ключей и значений. Сервера по всему миру могут предоставить вам значение по ключу, а если им неизвестен ключ, то они попросят помощи у другого сервера.

Вот и все. Правда. Вы или ваш браузер запрашивает значение для ключа www.example.com, и получает в ответ 1.2.3.4.