Pull to refresh
0
0
Ярость Топора @rageOfAxe

User

Send message

Data science и качественный код

Reading time9 min
Views20K

Обычно модели машинного обучения строят в jupyter-ноутбуках, код которых выглядит, мягко говоря, не очень — длинные простыни из лапши выражений и вызовов "на коленке" написанных функций. Понятно, что такой код почти невозможно поддерживать, поэтому каждый проект переписывается чуть ли не с нуля. А о внедрении этого кода в production даже подумать страшно.


Поэтому сегодня представляем на ваш строгий суд превью python'овской библиотеки по работе с датасетами и data science моделями. С ее помощью ваш код на python'е может выглядеть так:


my_dataset.
    load('/some/path').
    normalize().
    resize(shape=(256, 256, 256)).
    random_rotate(angle=(-30, 30)).
    random_crop(shape=(64, 64, 64))

for i in range(MAX_ITER):
    batch = my_dataset.next_batch(BATCH_SIZE, shuffle=True)
    # обучаем модель, подавая ей батчи с данными    

В этой статье вы узнаете об основных классах и методах, которые помогут сделать ваш код простым, понятным и удобным.


Читать дальше →
Total votes 25: ↑20 and ↓5+15
Comments13

Kaggle: Британские спутниковые снимки. Как мы взяли третье место

Reading time22 min
Views41K

Сразу оговорюсь, что данный текст — это не сухая выжимка основных идей с красивыми графиками и обилием технических терминов (такой текст называется научной статьей и я его обязательно напишу, но потом, когда нам заплатят призовые $20000, а то, не дай бог, начнутся разговоры про лицензию, авторские права и прочее.) (UPD: https://arxiv.org/abs/1706.06169). К моему сожалению, пока устаканиваются все детали, мы не можем поделиться кодом, который написали под эту задачу, так как хотим получить деньги. Как всё утрясётся — обязательно займемся этим вопросом. (UPD: https://github.com/ternaus/kaggle_dstl_submission)

Так вот, данный текст — это скорее байки по мотивам, в которых, с одной стороны, всё — правда, а с другой, обилие лирических отступлений и прочей отсебятины не позволяет рассматривать его как что-то наукоемкое, а скорее просто как полезное и увлекательное чтиво, цель которого показать, как может происходить процесс работы над задачами в дисциплине соревновательного машинного обучения. Кроме того, в тексте достаточно много лексикона, который специфичен для Kaggle и что-то я буду по ходу объяснять, а что-то оставлю так, например, вопрос про гусей раскрыт не будет.
Total votes 74: ↑74 and ↓0+74
Comments42

Просмотр сериалов как способ изучения английского языка

Reading time4 min
Views117K
image

Итак, дорогие читатели, после семи месяцев просмотра сериалов на английском, я решила, наконец, написать обзор о лучших, на мой взгляд, сериалах для изучения английского языка.
Читать дальше →
Total votes 31: ↑23 and ↓8+15
Comments85

Библиотека глубокого обучения Tensorflow

Reading time16 min
Views131K

Здравствуй, Хабр! Цикл статей по инструментам для обучения нейронных сетей продолжается обзором популярного фреймворка Tensorflow.


Tensorflow (далее — TF) — довольно молодой фреймворк для глубокого машинного обучения, разрабатываемый в Google Brain. Долгое время фреймворк разрабатывался в закрытом режиме под названием DistBelief, но после глобального рефакторинга 9 ноября 2015 года был выпущен в open source. За год с небольшим TF дорос до версии 1.0, обрел интеграцию с keras, стал значительно быстрее и получил поддержку мобильных платформ. В последнее время фреймворк развивается еще и в сторону классических методов, и в некоторых частях интерфейса уже чем-то напоминает scikit-learn. До текущей версии интерфейс менялся активно и часто, но разработчики пообещали заморозить изменения в API. Мы будем рассматривать только Python API, хотя это не единственный вариант — также существуют интерфейсы для C++ и мобильных платформ.

Читать дальше →
Total votes 83: ↑83 and ↓0+83
Comments15

13 лет плохого кода в играх

Reading time14 min
Views36K
Одиноким пятничным вечером в поисках вдохновения вы решаете припомнить свои былые победы на программистском фронте. Архив со старого жесткого диска неторопливо открывается и вот перед вами разворачивается код славных далеких времен…

О нет. Это совсем не то, что вы ожидали увидеть. Правда, что ли, все было настолько плохо? Почему вам никто не сказал? Как можно было до такого докатиться? Такое количество операторов go-to в одной-единственной функции – это вообще законно? Вы поспешно закрываете проект. На секунду вас одолевает искушение удалить файл, и всё содержимое жёсткого диска заодно.



Ниже вы найдете коллекцию уроков, поучительных примеров и предостережений, которые я вынес из собственного путешествия в прошлое. Все имена приводятся без изменений, чтобы обличить виновных.
Читать дальше →
Total votes 39: ↑31 and ↓8+23
Comments41

Алгоритмы в биоинформатике ч.1

Reading time9 min
Views9.4K
bioinformatic    В предыдущих статьях (1,2) мы познакомились с тем, как могут выглядеть данные в зависимости от проведенного биологического эксперимента. На основании этих визуализированных данных были сделаны предположения о том, что же происходит внутри клетки. Теперь остановимся на том, как математически и алгоритмически проанализировать данные для того, чтобы машины за нас могли выполнить рутинную работу. К сожалению, после прочтения множества статей по анализу данных у меня сложилось впечатление, что однозначного или наиболее универсального решения не существует. Есть алгоритмы, которые хорошо себя показывают на некотором наборе данных, а в других случаях уже не отвечают поставленным задачам.
Читать дальше →
Total votes 53: ↑52 and ↓1+51
Comments5

Розалинд — платформа для изучения биоинформатики

Reading time2 min
Views17K
DNA

Широко известны сайты для решения олимпиадных задач по программированию, такие, как, например, TopCoder и Codeforces, а также сборники математических задач-головоломок, например, Project Euler. За последний год произошёл бум онлайн образования: возникли стартапы Coursera и Udacity, предоставляющие онлайн курсы от топовых университетов США… но для тех, кто хочет изучить биоинформатику, пока ничего нет.

Розалинд — проект, разрабатываемый в Санкт-Петербуге и University of California, San Diego с мая 2012 года, как раз заполняет эту нишу. Это платформа для обучения биоинформатике с помощью решения задач, бесплатная и открытая.
Читать дальше →
Total votes 63: ↑61 and ↓2+59
Comments36

Метилирование ДНК и биоинформатика

Reading time3 min
Views11K
После прочтения вводной статьи portah о биоинформатике, в частости технологиях Chip-Seq и RNA-Seq, мне крайне понравилась идея пополнения, по мере сил, русскоязычных статей о биоинформатике, и особенно о ее «практической» составляющей. Поэтому я предлагаю этот краткий обзор pipeline для анализа метилома по технологии Illumina 450K Human Methylation.
Читать дальше →
Total votes 20: ↑19 and ↓1+18
Comments6

Итак, вы создали игру. Что дальше?

Reading time11 min
Views25K
image

Игра уже почти в состоянии альфа-версии. Месяцами вы упорно работали над ней, до цели остался последний рывок, а финишная линия уже видна. Вы планируете потратить несколько следующих месяцев на полировку, настройку и балансировку своего шедевра, прежде чем показать его миру и заработать состояние. Но это не совсем верно. Ещё многое предстоит сделать. Фактически, перед вами скоро откроется совершенно новый мир, пока вы будете гуглить информацию о маркетинге, PR, создании сообщества и издании игры. Вы читали постмортемы, слышали страшные истории и смотрели видео с GDC об играх, разваливавшихся за пару последних месяцев разработки или пропавших в пучине после выпуска из-за недостаточной огласки или апатии. Теперь вас беспокоит судьба вашего замечательного творения, в которое вы вложили месяцы творческой работы и энергии. Страх постепенно овладевает вами. Ужас от того, что ваша игра может просто кануть в небытие.

Предстоит ещё многое сделать! Если вы похожи на меня, то у вас в чём-то не хватает опыта. Все мы обладаем разными навыками и хорошо справляемся со своей работой, но никто не может быть специалистом во всех областях. Например, я в первую очередь программист, и я могу заниматься заниматься массой других вещей (кроме графики, в ней я не силён), но создание бизнеса, маркетинг, PR и создание сообщества… Нет, для меня это всегда было загадкой, и я всегда игнорировал эти аспекты до последнего момента, после чего, наконец, заставлял себя сделать кое-как эту часть работы. Просто для меня это не очень интересная часть процесса разработки игры, и я думаю, что большинство с этим согласится. Кроме фанатов маркетинга, естественно.
Читать дальше →
Total votes 14: ↑13 and ↓1+12
Comments3

Принципы минимализма при разработке игр для мобильных платформ

Reading time4 min
Views43K

Преамбула


В конце лета прошлого года мы решили сделать продолжение нашей игры Папа Пингвин как полноценную новую игру. Вначале мы хотели лишь слегка изменить имеющуюся идею и выпустить на основе нее более серьезный проект, использующий наши наработки, однако мы недостаточно основательно подошли к вопросам препродакшена и не определили достаточно четко фокус и базовый геймплей проекта с самого начала. В результате игра получилась не такой лаконичной и цельной, как могла бы, а разработка игры затянулась. Причем не все запланированные фичи были реализованы, а в процессе разработки приходилось несколько раз останавливаться, пересматривать полученные результаты и упрощать как саму идею, так и дизайн уровней, интерфейс и т.д. Последние упрощения были сделаны после проведенных тестов и отзывов. В итоге получился именно Капитан Антарктика, а не Папа Пингвин 2. Результатом, откровенно говоря, я не совсем доволен. Хотя игра получилась очень интересной, многое в ней можно упростить и улучшить (что мы и постараемся сделать в ближайших обновлениях).

Встал вопрос о создании новой небольшой игры. И дабы не повторить опыт предыдущей, я сел и написал список требований, которые нужно держать в голове при запуске в производство небольшого проекта для iOS. Конечно, он учитывает, что у разработчиков уже должен быть некий опыт и свои наработки. Без них некоторые пункты не имеют смысла. К тому же, список ориентирован не на все жанры, и во многом определен нашими играми. Но что-то для себя из него, думаю, может почерпнуть каждый.
Читать дальше →
Total votes 23: ↑19 and ↓4+15
Comments21

Создание вашей первой игры на Phaser. Часть 0 — Подготовка к работе

Reading time7 min
Views22K

Phaser


Оглавление


0. Подготовка к работе [Вы тут]
1. Введение
2. Загрузка ресурсов
3. Создание игрового мира
4. (wip) Группы
5. (wip) Мир физики
6. (wip) Управление
7. (wip) Добавление целей
8. (wip) Последние штрихи


Эта серия статей научит вас основам и "хорошему тону" игрового фремворка Phaser. За данный курс, я постараюсь объяснить вам основные идеи и возможности фреймворка, а также покажу как его грамотно использовать в связке с TypeScript и Webpack.

Читать дальше →
Total votes 24: ↑19 and ↓5+14
Comments8

Сколько заработает ваша мобильная игра?

Reading time7 min
Views33K
Разработка мобильных игр — отрасль с очень высокой конкуренцией. Миллионы игр в Google Play и Apple Store, позабытые пользователями сразу после запуска, и редкие истории успеха тому свидетельство. В очередном посте блога «Менеджмент игровых интернет-проектов» мы перевели статью разработчика игр Росса Пшибыльски (Ross Przybylski) о расчёте потенциального дохода мобильных игр F2P. За свою десятилетнюю карьеру Росс успел набраться опыта и в инди-студиях (D20Studios), и в крупных AAA-компаниях (EA).


Читать дальше →
Total votes 24: ↑20 and ↓4+16
Comments6

Нейронные сети на Javascript

Reading time7 min
Views164K
image
Идея для написания этой статьи возникла прошлым летом, когда я слушал доклад на конференции BigData по нейронным сетям. Лектор «посыпал» слушателей непривычными словечками «нейрон», «обучающая выборка», «тренировать модель»… «Ничего не понял — пора в менеджеры», — подумал я. Но недавно тема нейронных сетей все же коснулась моей работы и я решил на простом примере показать, как использовать этот инструмент на языке JavaScript.

Мы создадим нейронную сеть, с помощью которой будем распознавать ручное написание цифры от 0 до 9. Рабочий пример займет несколько строк. Код будет понятен даже тем программистам, которые не имели дело с нейронными сетями ранее. Как это все работает, можно будет посмотреть прямо в браузере.
Читать дальше →
Total votes 58: ↑54 and ↓4+50
Comments79

Нейронные сети: практическое применение

Reading time15 min
Views273K


Наталия Ефремова погружает публику в специфику практического использования нейросетей. Это — расшифровка доклада Highload++.

Добрый день, меня зовут Наталия Ефремова, и я research scientist в компании NtechLab. Сегодня я буду рассказывать про виды нейронных сетей и их применение.

Сначала скажу пару слов о нашей компании. Компания новая, может быть многие из вас еще не знают, чем мы занимаемся. В прошлом году мы выиграли состязание MegaFace. Это международное состязание по распознаванию лиц. В этом же году была открыта наша компания, то есть мы на рынке уже около года, даже чуть больше. Соответственно, мы одна из лидирующих компаний в распознавании лиц и обработке биометрических изображений.

Первая часть моего доклада будет направлена тем, кто незнаком с нейронными сетями. Я занимаюсь непосредственно deep learning. В этой области я работаю более 10 лет. Хотя она появилась чуть меньше, чем десятилетие назад, раньше были некие зачатки нейронных сетей, которые были похожи на систему deep learning.
Total votes 74: ↑64 and ↓10+54
Comments32

Отчет с Game Design meetup 4 февраля

Reading time2 min
Views6.7K


В первую субботу февраля состоялась первая неформальная игровая встреча Game Design meetup. И сегодня мы хотим поделиться материалами выступлений, под катом вас ждут презентации и видеозаписи четырех докладов.
Total votes 24: ↑22 and ↓2+20
Comments11

Радикальное продление жизни: вещества против старения

Reading time8 min
Views70K

Картина Евгении Кашиной «Эликсир бессмертия»

Что нужно делать, чтобы увеличить свои шансы на долгую и здоровую жизнь? Поддерживайте физическую активность, ешьте больше овощей и фруктов, хорошо спите, гуляйте на свежем воздухе, избегайте стрессов, регулярно проходите медицинское обследование — этим рекомендациям уже больше ста лет. На самом деле все бесполезно — вы все равно умрете.

Но есть и хорошие новости: в эпоху нейросетей, генной терапии и машинного обучения стало возможным изучить процесс старения клеток, тканей и органов. Уже сейчас мы знаем некоторые методы замедления скорости старения, а через 10–20 лет, возможно, научимся обращать эти процессы вспять. В любом случае, лучше прямо сейчас задаться целью прожить здоровым дольше, чтобы своими глазами увидеть, сможет ли наука окончательно решить вопрос патологии старения.
Читать дальше →
Total votes 56: ↑51 and ↓5+46
Comments224

Facebook Audience Network — новое слово в монетизации сайтов и приложений

Reading time4 min
Views16K
В монетизации своих ресурсов владельцы активно используют партнерские рекламные системы. Традиционно в лидерах Google Adsense, AdMob и Рекламная Сеть Яндекса (РСЯ). В последнее время модернизировалась и проявляет активность рекламная система фейсбука — Facebook Audience Network (FAN). Поэтому и пишу о ее новизне, хотя появилась эта сеть несколько лет назад. Она имеет ряд уникальных особенностей, рассмотрим их подробно.



Концепция


Это наступление фейсбука за пределы своей экосистемы, вовлечение в нее внешних игроков.
Читать дальше →
Total votes 15: ↑11 and ↓4+7
Comments0

История о дизайнере, покоряющем математику

Reading time4 min
Views20K
Автор материала — дизайнер мобильных приложений. В своем посте она подробно описывает собственный путь в освоении математики, а также рассказывает о влиянии, которое точные науки оказали на ее основную работу.

image

Я терпеть не могла математику


Математика меня раздражала. В юности мне казалось совершенно бессмысленным тратить столько времени на решение математических задач, когда вокруг было так много других интересных занятий!

На самом деле, если подучить математику, можно создавать прекрасные концепты!


Во время учебы в университете я записалась на курс интерактивных искусств. Там мне показали, как творить с помощью кода в Processing. Вот один из примеров — восхитительная работа Мариуса Уотца (с тех пор я его поклонница).
Читать дальше →
Total votes 35: ↑30 and ↓5+25
Comments18

7 начальных уровней, которые должны изучить все разработчики игр

Reading time8 min
Views21K
image

Начало игры — критически важный этап. Оно не только знакомит с персонажами и сюжетом, погружая в атмосферу, но и может научить тому, как работает игра — управление, базовая механика, поощряемые и неодобряемые типы взаимодействий, природа конфликта, и так далее.

Поэтому немного удивительно, что многие игры испытывают проблемы в реализации вводных сцен. Одни утомляют подробными инструкциями по любому поводу. Другие впадают в другую крайность, полагая, что игроки интуитивно освоятся с управлением и системами (их максимум — заставка с раскладкой управления на экране загрузки). Многие начинают слишком медленно — они хорошо объясняют все системы игры, но забывают показать причину, по которой игрок должен их изучать.

Первые уровни сложны. Поэтому мы попросили нескольких разработчиков привести примеры игр, в которых они сделаны правильно. Семь выбранных ими игр сохраняют равновесие между помощью игрокам в обучении игре и задании атмосферы для нескольких часов сюжета.
Total votes 28: ↑25 and ↓3+22
Comments24

Google опустил в выдаче сайты с полноэкранными мобильными баннерами

Reading time4 min
Views23K

Примеры баннеров, за которые Google теперь пессимизирует сайт

10 января 2017 года стал грустным днём для рекламщиков. В этот день компания Google официально объявила об изменении в алгоритме ранжирования поисковой выдачи с учётом доступности мобильной версии сайта. Если при загрузке мобильной версии на экране смартфона возникает полноэкранный баннер, то этот будет сайт понижен в поисковой выдаче на мобильном устройстве.
Читать дальше →
Total votes 37: ↑35 and ↓2+33
Comments70
1
23 ...

Information

Rating
Does not participate
Location
Искитим, Новосибирская обл., Россия
Registered
Activity