Зачем разработчикам изучать Spark? Как освоить технологию в домашних условиях? Что умеет, а чего не умеет Spark и что ждет его в будущем? Об этом – в интервью с тренером по Java и Big Data в ЕРАМ Алексеем Зиновьевым.

Привет, хабр. Решил написать о применении нейронных сетей в совсем не традиционной для них сфере: аутентификация. Это лежит вне задач машинного обучения, и то от чего в ML пытаются избавиться — тут поощряется.

Минимум теории — максимум практики.

Заинтересовался? Тогда добро пожаловать под кат.

Проекты внедрения CRM проваливаются — это есть за рубежом, это есть в России. Причин много, но самая главная — стремление заказчика перепрыгнуть все ступени и получить одну кнопку «Рррраз и заработало». При таком подходе единственное, что получается хорошо, — это собрать все грабли на пути к автоматизации бизнеса. А это затраты, нервы, увольнения, простой бизнеса…

Мы подготовили, пожалуй, самую подробную схему и инструкцию по внедрению CRM-системы в компании. Она призвана помочь бизнесу любого размера внедрить корпоративное ПО правильно, в кратчайшие сроки и без потерь. В общем, цивилизованно и профессионально. Мы за правильные лестницы!


Когда полез не с той стороны: соблюдайте технику безопасности при внедрении CRM-систем

Привет, Хабр! Продолжаю публикацию своей книги о юридических аспектах IT-бизнеса. Сегодня — про налоги и смежные вопросы. Учитывая, что в России налоговая система слабо дифференцирована по видам бизнеса, материал вполне подойдет и для «обычного», то есть нетехнологического предпринимательства.



Книга «Закон стартапа»:

1. Стартапер vs. предприниматель
2. Выбираем форму
3. Регистрация
4. Корпоративное управление
   Как юридически строится компания
5. Текущая работа
   Договоры и как они работают
   Как проверить партнера по открытым источникам
6. Налоги
   Что платит IT-бизнес в России?
7. Государственная поддержка
8. Цикл стартапа
   Как (в общем) работает венчурное инвестирование
9. Венчурные сделки
10. Венчурные фонды
11. Интеллектуальная собственность
12. Офшоры и ВЭД
    Преимущества и подводные камни офшоров

Сон – это важно. Сон – это хорошо. Рано или поздно все мы приходим к этому заключению (я скучаю по тем дням детства, когда дневной сон был обязанностью, а не удовольствием, за которое сегодня приходится краснеть). Во время сна новые воспоминания консолидируются, а токсичные побочные продукты дневной мозговой активности выводятся. Но вот что было неожиданно, так это открытие исследователей из Политехнического университета Марча, обнаруживших, что недостаток сна включает тот же самый процесс – однако, в этом случае он проходит в экстремальном варианте. Выходит, что хроническая потеря сна переводит мозг из режима нормальной уборки по выходным в режим маниакального опустошения – при этом он устраняет и здоровые, необходимые нейронные связи.

Набор экспериментальных изображений с художественными стикерами на разных расстояниях и под разными углами: (а) 5 футов, 0 градусов; (b) 5' 15°; (с) 10' 0°; (d) 10' 30°; (e) 40' 0°. Обман работает на любом расстоянии и под любым углом: вместо знака «Стоп» система машинного обучения видит знак «Ограничение скорости 45 миль»

В то время как одни учёные совершенствуют системы машинного обучения, другие учёные совершенствуют методы обмана этих систем.

Как известно, небольшие целенаправленные изменения в картинке способны «сломать» систему машинного обучения, так что она распознает совершенно другое изображение. Такие «троянские» картинки называются «состязательными примерами» (adversarial examples) и представляют собой одно из известных ограничений глубинного обучения.

Мы уже рассказали, что такое рак, какие факторы уменьшают и увеличивают риск развития этого заболевания. В этой статье эксперты проекта Solo биомедицинского холдинга Атлас делятся информацией о скрининге и диагностике, а также видах злокачественных опухолей, которые можно выявить на ранней стадии.


Иллюстрации: Майкл Ковальски

Ниже – прямое сравнение видов коррекции (операций) с удобной сводкой по возможным осложнениям и применимости, плюс море других вопросов от профессиональных параноиков: от «что будет, если махнуть головой во время операции» до «а отдадут ли мне ткань, которую вынули из моего глаза» и «что будет в старости с моим зрением».

– Что лучше: очки, линзы или лазерная коррекция?

Если вас полностью устраивают очки – сохраняйте спокойствие, коррекцию делать не нужно. Однако, если вы никогда не пробовали линзы, то стоит попробовать поносить их пару недель, чтобы понять, как мир будет выглядеть после коррекции. В 10-летней перспективе контактные линзы (даже однодневные) существенно опаснее коррекции по обратимым и необратимым побочным эффектам и осложнениям. Поэтому я рекомендую их только для ознакомления с дивным новым миром.

– Я решил остановиться на очках, но боюсь, что мне в лицо откроется подушка автомобиля и они станут контактными линзами. Что делать?

По моему хирургическому опыту, современные подушки безопасности не травмируют очкариков. Глаза и лицо обычно повреждаются осколками лобового стекла. Если вы беспокоитесь о сохранности очков, то подумайте про современные, с поликарбонатными линзами. Они невероятно прочные: на краш-тестах по ним машина ездит.

Если вы видите плохо и не надеваете очки, то вы теряете часть информации об окружающем мире и при этом создаёте дополнительную нагрузку на зрительный аппарат. Есть проблема – нужна оптическая коррекция. А испортить глаза очками можно, как один из наших коллег из клиники в г. Марбурге – он уснул в стеклянных очках за компьютером дома, упал лицом на клавиатуру, и осколок стекла вошёл в хрусталик. В итоге сначала заменили хрусталик, потом через год понадобилась трансплантация.

Сеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.

Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально слабая точность)? С чего начать проверку?

Сеть может не обучаться по ряду причин. По итогу многих отладочных сессий я заметил, что часто делаю одни и те же проверки. Здесь я собрал в удобный список свой опыт вместе с лучшими идеями коллег. Надеюсь, этот список будет полезен и вам.

Сегодня Яндекс выложил в open source собственную библиотеку CatBoost, разработанную с учетом многолетнего опыта компании в области машинного обучения. С ее помощью можно эффективно обучать модели на разнородных данных, в том числе таких, которые трудно представить в виде чисел (например, виды облаков или категории товаров). Исходный код, документация, бенчмарки и необходимые инструменты уже опубликованы на GitHub под лицензией Apache 2.0.



CatBoost – это новый метод машинного обучения, основанный на градиентном бустинге. Он внедряется в Яндексе для решения задач ранжирования, предсказания и построения рекомендаций. Более того, он уже применяется в рамках сотрудничества с Европейской организацией по ядерным исследованиям (CERN) и промышленными клиентами Yandex Data Factory. Так чем же CatBoost отличается от других открытых аналогов? Почему бустинг, а не метод нейронных сетей? Как эта технология связана с уже известным Матрикснетом? И причем здесь котики? Сегодня мы ответим на все эти вопросы.

Метод Уэлфорда — простой и эффективный способ для вычисления средних, дисперсий, ковариаций и других статистик. Этот метод обладает целым рядом прекрасных свойств:

• достигает отличных показателей по точности решений;
• его чрезвычайно просто запомнить и реализовать;
• это однопроходный онлайн-алгоритм, что крайне полезно в некоторых ситуациях.

Оригинальная статья Уэлфорда была опубликована в 1962 году. Тем не менее, нельзя сказать, что алгоритм сколь-нибудь широко известен в настоящее время. А уж найти математическое доказательство его корректности или экспериментальные сравнения с другими методами и вовсе нетривиально.

Настоящая статья пытается заполнить эти пробелы.

Умные часы пока не стали по-настоящему массовым гаджетом. Впрочем, в эпоху мобильника в каждом кармане не столь часто можно встретить даже обычные наручные часы. Тем не менее, умные часы заняли свою нишу, и после большого перерыва предлагаем вашему вниманию обзор очередной модели — ASUS ZenWatch 3.

Люди давно уже пытаются найти средство для продления своей жизни, в идеале — нечто вроде эликсира бессмертия. Делали это в средние века, делают это и сейчас. Но, конечно, методы, которые используют современные ученые несравнимы с тем, что использовали алхимики. Современные специалисты стараются либо найти, либо создать нечто, что остановит старение или даже повернет этот процесс вспять. Пока что наиболее интересные результаты продемонстрировала команда проекта, возглавляемая успешными выходцами из ИТ сферы — миллиардером Питером Тилем из Кремниевой долины и экс-сотрудником Google Биллом Маррисом.

Они вместе с группой других ученых провели масштабное исследование, посвященное взаимосвязи работы мозга человека и старения. Результаты этого исследования опубликованы в журнале Nature. Как оказалось, у млекопитающих и у человека эта взаимосвязь есть, и она достаточно хорошо прослеживается.

МФТИ в партнерстве с компанией еНано (группа РОСНАНО) открыл набор в группу обучения по новой программе повышения квалификации «Коммерциализация результатов НИОКР и технологий». Программа дает практические инструменты для оценки коммерческих перспектив исследований и разработок и создания бизнес-предложения на их основе.

Управление проектом в любой сфере предполагает наличие дедлайнов. Есть главный, венчающий собой всю работу и говорящий о его завершенности/незавершенности. Как правило, планы включают в себя и другие дедлайны для этапов поменьше.

Я продолжаю подробно рассказывать о приемах оптимизации, позволивших мне написать самый быстрый ресайз изображений на современных x86 процессорах. На этот раз речь пойдет о преобразовании вычислений с плавающей точкой в вычисления с целыми числами. Сперва я расскажу немного теории, как это работает. Затем вернусь к реальному коду, в том числе SIMD-версии.

В предыдущих частях:

→ Часть 0
→ Часть 1, общие оптимизации
→ Часть 2, SIMD

Всё началось, как это часто бывает, когда моя машина стала подтормаживать. На рабочем компьютере Windows 10 c 24-ядерным процессором (48 потоков), который на 50% простаивал. Из 64 ГБ памяти использовалось меньше половины. Быстрый SSD тоже не особо использовался. И всё же, когда я двигал мышкой, курсор реагировал не сразу — иногда с задержкой в несколько секунд.

Так что я сделал то, что и всегда — записал и проанализировал трассировку событий с помощью ETW. В результате я обнаружил баг Windows 10, серьёзно влияющий на производительность завершения процессов.

Трассировка ETW показала, что UI зависает во многих программах. Я решил исследовать 1,125-секундное зависание в Диспетчере задач:

Data science-компании всё чаще смотрят портфолио, когда принимают решение о приёме на работу. Это, в  частности, из-за того, что лучший способ судить о практических навыках — именно портфолио. И хорошая новость в том, что оно полностью в вашем распоряжении: если постараетесь – сможете собрать отличное портфолио, которым будут впечатлены многие компании.

Содержание

• Часть 1: Введение
  
• Часть 2: Manifold learning и скрытые (latent) переменные
  
• Часть 3: Вариационные автоэнкодеры (VAE)
  
• Часть 4: Conditional VAE
  
• Часть 5: GAN (Generative Adversarial Networks) и tensorflow
  
• Часть 6: VAE + GAN
  

В позапрошлой части мы создали CVAE автоэнкодер, декодер которого умеет генерировать цифру заданного лейбла, мы также попробовали создавать картинки цифр других лейблов в стиле заданной картинки. Получилось довольно хорошо, однако цифры генерировались смазанными.

В прошлой части мы изучили, как работают GAN’ы, получив довольно четкие изображения цифр, однако пропала возможность кодирования и переноса стиля.

В этой части попробуем взять лучшее от обоих подходов путем совмещения вариационных автоэнкодеров (VAE) и генеративных состязающихся сетей (GAN).

Подход, который будет описан далее, основан на статье [Autoencoding beyond pixels using a learned similarity metric, Larsen et al, 2016].



Иллюстрация из [1]

Индексы на основе самоподобных заметающих кривых пригодны не только для организации поиска пространственных данных. Они работоспособны и на разнородных данных, положенных на целочисленную решетку.

Под катом мы займёмся проверкой возможности применения Z-кривой для реализации 8-мерного индекса с прицелом на куб OLAP.