Частенько читаю Хабр и заметил что в последнее время появились Дайджесты новостей по многим тематикам, таким как веб-разработка на php, разработка на Python, мобильные приложения, но не встретил ни одного подборки по популярному сейчас направлению, а именно анализу данных и big data.

Ниже я решил собрать небольшую подборку материалов по данной теме. Т.к. на русском материалов не так много, в данный дайджест попали в основном англоязычные статьи.

Кого заинтересовала данная тема прошу подкат. А также жду замечаний, пожеланий и дополнений, буду очень рад обратной связи.

Хабраридерам, привет!

У блога нашей компании вскоре истекает оплаченный период. Мы определённо до его конца не успеем подготовить какой-нибудь интересный и небанальный материал о DIY-электронике. Поэтому, пользуясь случаем, расскажу лучше о том, как появилась Амперка, и как мы пришли к тому, что имеем сейчас и почему мы вечно ничего не успеваем.

Итак, если вам интересна история появления одного малого бизнеса, прошу под кат.

13 мая в 15:00 по Москве мы покажем то, над чем активно работали последние полгода.



Как и в прошлый раз, мы соберёмся в DO, чтобы рассказать о новых возможностях продуктов компании и анонсировать следующие шаги их развития.

Зал небольшой, поэтому для всех желающих на beta.2gis.ru будет доступна прямая трансляция с места событий. Там же организуем обсуждение.

Доброго времени суток.

Прошелся по поиску хабра, но не нашел поста о такой проблеме, хотя пару раз комментарии посвященных людей всплывали.

У нас несколько VPS'ок, где используем MongoDB, ОС обычно дебиан 6/убунту, практически все ставим из пакетов, благо всего хватает. На днях, проверяя старые сервера, обнаружил


Для меня конечно было шоком! Попытка получить удаленный доступ увенчалась успехом

^{Примерно половина пунктов — для того чтобы вы получили информацию, а не мы.}

Психология – это как программирование, только для wetware.

Помните такие скучные анкеты, которые вы заполняете в магазинах для получения дисконтных карт и других штук? Миф в том, что всё это нужно для статистики. Так вот, самая полезная статистическая информация, которую можно получить из них – что у вашего среднего клиента одна грудь и одно яйцо.

На деле, конечно, их можно и нужно использовать для другого.

В замечательной книге «Вы, конечно, шутите, мистер Фейнман!» есть эпизод, который привел меня к небольшой практической работе, что и послужило основой для создания данной статьи. А началось все с этого момента:

” Пол проходит по столовой, где все просто стоят на ушах. “Эй, Пол! – кричат они. – Фейнман – просто супер! Мы даем ему задачу, которую можно сформулировать за десять секунд, и он за одну минуту дает ответ с точностью до 10 процентов. Дай ему какую-нибудь задачу!” Почти не останавливаясь, он говорит: “Тангенс 10 градусов в сотой степени”. Я влип: для этого нужно делить на число пи до ста десятичных разрядов! Это было безнадежно!”.

В моё свободное время мне нравится работать над классными маленькими проектами, которые как-то помогают мне или кому-то еще. Я начал с простой идеи – калькулятор времени, потраченного на сериалы, которая стала хитом.

Статистика

После одной недели после релиза приложения, оно набрало 455826 уникальных посетителей, 522091 посещений и 688280 просмотров страницы.

Статистика Tiii.me за первую неделю. Четверг 3 апреля был сумасшедшим

Это третья часть переведённых заметок «Good User Interface». Первые 16 частей уже ранее перевели наши коллеги из ADV на Хабре, а вторые 11 перевели мы.

Идея 28


Используйте варианты по-умолчанию, не заставляя людей выбирать

Выбор по-умолчанию или самозаполняющиеся поля с обучением сокращают объем работы, которую должен проделать пользователь. Это стандартная техника, помогающая людям продвигаться по формам быстрее, учитывая, что их время ограничено. Одна из наиболее отвратительных вещей с точки зрения дизайна интерфейсов и конверсии посетителей в клиентов — это снова и снова просить пользователей предоставить данные, которые они уже указали ранее. Старайтесь делать поля, которые будут сами заполняться самыми популярными или уже известными значениями, а не просите людей их каждый раз заполнять. Чем меньше работы — тем лучше.

В фантастическом фильме «Особое мнение» (Minority Report) действие происходит в 2054 году в отделе по предотвращению преступлений. Сотрудники отдела получают информацию от трёх «провидцев», чьи видения выводятся на экран. Будущих преступников арестовывают ещё до того, как он задумались об осуществлении своих планов.

В наши дни этот фантастический сюжет частично воплощается в реальность, с одним важным отличием: вместо «провидцев» информацию для полицейских патрулей поставляет математическая модель, которая обсчитывает статистику преступлений в разных районах города. Газета NY Times описывает работу полицейских патрулей в городе Санта-Крус (Калифорния), где подобная программа предотвращения преступлений работает в экспериментальном режиме.

OrientDB — взгляд человека, который привык работать с реляционными базами данных.
Напомню, что OrientDB — графовая, документно-ориентированная база данных, реализованная на Java.

Решил написать статью, для новичков, т.к в начале сложнее всего, а на рус. вводых статей с доходчивыми примерами практически нет.

На прошлой неделе мы отметили одну круглую дату — в базе данных Likeastore скопилось, ни много, ни мало — один миллион пользовательских «лайков».

Мы используем JavaScript, все текущие сервисы написаны на JavaScript/Node.js. В общем и целом, я не жалею о использовании Node.js в нашем проекте, он отлично зарекомендовал себя как лучшее средство реализации HTTP API. Но для сбора «лайков», это должен быть daemon, который работает постоянно. Наверно, не самая типичная задача для Node.js — про специфику реализации и некоторые подводные камни, читаем далее.

«Как Сабинин в опере Глинки, я восклицаю: „Радость безмерная!“. Великое счастье на нас с неба упало. Самому себе не веришь. Я был поражен, как редко случалось во всю жизнь. Восхищение, энтузиазм, трепет, радость… были громадны. Еще бы!»

Эти слова написал в 1898 году знаменитый некогда критик Владимир Васильевич Стасов после посещения оперы «Псковитянка» Римского-Корсакова, где роль Ивана Грозного исполнил молодой Федор Шаляпин. Стасов был поражен – как точно и глубоко понял сложнейшую фигуру Грозного 25-летний юноша, и как мастерски воспроизвел ее на сцене. Ни один отечественный исполнитель прежде не мог похвастаться подобным сочетанием актерских и вокальных данных.



Сегодня, без малого 120 лет спустя, я вслед за Стасовым повторяю – радость безмерная! После недели прослушивания наушников Fischer Audio Billy’s Band Edition могу с уверенностью сказать – ничего подобного отечественные компании еще не выпускали. Да и среди зарубежного изобилия такой великолепный звук встретишь нечасто. А если встретишь, то совсем по другой цене.

В новый 2014 год компания MakerBot шагнула с новым, пятым поколением 3D-принтеров. Изменения коснулись также и сайта компании. Но если дизайнерские ухищрения сайта весьма сомнительны, то предлагаемые модели 3D принтеров довольно интересны. Стильный дизайн, новые функции и улучшения – давайте посмотрим, какие новшества предлагает MakerBot.

Поговорим о ежемесячных тратах на электронные сервисы, которые необходимы для работы небольшой студии с удалённой командой, занимающейся дизайном в интернете. Давайте посмотрим, какими платными сервисами мы пользуемся в Genue.

---

50$. Basecamp

Простая и удобная система управления проектами от команды 37signals. Это основной инструмент взаимодействия как внутри студии, так и с заказчиками. Все задачи заводятся в виде простых списков и легко меняются местами друг с другом простым перетаскиванием. Каждая задача выглядит как публикация с комментариями. Любой может указывать, кто из команды получит уведомление на email о его комментарии. Можно ограничивать видимость некоторых задач для клиента.

35-летнему математику Крису Маккинли (Chris McKinlay) из Калифорнийского университета в Лос-Анджелесе потребовалось всего 88 дней, чтобы осуществить дата-майнинг анкет на сайте знакомств и подобрать девушку, которая идеально подходит по характеру. Помог ему в этом доступ к суперкомпьютерам Калифорнийского университета, пишет Wired.

^{Длинный материал. Время чтения – около 40 минут.}



Доктор Ричард Хэмминг, профессор морской школы Монтерея в штате Калифорния и отставной учёный Bell Labs, прочёл 7 марта 1986 года очень интересную и стимулирующую лекцию «Вы и ваши исследования» переполненной аудитории примерно из 200 сотрудников и гостей Bellcore на семинаре в серии коллоквиумов в Bell Communications Research. Эта лекция описывает наблюдения Хэмминга в части вопроса «Почему так мало учёных делают значительный вклад в науку и так многие оказываются в долгосрочной перспективе забыты?». В течение своей более чем сорокалетней карьеры, тридцать лет которой прошли в Bell Laboratories, он сделал ряд прямых наблюдений, задавал учёным очень острые вопросы о том, что, как, откуда, почему они делали и что они делали, изучал жизни великих учёных и великие достижения, и вёл интроспекцию и изучал теории креативности. Эта лекция о том, что он узнал о свойствах отдельных учёных, их способностях, чертах, привычках работы, мироощущении и философии.

Перевод небольшой заметки Yakov Fain с сайта javalobby.org о том, как обилие фреймворков на любой вкус лишают разработчиков необходимости знать, как всё устроено «под капотом». Думаю, эта проблема не ограничивается только Java, а всё ещё актуальна для любого языка, не смотря на то, что статья достаточно старая.

Перед загрузкой приложения на ревью в Apple App Store нам задают неожиданный вопрос, а не использует ли наше приложение криптографию?



И хотя соблазн ответить «нет» и загрузить наконец-то очень велик, и кто-то тихо шепчет, что ты мог и забыть про https или вообще не знать, как он работает, но совесть советует разобраться и в этом.
У меня много сил ушло, чтобы получить ERN(Encryption Registration approval from BIS), и я решил написать инструкцию.

Адам Мадьяр — компьютерный гик, бросивший университет, фотограф-самоучка, Руб Голдберг высоких технологий, путешественник по миру и художник-концептуалист с растущим мировым признанием. Но никто не мог предположить, что он может быть еще и террористом, до того утра, пока он не спустился на станцию метро Юнион-Сквер в Нью-Йорке.

В то время Мадьяр был погружен в долговременный проект на стыке технологий и искусства под названием Stainless («Безупречные»), создавая изображения высокого разрешения из проезжающих поездов и пассажиров, используя сложное, написанное им самим программное обеспечение и доработанную промышленную фотокамеру. Техника сканирования, которую он разработал — объединение тысяч кадров шириной в пиксель в одно изображение — позволяет ему заставать пассажиров врасплох, пока они с шумом и лязгом летят сквозь темные тоннели метро, фиксируя их в призрачных изображениях, наполненных деталями, которые не может запечатлеть ни одна обычная камера.

В 1979 году американский психолог Бенджамин Либет провел свой знаменитый эксперимент, который взбудоражил научное сообщество, но как-то прошел мимо широкой массы. А очень зря, ведь он показывает всю чудовищную правду о нашей «свободной воле».