Search
Write a publication
Pull to refresh
15
0
Send message

Apache Spark: что там под капотом?

Reading time5 min
Views52K

Вступление


В последнее время проект Apache Spark привлекает к себе огромное внимание, про него написано большое количество маленьких практических статей, он стал частью Hadoop 2.0. Плюс он быстро оброс дополнительными фреймворками, такими, как Spark Streaming, SparkML, Spark SQL, GraphX, а кроме этих «официальных» фреймворков появилось море проектов — различные коннекторы, алгоритмы, библиотеки и так далее. Достаточно быстро и уверенно разобраться в этом зоопарке при отсутсвие серьезной документации, особенно учитывая факт того, что Spark содержит всякие базовые кусочки других проектов Беркли (например BlinkDB) — дело непростое. Поэтому решил написать эту статью, чтобы немножко облегчить жизнь занятым людям.
Читать дальше →

300 потрясающих бесплатных сервисов

Reading time11 min
Views1.6M


Автор оригинальной статьи Ali Mese добавил ещё 100 новых бесплатных сервисов. Все 400 потрясающих сервисов доступны здесь. И еще подборку +500 инструментов от 10 марта 2017 г. смотрите здесь.



A. Бесплатные Веб-Сайты + Логотипы + Хостинг + Выставление Счета

  • HTML5 UP: Адаптивные шаблоны HTML5 и CSS3.
  • Bootswatch: Бесплатные темы для Bootstrap.
  • Templated: Коллекция 845 бесплатных шаблонов CSS и HTML5.
  • Wordpress.org | Wordpress.com: Бесплатное создание веб-сайта.
  • Strikingly.com Domain: Конструктор веб-сайтов.
  • Logaster: Онлайн генератор логотипов и элементов фирменного стиля (new).
  • Withoomph: Мгновенное создание логотипов (англ.).
  • Hipster Logo Generator: Генератор хипстерских логотипов.
  • Squarespace Free Logo: Можно скачать бесплатную версию в маленьком разрешении.
  • Invoice to me: Бесплатный генератор счета.
  • Free Invoice Generator: Альтернативный бесплатный генератор счета.
  • Slimvoice: Невероятно простой счет.

Читать дальше →

Cоветы начинающему фрилансеру: как продавать услуги на развитые рынки через открытые площадки

Reading time16 min
Views64K
Я занимаюсь разработкой программного обеспечения в роли ведущего программиста-проектировщика с конца 90х годов. Фриланс никогда не был основным источником моего дохода. Но в 2010 году я начал всерьез заниматься фрилансом как побочным видом деятельности, приносящим существенный доход (за несколько месяцев я вышел на уровень продаж порядка $5k в месяц с фрилансерских контрактов с практически нулевыми расходами на исполнение контрактов, за исключением моего времени). Позднее я переехал в Северную Америку, но фриланс продолжает оставаться для меня важным побочным бизнесом. Кроме того, в своей работе я постоянно общаюсь с фрилансерами, в т.ч. профессиональными full-time фрилансерами из Северной Америки.

В этой статье я хотел бы поделиться своим опытом работы на площадках вроде elance.com с коллегами из экс-СССР и дать конкретные рекомендации по входу на рынок, позиционированию услуг, конкуренции с демпингом из Южной Азии, а также дать ликбез по общей профессиональной подготовке.
Много текста с конкретными примерами

Персонализация в электронной коммерции

Reading time3 min
Views11K
Привет, Хабр!

Сегодня мы начинаем цикл статей о том, как мы строим сервис Retail Rocket. За без малого три года работы, мы собрали солидный технологический стек, разочаровались в большом количестве «модных» технологий и построили очень сложную систему.

Вкратце, Retail Rocket – платформа для мультиканальной персонализации интернет­-магазина на основе Big Data. Наш сервис анализирует поведение посетителей интернет-магазина, выявляет потребности и в нужный момент показывает интересные именно им предложения на сайте, в email и display кампаниях, увеличивая доход интернет­-магазина за счет роста конверсии, среднего чека и частоты повторных покупок.

Этой статьей мы открываем инженерный блог Retail Rocket (маркетинговый блог мы ведем почти два года) с рассказом об используемых подходах в области анализа данных и кратким перечнем используемых технологий. Ко всему описанному в статье мы пришли итеративно и в следующих статьях постараемся подробно описать наш путь в каждой из областей.
Подробности

Курс от Яндекса о том, что должен знать каждый разработчик, который хочет делать большие системы. Модное слово DevOps и другое

Reading time5 min
Views107K
Всю рутину, которую можно отдать роботам, нужно отдать роботам. Большие системы без этого невозможны. В разработке и тестировании очень много похожих задач, которые не требуют высокой квалификации, но отнимают много времени. Человек, который умеет обеспечить разработку, тестирование и деплой – это редкий специалист и его на количество страничек никак не масштабируешь.

В Яндексе тестировщику невозможно без автоматизации. Мы даже развиваем экспериментального робота, который способен брать на себя функциональное тестирование. В какой-то момент мы поняли, что не так много людей осознают, сколько сейчас есть возможностей работать не 12 часов, а головой. Собрав весь свой опыт в тестировании и деплое, мы открыли в питерском офисе Яндекса Школу автоматизации процессов разработки. У нас получилась школа, где каждый, кто пишет код, может получить базовый набор знаний о том, как собрать, запустить и поддерживать сервис в продакшене так, чтобы это стоило недорого.



Курс открывает моя лекция о том, зачем вообще автоматизировать процесс разработки. Из нее вы получите представление о то, что будут рассказывать мои коллеги.

Сейчас занятия закончились, и мы, как и обещали, выкладываем записи лекций, которые перемежаются с мастер-классами, для всех желающих. Понятно, что наш опыт и знания – не 42, но мы надеемся, что они принесут вам пользу.
Читать дальше →

10 возможностей быть продуктивнее с Eclipse для Java разработчиков

Reading time4 min
Views64K


Многие из вас знают, как эффективно повышает производительность использование горячих клавиш, шаблонов кода и очень клёвой строки поиска (Quick Access), но я бы хотел рассказать о десяти возможностях, которые знают не все.
Стать продуктивнее

Летучий корабль или знакомство с SSD

Reading time5 min
Views115K
Всем доброго времени суток…
Уже более 2х лет читаю Хабрахабр, практически всю полезную информацию в области IT (да и не только IT) черпаю отсюда.
Но все никак не доходили руки попытаться получить инвайт, да и темы для изложения не мог придумать.
Все изменилось когда я купил новый ноутбук. Пару дней я посидел на обычном HDD, а потом поставил в него SSD.
Я был просто ошарашен. На моем, не самом быстром SSD, разница была просто огромная (даже с учетом того, что в ноуте стоял HDD с полноцееными 7200 об/мин).
И назрела мысль что-нибудь написать по этому поводу.
Но запись моя не будет холиваром о том, какой SSD лучше.
Здесь я хочу описать свой процесс покупки, установки и собрать в одном месте опыт людей по оптимизцаии Windows 7 для SSD.
Хоть многие и пишут, что Windows 7 сама вносит изменения в параметры системы, если ее устанавливают на SSD, но изменений этих, если честно, маловато.
Читать дальше →

Новые поисковые операторы в gmail

Reading time1 min
Views47K
Я никогда не упирался в лимит свободного почтового места в gmail, пока не стал форвардить рабочую почту в персональный аккаунт. Могу допустить, что вы и без рабочих вложений достигли 10гб лимита и отчаянно вылавливаете старые письма с большими и ненужными вложениями от всяких рекламных рассылок и анонсов. 
Более хитрые пользователи использовали специально заточенные под это сервисы, кто-то перелопачивал письма вручную, но теперь для этого (и не только) появились новые поисковые операторы…
Читать дальше →

25 сервисов для продуктивной работы с Gmail

Reading time8 min
Views69K


Gmail был запущен в 2004 году и предлагал пользователям 1 Гб для электронной почты. Это было неслыханно по тем временам, к примеру, крупнейший сервис электронной почты Hotmail предлагал лишь несколько мегабайт. В настоящее время Gmail предлагает 7 Гб, Hotmail — 5 Гб, а Yahoo — не ограничивает размер ящика.

Gmail также пользуется популярностью среди коммерческих пользователей из-за того, что быстро работает, надежный и легко настраиваемый. Помимо экспериментальных функций, которые предлагает Google через Google Labs, есть сервисы от сторонних разработчиков, которые улучшают работу с Gmail.

Я составил подборку 25 лучших сервисов, которые сделают более эффективной вашу работы с лучшей почтовой службой от Google и вы сами заметите как увеличится ваша продуктивность работы с Gmail.

Читать дальше →

Xyologic: Google в мире мобильных приложений

Reading time3 min
Views20K
xyologic


Думаю, многие помнят времена, когда интернет был просто разрозненным набором веб-страниц. Поискового процесса как такового еще не существовало, поэтому перемещаться с сайта на сайт можно было только по ссылкам внутри ресурсов. Потом Yahoo! объединил сайты в директории, но до появления Google большая часть интернета оставалась непроиндексированной. Представьте, что на дворе снова 1994 год. По крайней мере, в мире мобильных приложений.
Читать дальше →

FAQ по программированию под Android от новичка, и для новичков

Reading time16 min
Views158K
Предисловие к FAQ.

Программирование является моим хобби уже давно (правда на других языках и платформах), но до андроида руки дотянулись совсем недавно. Прошло несколько этапов, прежде чем я добрался до написания программ.
Сначала была пара месяцев посвященных Java, на сайте с «Сгибателем».
После, долгие попытки подружится с Eclipse, закончившиеся побегом на Android Studio.
На данный момент выпущено 7 программ и две находятся в разработке.
Данная подборка возникла как попытка структурирования и оптимизации полученной в процессе информации.
Заранее извиняюсь за возможно некорректную терминологию – так как практикую обучение через создание, и в теоретической части есть пробелы.

Надеюсь, что приведенные примеры окажутся полезными.
Читать дальше →

Жизнь с планшетом или список приложений для Android

Reading time7 min
Views312K
Привет!

Сегодня хочу рассказать о своей жизни с планшетом, ну а точнее поделиться списком приложений, которые помогают мне в моей жизни и работе.

Пост написан для устройств на базе операционной системы Android, но думаю и в других системах есть аналоги.
Читать дальше →

Идеальный плеер под Android для не-музыки

Reading time4 min
Views65K
Когда я пытался найти плеер, в котором мне было бы удобно слушать подкасты, аудиокниги и подобные вещи, я перепробовал как минимум десятка два-три приложений как из топа музыкальной категории, так и с последних страниц результатов поиска по разным безумным сочетаниям ключевых слов.

На тот момент я не рассматривал специальные плееры для подкастов, так как хотелось универсального решения для всего аудио-контента. Позже я посмотрел несколько специализированных приложений, но ни в одном мне не понравилась организация процесса загрузки. Лично мне удобнее скачивать всё с декстопа и кидать на телефон через шнурок, а значит нет никаких проблем с тем, чтобы слушать всё через одну программу.

Так вот. Все протестированные плееры поделились на три категории:
1. Самая обширная. Плееры, которые считают, что все слушают музыку исключительно альбомами. Не предоставляют никакой возможности для проигрывания каталогов. Каталог со 100-200 песнями разных исполнителей превращает каталог музыки таких программ в ленту, уходящую в бесконечность, где невозможно ничего найти. Позиция проигрывания, как правило, не сохраняется, зато всё очень красиво.
2. Плееры, позволяющие прослушивать каталоги и/или ориентированные на прослушивание аудиокниг. Если в предыдущей категории все приложения отличались лишь иконками, а общая идеология интерфейса была примерно одинаковой, то здесь никаких общих черт нет, зато очень много уникальных идей, временами до бредовости. В какие-то приложения книги необходимо импортировать, иначе они их не видят. Какие-то показывают и сортируют файлы только по тэгам, а мы же прекрасно знаем, какая каша бывает в тэгах аудиокниг, правда? В общем, в каждой программе что-то меня не устраивало, а кое-где и откровенно бесило. К тому же, каждая вторая из этих программ (как правило, самые оригинальные в плане интерфейса) страдала сильной падучестью.
3. Music Folder Player Free


Читать дальше →

Как я патентовал программу (интернет-сервис)

Reading time3 min
Views43K
Программу можно защищать как полезную модель (систему) и как способ.

Лучше одновременно готовить отдельные заявки и на способ, и на полезную модель. Когда будут готовы — патентный поверенный подаст их одновременно в один и тот же день — тогда обе эти заявки не опорочат патентную новизну друг друга, но зато обеспечат защиту с разных сторон.
Читать дальше →

Домашняя бухгалтерия с использованием Google Docs

Reading time7 min
Views40K
Так уж получилось что меня всегда интересовало сколько и на что я потратил. Долгое время я старательно перебирал различные способы учёта личных финансов. Использовал и оффлайн инструменты, и онлайн решения, носил данные на флешке и так далее. Не скажу что перепробовал всё из доступного, но, как мне кажется, накопил приличный опыт и сделал соответствующие выводы.

Прежде всего всё что написано не мою — написано другим. Это очевидно. Но следствие из этого — это другой разрабатывал логику, исходя из собственных представлений об удобстве и функционале. А значит нет уверенности в том что чужие представления на 100% совпадут с моими. На хабре эта тема уже звучала.

Второй важный момент — если системой будут пользоваться двое (не говоря уже о большем количестве), то вероятность ошибок возрастает многократно. Многие системы подразумевали наличие счёта, отображающего количество денег в кошельке. Ах, как мне нравилась программа GnuCash… Но каждый месяц я должен был добавлять транзакции для корректировки счета по кошельку жены. И на что она тратила деньги оставалось только догадываться потому как сама она не могла вспомнить, а чеки благополучно терялись.

Исходя из вышеописанных проблем я породил ещё одну домашнюю бухгалтерию на Google Docs. Методом проб и ошибок, анализируя чужие решения и исходя из собственных потребностей я пришёл к следующим выводам.
Читать дальше →

Онлайн размещение документов на сайте

Reading time3 min
Views23K
В наше время, когда Интернет широко шагает по стране, компании все чаще создают собственные сайты. Почти на каждом присутствует информация о ценах на продукцию, услуги и т.д., проще говоря – прайсы. Зачастую прайсы сразу сверстаны в html страницу или дается ссылка на их скачивание. В первом случае хорошо, если на сайте установлена CMS и можно редактировать страницы, а если нет? Во втором, нужно закачать прайс по ftp. Оба случая могут явиться камнем преткновения при обновлении прайса на сайте, если нет собственного вебмастера. Да и копирование информации из готового прайса на сайт, может привести к неточностям и ошибками, особенно если прайс не маленький. А это чревато потерей клиентов. Рассмотрим, как упростить размещение прайсов online. Сразу оговорюсь, что рассматривать мощные системы, где CMS сайта взаимодействует с бухгалтерией компании я не буду.
Читать дальше →

Книги для стартаперов

Reading time4 min
Views12K
image

Мания стартапов, накрывшая волной и Россию, со временем породила миф: тебе достаточно иметь крутую идею, желание и способности что-то сделать и перед тобой все двери открыты. Конечно, эти качества помогают в реализации проекта, но не стоит забывать о том, что большинство стартаперов не имеют практики в маркетинге, создании презентаций, общении с инвесторами или с командой. Они не знают, как нанимать и мотивировать сотрудников, как показать продукт с лучшей стороны и где стоит пожертвовать фичами ради удобства. А это не менее важно, чем голова на плечах и золотые руки.

Я сам создаю свой стартап, но чем больше я погружаюсь в эту тему, тем больше понимаю, что очень многого не знаю и это становится причиной ошибочных действий. Поэтому я начал скупать пачками книги на интересные и полезные темы, чтобы заполнять пробелы в образовании. Здесь хочу поделиться тем, что прочитал. Сразу оговорюсь, что это скорее мнения о книгах, чем рецензии, которые вы можете прочитать сами на любом книжном сайте.

Некоторые книги непосредственно про стартапы, другие — про маркетинг, третьи — про мотивацию, четвертые — про саморазвитие. Так или иначе, считаю, что все это стоит знать начинающим предпринимателям.
Читать дальше →

Покупка в Apple Store с доставкой в Россию

Reading time7 min
Views126K

Для чего я пишу этот пост?


На многих форумах не устают задавать одни и те же вопросы, суть которых сводится к одному — “Где и как дешевле купить определенный девайс?”. Некоторые, осознав, что лучший способ это заказать заграницей и в этом нет ничего сложного, решаются на покупку в иностранном интернет магазине, но получают не совсем то, что ожидали, например, недавний пост «Так ли выгодно делать покупки за рубежом (на примере ebaytoday.ru)».

Особенно ярко это проявляется при покупке техники Apple, так как официально техника, если и поставляется, то с большой задержкой и в большинстве случаев по заоблачным ценам. Данная статья не сможет решить первую проблему в полной мере, так как Гонконг не является, так называемой “страной первой волны”, где в первую очередь появляются устройства от Apple, а вот метод борьбы со второй я и попытаюсь описать далее.

Итак, о чем же данный пост?


В данном посте я хочу описать весь процесс покупки техники на Apple Store HK через посредника(Shipito), начиная от основных моментов работы с shipito.com, заканчивая объединением нескольких посылок в одну и оплатой доставки в Россию. Описываемый способ может использоваться и для США, но, к сожалению, я не пробовал этого делать и, по некоторым отзывам, Apple Store US отказывается высылать на адреса Shipito, на этом моменте я постараюсь остановиться подробнее в заключении.

UPD: получил посылку, публикую Tracking #: CP839884595HK и пишу сроки внизу статьи.
Много текста с картинками.

Организация работы с помощью Google Wave

Reading time4 min
Views2.8K
Мы ― небольшой коллектив (30 человек) который ведет один немаленький и достаточно успешный проект. У нас, как и у многих IT-фирм, были проблемы с документацией, планированием и организацией нашей работы. Вот уже полгода для коллективной работы мы используем Google Wave, который помог значительно продвинуться в решении вышеперечисленных проблем. И это несмотря на то, что продукт даже еще не в бета-версии.
Читать дальше →

Использование DynDNS для надежного зеркалирования web-сайта

Reading time2 min
Views1.3K
У многих системных администраторов рано или поздно возникает задача «сделать зеркало сайта».

Практика показывает, что логичнее всего разместить зеркалирующий сервер в другом дата-центре. Это избавит от головной боли при аварии в основном дата-центре. Думаю, здесь комментарии излишни.

Но как же организовать быстрое переключение сайта на зеркало в другом дата-центре?
Вариант с BPG отметаем сразу — слишком дорого, не все могут себе позволить покупать или арендовать дорогостоящее оборудование, да и не со всяким ДЦ есть возможность договориться.

Читать дальше →

Information

Rating
Does not participate
Registered
Activity