Стек рассматриваемых технологий: Postgresql 9.3, Python 2.7 с установленным модулем «psycopg2».

Проблема

Как часто в вашей практике приходилось сталкиваться с задачей обработки таблиц большого объема (более 10 млн. записей)? Думаю вы согласитесь, что данная задача является довольно ресурсоемкой как в плане времени обработки, так и задействованных ресурсов системы. Сегодня я постараюсь показать альтернативный способ решения задачи.

Предложение:

В СУБД Postgresql есть прекрасный оператор для работы с большими объемами информации, а именно «COPY». Применение данного оператора позволяет нам читать и записывать огромные объемы информации в таблицу. В данной статье мы будем рассматривать режим чтения.

Согласно документации оператора «COPY» нам доступны несколько режимов чтения в файл либо в поток STDOUT, а также различные форматы, в том числе и «csv». Как раз его мы и постараемся использовать с максимальной пользой.

«Кто нам мешает, тот нам поможет»
к/ф «Кавказская пленница»

Телевизор в качестве монитора?

В последние годы все более популярным становится использование телевизора в качестве домашнего компьютерного монитора.
И действительно — если еще несколько лет назад типичным для компьютерных мониторов Full HD разрешением (1920x1080) могли похвастаться лишь телевизоры с диагональю 40" и более, слишком большие для настольного монитора, то сейчас нетрудно найти телевизор с Full HD разрешением и с вполне «мониторной» диагональю 32" и меньше. Соответственно и размер пикселя при этом получается близким к «типовому» для настольных мониторов 0,28 мм ± 10% (ну, может быть чуть больше). А если кому-то такой пиксель покажется великоват, то с появлением доступных по цене бытовых телевизоров с разрешением 4k Ultra HD (3840x2160) размер пикселя вполне может конкурировать и с Retina.
К тому же широко распространенные в бытовых телевизорах IPS матрицы по компьютерным меркам считаются весьма «продвинутыми», и ими обычно оснащаются весьма дорогие «профессиональные» мониторы.
Казалось бы вот оно, идеальное решение для экономного домашнего пользователя — купить на грош пятаков небольшой (по телевизионным меркам) относительно недорогой 26"-37" бытовой телевизор с Full HD или Ultra HD разрешением, и в результате получить «компьютерный монитор» с большим (по компьютерным меркам) «профессиональным» IPS дисплеем, который к тому же без дополнительных вложений может быть использован и по прямому «телевизионному» назначению (что для дома тоже немаловажно!).
Однако иной раз результатом такого приобретения становится полное разочарование: компьютерная картинка на экране телевизора оказывается намного хуже, чем на простеньком старом мониторе, вместо которого этот телевизор собственно и приобретался.
Причин этого может быть множество, начиная от несоответствия разрешения соединяющего компьютер с телевизором видеоинтерфейса разрешению телевизионной матрицы, способности телевизора выводить картинку «пиксель-в-пиксель», настроек видеокарты (в частности, Overscan), настроек самого телевизора (например, резкости), проблем с кабелем, и так далее.
В данной статье мы рассмотрим только одну из возможных причин, а именно способность видеоинтерфейса, которым подключен телевизор или монитор к компьютеру, передать полное цветовое разрешение 4:4:4.

Для начала собственно тест:

Если на экране Вам отчетливо видна появляющаяся надпись 4:4:4, и лишь слегка угадывается 4:2:2, то значит видеоинтерфейс компьютер-монитор передает полное цветовое разрешение, и на этом собственно можно закончить тест и чтение статьи.
Тем же, кому интересно, как действует этот тест, а также тем, кто видит 4:2:2 и не видит 4:4:4 (или видит примерно одинаково и 4:4:4, и 4:2:2), и при этом хочет попробовать исправить ситуацию добро пожаловать под кат

Этот пост задуман как первый в одноименной серии, в рамках которой мы будем рассказывать о том, как у нас все внутри работает.

Также здесь мы собираемся осветить некоторые вопросы внутренней организации, решающиеся в разных компаниях по разному (и нигде — 100% удовлетворительно) и представляющие общий интерес для любого бизнеса, связанного с разработкой софта.

Излагаемое ниже — плод многолетней эволюции. Которая, безусловно, ни в коей мере не является завершенной.

Именно поэтому наши решения больных вопросов и используемые технологии работы ни в коей мере не позиционируются как наилучшие. Напротив, имея намерение рассказать коллегам по опасному бизнесу о собственных наработках, мы ожидаем получить в каментах конструктивную критику и встречные идеи, не пришедшие в головы нам.

В первой серии рассмотрим организацию бизнес-процесса поддержки.

Пока маркетологи обмазываются BigData и бегают в таком виде на пресс-конференциях, я предлагаю просто скачать бесплатный инструмент с тестовыми наборами данных, шаблонами процессов и начать работать.

Закачка, установка и получение первых результатов — минут 20 максимум.

Я говорю про RapidMiner — опенсорсную среду, которая при всей своей бесплатности некисло «уделывает» коммерческих конкурентов. Правда, сразу скажу, что разработчики всё равно её продают, а в опенсорс отдают только предпоследние версии. Дома можно попробовать потому, что есть вообще бесплатные сборки со всей-всей логикой с всего лишь двумя ограничениями — максимальный объем используемой памяти 1 Гб и работа только с обычными файлами (csv, xls и т.п.) в качестве источника данных. Естественно, в малом бизнесе это тоже не проблема.

С ростом конкуренции возрастает и многообразие бизнес-моделей технологических стартапов, которые мы и постарались классифицировать. Мы адаптировали оригинальную подборку примеров, которую вы сможете дополнить, добавляя свои варианты в комментарии.

Думаю, на Хабре ни на Гиках нет человека, который не в курсе того, насколько мал микромир — все эти электроны, протоны, нейтроны, ядра атомов и все прочее. Тем не менее, вообразить себе действительные размеры элементарных частиц очень сложно.

Помню, в советской еще «Детской энциклопедии» приводится следующее сравнение: если увеличить пять копеек до размера Земли, то атом будет равен по размерам пяти копейкам (здесь имеется в виду не ядро, а атом с электронами). Тут уже проще сообразить, что к чему. Но есть одно интересное видео, где все размеры показаны еще более наглядно. Именно такое видео предлагаю посмотреть в продолжении.

Революции в науке часто происходят в процессе исследования, казалось бы, неразрешимых парадоксов. Фокусировка на них и, в конечном итоге, нахождение решения — это именно то, что привело нас ко многим важным прорывам.

Любопытно будет перечислить те из парадоксов, которые связаны с современными представлениями о космологии. Вполне возможно, что их решение приведет к прорыву и выработке представлений о строении Вселенной следующего поколения.

Юрий Барышев из Санкт-Петербургского Государственного Университета работает как раз над вопросами современной космологии. Результат его работы — список парадоксов, основанный на хорошо известных идеях и наблюдениях о происхождении Вселенной.

Меня всегда привлекали отзывчивые, динамичные интерфейсы, созданные на Javascript, но каждый раз, пытаясь погрузиться в изучение этого языка, я превращал свой мозг в кашу и ел её оставлял это до «лучших» времен, возвращаясь к статичным страницам на клиенте и PHP на сервере. Время шло.

Год назад, шатаясь по страницам сети, я наткнулся на статью про Coffeescript. Хм, интересно… Пары примеров кода было достаточно, чтобы заразиться идеей где-то его применить, но что то меня напрягало — хотелось мне какой-то фреймворк, который сам заботился бы о компиляции coffee в js. Так я нашел Rails, а вместе с ним ruby, gems, sass и кучу всего того, что привело меня в экстаз критическую точку невозврата…

Доброго времени суток, господа! Меня зовут Денис, и в этой статье я хочу поделиться с вами своими взглядами на разработку front-end'a и небольшой историей изобретения одного велосипеда, а вот очередного или нет — судить вам.

Поиск работы – задача не из простых, особенно в текущих неблагоприятных экономических условиях. Европейский ресурс Tech.eu в честь запуска своего сервиса по поиску работы подготовил список из десяти сайтов, которые помогут вам подыскать себе место под европейским солнцем, если вы, по какой-либо причине, желаете уехать на заработки в ЕС.

Читая хабр, я вижу много отличных статей, написанных с позиции специалиста. Гораздо меньше публикуется статей, описывающих опыт управления на стыке «людей» и it. В прошлой своей статье я описывал свой опыт подготовки данных для аналитического CRM. Исходя из содержания комментариев к ней, в новогодние праздники мне пришла в голову мысль о том, что читателям хабра может быть интересна статья о том, зачем может понадобился такой инструмент, как аналитический CRM, и что он может дать конкретному руководителю.

Мы не раз рассказывали, как первый же крупный клиент чуть не убил весь наш бизнес. Тогда одной из явных дыр, наряду с QA (Quality Assurance), был BA (Business Analysis). До появления в нашем портфеле по-настоящему больших проектов необходимости в глубоком анализе бизнес-требований заказчика и выработки системных решений для их удовлетворения не было. Сейчас в Redmadrobot три бизнес-аналитика, которые определяют точки развития мобилити-проектов, исходя из бизнес-задач клиентов.
Один из наших BA — Семен Заморов — поделился своим Toolset, набором программ, которые помогают ему выполнять работу еще быстрее.

Привет. Вместо очередной инструкции на тему «как сделать роутер из Raspberry Pi» мы решили сделать специальную сборку Raspbian под задачи домашнего роутера. Эту сборку достаточно развернуть на SD карту, вставить ее в RPi — и роутер готов.

Основные возможности такого решения — как у любого домашнего роутера. Раздача адресов устройствам внутри сети, перенаправление портов, DDNS и другие привычные вещи. Есть и приятные отличия — поддержка Pandora и Netflix, возросшая производительность при работе через VPN и практически неограниченные возможности по кастомизации.

Всем привет!

Как и многие здесь, я очень люблю научно-популярные фильмы и книги о теории большого взрыва, квантовой механике и других разделах физики, которые, мягко говоря, еще не до конца познаны.

Недавно случайно наткнулся на ютубе на фильм с Брайаном Грином «Тайны мироздания» и удивился, что у видео так мало просмотров.

Не сказать, чтобы такая подача материала мне очень нравилась, но все равно, местами довольно интересно :) Может быть, будет интересно не только мне.

Сами видео под катом.

Представители финского стартапа Jolla, занятого разработкой мобильной операционной системы SailFish, которая основана на MeeGo, сегодня в Хельсинки провели официальную презентацию своего продукта и SDK preview для разработчиков. Лично презентацией руководил новый CEO Jolla Марк Диллон (предыдущий — Юссия Хурмола (Jussi Hurmola) — месяц назад внезапно покинул компанию)

Насколько можно понять, пока никакого живого устройства с запущенной системой пока нет, также как и слайдов с примерами UI — в пресс-релизе указана ссылка на рекламное видео, которое можно посмотреть ниже и на котором хорошо заметно, что для управления экранами используются swype-жесты (а при некотором внимании хорошо заметен и маленький зеленый android). Уже имеются характеристики, сравнивающие интерфейс SailFish с комбинацией Windows Phone и Android.



Также можно посмотреть как некто показывает, что SailFish уже работает на его Nokia N950.

UPD: Видео-демонстрация SailFish OS:



В основе SDK Sailfish OS лежит ядро Mer, Qt Creator, оригинальные Jolla UI и другие фреймфорки.

Здравствуй, дорогой хабрадруг! В этой статье приводятся 25 самых полезных сочетаний клавиш (шорткатов) в Photoshop, которые вы можете использовать, для того чтобы ускорить выполнение вашей работы. Некоторые из них редко упоминаются, некоторые применяются довольно часто, а некоторые вообще доступны только в Photoshop CS5. Я надеюсь, что каждый из вас найдет новые и полезные шорткаты в этой статье. Итак, давайте же начнем!

Собственно, ISO образы доступны тут:
windows.microsoft.com/en-US/windows-8/iso
64-bit (x64) (3.3 GB)
32-bit (x86) (2.5 GB)
Ключ: DNJXJ-7XBW8-2378T-X22TX-BKG7J
Как пишут на сайте, это допродажная версия, так no warranties.
UPD:
Для тех, у кого с официального сайта скачивается медленно, торренты на rutracker.org
(Внимание! Пока прикрыли за недооформленность):
32-bit (x86)
64-bit (x64)
Торрент на nnm:
32-bit (x86) + 64-bit (x64)
UPD2:
Интересующимся, как поставить вместе с семёркой, чтобы ничего не потерялось, рекомендую пост
habrahabr.ru/blogs/windows/128501
UPD3:
Дополнение от ArsNG
После установки через панель управления можно добавить любой язык, и выкачать его через Update Center. Подробнее тут:
blogs.msdn.com/b/b8_ru/archive/2012/02/22/using-any-language-you-want.aspx
Почему нет русского образа сразу — фиг его знает.

Все мы знаем, что большинство гаджетов дешевле купить в США, чем у нас на родине, и особенно это относится к различным новинкам, цены на которые у нас просто взлетают к небесам! Так же всем известно, что самые «вкусные» предложения на eBay и в интернет магазинах США обычно имеют доставку US only и соответственно не доступны для нас. В этой статье я попытаюсь рассказать про еще один способ исправить это недоразумение. Конечно все более-менее опытные интернет-покупатели знают о посредниках, которые предоставляют услугу mail forwarding — тоесть пересылку посылок. Происходит это так — вы заказываете доставку товара на адрес в США, который вам выдал посредник, он получает посылку и пересылает ее вам, беря за это небольшую комиссию. Известные посредники это Shipito, Ebaytoday, Бандеролька и т.д. их достаточно много и все они предлагают набор услуг — пересылка, объединение нескольких посылок в одну, наоборот — разделение крупной посылки на несколько мелких и тд. Берут обычно фиксированную плату за каждую посылку + оплату за дополнительные услуги. Стоимость самой пересылки обычно рассчитывается по тарифам USPS и этой же службой отправляют посылку вам. Я же хочу рассказать про еще одну компанию — Meest.us, которая осуществляет пересылку посылок (среди различных других услуг) но в принципе ее работы есть некоторые интересные особенности.

Книга на мой взгляд очень интересная, по секрету поделюсь, что я прочитала ее не с начала, скорее — с конца — в начало, поскольку все самое интересное, включая словарь и сферы применения в рамках сбора требований, все это написано как раз в конце книги. Даны четкие рекомендации как составить список требований и описать систему с разной степенью детализации, начиная от общей концепции, как должно работать приложение, до постраничного составления сценариев.
Для чего она нужна — чтобы лучше понимать, что все-таки делают исполненные очей бизнес-аналитики, когда приходит запрос — хочу сайт, как там по ссылке.

LinguaLeo и команда Яндекс.Бара представляют новое приложение — браузерная кнопка LinguaLeo.



Профит от приложения — можно кликать по незнакомым словам в англоязычном интернете и незаметно для себя расширять словарный запас.

Ежедневно в процессе деятельности регистратора REG.RU, в котором я работаю программистом, совершаются сотни операций, требующих оформления каких-либо официальных документов. Среди них — различные договоры, счета, сертификаты и т.п., которые необходимо печатать как компании, так и клиентам. Для таких целей хорошо подходит формат PDF, который на сегодняшний день стал де-факто основным для обмена и распространения документации. Основными преимуществами этого формата можно назвать: кроссплатформенность, аппаратную независимость и безопасность. Все вышеперечисленное позволило PDF завоевать популярность среди пользователей и стать одним из самых распространенных.

Как можно создавать документы в формате PDF на лету, из скрипта?