В относительно недавнем прошлом, возникла задача автоматизировать процесс генерации и рассылки HTML отчетов руководству по продажам за текущий месяц. Так уж вышло, что для каждого руководящего лица создавались отдельные таблицы с необходимой только им информацией.

Поскольку, для каждого отчета, все делалось вручную, что, мягко говоря, было нерациональным.

Было решено генерировать HTML со стороны сервера базы данных и через Database Mail формировать рассылку путем выполнения команды sp_send_dbmail.

Большинство примеров, приведенный в Сети, создавали разметку вручную — это было не слишком эффективным подходом. При этом я не нашел универсального решения, позволяющего работать с таблицой имеющей произвольную структуру.

Чтобы заполнить этот пробел предлагаю на рассмотрение мой вариант решения.

Ошибочно рассматривать базу данных как некую эталонную единицу, поскольку, с течением времени, могут проявляться различного рода нежелательные ситуации — деградация производительности, сбои в работе и прочее.

Для минимизации вероятности возникновения таких ситуаций создают планы обслуживания из задач, гарантирующих стабильность и оптимальную производительность базы данных.

Среди подобных задач можно выделить следующие:

1. Дефрагментация индексов
2. Обновление статистики
3. Резервное копирование

Рассмотрим по порядку автоматизацию каждой из этих задач.

В предыдущем посте была рассмотрена автоматизация процесса дефрагментации индексов. Теперь пришла очередь статистики.

Собственно для чего она нужна?

При выполнении любого запроса, оптимизатор запросов, в рамках имеющейся у него информации, пытается построить оптимальный план выполнения — который будет отображать из себя последовательность операций, за счет выполнения которых можно получить требуемый результат, описанный в запросе.

В процессе выбора той или иной операции, оптимизатор запросов к числу наиболее важных входных данных относит статистику, описывающую распределение значений данных для столбцов внутри таблицы или индекса.

Когда SQL Server резервирует новое место на диске, то он инициализирует его нулями. Данное поведение можно отключить и как следствие сократить время выполнения некоторых операций и снизить нагрузку на дисковую подсистему.

Возможность резервирования места на диске без инициализации называется Instant File Initialization (мгновенная инициализация файлов).

Фича эта не сильно известна, хотя ее использование стало возможным начиная с SQL Server 2005.

Какие преимущества можно получить от Instant File Initialization:

1. Ускорить создание новой базы данных
2. Сократить задержки и уменьшить время необходимое для увеличения файлов данных
3. Сократить время старта SQL Server, поскольку инициализация tempdb будет более быстрой
4. Сократить время при восстановлении из резервной копии, поскольку перед восстановлением SQL Server резервирует место под файлы, а потом переносит в них информацию из бекапа.

В данном топике хотелось бы поговорить о повышении производительности при работе с таблицами.

Тема не нова, но становится особенно актуальной, когда в базе наблюдается постоянный рост данных – таблицы становятся большими, а поиск и выборка по ним – медленной.

Как правило, это происходит из-за плохо спроектированной схемы – изначально не рассчитанной на оперирование большими объемами данных.

Чтобы рост данных в таблицах не приводил к падению производительности при работе с ними, рекомендуется взять на вооружение несколько правил при проектировании схемы.

1 апреля 2012 г. стала доступна финальная версия Microsoft SQL Server 2012.
В новой версии появилось большое количество нововведений.
В данной статье я хотел бы подробнее остановиться на обзоре ряда новшеств для разработчика баз данных.

У меня есть подборка простеньких вопросов, которые я люблю задавать при собеседовании. Например, как посчитать общее число записей к таблице? Вроде бы ничего сложного, но если копнуть глубже, то можно много интересных нюансов рассказать собеседнику.

Давайте начнем с простого… Эти запросы отличаются чем-то друг от друга с точки зрения конечного результата?

SELECT COUNT(*) FROM Sales.SalesOrderDetail
SELECT COUNT_BIG(*) FROM Sales.SalesOrderDetail

Широко известна фраза: «Повторение – мать учения». Возможно, это звучит банально, но на втором году работы, я смог в полной мере прочувствовать смысл этой фразы.

С одной стороны, когда человек открывает для себя что-то новое, повторение пройденного, в разумных пределах, позволяет ему лучше закрепить материал. Однако, в моей ситуации, ежедневно приходилось решать функционально схожие задачи. Закономерный результат — плавное снижение мотивации делать это вручную.

Найти выход, из сложившейся ситуации, мне помог динамический SQL, который позволил автоматизировать наиболее рутинные операции и повысить производительность труда.

Далее приведено несколько примеров из жизни, которые решались посредством применения динамического SQL.

Недавно выдалась минутка посмотреть почему старый тестовый сервер безбожно тормозил… К нему я не имел никакого отношения, но меня одолевал спортивный интерес разобраться, что с ним не так.

Первым делом открыл Resource Monitor и взглянул на общую нагрузку. Процесс sqlserv.exe нагружал ЦП под 100% и формировал большую дисковую очередь, которая была за 300… при том, что значение выше единицы уже считается проблемным.

При анализе дисковой активности заметил непрерывные IO операции в msdb:

D:\SQL_2012\SYSTEM\MSDBData.mdf
D:\SQL_2012\SYSTEM\MSDBLog.ldf

Посмотрел на размер msdb:

SELECT name, size = size * 8. / 1024, space_used = FILEPROPERTY(name, 'SpaceUsed') * 8. / 1024
FROM sys.database_files

и включил режим «рука-лицо»:

name         size           space_used
------------ -------------- ---------------
MSDBData     42626.000000   42410.374395
MSDBLog      459.125000     6.859375

Файл данных занимал 42 Гб… Взяв небольшую паузу я начал разбираться в чем причина такого нездорового объема msdb и как побороть проблемы с производительностью сервера.

Мария Черницкая закончила филфак СПбГУ, изучала наследие Владимира Набокова, училась набоковедению в США и собиралась было писать там диссертацию — но довольно неожиданно стала заниматься рекламой и маркетингом в области IT-технологий, работала в DataArt директором по маркетингу новорожденного сервиса Mail.ru. Теперь Мария — основатель, директор и основной группы компаний iConText, крупнейшего независимого интернет-агентства в России.

— Ты же закончила филфак, занималась Набоковым?

— Да, я училась в Америке и должна была писать PhD. Я вернулась в Петербург весной и предполагалось, что уже осенью уеду в Канзас, где набоковедение было очень сильное, но в первую весну я не поступила. Мне сказали: «Приходите через год, потусуйтесь пока в России». Для меня это был депрессивный облом. Я думала, что же я буду тут делать, я не хочу здесь жить ни секунды. У меня не было ни планов, ни работы. Я преподавала английский в 610 школе и подрабатывала в легендарном киноведческом журнале «Сеанс» у Любы Аркус.

— А как в твоей жизни появился интернет?

— В набоковском фонде мне сказали, мол, Маша, нам надо сделать сайтик. У нас есть дружественная провайдерская компания, вы к ним сходите, они вам помогут. Я пошла, мне дали лучшего специалиста, отвлекли его от всех дел, и мы с ним целыми днями делали сайтик о Набокове. Они тем временем запускали интернет-провайдера «Компьютерные сети», и я им говорила, что, мне кажется, надо поступить так и сяк — для них я была человек, который жил в Америке и что-то видел. В результате они предложили мне стать их маркетинг-директором. Там было мало денег, работа нервная, все было сложно, но все то, что получалось, получалось очень здорово.

В какой-то момент я открыла для себя, что в Москве есть провайдер «Ситилайн» (один из первых крупных российских интернет-провайдеров — прим. ред.) и глянцевый журнал «Интернет». Я мечтала приобщиться к миру этих людей — и вдруг владелец «Ситилайна» Емеля (Емельян Захаров — видный московский галерист — прим. ред.), позвонил мне и предложил стать их директором в Петербурге. Такое было странное время — социальные лифты ездили с огромной скоростью, одни люди находили других, сходных по духу, и доверяли им большие деньги и большие задачи.

Алексей Кривенков стоял у истоков DataArt и Mail.ru, но в 2001 году покинул компанию. В интервью DataArt Алексей рассказал о том, когда и как было придумано название компании, первых офисах в Петербурге и Нью-Йорке и многом другом.

Интервью: Таня Андрианова и Даниэль Лурье.
Фотографии из личных архивов Алексея Кривенкова, Дмитрия Андрианова и Андрея Язикова.

— Кем ты был до DataArt и как очутился в компании?

— Вообще, название DataArt появилось при мне, когда я уже был в Нью-Йорке.

Я учился на 2-м курсе физфака, и в какой-то момент решил съездить в Америку, навестить своего друга Диму Крюкова. Он отвез меня в гости к однокласснику своего друга, Жене Голанду, — так мы и познакомились.

Года через два после этого знакомства я решил, что не хочу больше учиться на физфаке, а хочу уехать в Америку мыть машины.

В то время в Петербурге я работал в первых интернет-провайдерах: в «Невалинке», «Дуксе», потом еще в «Веб Пласе». Я ходил в гости к клиентам и подключал им интернет. Интернет тогда состоял из электронной почты UUPC. Я, наверное, настроил около сотни UUPC. Я подключил к интернету, например, известного музыканта Лешу Вишню и покойного писателя и интернет-литератора Александра Житинского.

В общем, я сидел в ректорском флигеле в подвале Университета. У нас там был настоящий IP-интернет на 386-х «линуксах», а у меня, конечно, была личная электронная почта, с которой я и написал Жене Голанду, что собираюсь в Америку. Женя сказал, что у него как раз есть для меня дело. Я купил билет и приехал.

Полгода я жил у Жени, мы собирали и продавали компьютеры. И тогда-то придумалось название DataArt — название компании, которая будет не компьютеры собирать, а должна писать софт и оказывать консалтинговые услуги. Консультировать и писать софт на первых порах приходилось и мне. Тогда основной наш бизнес тоже заключался в подключении клиентов к интернету и обеспечению их электронной почтой. Это-то меня и увлекло.

В общем, машины я так помыть и не успел…

Прим. перев.: сегодня мы решили опубликовать перевод любопытной статьи о современных реалиях индустрии виниловых аудиозаписей. Это материал о том, что сейчас слушают на виниле, кто его покупает и почему, как выглядит современные пластинки, и кто в наше время открывает бизнес по их изготовлению. Между прочим, некоторые из перечисленных в статье пластинок (и многие другие) можно купить в нашем магазине.

На дворе 2014 год, и раз уж зашла речь о виниловых пластинках, то мы обязаны поговорить о Джеке Уайте. В апреле этого года самопровозглашенный «рок-н-рольщик» и сторонник аналогового звука отмечал День музыкального магазина в компании с United Record Pressing в Нэшвилле и в этой связи выпустил «самую быструю» пластинку в мире. В 10 утра Уайт и его группа записали в своей собственной студии Third Man живую версию их заглавной песни с нового альбома Lazaretto, затем оригинал записи отправился в United, где был незамедлительно растиражирован на 7-дюймовом прессе. Созданные копии поступили в магазин Third Man, чтобы закончить свой путь в руках фанатов. От начала до конца работа заняла 3 часа 55 минут и 21 секунду.

Макс Левчин (Max Levchin), сооснователь компании Paypal, оказывается, является таким же страстным поклонником квантификации и лайфлоггинга, как и Стивен Вольфрам. Напомним, что разработчик программного пакета Mathematica и научной поисковой системы Wolfram Alpha Стивен Вольфрам ведёт статистику компьютерной активности с 1980-х гг, включая почтовые письма, нажатия клавиш, телефонные звонки, встречи, время редактирования файлов разного типа и т.д.



Макса Левчина интересует не только компьютерная статистика, но и все остальные показатели, которые он может измерить и задокументировать. Например, он долгое время вёл график размеров бюста своих девушек (в давние времена, пока не женился).

Килобот (kilobot) — это не дорогая, легкая в использовании роботизированная система. Она призвана помочь в разработке ПО для распределенных систем, основанных на групповом взаимодействии, типа колоний муравьев. Стайки таких роботов могут, например, сообща разыскивать еду, передвигать крупные объекты и так далее.

Привет.

В этом посте я хочу подробно рассказать о моём опыте переезда на работу PHP-разработчиком в Германию — от момента, когда есть просто желание переехать, но не знаешь что и как делать, до момента, когда уже переехал, вселился в квартиру и получил вид на жительство. Кроме того, в конце поста я приведу немного полезной информации и ссылок по переезду в некоторые другие страны.

Ещё с универа я понимал, что в Украине ловить нечего и надо валить. В течение нескольких лет я исследовал вопрос эмиграции: читал блоги, форумы, сообщества, общался с друзьями и знакомыми, которые могли мне рассказать что-то новое и, естественно, за это время, учитывая и сам переезд, у меня накопился определённый багаж информации, которым и хочется поделиться.

Итак, если вы имеете IT-шное образование и вам интересна идея сваливания из печальной пост-совковой реальности, прошу под кат.

Предисловие

В детстве, смотря многие американские фильмы, был в восторге от того, как актеры выключали свет в помещении «хлопнув в ладоши», всегда хотелось такую же штуку у себя дома. В последние годы ПК стал неотъемлемой частью моей жизни: приходя домой и разувшись, первым делом идешь включать своего «железного коня» и ждать его загрузки. Конечно в последние годы с появлением SSD это ожидание свелось к минимуму, но тем не менее вместе с самим подходом к компьютеру все же какое-то время теряется. Да и собственно зачем вообще идти в комнату, бить с ноги по кнопке, если можно сделать какой-то дистанционный способ включения «моей прелести».

Собственно так со временем и слились две «мечты»: включать ПК по хлопку. На данный момент я учусь в университете и как раз пришло время делать курсовой по схемотехнике, причем преподаватель заявил о том, что можно сделать его в железе, а не на бумаге, что на мой взгляд интереснее. Таким образом подвернулся шанс «убить сразу двух зайцев» — реализовать старую идею и сдать курсовой проект. Первоначальной идеей было сделать некое устройство, которое можно будет разместить на корпусе, запитать его от блока питания, подключить через реле к кнопке и по хлопку замыкать цепь. Как итог решили немного отойти от этой идеи немного расширив ее: система теперь будет состоять из двух блоков, соединенных посредством Bluetooth. Один блок будет улавливать хлопок и посылать специальный сигнал на второй блок, второй же блок будет принимать этот сигнал и замыкать реле.

Это статья будет о том, как я «допиливал напильником» 3д принтер Wanhao Duplicator 4.

Она будет общим дополнением к статьям 3д-принтер Wanhao Duplicator 4 или как сэкономить на MakerBot Replicator и Как я покупал, «допиливал» и настраивал китайский 3D принтер Wanhao Duplicator 4, т.к. они мне помогли с некоторой его настройкой, за что спасибо отдельное авторам.

Финальное видео проверки времени печати (около 4.5 часов), высоты модели, надежности подачи пластика, нагрева да и вообще.



Под катом много фото, поэтому аккуратно.

Компания Tesla Motors опубликовала официальный ответ на статью в Bloomberg о самодельном беспилотном автомобиле, который собрал гениальный хакер Джордж Хоц (Geohot), известный как автор первого джейлбрейка для iPhone и джейлбрейка игровой приставки Playstation 3. Хакер разработал уникальную систему автоматического пилотирования на основе обучаемой нейросети, используя игровые GPU для обработки видеопотока с шести камер и штатные высокопроизводительные процессоры Intel для вычислений ИИ (см. обсуждение на Geektimes).

Всего за два месяца обучения автопилот освоил езду по шоссе, в том числе с плохо различимой дорожной разметкой, а также ряд специфических манёвров.

Привет, гиктаймс!

Хочу поделиться с вами результатами реверс-инжиниринга uArm – простого настольно манипулятора из оргстекла на сервоприводах.

Проект uArm от uFactory собрал средства на кикстартере уже больше двух лет назад. Они с самого начала говорили, что это будет открытый проект, но сразу после окончания компании они не торопились выкладывать исходники. Я хотел просто порезать оргстекло по их чертежам и все, но так как исходников не было и в обозримом будущем не предвиделось, то я принялся повторять конструкцию по фотографиям.

Сейчас моя робо-рука выглядит так:



Работая не спеша за два года я успел сделать четыре версии и получил достаточно много опыта. Описание, историю проекта и все файлы проекта вы сможете найти под катом.

«Хочу программировать под iPhone — говори, что почитать...»
Любимая девушка

Когда решаешься заняться разработкой под iOS, то трудно выбрать литературу и ресурсы, которые действительно были бы полезны. Хорошо еще, что Apple предоставляет множество учебных материалов и программ с открытым исходным кодом в своем центре для разработчиков. В остальных книжках можно если и не утонуть, то порядочно захлебнуться. Сейчас я жалею, что потратил время на пару «мануалов». Не буду делать им антирекламу, а лучше порекомендую хорошие материалы по программированию под iOS.

Под катом книги, видеокурсы и блоги, которые будет полезно прочитать/посмотреть.