Антон Березин @Digwener
User
Обработка запросов в Oracle и PostgreSQL: следствия одного решения
21 min
34KОбработка запросов SQL и в Оракле, и в Постгресе имеет много общего. Так или иначе, надо выполнить синтаксический разбор, проверить семантику (для чего потребуется метаинформация, и не важно, называется ли это «словарь данных» или «системный каталог»), выполнить какие-то преобразования, построить оптимальный план выполнения (в обеих системах основанный на стоимости, а следовательно требующий заранее собранной статистики).
Но есть одно-единственное существенное различие, которое коренным образом меняет весь подход к обработке. Речь, конечно, о том, что Оракл использует глобальный кэш разобранных запросов, а Постгрес сохраняет запросы локально.
В статье мы попытаемся проследить, как из-за разницы в одном архитектурном решении логически следует совершенно разная идеология работы в запросами в двух СУБД.
Приведенные примеры (которые выполнялись на версиях Oracle 11.2 XE и PostgreSQL 9.4) содержат время выполнения запросов. Нас интересуют только относительные величины: во сколько раз изменилось время выполнения после внесения в запрос тех или иных изменений. При этом абсолютные цифры могут отличаться на порядки в зависимости от аппаратуры, нагрузки и настроек. Чтобы не давать повод для бессмысленных выводов на их основании, все абсолютные значения в статье отмасштабированы так, чтобы один из запросов составлял в обеих системах 10 секунд.
Но есть одно-единственное существенное различие, которое коренным образом меняет весь подход к обработке. Речь, конечно, о том, что Оракл использует глобальный кэш разобранных запросов, а Постгрес сохраняет запросы локально.
В статье мы попытаемся проследить, как из-за разницы в одном архитектурном решении логически следует совершенно разная идеология работы в запросами в двух СУБД.
Приведенные примеры (которые выполнялись на версиях Oracle 11.2 XE и PostgreSQL 9.4) содержат время выполнения запросов. Нас интересуют только относительные величины: во сколько раз изменилось время выполнения после внесения в запрос тех или иных изменений. При этом абсолютные цифры могут отличаться на порядки в зависимости от аппаратуры, нагрузки и настроек. Чтобы не давать повод для бессмысленных выводов на их основании, все абсолютные значения в статье отмасштабированы так, чтобы один из запросов составлял в обеих системах 10 секунд.
+24
«Мы можем лучше протестировать Java, чем Oracle» — интервью с Андреем Паньгиным из Одноклассников
14 min
24KСегодня я приготовил для вас большое интервью с Андреем Паньгиным aka apangin, ведущим инженером Одноклассников. Андрей больше 6 лет проработал JVM-инженером в Sun Microsystems, в том числе, в команде HotSpot, а последние 5 лет работает в Одноклассниках, решая там вопросы, связанные с JVM и производительностью. Так что Андрей по праву считается одним из сильнейших JVM-щиков в России.
Андрей — эксперт в системном программировании, занимался системами хранения и системами передачи информации. Складывал кирпичики, которые лежат в основе портала Одноклассники и обеспечивают надежность и быстродействие сервисов.
Вот о чем мы поговорили с Андреем:
(Я знаю, что начало затянутое. Будем работать над тем, чтобы быстрее раскачиваться и входить в тему.)
Для тех, кому опять некогда смотреть видео, под катом расшифровка интервью.
Андрей — эксперт в системном программировании, занимался системами хранения и системами передачи информации. Складывал кирпичики, которые лежат в основе портала Одноклассники и обеспечивают надежность и быстродействие сервисов.
Вот о чем мы поговорили с Андреем:
- чего стоит переезд с Java 7 на Java 8;
- что происходит с sun.misc.Unsafe;
- архитектура Одноклассников;
- инженерные компромиссы, шардинг и GC;
- системы хранения данных и Cassandra;
- в чем Одноклассники впереди планеты всей, а чему еще стоит поучиться у Google;
- как стать крутым системным программистом.
(Я знаю, что начало затянутое. Будем работать над тем, чтобы быстрее раскачиваться и входить в тему.)
Для тех, кому опять некогда смотреть видео, под катом расшифровка интервью.
+46
Краткое введение в тензоры
3 min
166KВ заметке Магия тензорной алгебры было дано очень неплохое введение в математику тензоров. Но, как мне кажется, этот текст все-равно несколько сложен для понимания. В нем не до конца понятно, что же это такое тензор и зачем он вообще нужен.
Сейчас я попытаюсь дать совсем простое введение в тензоры. Я не претендую на математическую строгость, поэтому некоторые термины могут употребляться не совсем корректно.
Сейчас я попытаюсь дать совсем простое введение в тензоры. Я не претендую на математическую строгость, поэтому некоторые термины могут употребляться не совсем корректно.
+29
Иерархические (рекурсивные) запросы
10 min
525KЧтобы понять рекурсию, сначала надо понять рекурсию. Возможно, поэтому рекурсивные запросы применяют так редко. Наверняка вы представляете что такое SQL-запрос, я расскажу, чем рекурсивные запросы отличаются от обычных. Тема получилась объемная, приготовьтесь к долгому чтению. В основном речь пойдет об Oracle, но упоминаются и другие СУБД.
+98
Пишем свой Spliterator
11 min
53KTutorial
Многие из вас уже попробовали на вкус Stream API — потоки Java 8. Наверняка у некоторых возникло желание не только пользоваться готовыми потоками от коллекций, массивов, случайных чисел, но и создать какой-то принципиально новый поток. Для этого вам потребуется написать свой сплитератор. Spliterator — это начинка потока, публичная часть его внутренней логики. В этой статье я расскажу, как и зачем я писал сплитератор.
+21
Руководство хакера по нейронным сетям. Глава 2: Машинное обучение. Обобщаем SVM до нейронной сети
4 min
13KTranslation
Содержание:
Интересен тот факт, что SVM является всего лишь отдельным видом очень простой схемы (схемы, которая вычисляет score = a*x + b*y + c, где a,b,c являются весовыми функциями, а x,y представляют собой точки ввода данных). Его можно легко расширить до более сложных функций. Например, давайте запишем двухслойную нейронную сеть, которая выполняет бинарную классификацию. Проход вперед будет выглядеть следующим образом:
Глава 1: Схемы реальных значений
Часть 1:
Часть 2:
Часть 3:
Часть 4:
Часть 5:
Часть 6:
Введение
Базовый сценарий: Простой логический элемент в схеме
Цель
Стратегия №1: Произвольный локальный поиск
Часть 2:
Стратегия №2: Числовой градиент
Часть 3:
Стратегия №3: Аналитический градиент
Часть 4:
Схемы с несколькими логическими элементами
Обратное распространение ошибки
Часть 5:
Шаблоны в «обратном» потоке
Пример "Один нейрон"
Часть 6:
Становимся мастером обратного распространения ошибки
Глава 2: Машинное обучение
Интересен тот факт, что SVM является всего лишь отдельным видом очень простой схемы (схемы, которая вычисляет score = a*x + b*y + c, где a,b,c являются весовыми функциями, а x,y представляют собой точки ввода данных). Его можно легко расширить до более сложных функций. Например, давайте запишем двухслойную нейронную сеть, которая выполняет бинарную классификацию. Проход вперед будет выглядеть следующим образом:
+7
Неоднородная Вселенная
12 min
11KЗдравствуйте,
Думаю некоторых здешних пользователей на протяжении всей жизни интересовали вопросы связанные с большим космосом. Как работает наше солнце? Что по ту сторону чёрный дыры? Что заставляет двигаться галактики, и вообще, где границы нашей вселенной и существуют ли другие вселенные, НЛО, и что там происходит? Какова физика всех этих природных явлений? Мне не очень хотелось лезть в нудные формулы и расчёты физиков-теоретиков, так как я верил, что сложные вещи возможно объяснить простыми словами. В надежде хоть чуть-чуть приблизиться к понимаю столь масштабных процессов, я перечитал множество популярного чтива в этом направлении (Митио Каку, Брайн Грин), изучал специальную теорию относительности(СТО), теорию суперструн, пытался понять, откуда взялись такие понятия как нейтрино, тёмная материя, тёмная энергия, каковы причины ввода данных терминов? И каково было моё удивление, когда я нашёл столько очевидных заблуждений и недочётов во всех этих вопросах/ответа, а так же принципиально новый подход к объяснению данных явлений, что хотел бы поделиться с Вами, если Вам это будет интересно.
Думаю некоторых здешних пользователей на протяжении всей жизни интересовали вопросы связанные с большим космосом. Как работает наше солнце? Что по ту сторону чёрный дыры? Что заставляет двигаться галактики, и вообще, где границы нашей вселенной и существуют ли другие вселенные, НЛО, и что там происходит? Какова физика всех этих природных явлений? Мне не очень хотелось лезть в нудные формулы и расчёты физиков-теоретиков, так как я верил, что сложные вещи возможно объяснить простыми словами. В надежде хоть чуть-чуть приблизиться к понимаю столь масштабных процессов, я перечитал множество популярного чтива в этом направлении (Митио Каку, Брайн Грин), изучал специальную теорию относительности(СТО), теорию суперструн, пытался понять, откуда взялись такие понятия как нейтрино, тёмная материя, тёмная энергия, каковы причины ввода данных терминов? И каково было моё удивление, когда я нашёл столько очевидных заблуждений и недочётов во всех этих вопросах/ответа, а так же принципиально новый подход к объяснению данных явлений, что хотел бы поделиться с Вами, если Вам это будет интересно.
-41
Структура белка: введение для айтишников
17 min
156KПриятно видеть, что хабравчане регулярно интересуется другими предметными областями – например, биологией (более конкретно – структурой и функцией биологических макромолекул). Однако некоторые посты (например, этот), вызывают у специалиста просто физическую боль из-за обилия совершенно диких фактологических ошибок. В этом посте мне хочется рассказать о структуре и функции белка. О том, что мы знаем и о том, чего не знаем, а так же об имеющихся в этой области вычислительных задачах, требующих решения и интересных IT-специалистам. Постараюсь рассказывать сжато и тезисно, чтобы информации было больше, а воды – меньше. Всех, интересующихся структурой белков, прошу под кат, там очень много букв.
+144
Копирайт из другой галактики
4 min
46KВ одной далёкой неспиральной галактике есть планета, цивилизация на которой развивалась весьма необычным образом. Так уж вышло, что информационные технологии там всегда были гораздо совершеннее, чем материальные.
Понятия, касающиеся интеллектуальной деятельности, сформировались еще при зарождении общества, так как творческие произведения всегда были в дефиците. Реальные предметы, напротив, никогда не представляли для них большой ценности. Поэтому концепция торговли физическими предметами достаточно нова, ей всего несколько сотен лет.
Каждому проживающему на планете известно, что материальные объекты принципиально отличаются от нематериальных. Поэтому цены на них определяются одним простым числом, и никак не ограничены во времени. В то время как нематериальные — такие как музыка, литература или кино — продукты интеллектуальной деятельности, поэтому и цены на них интеллектуальные, и выражаются функцией с двумя коэффициентами.
Конечно для нашей планеты такая система была бы непригодна, однако, она показалась мне интересной, поэтому я решил об этом рассказать.
+27
Мифы нашего времени: генетически модифицированные организмы. Так ли страшен черт?
21 min
574KЧеловеку давно свойственно интересоваться окружающим миром и находить объяснения тому окружающим вещам и событиям. Собственно, без этого человек не стал бы человеком. На базе верований, мифов развивалась сначала религия, а потом — и современная наука, которая уже весьма успешно объясняет окружающий мир от очень малых до впечатляющих масштабов. Но всегда оставались люди, которые противились прогрессу и распространяли устоявшиеся мифы, уверяя, что они отвечают на все вопросы и незачем двигаться дальше. Гром гремит — это Перун-громовержец злится; кто-то заболел — это Бог его наказывает, вот тебе объяснения, отстань, не задавай вопросов, а лучше помолись.
Современные мифы более глубоки и обычно связаны с наукой. Причины понятна — наука развилась (особенно в последнее время) до такой степени, что часто нужен колоссальный объем знаний, чтобы просто понять, о чем вообще идет речь. У многих людей этого объема нет или безвозвратно потерян, что и снижает их сопротивляемость к разного рода мифам нашего времени. Миф про вредность пищевых добавок Exxx; миф про полезность натурального и вредность «химии»; миф про врачей-убийц, травящих людей прививками; миф про настолько страшное ГМО, что наклейки с надписью «без ГМО» надо клеить даже на салфетки и на пачки с солью.
Что такое ГМО? Зачем они нужны? Как велика опасность и польза от их использования? Есть ли доказательства безопасности этих организмов?
Современные мифы более глубоки и обычно связаны с наукой. Причины понятна — наука развилась (особенно в последнее время) до такой степени, что часто нужен колоссальный объем знаний, чтобы просто понять, о чем вообще идет речь. У многих людей этого объема нет или безвозвратно потерян, что и снижает их сопротивляемость к разного рода мифам нашего времени. Миф про вредность пищевых добавок Exxx; миф про полезность натурального и вредность «химии»; миф про врачей-убийц, травящих людей прививками; миф про настолько страшное ГМО, что наклейки с надписью «без ГМО» надо клеить даже на салфетки и на пачки с солью.
Что такое ГМО? Зачем они нужны? Как велика опасность и польза от их использования? Есть ли доказательства безопасности этих организмов?
+263
Cуперкомпьютер за 1 млрд евро: симуляция мозга человека
3 min
226KЕврокомиссия одобрила финансирование самого крупного и амбициозного проекта по симуляции человеческого мозга. Проект Human Brain Project объединит усилия европейских учёных на 2013-2023 гг и предварительно оценивается в 1,19 млрд евро.
+118
Информационное мироздание. Частные выводы из предположения
10 min
14KФизики молчаливо предполагают, что мир состоит из материи. А что если из информации? В конце концов, материя – лишь название строительного материала, из которого, по мнению физиков, организован мир, но свойства материалов и укладка их в единое восхитительное и гармоничное целое – это уже информация. Поэтому при упоминании об устройстве мироздания правильней все-таки говорить об информации, чем о материи.
Ниже приводятся выводы из данного смелого предположения. Приверженцам традиционного физического представления о мире одни из них могут показаться безнадежно банальными, другие – вызывающе нелепыми. Что же, не все физикам удивлять обыкновенных людей черными дырами и квантовыми струнами, иногда и представители прочего человечества способны удивить физиков не менее безрассудными заявлениями.
-17
Предложения о реформе копирайта, представленные депутатом Европарламента Кристианом Энгстрёмом
13 min
46KTranslation
Кристиан Энгстрём — шведский программист, активист и политический деятель. В апреле 2012 года вместе с Рикардом Фальквинге он представил Европарламенту книгу, в которой они рассматривают основные проблемы современного копирайта, вносят предложения по изменению текущего законодательства, и анализируют влияние, которое могут оказать эти изменения на культурный сектор.
На хабре уже были опубликованы некоторые главы из этой книги, об истории копирайта, цензуре и наказаниях. В обсуждении этих статей хабрапользователи часто задавали вопросы о том, какие выводы делают авторы и что они предлагают. Поэтому я решил опубликовать перевод главы, где подробно рассматривается этот вопрос.
+86
Чему Далай-лама может нас научить об абсолютных отрицательных температурах?
6 min
148KTranslation
Много шума слышно в последнее время в научной блогосфере о недавнем эксперименте, в котором физики создали газ из квантовых частиц с отрицательной температурой – ниже абсолютного нуля. Это довольно странно, т.к. предполагается, что абсолютный ноль – это такая температура, при которой движение атомов прекращается, когда подвижные частицы в обычном состоянии, полностью останавливаются. По всей видимости, это настолько холодно, насколько только может быть. Может ли быть что-то холоднее?
Вот краткий ответ. Можно создать отрицательные температуры. Фактически это было сделано впервые в 1951 году. Но это не то, как на самом деле звучит – эти температуры не холоднее абсолютного нуля. Например, вы не можете охлаждать, что-либо до тех пор, пока температура не упадёт ниже абсолютного нуля. На самом деле, как я постараюсь объяснить, объекты с отрицательной температурой ведут себя как будто они теплее, чем объекты с любой положительной температурой.
Вот краткий ответ. Можно создать отрицательные температуры. Фактически это было сделано впервые в 1951 году. Но это не то, как на самом деле звучит – эти температуры не холоднее абсолютного нуля. Например, вы не можете охлаждать, что-либо до тех пор, пока температура не упадёт ниже абсолютного нуля. На самом деле, как я постараюсь объяснить, объекты с отрицательной температурой ведут себя как будто они теплее, чем объекты с любой положительной температурой.
+159
Самая грязная работа в Google
2 min
141KОдин из бывших сотрудников Google рассказал о своей работе, хуже которой трудно что-то представить. Его обязанностью был просмотр оскорбительного контента на всех сайтах Google, включая Google Images, Picasa, Orkut, поиск Google и т.д.
По законам США, сайт обязан в течение 24 часов отреагировать на сигнал о наличии детской порнографии и удалить контент, а также отправить отчёт в государственные органы. Естественно, никто из менеджеров и программистов Google не хотел этим заниматься, поэтому они решили нанять сотрудника со стороны специально для проверки жалоб. То есть, фактически, специально для просмотра детского порно и прочих извращений.
+158
Google платит половину зарплаты в течение 10 лет после смерти сотрудника, деньги получит жена
1 min
23KGoogle очень ценит свой персонал: для них бесплатная еда, занятия в спортзале, хайтек-туалеты, медицинское обслуживание прямо в офисе, и даже беспилотные автомобили в личное пользование.
Но мало кто знает, что работники Google получают бенефиты ещё десять лет после смерти. В течение этого времени жена или девушка (соответственно, муж или парень) умершего сотрудника получит 50% его зарплаты. Об этом рассказал директор по персоналу Ласло Бок (Laszlo Bock).
Ласло Бок говорит, что посмертные бенефиты представлены в прошлом году в связи с увеличением среднего возраста сотрудников Google, самому старшему из которых сейчас 83 года.
Но мало кто знает, что работники Google получают бенефиты ещё десять лет после смерти. В течение этого времени жена или девушка (соответственно, муж или парень) умершего сотрудника получит 50% его зарплаты. Об этом рассказал директор по персоналу Ласло Бок (Laszlo Bock).
Ласло Бок говорит, что посмертные бенефиты представлены в прошлом году в связи с увеличением среднего возраста сотрудников Google, самому старшему из которых сейчас 83 года.
+97
ИИ — Гедель против Тьюринга или критика искусственного разума. Точка зрения технаря
5 min
20KДесять лет назад я считал изложенные в данной публикации мысли достаточно банальными. Прочитав последние публикации на Хабре [1] я понял что это не так.
Термин “Искусственный интеллект” может быть великолепной иллюстрацией понятия прецессии симулякров. Его значение меняется каждый год, в зависимости от настроений рынка или моды философов-гуманитариев. Десятилетия назад шахматная программа считалась ИИ. Сегодня это банальный инжиниринг. Через десятилетия Ватсон и Сири будут стандартной компонентой в очередном фреймворке. ИИ — символ непознанного, как только мы отщипываем кусочек неизвестного — оно сразу теряет свою привлекательность.
Однако если забыть гуманитарные установки и подойти к делу с точки зрения технаря можно понять следующие вещи.
Термин “Искусственный интеллект” может быть великолепной иллюстрацией понятия прецессии симулякров. Его значение меняется каждый год, в зависимости от настроений рынка или моды философов-гуманитариев. Десятилетия назад шахматная программа считалась ИИ. Сегодня это банальный инжиниринг. Через десятилетия Ватсон и Сири будут стандартной компонентой в очередном фреймворке. ИИ — символ непознанного, как только мы отщипываем кусочек неизвестного — оно сразу теряет свою привлекательность.
Однако если забыть гуманитарные установки и подойти к делу с точки зрения технаря можно понять следующие вещи.
+56
Майкрософт запускает Outlook.com
1 min
21KСегодня компания Майкрософт запустила сайт Outlook.com.
По сути — это все тот же hotmail но выполненый в стиле Metro.
Под катом — мои впечатления от Outlook.com
+73
Модель функционального разделения сознания и бессознательного. Введение
8 min
10KВ последние время на хабре по теме ИИ начали появляться сильно легковесные статьи, это точнее даже не про ИИ, а про философию ИИ. Причем такую философию, которая не ставит НИ КАКИХ принципиальных вопросов перед исследователями. Ну, скажем так это просто трёп за жизнь. И что удивительно такие статьи набирают некоторое количество плюсов.
Какие статьи я имею введу? Дам только названия, без ссылок т.к. не рекомендую их читать (Еще одна попытка разобраться в проблеме искусственного интеллекта, О возможности ИИ к самопознанию и познанию создателя, Об эмоциях, программах и искусственном интеллекте, Искусственному интеллекту быть, Взгляд хорошо информированного скептика на искусственный интеллект)
Понятно, что такие статьи писали те кто даже близко не имеет соответствующего образования. Но не это главная причина появления подобных статей. Ведь они действительно публикуя такие статьи думают, что это может хоть как то направить исследователя, который имеет соответствующие образование. Я их разочарую — нет не направит, т.к. в статьях нет ни одной идеи куда. А происходит это (появление подобного трепа) от того, что им кажется, что исследователи сами не знают куда им развиваться. И это порой выглядит именно так. Даже в профессиональной среде ИИ-специалистов часто нет понимания какие задачи надо решать, нет так сказать «списка нерешенных ИИ-проблем», в отличии от математики. Книги часто содержат лишь методы решения задач, и практически ничего не говорят о задачах которые надо еще решить. Подрастающему поколению сложно поставить себе задачу, и они начинают фантазировать исходят только из слова «интеллект». Но все наверное забыли/(не знают?), что название «Искусственный интеллект» — это провокация, рекламный трюк — серьезные ученые не занимаются «сильным ИИ», и не потому, что его нельзя сделать, а потому как это не имеет технической постановки.
Здесь я дам отрефакторинную версию одной моей научно-популярной статьи 2006 года, которая как я думал стоит в том же ряду по смысловой нагрузке, как те которые выше я критиковал. Но теперь я все же вижу, что стилистика хоть и такая же, но за моей статьей может стоять (и стоит) четкая техническая постановка. О ней мы поговорим позже, а пока так сказать лирическое вступление. Но важно то, что я лирически подвожу к одной существенной нерешенной проблеме из области ИИ.
Какие статьи я имею введу? Дам только названия, без ссылок т.к. не рекомендую их читать (Еще одна попытка разобраться в проблеме искусственного интеллекта, О возможности ИИ к самопознанию и познанию создателя, Об эмоциях, программах и искусственном интеллекте, Искусственному интеллекту быть, Взгляд хорошо информированного скептика на искусственный интеллект)
Понятно, что такие статьи писали те кто даже близко не имеет соответствующего образования. Но не это главная причина появления подобных статей. Ведь они действительно публикуя такие статьи думают, что это может хоть как то направить исследователя, который имеет соответствующие образование. Я их разочарую — нет не направит, т.к. в статьях нет ни одной идеи куда. А происходит это (появление подобного трепа) от того, что им кажется, что исследователи сами не знают куда им развиваться. И это порой выглядит именно так. Даже в профессиональной среде ИИ-специалистов часто нет понимания какие задачи надо решать, нет так сказать «списка нерешенных ИИ-проблем», в отличии от математики. Книги часто содержат лишь методы решения задач, и практически ничего не говорят о задачах которые надо еще решить. Подрастающему поколению сложно поставить себе задачу, и они начинают фантазировать исходят только из слова «интеллект». Но все наверное забыли/(не знают?), что название «Искусственный интеллект» — это провокация, рекламный трюк — серьезные ученые не занимаются «сильным ИИ», и не потому, что его нельзя сделать, а потому как это не имеет технической постановки.
Здесь я дам отрефакторинную версию одной моей научно-популярной статьи 2006 года, которая как я думал стоит в том же ряду по смысловой нагрузке, как те которые выше я критиковал. Но теперь я все же вижу, что стилистика хоть и такая же, но за моей статьей может стоять (и стоит) четкая техническая постановка. О ней мы поговорим позже, а пока так сказать лирическое вступление. Но важно то, что я лирически подвожу к одной существенной нерешенной проблеме из области ИИ.
+21
Information
- Rating
- Does not participate
- Location
- Lublin, Lubelskie, Польша
- Date of birth
- Registered
- Activity