Обновить
7
Карма
0
Рейтинг
Вячеслав @vturchaninov

Разработчик

  • Подписчики 9
  • Подписки
  • Публикации
  • Комментарии

Linux tuning to improve PostgreSQL performance. Илья Космодемьянский

Системное администрирование *PostgreSQL *SQL **nix *Администрирование баз данных *

Расшифровка доклада 2015 года Ильи Космодемьянского "Linux tuning to improve PostgreSQL performance"


Disclaimer: Замечу что доклад этот датирован ноябрем 2015 года — прошло больше 4 лет и прошло много времени. Рассматриваемая в докладе версия 9.4 уже не поддерживается. За прошедшие 4 года вышло 5 новых релизов PostgreSQL вышло и 15 версий ядра Linux. Если переписывать эти места, то получится в итоге другой доклад. Но здесь рассмотрен фундаментальный тюнинг Linux для PostgreSQL, который актуален и сейчас.


Всего голосов 17: ↑17 и ↓0 +17
Просмотры 12K
Комментарии 5

Распознавание лиц на коленно-прикладном уровне

Работа с видео *Обработка изображений *DIY или Сделай сам
В общем и целом, распознавание лиц и идентификация людей по их результатам выглядит для аксакалов как подростковый секс — все о нем много говорят, но мало кто практикует. Понятно, что мы уже не удивляемся, что после загрузки фоточки с дружеских посиделок Facebook/VK предлагает отметить обнаруженных на снимке персон, но тут мы интуитивно знаем, что у соцсетей есть хорошее подспорье в виде графа связей персоны. А если такого графа нет? Впрочем, начнем по порядку.

Какой-то черт прется в дверь с коробкой
Читать дальше →
Всего голосов 22: ↑22 и ↓0 +22
Просмотры 14K
Комментарии 4

Видео докладов с FunTech QA-automation meetup

Блог компании FUNCORP Тестирование IT-систем *Тестирование веб-сервисов *Тестирование мобильных приложений *Конференции
27 апреля команда FunTech Meetups провели первый митап по тестированию. Митап был полностью посвящён автоматизации, а спикеры из Mail.ru Group, Badoo, ivi.ru, Tinkoff.ru и FunCorp в своих докладах рассказывали, как и что они автоматизируют в своих компаниях. Предлагаем Вашему вниманию видео и слайды с этих выступлений.



«Автотесты, объединяющие подходы, платформы и сердца», Михаил Чирков, ivi.ru


Всего голосов 28: ↑28 и ↓0 +28
Просмотры 6.4K
Комментарии 16

SciPy, оптимизация с условиями

Блог компании Open Data Science Python *Алгоритмы *Математика *Учебный процесс в IT
Tutorial


SciPy (произносится как сай пай) — это библиотека для научных вычислений, основанная на numpy и скомпилированных библиотеках, написанных на C и Fortran. С SciPy интерактивный сеанс Python превращается в такую же полноценную среду обработки данных, как MATLAB, IDL, Octave, R или SciLab.


В этой статье рассмотрим основные приемы математического программирования — решения задач условной оптимизации для скалярной функции нескольких переменных с помощью пакета scipy.optimize. Алгоритмы безусловной оптимизации уже рассмотрены в прошлой статье. Более подробную и актуальную справку по функциям scipy всегда можно получить с помощью команды help(), Shift+Tab или в официальной документации.

Читать дальше →
Всего голосов 53: ↑48 и ↓5 +43
Просмотры 28K
Комментарии 5

MVCC-2. Слои, файлы, страницы

Блог компании Postgres Professional PostgreSQL *SQL *
В прошлый раз мы поговорили о согласованности данных, посмотрели на отличие между разными уровнями изоляции транзакций глазами пользователя и разобрались, почему это важно знать. Теперь мы начинаем изучать, как в PostgreSQL реализованы изоляция на основе снимков и механизм многоверсионности.

В этой статье мы посмотрим на то, как данные физически располагаются в файлах и страницах. Это уводит нас в сторону от темы изоляции, но такое отступление необходимо для понимания дальнейшего материала. Нам потребуется разобраться, как устроено хранение данных на низком уровне.

Отношения (relations)


Если заглянуть внутрь таблиц и индексов, то окажется, что они устроены схожим образом. И то, и другое — объекты базы, которые содержат некоторые данные, состоящие из строк.

То, что таблица состоит из строк, не вызывает сомнений; для индекса это менее очевидно. Тем не менее, представьте B-дерево: оно состоит из узлов, которые содержат индексированные значения и ссылки на другие узлы или на табличные строки. Вот эти узлы и можно считать индексными строками — фактически, так оно и есть.

На самом деле есть еще некоторое количество объектов, устроенных похожим образом: последовательности (по сути однострочные таблицы), материализованные представления (по сути таблицы, помнящие запрос). А еще есть обычные представления, которые сами по себе не хранят данные, но во всех остальных смыслах похожи на таблицы.

Все эти объекты в PostgreSQL называются общим словом отношение (по-английски relation). Слово крайне неудачное, потому что это термин из реляционной теории. Можно провести параллель между отношением и таблицей (представлением), но уж никак не между отношением и индексом. Но так уж сложилось: дают о себе знать академические корни PostgreSQL. Мне думается, что сначала так называли именно таблицы и представления, а остальное наросло со временем.
Читать дальше →
Всего голосов 36: ↑36 и ↓0 +36
Просмотры 19K
Комментарии 18

Обзор градиентных методов в задачах математической оптимизации

Математика *Машинное обучение *
Из песочницы

Предисловие


В этой статье речь пойдет о методах решения задач математической оптимизации, основанных на использовании градиента функции. Основная цель — собрать в статье все наиболее важные идеи, которые так или иначе связаны с этим методом и его всевозможными модификациями.



Читать дальше →
Всего голосов 76: ↑76 и ↓0 +76
Просмотры 71K
Комментарии 26

Мифы о кэше процессора, в которые верят программисты

Параллельное программирование *
Перевод
Как компьютерный инженер, который пять лет занимался проблемами кэша в Intel и Sun, я немного разбираюсь в когерентности кэша. Это одна из самых трудных концепций, которые пришлось изучить ещё в колледже. Но как только вы действительно её освоили, то приходит гораздо лучшее понимание принципов проектирования систем.

Вы можете удивиться: зачем же разработчику ПО думать о механизме кэширования в CPU? Отвечу. С одной стороны, многие понятия из концепции когерентности кэша непосредственно применимы в распределённых системах и на уровнях изоляции СУБД. Например, представление реализации когерентности в аппаратных кэшах помогает лучше понять разницу в моделях согласованности (консистентности) — отличие строгой согласованности (strong consistency) от согласованности в конечном счёте (eventual consistency). У вас могут появиться новые идеи, как лучше обеспечить согласованность в распределённых системах, используя исследования и принципы из аппаратного обеспечения.

С другой стороны, неправильные представления о кэшах часто приводят к ложным утверждениям, особенно когда речь идёт о параллелизме и состоянии гонки. Например, часто говорят о трудности параллельного программирования, потому что «у разных ядер в кэшах могут быть разные/устаревшие значения». Или что квалификатор volatile в языках вроде Java нужен, чтобы «предотвратить локальное кэширование общих данных» и принудительно «читать/записывать только в основную память».
Читать дальше →
Всего голосов 75: ↑70 и ↓5 +65
Просмотры 71K
Комментарии 72

«Выглядит похоже». Как работает перцептивный хэш

Обработка изображений *
Перевод
За последние несколько месяцев несколько человек спросили меня, как работает TinEye и как в принципе работает поиск похожих картинок.

По правде говоря, я не знаю, как работает поисковик TinEye. Он не раскрывает деталей используемого алгоритма(-ов). Но глядя на поисковую выдачу, я могу сделать вывод о работе какой-то формы перцептивного хэш-алгоритма.
Читать дальше →
Всего голосов 149: ↑145 и ↓4 +141
Просмотры 107K
Комментарии 45

Простой фильтр для автоматического удаления фона с изображений

.NET *Обработка изображений *C# *
Существует множество способов удалить фон с изображения какого-либо объекта, сделав его прозрачным (в графических редакторах, специальных сервисах). Но иногда может возникнуть необходимость удаления фона у множества фотографий с минимальным участием человека.

Хочу поделиться способом, основанном на создании маски прозрачности с помощью оператора Собеля и некоторых других преобразований. Основная идея совершенно не нова, но применение некоторых дополнительных техник в правильном порядке позволило улучшить результаты, о чем и будет эта заметка.



Реализация стала возможной благодаря OpenCV и C# обертке OpenCVSharp.
Читать дальше →
Всего голосов 24: ↑23 и ↓1 +22
Просмотры 29K
Комментарии 22

Джентльменский набор в области маркетинга и продаж компании-разработчика заказного ПО

Блог компании Maxilect Развитие стартапа Карьера в IT-индустрии Бизнес-модели
В первой статье мы рассказали про наш первый опыт в маркетинге и продажах. В этой статье мы расскажем, почему маркетингом и продажами нужно заниматься самим, даже если вы всю жизнь изучали математику и программирование, а не полагаться на «гуру» с рынка, и какие минимальные действия в области маркетинга и продаж должна сделать компания-разработчик заказного ПО в наше время, чтобы быть прибыльной компанией и иметь возможность устойчиво развиваться. В этой статье не будет затронута тема раскрутки и продажи продуктов, мобильных приложений, игр и многого другого, так как опыт компании Maxilect в основном связан с заказной разработкой, и только в конце 2017 мы начали делать свои R&D разработки и вести работу со стартапами по модели Revenue Sharing.

Рассказ моего партнера Кирилла Антонова, который написал первую часть статьи, остановился примерно в конце 2016 — начале 2017 года. На тот момент мы уже успели наломать немало дров, наступили не на одни грабли, добились первых успехов, и пребывали в некоторой эйфории от того, что наконец-то начало получаться, мы росли, увеличивалась и прибыль, и пора было подумать о динамичном развитии в правильном направлении.

image
Читать дальше →
Всего голосов 20: ↑19 и ↓1 +18
Просмотры 4.7K
Комментарии 3

Вопросы для собеседования бэкенд-разработчика

Разработка веб-сайтов *Программирование *Серверная оптимизация *Администрирование баз данных *Карьера в IT-индустрии
Перевод
Этот список появился как личная памятка по темам, которые я обсуждал с коллегами и друзьями и в которых хотел разобраться поглубже…

Я не большой любитель задавать технические вопросы на собеседованиях: по мне так лучше посидеть с кандидатом (или кандидаткой) за клавиатурой над каким-то реальным кодом, реальной проблемой — и целый день заниматься парным программированием, желательно поочерёдно с остальными членами команды. Но я считаю, что некоторые технические вопросы могут быть хорошей отправной точкой для начала увлекательного и приятного разговора и позволят глубже узнать друг друга.

В этом репозитории собран ряд вопросов, связанных с серверной частью, которые можно использовать при проверке потенциальных кандидатов. Ни в коем случае не рекомендуется задавать все вопросы одному кандидату: это займет несколько часов и вообще не имеет смысла, потому что они охватывают слишком широкий спектр тем. Никто не может знать всего. Выберите наиболее актуальный раздел и самые интересные вопросы, чтобы развернуть беседу.
Читать дальше →
Всего голосов 83: ↑61 и ↓22 +39
Просмотры 156K
Комментарии 274

Информация

В рейтинге
Не участвует
Откуда
Тула, Тульская обл., Россия
Зарегистрирован
Активность