Pull to refresh

Яндекс покажет уровень самоизоляции населения в российских городах

Geoinformation services *Health
image

Яндекс начал публиковать индекс самоизоляции населения на уровне российских городов. Он будет рассчитываться по шкале от нуля (минимальный) до пяти (максимальный).
Читать дальше →
Total votes 22: ↑20 and ↓2 +18
Views 7.2K
Comments 27

Apple представила мировой индекс мобильности во время пандемии COVID-19

Geoinformation services *Health IT-companies
image

Apple представила инструмент для анализа мобильности населения городов и целых регионов с использованием агрегированных навигационных данных из карт Apple Maps.
Читать дальше →
Total votes 11: ↑10 and ↓1 +9
Views 3K
Comments 2

S&P Dow Jones запустит индекс криптовалют в 2021 году

Finance in IT Cryptocurrencies
image

Компания S&P Dow Jones Indices, которая публикует индексы S&P 500 и Dow Jones, заявила, что в следующем году выпустит индекс криптовалют. Его подготовят совместно с нью-йоркской фирмой Lukka. Индекс будет формироваться на основе 550 самых популярных криптовалют.
Читать дальше →
Total votes 4: ↑4 and ↓0 +4
Views 2K
Comments 0

Спасибо, Кэп: российский рейтинг потребительской уверенности продолжает падение

Research and forecasts in IT *Internet marketing *Product Management *Sales management *

Российский Adindex и британский MarketingWeek сегодня в унисон написали о падении рейтинга потребительской уверенности. Российский снизился до показателей 2015 года, с –21% в первом квартале этого года до –31% во втором. Причём впервые негативная динамика затронула группу младше 30 лет. Одновременно британский индекс обновил свой минимум до –41%.

Читать далее
Total votes 11: ↑9 and ↓2 +7
Views 1.7K
Comments 3

4-я Встреча Moscow MUG — Проектирование индексов, 29.11

MySQL *
29 ноября, в четверг, в 19-00 при поддержке клуба «Бизнес в стиле RU»
пройдёт 4-я встреча Moscow MySQL User Group

Тема встречи: Проектирование индексов

Встречу будет проводить Руслан Закиров,
ведущий разработчик компании Best Practical Solutions,
которая занимается разработкой открытых продуктов
Request Tracker, SVK, Jifty, а также сервиса HiveMinder.com

План встречи
1. Общие принципы устройства индексов.

2. Работа планировщика запросов:
— как планируется запрос
— как выполняется
— где в этой схеме индексы, сколько их.

3. Рассмотрим планы под лупой с помощью EXPLAIN:
— когда его читать
— как его читать, на что смотреть
— как его поменять используя индексы
— как его поменять используя дополнительные директивы
— и зачем это нужно.

4. Примеры:
Везде будут примеры, но более подробно мы остановимся на запросах, которые были на прошлой встрече в докладе и выжмем из них все соки, а также будут несколько примеров для демонстратиции различных эффектов и методов декомпозиции с целью увеличения эффективности использования индексов.
Чтобы попасть на семинар, зарегистрируйтесь по ссылке

Адрес проведения: Москва, Мясницкая, 20, ГУ-ВШЭ, Аудитория 116
Total votes 8: ↑7 and ↓1 +6
Views 616
Comments 7

Оптимизация работы с MySQL

MySQL *
Ни для кого не секрет, что работа с базой данных занимает большую часть работы практически любого сайта. И именно работа с БД чаще всего является узким местом веб-приложений.
В этой статье хотелось бы дать практические советы использования MySQL.
Сразу оговорюсь:
  • данная статья написана про MySQL, хотя общие вещи скорее всего справедливы для любой СУБД.
  • все написанное в статье является моей личной точкой зрения, и не является истиной в последней инстанции.
  • советы не претендуют на новизну и являются результатом обобщения прочтенной литературы и личного опыта.
  • в рамках данной статьи я не буду касаться вопросов конфигурирования MySQL.

Проблемы при использовании MySQL можно разделить на следующие три группы(в порядке значимости):
  1. Неиспользование или неправильное использование индексов.
  2. Неправильная структура БД.
  3. Неправильные \ неоптимальные SQL запросы.

Остановимся на каждой из этих групп подробнее.
Читать дальше →
Total votes 54: ↑52 and ↓2 +50
Views 74K
Comments 107

Yahoo и почтовые индексы. Доколе?!

Lumber room
Ситуация проста до невозможности.
Я из Украины.
Из Киева.
Регистрируюсь на Yahoo:

Yahoo и почтовые индексы

Мой почтовый индекс 04214.
Yahoo уверенно сообщает что моего индекса не существует.
Поиск по Google дал множество вопросов и ни одного ответа — каких же индексов ждёт от нас Yahoo.

Служба поддержки молчит.

Варианты выбери Россию\Узбекистан\США хороши для липовых регистраций.
В случае утери ID запрашивается страна и почтовый индекс.
Помнить наугад выбранные числа несерьёзно.

P.S.: Доколе?
Total votes 9: ↑8 and ↓1 +7
Views 1.1K
Comments 5

EXPLAIN — Самая мощная команда MySQL

MySQL *
Translation
Самая мощная команда в MySQL – это EXPLAIN. EXPLAIN может в точности рассказать вам, что происходит, когда вы выполняете запрос. Эта информация позволит вам обнаружить медленные запросы и сократить время, затрачиваемое на обработку запроса, что впоследствии может значительно ускорить работу вашего приложения.
Читать дальше →
Total votes 26: ↑22 and ↓4 +18
Views 152K
Comments 33

Индексы в MySQL: многоколоночные индексы против комбинированных индексов

MySQL *
Translation
Я часто вижу ошибки, связанные с созданием индексов в MySQL. Многие разработчики (и не только новички в MySQL) создают много индексов на тех колонках, которые будут использовать в выборках, и считают это оптимальной стратегией. Например, если мне нужно выполнить запрос типа AGE=18 AND STATE='CA', то многие люди просто создадут 2 отдельных индекса на колонках AGE и STATE.

Намного лучшей (здесь и далее прим. переводчика: а обычно и единственной верной) стратегией является создание комбинированного индекса вида (AGE,STATE). Давайте рассмотрим почему это так.

Читать дальше →
Total votes 74: ↑58 and ↓16 +42
Views 113K
Comments 57

Как расширение индекса в InnoDB таблицах удивительным образом снижает производительность

MySQL *
Translation
Один из видов оптимизации, который мы часто используем, это расширение индекса. Он подходит, если есть запросы, использующие другие части составного ключа. И обычно это безопасно, но есть некоторые случаи, где производительность катастрофически падает.

Рассмотрим пример.
Читать дальше →
Total votes 71: ↑68 and ↓3 +65
Views 4K
Comments 61

Обзор типов индексов Oracle, MySQL, PostgreSQL, MS SQL

SQL *
В одном из комментариев здесь была просьба рассказать подробнее об индексах, и так как, в рунете практически нет сводных данных о поддерживаемых индексах различных СУБД, в данном обзоре я рассмотрю, какие типы индексов поддерживаются в наиболее популярных СУБД
Взглянем?
Total votes 99: ↑96 and ↓3 +93
Views 165K
Comments 41

Основные возможности CUBRID 8.4.0

CUBRID corporate blog
Приветствую всех!

Этот блог будет очень занимательным! Сегодня я расскажу об очень интересных особенностях последней версии CUBRID 8.4.0, о том, чего обычно не найдешь в мануале. Приведу очень важные рекоммендации по оптимизации запросов и индексов, приведу результаты тестов, а также примеры использования в реальных Веб сервисах.

Ранее я уже поверхностно рассказывал об изменениях в новой версии, о вдвое ускоренном движке базы данных, о расширенной поддержке MySQL синтаксиса, и т.д. А сегодня расскажу о них и других вещах более подробно, акцентируя на том, как мы смогли увеличить производительность CUBRID в два раза.

Основные направления, повлиявшие на производительность CUBRID, являются:
  • Уменьшение размера тома базы данных
  • Улучшенные параллельные вычисления в Windows версии
  • Оптимизации индексов
  • Оптимизации обработки условий в LIMIT
  • Оптимизации обработки условий в GROUP BY

Весь смак под катом
Total votes 2: ↑2 and ↓0 +2
Views 1.1K
Comments 4

MongoDB: слишком много полей для индексации? Используйте общий индекс

MongoDB *
Translation

Суть проблемы


Бывают ситуации когда документы имеют много различных полей и необходимо иметь эффективные запросы по ним. Например есть документ описывающий человека:

{
    _id: 123,
    firstName: "John",
    lastName: "Smith",
    age: 25,
    height: 6.0,
    dob: Date,
    eyes: "blue",
    sign: "Capricorn",
    ...
}


По таким документам можно делать выборку людей по цвету глаз, определенного роста, фамилии и по прочим характеристикам. А что делать если например документ состоит из десятков полей, или заранее не известны, или каждый документ имеет свой набор полей? Как при помощи индексов быстро решить данную проблему, но при этом не строить их по каждому полю, т.к это слишком дорогое решение.
Читать дальше →
Total votes 45: ↑43 and ↓2 +41
Views 28K
Comments 17

Lightweight Tables или практические советы при проектировании БД…

SQL *Designing and refactoring *Microsoft SQL Server *
Tutorial
В данном топике хотелось бы поговорить о повышении производительности при работе с таблицами.

Тема не нова, но становится особенно актуальной, когда в базе наблюдается постоянный рост данных – таблицы становятся большими, а поиск и выборка по ним – медленной.

Как правило, это происходит из-за плохо спроектированной схемы – изначально не рассчитанной на оперирование большими объемами данных.

Чтобы рост данных в таблицах не приводил к падению производительности при работе с ними, рекомендуется взять на вооружение несколько правил при проектировании схемы.
Подробнее
Total votes 33: ↑29 and ↓4 +25
Views 22K
Comments 13

ActiveRecord немного про грабли, Relations и индексы

Ruby *Ruby on Rails *
Хочу рассказать Вам о наболевшем: о работе с AR в целом и с Relation в частности; предостеречь от стандартных садовых изделий, которые легко могут испортить жизнь и сделать код медленным и прожорливым. Повествование будет основываться на Rails 3.2 и ActiveRecord того же разлива. В Rails 4, конечно же, много чего нового и полезного, но на него ещё перейти нужно, да и фундамент в любом случае один и тот же.

Сей материал, по большей части, предназначен для начинающих, ибо автору очень больно смотреть на извлечение содержимого целых таблиц в память в виде ActiveRecord объектов и на прочие отстрелы конечностей при использовании AR. Разработчикам, познавшим дзен, топик вряд ли принесёт пользу, они могут лишь Помочь, дополнив его своими примерами и назиданиями.
Читать дальше →
Total votes 27: ↑24 and ↓3 +21
Views 22K
Comments 41

14 вопросов об индексах в SQL Server, которые вы стеснялись задать

Website development *Programming *SQL *Microsoft SQL Server *
Translation
Tutorial
Индексы — это первое, что необходимо хорошо понимать в работе SQL Server, но странным образом базовые вопросы не слишком часто задаются на форумах и получают не так уж много ответов.
Роб Шелдон отвечает на эти, вызывающие смущение в профессиональных кругах, вопросы об индексах в SQL Server: одни из них мы просто стесняемся задать, а прежде чем задать другие сначала подумаем дважды.


От переводчика
Данный пост является компиляцией двух статей Роба Шелдона:

Если вы пишите запросы на языке T-SQL, но плохо понимаете откуда берутся данные, то стоит прочитать данный перевод.
Если же вы захотите знать больше, то в конце перевода я даю тройку книг с которых следует двигаться дальше.

Перейти к чтению
Total votes 40: ↑37 and ↓3 +34
Views 915K
Comments 44

Вопросы про индексы, которые вам не надо будет задавать

Website development *SQL *Microsoft SQL Server *
Tutorial


После ответов на 14 вопросов об индексах, которые вы стеснялись задать, у меня возникло гораздо больше комментариев, уточнений и исправлений. Скомпилировать из всего этого статью выглядело затеей с минимумом пользы. И это заставило меня призадумался, а почему вообще мы должны «стесняться задавать» подобные вопросы? Стыдно не знать? А есть ли способ разобраться, не вгоняя себя в краску? Есть. Причем он избавит от многочисленных неточностей, которыми изобилуют многие «ответы». Вы будете чувствовать буквально каждый байт вашей базы кончиками своих пальцев.

Для этого, я предлагаю «поднять капот» у SQL Server и окунуться в сладостный мир шестнадцатеричных дампов. Может статься, что внутри все гораздо проще, чем вам казалось.
Читать дальше →
Total votes 36: ↑34 and ↓2 +32
Views 46K
Comments 9

Влияет ли объём данных на трудоёмкость разработки. Учёт в муравейнике

High performance *Algorithms *Big Data *
Недавно у меня с коллегой вышла дискуссия — влияет ли объём данных на трудоёмкость разработки.

В сухом остатке осталось:
  • Объём данных не должен оказывать значительного влияния на трудоёмкость разработки. Основная трудоёмкость разработки, как правило, связана со сложностью алгоритма обработки данных, а не с их количеством. Заранее зная фактический объём данных, достаточно разработать код, который работает на небольших данных, а затем его можно применить к требуемому объёму.
  • Все основные вычислительные алгоритмы давным-давно известны (как минимум уже несколько десятков лет). Главное, как можно раньше (до начала разработки), определить правильный подход к задаче. Но это вопрос не трудоёмкости, а профпригодности — то есть, матчасть надо изучать заранее, а разрабатывать быстро.
  • Ни один Заказчик не поймёт почему трудоёмкость разработки кода в несколько сотен строк, заняла много времени. Заказчику проще сменить команду, чем вложиться своим временем и деньгами в чей-то процесс обучения или в какой-то непонятный ему эксперимент.
  • Небольшие накладные расходы, связанные с объёмом данных, конечно могут быть. Но эти издержки, обычно, не превышают погрешности первоначальной (правильной) оценки трудоёмкости и учитывать их отдельно не имеет смысла.


Для разработчика, прямо скажем, выводы получились не очень весёлые и однозначные.

Но дискуссия возникла не на пустом месте, а в рамках обсуждения задачи с простым вычислительным алгоритмом, но большим количеством данных.

Цель публикации — поделиться опытом как, за приемлемое время, обработать два связанных списка по миллиарду записей в каждом.
Читать дальше →
Total votes 23: ↑8 and ↓15 -7
Views 4.9K
Comments 196

Собственные типы индексов в СУБД Caché

InterSystems corporate blog Abnormal programming *Programming *
В объектной и реляционной моделях данных СУБД Caché есть три типа индексов — обычные, bitmap и bitslice. Если по каким-то причинам этих индексов не хватает, начиная с версии 2013.1 программист может определить свой тип индексов и использовать его в любых классах.

Подробности под катом (если вас не пугают слова типа метод-генератор).
Читать дальше →
Total votes 16: ↑16 and ↓0 +16
Views 7.1K
Comments 2

Эксперимент: создание алгоритма для прогнозирования поведения фондовых индексов

ITI Capital corporate blog Website development *


Ученые факультета вычислительной техники из исламского университета Азад, расположенного в ОАЭ, опубликовали работу, посвященную прогнозированию поведения фондовых индексов на основе технологий нейронных сетей, генетических алгоритмов и data mining с использованием опорных векторов. Мы представляем вашему вниманию главные мысли этого документа.
Читать дальше →
Total votes 21: ↑14 and ↓7 +7
Views 37K
Comments 12