Как стать автором
Обновить
  • по релевантности
  • по времени
  • по рейтингу

Яндекс покажет уровень самоизоляции населения в российских городах

Геоинформационные сервисы *Здоровье
image

Яндекс начал публиковать индекс самоизоляции населения на уровне российских городов. Он будет рассчитываться по шкале от нуля (минимальный) до пяти (максимальный).
Читать дальше →
Всего голосов 22: ↑20 и ↓2 +18
Просмотры 7.1K
Комментарии 27

Apple представила мировой индекс мобильности во время пандемии COVID-19

Геоинформационные сервисы *Здоровье IT-компании
image

Apple представила инструмент для анализа мобильности населения городов и целых регионов с использованием агрегированных навигационных данных из карт Apple Maps.
Читать дальше →
Всего голосов 11: ↑10 и ↓1 +9
Просмотры 2.7K
Комментарии 2

S&P Dow Jones запустит индекс криптовалют в 2021 году

Финансы в IT Криптовалюты
image

Компания S&P Dow Jones Indices, которая публикует индексы S&P 500 и Dow Jones, заявила, что в следующем году выпустит индекс криптовалют. Его подготовят совместно с нью-йоркской фирмой Lukka. Индекс будет формироваться на основе 550 самых популярных криптовалют.
Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 1.8K
Комментарии 0

4-я Встреча Moscow MUG — Проектирование индексов, 29.11

MySQL *
29 ноября, в четверг, в 19-00 при поддержке клуба «Бизнес в стиле RU»
пройдёт 4-я встреча Moscow MySQL User Group

Тема встречи: Проектирование индексов

Встречу будет проводить Руслан Закиров,
ведущий разработчик компании Best Practical Solutions,
которая занимается разработкой открытых продуктов
Request Tracker, SVK, Jifty, а также сервиса HiveMinder.com

План встречи
1. Общие принципы устройства индексов.

2. Работа планировщика запросов:
— как планируется запрос
— как выполняется
— где в этой схеме индексы, сколько их.

3. Рассмотрим планы под лупой с помощью EXPLAIN:
— когда его читать
— как его читать, на что смотреть
— как его поменять используя индексы
— как его поменять используя дополнительные директивы
— и зачем это нужно.

4. Примеры:
Везде будут примеры, но более подробно мы остановимся на запросах, которые были на прошлой встрече в докладе и выжмем из них все соки, а также будут несколько примеров для демонстратиции различных эффектов и методов декомпозиции с целью увеличения эффективности использования индексов.
Чтобы попасть на семинар, зарегистрируйтесь по ссылке

Адрес проведения: Москва, Мясницкая, 20, ГУ-ВШЭ, Аудитория 116
Всего голосов 8: ↑7 и ↓1 +6
Просмотры 577
Комментарии 7

Оптимизация работы с MySQL

MySQL *
Ни для кого не секрет, что работа с базой данных занимает большую часть работы практически любого сайта. И именно работа с БД чаще всего является узким местом веб-приложений.
В этой статье хотелось бы дать практические советы использования MySQL.
Сразу оговорюсь:
  • данная статья написана про MySQL, хотя общие вещи скорее всего справедливы для любой СУБД.
  • все написанное в статье является моей личной точкой зрения, и не является истиной в последней инстанции.
  • советы не претендуют на новизну и являются результатом обобщения прочтенной литературы и личного опыта.
  • в рамках данной статьи я не буду касаться вопросов конфигурирования MySQL.

Проблемы при использовании MySQL можно разделить на следующие три группы(в порядке значимости):
  1. Неиспользование или неправильное использование индексов.
  2. Неправильная структура БД.
  3. Неправильные \ неоптимальные SQL запросы.

Остановимся на каждой из этих групп подробнее.
Читать дальше →
Всего голосов 54: ↑52 и ↓2 +50
Просмотры 71K
Комментарии 107

Yahoo и почтовые индексы. Доколе?!

Чулан
Ситуация проста до невозможности.
Я из Украины.
Из Киева.
Регистрируюсь на Yahoo:

Yahoo и почтовые индексы

Мой почтовый индекс 04214.
Yahoo уверенно сообщает что моего индекса не существует.
Поиск по Google дал множество вопросов и ни одного ответа — каких же индексов ждёт от нас Yahoo.

Служба поддержки молчит.

Варианты выбери Россию\Узбекистан\США хороши для липовых регистраций.
В случае утери ID запрашивается страна и почтовый индекс.
Помнить наугад выбранные числа несерьёзно.

P.S.: Доколе?
Всего голосов 9: ↑8 и ↓1 +7
Просмотры 555
Комментарии 5

EXPLAIN — Самая мощная команда MySQL

MySQL *
Перевод
Самая мощная команда в MySQL – это EXPLAIN. EXPLAIN может в точности рассказать вам, что происходит, когда вы выполняете запрос. Эта информация позволит вам обнаружить медленные запросы и сократить время, затрачиваемое на обработку запроса, что впоследствии может значительно ускорить работу вашего приложения.
Читать дальше →
Всего голосов 26: ↑22 и ↓4 +18
Просмотры 141K
Комментарии 33

Индексы в MySQL: многоколоночные индексы против комбинированных индексов

MySQL *
Перевод
Я часто вижу ошибки, связанные с созданием индексов в MySQL. Многие разработчики (и не только новички в MySQL) создают много индексов на тех колонках, которые будут использовать в выборках, и считают это оптимальной стратегией. Например, если мне нужно выполнить запрос типа AGE=18 AND STATE='CA', то многие люди просто создадут 2 отдельных индекса на колонках AGE и STATE.

Намного лучшей (здесь и далее прим. переводчика: а обычно и единственной верной) стратегией является создание комбинированного индекса вида (AGE,STATE). Давайте рассмотрим почему это так.

Читать дальше →
Всего голосов 74: ↑58 и ↓16 +42
Просмотры 111K
Комментарии 57

Как расширение индекса в InnoDB таблицах удивительным образом снижает производительность

MySQL *
Перевод
Один из видов оптимизации, который мы часто используем, это расширение индекса. Он подходит, если есть запросы, использующие другие части составного ключа. И обычно это безопасно, но есть некоторые случаи, где производительность катастрофически падает.

Рассмотрим пример.
Читать дальше →
Всего голосов 71: ↑68 и ↓3 +65
Просмотры 3.9K
Комментарии 61

Обзор типов индексов Oracle, MySQL, PostgreSQL, MS SQL

SQL *
В одном из комментариев здесь была просьба рассказать подробнее об индексах, и так как, в рунете практически нет сводных данных о поддерживаемых индексах различных СУБД, в данном обзоре я рассмотрю, какие типы индексов поддерживаются в наиболее популярных СУБД
Взглянем?
Всего голосов 99: ↑96 и ↓3 +93
Просмотры 142K
Комментарии 41

Основные возможности CUBRID 8.4.0

Блог компании CUBRID
Приветствую всех!

Этот блог будет очень занимательным! Сегодня я расскажу об очень интересных особенностях последней версии CUBRID 8.4.0, о том, чего обычно не найдешь в мануале. Приведу очень важные рекоммендации по оптимизации запросов и индексов, приведу результаты тестов, а также примеры использования в реальных Веб сервисах.

Ранее я уже поверхностно рассказывал об изменениях в новой версии, о вдвое ускоренном движке базы данных, о расширенной поддержке MySQL синтаксиса, и т.д. А сегодня расскажу о них и других вещах более подробно, акцентируя на том, как мы смогли увеличить производительность CUBRID в два раза.

Основные направления, повлиявшие на производительность CUBRID, являются:
  • Уменьшение размера тома базы данных
  • Улучшенные параллельные вычисления в Windows версии
  • Оптимизации индексов
  • Оптимизации обработки условий в LIMIT
  • Оптимизации обработки условий в GROUP BY

Весь смак под катом
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 1K
Комментарии 4

MongoDB: слишком много полей для индексации? Используйте общий индекс

MongoDB *
Перевод

Суть проблемы


Бывают ситуации когда документы имеют много различных полей и необходимо иметь эффективные запросы по ним. Например есть документ описывающий человека:

{
    _id: 123,
    firstName: "John",
    lastName: "Smith",
    age: 25,
    height: 6.0,
    dob: Date,
    eyes: "blue",
    sign: "Capricorn",
    ...
}


По таким документам можно делать выборку людей по цвету глаз, определенного роста, фамилии и по прочим характеристикам. А что делать если например документ состоит из десятков полей, или заранее не известны, или каждый документ имеет свой набор полей? Как при помощи индексов быстро решить данную проблему, но при этом не строить их по каждому полю, т.к это слишком дорогое решение.
Читать дальше →
Всего голосов 45: ↑43 и ↓2 +41
Просмотры 27K
Комментарии 17

Lightweight Tables или практические советы при проектировании БД…

SQL *Проектирование и рефакторинг *Microsoft SQL Server *
Tutorial
В данном топике хотелось бы поговорить о повышении производительности при работе с таблицами.

Тема не нова, но становится особенно актуальной, когда в базе наблюдается постоянный рост данных – таблицы становятся большими, а поиск и выборка по ним – медленной.

Как правило, это происходит из-за плохо спроектированной схемы – изначально не рассчитанной на оперирование большими объемами данных.

Чтобы рост данных в таблицах не приводил к падению производительности при работе с ними, рекомендуется взять на вооружение несколько правил при проектировании схемы.
Подробнее
Всего голосов 33: ↑29 и ↓4 +25
Просмотры 22K
Комментарии 12

ActiveRecord немного про грабли, Relations и индексы

Ruby *Ruby on Rails *
Хочу рассказать Вам о наболевшем: о работе с AR в целом и с Relation в частности; предостеречь от стандартных садовых изделий, которые легко могут испортить жизнь и сделать код медленным и прожорливым. Повествование будет основываться на Rails 3.2 и ActiveRecord того же разлива. В Rails 4, конечно же, много чего нового и полезного, но на него ещё перейти нужно, да и фундамент в любом случае один и тот же.

Сей материал, по большей части, предназначен для начинающих, ибо автору очень больно смотреть на извлечение содержимого целых таблиц в память в виде ActiveRecord объектов и на прочие отстрелы конечностей при использовании AR. Разработчикам, познавшим дзен, топик вряд ли принесёт пользу, они могут лишь Помочь, дополнив его своими примерами и назиданиями.
Читать дальше →
Всего голосов 27: ↑24 и ↓3 +21
Просмотры 21K
Комментарии 41

14 вопросов об индексах в SQL Server, которые вы стеснялись задать

Разработка веб-сайтов *Программирование *SQL *Microsoft SQL Server *
Перевод
Tutorial
Индексы — это первое, что необходимо хорошо понимать в работе SQL Server, но странным образом базовые вопросы не слишком часто задаются на форумах и получают не так уж много ответов.
Роб Шелдон отвечает на эти, вызывающие смущение в профессиональных кругах, вопросы об индексах в SQL Server: одни из них мы просто стесняемся задать, а прежде чем задать другие сначала подумаем дважды.


От переводчика
Данный пост является компиляцией двух статей Роба Шелдона:

Если вы пишите запросы на языке T-SQL, но плохо понимаете откуда берутся данные, то стоит прочитать данный перевод.
Если же вы захотите знать больше, то в конце перевода я даю тройку книг с которых следует двигаться дальше.

Перейти к чтению
Всего голосов 40: ↑37 и ↓3 +34
Просмотры 754K
Комментарии 44

Вопросы про индексы, которые вам не надо будет задавать

Разработка веб-сайтов *SQL *Microsoft SQL Server *
Tutorial


После ответов на 14 вопросов об индексах, которые вы стеснялись задать, у меня возникло гораздо больше комментариев, уточнений и исправлений. Скомпилировать из всего этого статью выглядело затеей с минимумом пользы. И это заставило меня призадумался, а почему вообще мы должны «стесняться задавать» подобные вопросы? Стыдно не знать? А есть ли способ разобраться, не вгоняя себя в краску? Есть. Причем он избавит от многочисленных неточностей, которыми изобилуют многие «ответы». Вы будете чувствовать буквально каждый байт вашей базы кончиками своих пальцев.

Для этого, я предлагаю «поднять капот» у SQL Server и окунуться в сладостный мир шестнадцатеричных дампов. Может статься, что внутри все гораздо проще, чем вам казалось.
Читать дальше →
Всего голосов 36: ↑34 и ↓2 +32
Просмотры 45K
Комментарии 9

Влияет ли объём данных на трудоёмкость разработки. Учёт в муравейнике

Высокая производительность *Алгоритмы *Big Data *
Недавно у меня с коллегой вышла дискуссия — влияет ли объём данных на трудоёмкость разработки.

В сухом остатке осталось:
  • Объём данных не должен оказывать значительного влияния на трудоёмкость разработки. Основная трудоёмкость разработки, как правило, связана со сложностью алгоритма обработки данных, а не с их количеством. Заранее зная фактический объём данных, достаточно разработать код, который работает на небольших данных, а затем его можно применить к требуемому объёму.
  • Все основные вычислительные алгоритмы давным-давно известны (как минимум уже несколько десятков лет). Главное, как можно раньше (до начала разработки), определить правильный подход к задаче. Но это вопрос не трудоёмкости, а профпригодности — то есть, матчасть надо изучать заранее, а разрабатывать быстро.
  • Ни один Заказчик не поймёт почему трудоёмкость разработки кода в несколько сотен строк, заняла много времени. Заказчику проще сменить команду, чем вложиться своим временем и деньгами в чей-то процесс обучения или в какой-то непонятный ему эксперимент.
  • Небольшие накладные расходы, связанные с объёмом данных, конечно могут быть. Но эти издержки, обычно, не превышают погрешности первоначальной (правильной) оценки трудоёмкости и учитывать их отдельно не имеет смысла.


Для разработчика, прямо скажем, выводы получились не очень весёлые и однозначные.

Но дискуссия возникла не на пустом месте, а в рамках обсуждения задачи с простым вычислительным алгоритмом, но большим количеством данных.

Цель публикации — поделиться опытом как, за приемлемое время, обработать два связанных списка по миллиарду записей в каждом.
Читать дальше →
Всего голосов 23: ↑8 и ↓15 -7
Просмотры 4.8K
Комментарии 196

Собственные типы индексов в СУБД Caché

Блог компании InterSystems Ненормальное программирование *Программирование *
В объектной и реляционной моделях данных СУБД Caché есть три типа индексов — обычные, bitmap и bitslice. Если по каким-то причинам этих индексов не хватает, начиная с версии 2013.1 программист может определить свой тип индексов и использовать его в любых классах.

Подробности под катом (если вас не пугают слова типа метод-генератор).
Читать дальше →
Всего голосов 16: ↑16 и ↓0 +16
Просмотры 6.9K
Комментарии 2

Эксперимент: создание алгоритма для прогнозирования поведения фондовых индексов

Блог компании ITI Capital Разработка веб-сайтов *


Ученые факультета вычислительной техники из исламского университета Азад, расположенного в ОАЭ, опубликовали работу, посвященную прогнозированию поведения фондовых индексов на основе технологий нейронных сетей, генетических алгоритмов и data mining с использованием опорных векторов. Мы представляем вашему вниманию главные мысли этого документа.
Читать дальше →
Всего голосов 21: ↑14 и ↓7 +7
Просмотры 36K
Комментарии 12

SocialRank обновил индексы и рейтинги

Управление сообществом *Управление продуктом *
image
Социально-аналитическое агентство SocialRank последние несколько недель «в ударе»: компания представила несколько новых индексов, таких, как Global Brands Index, Tech Media Index и Tech Companies Index, позволяющие отслеживать тренды в каждой из заданных категорий на основе данных Twitter-активности.

В конце прошлой недели к ним добавился Tech Startups Index — в нем 86 компаний, этот список основан на рейтинге «World's Most Valuable Startups», который обновляют и публикуют Фред Уилсон, Вилам Мугайар и Wall Street Journal.
Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Просмотры 1.4K
Комментарии 0
1