Pull to refresh

Вебинар «Как упростить хранение данных и организовать бесконечно масштабируемый источник» 25 сентября от Mail.ru Group

VK corporate blog Database Administration *Data storage *Data storages *


Количество данных растет ежесекундно, традиционные решения для хранения давно не справляются с такими объемами информации. Если вам нужно хранить петабайты фото- и видеоконтента, бэкапов приложений, статического контента лендингов и сайтов, то возникает вопрос: где разместить и как обрабатывать полученные данные? При этом важно, чтобы процесс хранения и обработки был надежным, быстрым и удобным, то есть автоматизированным.

25 сентября на вебинаре «Как упростить хранение данных и организовать бесконечно масштабируемый источник c помощью S3» мы расскажем, как сделать работу с данными проще и удобнее, снизить нагрузку на текущие мощности и обеспечить бесконечные возможности для масштабирования. Присоединяйтесь!
Подробнее о вебинаре
Total votes 3: ↑3 and ↓0 +3
Views 811
Comments 0

Вебинар «Как построить современную сетевую инфраструктуру» 17 декабря от Mail.ru Group

VK corporate blog System administration *Virtualization *Cloud computing *Cloud services *


С чего начать, если вы хотите построить высокоэффективную, гибкую и безопасную инфраструктуру в облаке? Первый шаг — это правильная настройка работы сети.

17 декабря приглашаем вас принять участие в вебинаре «Первые шаги при подключении к облаку, или Все, что нужно знать о настройке сети», где мы расскажем, как построить современную сетевую инфраструктуру.

Мы разберем все этапы настройки виртуальной сети, обеспечение удаленного доступа, безопасности и отказоустойчивости на уровне инфраструктуры, а также что необходимо сделать для правильного распределения сетевой нагрузки.

Присоединяйтесь!
Подробнее о вебинаре
Total votes 7: ↑7 and ↓0 +7
Views 700
Comments 0

Исследователи научили нейросеть распознавать расу по медицинским снимкам

Machine learning *Popular science Artificial Intelligence Health

Международная команда исследователей научила нейросеть определять расу по рентгеновским снимкам. Для этого авторы использовали методы машинного обучения и сотни тысяч медицинских снимков грудной клетки, шейного отдела позвоночника, груди и кисти. Обученный алгоритм угадывал расу пациента в 80—99 % случаев.

Читать далее
Total votes 12: ↑12 and ↓0 +12
Views 2.1K
Comments 3

Минцифры: в ближайшее время пользователи Госуслуг получат доступ к электронным медкартам

Information Security *Database Administration *Data storage *IT-companies

Россиянам откроют доступ к электронной медкарте на "Госуслугах", сообщает ТАСС со ссылкой на главу Министерства связи и массовых коммуникаций России Максута Шадаева.

Также в России планируют внедрить сервисы телемедицины и такие новые технологии, как датчики постоянного мониторинга состояния здоровья людей с хроническими заболеваниями. До конца следующего года все массовые госуслуги должны предоставляться без личного обращения граждан в органы и, где возможно, автоматически.

Кроме того, Шадаев отметил, что Минцифры подготовило план мероприятий, направленных на масштабное внедрение отечественных IT-решений в социальную сферу экономики.

Читать далее
Total votes 14: ↑14 and ↓0 +14
Views 1.7K
Comments 4

Исследование: 97% сайтов ЕС не соответствуют требованиям GDPR

Information Security *Data storage *Legislation in IT Statistics in IT

Американские исследователи выяснили, что 97% сайтов в ЕС не соответствуют регламентам нормативно-правовой базы Евросоюза.

Читать далее
Total votes 11: ↑11 and ↓0 +11
Views 998
Comments 1

Решение для пакетной обработки файлов (PHP)

Lumber room
Я думаю, достаточно часто в корпоративной админке, или просто административной части какого-либо сайта возникает потребность в обработке большого количества файлов, и показа состояния операции пользователю.

Это может быть пакетная обработка залитых картинок, произведение бэкапа документов, заливка большого дампа БД и так далее. При написании моего файлового менеджера (ждите взрыва популярности в 2010 году ;)) я написал простенькую библиотеку для организации операций с файлами, с показом состояния операции пользователю.
Читать дальше →
Total votes 9: ↑8 and ↓1 +7
Views 736
Comments 16

Анализ погоды своими руками

Lumber room
Не так давно осознал, что в нашем климате самое важное не градус, а облачность. Самый противный месяц для меня – январь, во время которого по несколько недель отсутствует солнце. Появилась идея сравнить облачность количественно в пространстве и во времени. Оказалось, что есть очень полезный публичный сервис с архивными погодными данными за 11 лет для разных городов планеты.

Просчитав среднюю облачность и отклонение от среднего для различных городов, привожу график облачности, измеряемой по десятибалльной шкале:

график облачности

Различия облачности для Москвы и Питера в пределах изменений от года к году. Разброс облачности зимой от года к году меньше чем летом. Так что много солнечных дней в январе можно не ждать. Видно, что Лондон не такой мрачный зимой. Солнечному Магадану позавидовать можно только зимнюю пору, летом же как в Питере осенью.

график температуры

На графике температур Лондон, очевидно, выигрывает зимой, а в Магадане зябко круглый год. Отличия Питера от Москвы в приделах ежегодных отклонений.

Исходный код обработки и парсинга можно посмотреть тут.
Total votes 12: ↑12 and ↓0 +12
Views 759
Comments 12

Экономия бензина с помощью Google Prediction API

Data Mining *


Исследователи из Ford начали тестировать новую функцию компьютерной системы управления, которая делает обоснованные предположения по будущему маршруту автомобиля и оптимизирует настройки. Выбор режима работы двигателя в некоторых случаях позволяет заметно уменьшить расход топлива.

Предсказание маршрута осуществляется на основе облачного сервиса Google Prediction API. На скриншоте видно слева, как просчитывается вероятность каждого маршрута.
Читать дальше →
Total votes 20: ↑16 and ↓4 +12
Views 3.2K
Comments 13

Как работает web-spider

Website development *
Sandbox
Предположим, перед нами стоит такая задача: собирать информацию о рекламных объявлениях с различных сайтов в разных категориях. В дальнейшем эта информация будет использоваться для мониторинга и анализа рынка, оповещения о каких-то событиях на этом рынке. Похоже на создание мини- поисковой системы.

По сути дела, имеем 4 подсистемы:
1. Сервис запуска плагинов, собирающих и извлекающих информацию
2. Временное хранилище данных
3. Индекс данных
4. Приложения для работы с извлеченными данными, например, генератор отчетов

Рассмотрим последовательно каждую систему.

Читать дальше →
Total votes 8: ↑7 and ↓1 +6
Views 9.6K
Comments 3

Работа для Ватсона

IBM corporate blog


Суперкомпьютер Watson уже доказал всему миру свою состоятельность и серьезность обыграв двух абсолютных чемпионов игры Jeopardy! — прообраза «Своей игры». Впечатляющий дебют, состоявшийся в 2010 году, не мог быть незамеченным — в то же время многие критики обращали внимание публики на то, что практического применения такому интеллекту не найдется ближайшие несколько лет.

Вопреки мнениям скептиков, уже в начале следующего года Watson начнет приносить практическую пользу всем людям — компания WellCare, предоставляющая различные услуги в сфере здравоохранения США, подписала контракт с IBM на использование мощностей суперкомпьютера при обработке различных медицинских данных больных раком, хроническими заболеваниями и другими тяжелыми формами болезней.
Читать дальше →
Total votes 24: ↑23 and ↓1 +22
Views 6.4K
Comments 26

Wolfram Alpha Pro

Search engines *


Сегодня официально представлена продвинутая версия научного поисковика Wolfram Alpha Pro. Это самый значительный апдейт за всё время существования поисковой системы. Хотя её и раньше трудно было назвать «поисковой системой», а сейчас это вообще нечто фундаментально иное.

Итак, на что способен Wolfram Alpha Pro за пять долларов в месяц?


Читать дальше →
Total votes 139: ↑134 and ↓5 +129
Views 53K
Comments 80

Почему мы создали Джулию, новый ЯП для технических вычислений

Programming *Julia *Matlab *
Translation
Если вкратце, потому что мы жадные.

Мы продвинутые пользователи Matlab. Некоторые из нас хакеры Lisp. Некоторые питонисты, другие рубисты, есть ещё Perl-хакеры. Среди нас есть такие, кто использовал Mathematica раньше, чем у него начали расти волосы на лице. Есть и такие, у кого до сих пор не выросли. Мы построили больше графиков на R, чем способен любой здравомыслящий человек. C — это язык, который мы бы взяли на необитаемый остров.

Мы любим все эти языки; они прекрасны и могучи. Для той работы, которую мы делаем — научные вычисления, машинное обучение, дата-майнинг, крупномасштабная линейная алгебра, распределённые и параллельные вычисления — каждый идеально подходит в определённом аспекте, но ужасен в других. Каждый из них — это компромисс.

Мы жадные: мы хотим больше.
Читать дальше →
Total votes 63: ↑54 and ↓9 +45
Views 9K
Comments 19

Электронная библиотека для PocketBook: автоматическая обработка

Gadgets
Sandbox
Наверное каждому электрочитателю хотелось бы всю свою коллекцию книг содержать прямо на электронной книге-читалке, и при этом, не смотря на общую тормознутость устройства, иметь удобную навигацию.
Зачастую в электронной книге проблематично содержать сотни и тысячи книжек: либо аппарат долго тупит, считывая информацию о каждой книге из ее внутренностей, либо вручную поддерживать коллекцию с разбивкой по каталогам — тот еще геморрой.
Читать дальше →
Total votes 25: ↑25 and ↓0 +25
Views 20K
Comments 25

Облачные дата центры сегодня и завтра

Microsoft corporate blog


Друзья, рады сообщить, что в партнерстве с Фондом «Сколково» мы продолжаем привозить в Москву выдающихся сотрудников Microsoft – на этот раз одного из гуру «Облачных» технологий. Дилип Бхандаркар (Dileep Bhandarkar) — ведущий эксперт Microsoft (Distinguished Engineer) в области разработки архитектуры серверного оборудования и стандартов подразделения Global Foundation Services.

Дилип руководит разработкой технологической стратегии инфраструктур облачных и онлайн сервисов Microsoft, отвечает за аппаратную архитектуру серверов и стандарты Global Foundation Services (GFS). GFS поддерживает более 200 онлайн сервисов Microsoft для потребителей и предприятий во всем мире.

Где и когда


Открытая лекция пройдет 24 сентября с 18:30 до 20:00 в малой аудитории Политехнического музея, расположенного по адресу: Москва, Новая площадь ¾, подъезд 9, малая аудитория.

Регистрация: openu.timepad.ru/event/35989
Трансляция: www.sk.ru/live
Язык: английский
О лекции и докладчике
Total votes 18: ↑10 and ↓8 +2
Views 3.2K
Comments 1

Статистические тесты в R. Часть 2: Тесты качественных данных

Mathematics *R *
Tutorial
Эта статья — продолжение первой части. В этой серии статей я рассматриваю применение набирающего популярность языка программирования R для решения распространенных статистических задач.

В данной и следующей статье я показываю как выбрать для обработки качественных и количественных данных правильные тесты и реализовать их в R. Данные методы позволяют получить реальное представление об объекте, процессе или явлении по какому-либо параметру, т.е. позволяют сказать «хорошо» или «плохо». Они не потребуют глубоких знаний программирования и статистики, и пригодятся людям различного рода деятельности.

Заинтересовались? Добро пожаловать под кат!
Читать дальше →
Total votes 7: ↑6 and ↓1 +5
Views 19K
Comments 0

Введение в Байесовские методы

Algorithms *Mathematics *
Sandbox
Tutorial

В качестве введения


В настоящее время Байесовские методы получили достаточно широкое распространение и активно используются в самых различных областях знаний. Однако, к сожалению, не так много людей имеют представление о том, что же это такое и зачем это нужно. Одной из причин является отсутствие большого количества литературы на русском языке. Поэтому здесь попытаюсь изложить их принципы настолько просто, насколько смогу, начав с самых азов (прошу прощения, если кому-то это покажется слишком простым).
Подробности
Total votes 78: ↑70 and ↓8 +62
Views 161K
Comments 37

Отказ от jParser (в пользу работы напрямую с буферами Node.js) ускоряет скрипт на порядок

JavaScript *Node.JS *
Перелистнём несколько страниц недавнего прошлого.

16 мая 2012 года RReverser во блогозаписи «Javascript BMP Parser» рассказал об употреблении модуля jParser для анализа двоичных данных, во браузере совершаемого.

На следующий же день (17 мая 2012 года) во блогозаписи «jParser: анализ двоичных файлов работает просто» я перевёл документацию по jParser, а чуть позже (22 мая 2012 года во блогозаписи «Node.js на узле Фидонета: читаем джаваскриптом заголовки эхопочты, хранимой в формате JAM») поделился собственным опытом употребления этого модуля (на сей раз — на Node.js, а не во браузере).

Прошло ≈1⅓ года…

12 сентября нынешнего (2013) года во блогозаписи «Недоволен скоростью джаваскриптов? — Подожди год-полтора, и это пройдёт!» я выразил неудовольствие от скорости работы модуля, прежде мною сочинённого, и указал на один только повод для оптимизма: поступательное развитие Node.js от версии 0.6 до версии 0.10 привело к росту скорости моего кода в три раза.

А сегодня события совершили полный круг — я напрочь отказался от употребления jParser. И достигнутый результат (как неприятная, так и радостная сторона его) оказался заслуживающим внимания.

Позвольте же поделиться с вами как впечатлениями, так и исходниками.

Читать дальше →
Total votes 30: ↑20 and ↓10 +10
Views 8.4K
Comments 14

Использование Lua и C++ для обработки и хранения данных

C++ *Game development *Lua *
Sandbox
Код статьи можно посмотреть здесь.
Чем так хорош Lua?

Когда-то я разрабатывал свою игру и задался вопросом: а какой формат данных лучше использовать для конфигурационных файлов?
Ведь удобно, когда создаёшь какой-либо объект, задавать различные начальные параметры не в самом коде, а в отдельных файлах. Это позволяет изменять некоторые параметры объектов без рекомпиляции, да и вообще даёт возможность менять их людям далёким от программирования.
Разработчики используют разные форматы: одни используют JSON, другие — XML, либо другие форматы данных. Ну а некоторые вообще хранят данные в .txt файлах или пишут свои парсеры. После рассмотрения различных форматов я остановился на Lua.

Lua можно использовать не только для игр, но и вообще для любых программ, которые используют данные, хранящиеся в других файлах.

Вот, что выделяет Lua на фоне других форматов:
  • Lua легко использовать без дополнительных зависимостей (кроме одной библиотеки Lua и трёх .h файлов).
  • В Lua файлах данные можно инициализировать с помощью математических выражений или функций, написанных на Lua. Например:
    some_variable = math.sqrt(2) * 2
    some_variable2 = 64 * 16 - 32
    

  • Lua — очень быстрый язык, который к тому же не занимает много памяти.
  • У Lua лицензия MIT, которая позволяет использовать этот язык как в бесплатных, так и в коммерческих проектах, причём без всякой возни с бумагами. Как написано на сайте: «просто скачайте и пользуйтесь».
  • Lua комплируется практически везде, т.к. он написан на чистом C без использования дополнительных библиотек.
  • Данные можно хранить и сортировать в приятном глазу виде. Их легко читать и модифицировать в любом текстовом редакторе.

Начнём с простого примера, а затем я перейду к реализации класса.
Читать дальше →
Total votes 45: ↑44 and ↓1 +43
Views 40K
Comments 28

Раздача научного софта. Бесплатно

Data visualization *

Так уж получилось, что до того, как стать физиком, я хотел быть программистом. Не сложилось, но тяга писать программки не прошла. Как результат — за 15 лет работы в науке, было написано приличное количество разнообразного прикладного софта. Конечно, большая часть была совершенно одноразовой, и мотивацией для ее написания была фраза из мультика — «лучше день потерять, потом за пять минут долететь». Но некоторые вещи оказались долгоиграющими, пошли «в народ», кое-что даже продается. Для продажи этого «кое-чего» даже был создан сайт, ориентированный на «заграницу», но это было сделано больше ради эксперимента, а не с целью заработать какие-то реальные деньги, тем более что софт по большей части очень специфический, и спрос на него не велик. Но хватит о коммерции.

Я бы хотел совершенно безвозмездно поделиться частью своих наработок (тем, что не очень стыдно показать) с хабрасообществом, в надежде, что они могут оказаться полезными для молодых (и не очень) ученых, аспирантов и студентов, и кто-то сможет использовать их в своей работе. Вашему вниманию предлагается следующее (в порядке возрастания специфичности):
  • SciRef — менеджер цитирований.
  • AFM Vision — удобная визуализация данных атомно-силовой микроскопии.
  • Raman 2D — построение карты распределения интенсивности Рамановского излучения.
  • X-Ray Calc — симуляция рентгеновской дифракции тонких пленок.

Подробное описание возможностей, скриншоты (много) и ссылки — под катом.
Читать дальше
Total votes 147: ↑146 and ↓1 +145
Views 66K
Comments 36

27 лет арктических льдов за одну минуту

Data visualization *


Потрясающее видео на днях опубликовало NOAA Climate — или по-русски Национальное управление океанических и атмосферных исследований климата, на котором были совмещены данные об арктических льда, собранные на протяжении последних 27 лет — между 1987 и 2014 годом. Красочная визуализация позволяет оценить, как сезонно и из года в год меняется снежный и ледовый покров нашей северной «шапки», а также проследить влияние глобального потепления на возраст ледовых покровов.
Гляциологические подробности
Total votes 26: ↑22 and ↓4 +18
Views 26K
Comments 19