У меня есть некоторый опыт в реализации систем на базе микросервисной архитектуры и я хотел бы поделится вопросами (и ответами), которые возникают при реализации подобных проектов. К сожалению, я не имею права распространяться о проектах в которых я участвовал, поэтому я выдумал собственный сферический проект в вакууме. В этом проекте нам встретится множество стандартных проблем.

Хочу сразу заметить, что имплементация будет рудиментарной и служит только базой для постановки вопросов. В любом случае, я надеюсь, вы найдете в статье пару интересных мыслей и ссылок.

Мы увидим, сколько интересных моментов могут возникнуть при написании всего трех классов и зададимся вопросом, должен ли в данном случае принимать решение архитектор или разработчик может решить эту проблему сам.

Сегодня Яндекс выложил в open source собственную библиотеку CatBoost, разработанную с учетом многолетнего опыта компании в области машинного обучения. С ее помощью можно эффективно обучать модели на разнородных данных, в том числе таких, которые трудно представить в виде чисел (например, виды облаков или категории товаров). Исходный код, документация, бенчмарки и необходимые инструменты уже опубликованы на GitHub под лицензией Apache 2.0.



CatBoost – это новый метод машинного обучения, основанный на градиентном бустинге. Он внедряется в Яндексе для решения задач ранжирования, предсказания и построения рекомендаций. Более того, он уже применяется в рамках сотрудничества с Европейской организацией по ядерным исследованиям (CERN) и промышленными клиентами Yandex Data Factory. Так чем же CatBoost отличается от других открытых аналогов? Почему бустинг, а не метод нейронных сетей? Как эта технология связана с уже известным Матрикснетом? И причем здесь котики? Сегодня мы ответим на все эти вопросы.

Привет всем! Меня зовут Сергей Камардин, я программист команды Почты Mail.Ru.

Это статья о том, как мы разработали высоконагруженный WebSocket-сервер на Go.

Если тема WebSocket вам близка, но Go — не совсем, надеюсь, статья все равно покажется вам интересной с точки зрения идей и приемов оптимизации.

Перевод блог поста и доклада Russ Cox с GopherCon 2017, с обращением ко всему Go сообществу помочь в обсуждении и планировании Go 2. Видео доклада будет добавлено сразу после опубликования.

25 сентября 2007 года, после того как Роб Пайк, Роберт Грисмайер и Кен Томпсон несколько дней обсуждали идею создания нового языка, Роб предложил имя "Go".

В следующем году, Ян Лэнс Тейлор и я присоединились к команде и мы впятером создали два компилятора и стандартную библиотеку, которые были публично открыты 10 ноября 2009.

В предыдущей статье я рассказал о выходе Solid12 — версии IEM-платформы для PostgreSQL. Как и обещал, рассказываем более детально о том, с чем придется столкнуться разработчикам (и с чем столкнулись мы при миграции).

Этот обзор не является исчерпывающим, скорее его нужно рассматривать как минимальную вводную для разработчика под Oracle, приступающего к работе на PostgreSQL.

Предисловие

Ситуация: есть высоконагруженная мета-игра для наших танков под названием Глобальная карта. Эдакая пошаговая настолка для команд, где бои происходят в реальном танковом клиенте. В пиковые часы на карте несколько тысяч руководителей кланов производят игровые действия: атакуют друг друга, перемещают дивизии, покупают, продают, грабят корованы. Помимо этого, существует десяток сервисов, которые также могут вносить изменения в игровую ситуацию: подкидывают деньжат, штрафуют, добавляют игроков в клан и прочее.

Всё это неизбежно приводит к дедлокам. Так вот, хочу вам поведать историю о том, как мы эти периодические проблемы держим в допустимых рамках.

Data Science — это совокупность понятий и методов, позволяющих придать смысл и понятный вид огромным объемам данных.

Каждая из глав этой книги посвящена одному из самых интересных аспектов анализа и обработки данных. Вы начнете с теоретических основ, затем перейдете к алгоритмам машинного обучения, работе с огромными массивами данных, NoSQL, потоковым данным, глубокому анализу текстов и визуализации информации. В многочисленных практических примерах использованы сценарии Python.

Обработка и анализ данных — одна из самых горячих областей IT, где постоянно требуются разработчики, которым по плечу проекты любого уровня, от социальных сетей до обучаемых систем. Надеемся, книга станет отправной точкой для вашего путешествия в увлекательный мир Data Science.

В этой заметке я расскажу о нашей демонстрационной базе данных для PostgreSQL: почему она важна для нас и как может пригодиться вам, как устроена схема и какие данные в ней содержатся.

Сразу приведу ссылку на полное описание (там же написано, где взять демо-базу и как ее установить).

Машинное обучение занимается поиском скрытых закономерностей в данных. Растущий рост интереса к этой теме в ИТ-сообществе связан с исключительными результатами, получаемыми благодаря ему. Распознавание речи и отсканированных документов, поисковые машины — всё это создано с использованием машинного обучения. В этой статье я расскажу о текущем проекте нашей компании: как применить методы машинного обучения для увеличения производительности СУБД.
В первой части этой статьи разбирается существующий механизм планировщика PostgreSQL, во второй части рассказывается о возможностях его улучшения с применением машинного обучения.

Это 6-я статья цикла по разработке, управляемой моделями. В прошлой статье вы получили общее представление о разработке предметно-ориентированных языков с помощью EMFText. Настало время перейти от игрушечного языка к более серьёзному. Будет очень много рисунков, кода и текста. Если вы планируете использовать EMFText или подобный инструмент, то эта статья должна сэкономить вам много времени. Возможно, вы узнаете что-то новое о EMF (делегаты преобразований).

Подобно отважному хоббиту мы начнём свой путь с BNF-грамматики SQL, дойдём до жуткого дракона (метамодели) и вернёмся обратно к грамматике, но уже другой…

Данная статья является переводом, оригинальная статья находится вот здесь, автор Rob Conery.

Postgres, как многие знают, поддерживает JSON как тип хранения данных, а с выходом 9.4, Postgres теперь поддерживает хранение JSON в виде jsonb — бинарного формата.

Это прекрасные новости для тех, кто хочет шагнуть дальше простого «хранения JSON как текста». jsonb теперь поддерживает индексирование с использованием GIN индекса, а также имеет специальный оператор запросов, который позволяет получить преимущества GIN индекса.

В первой части этой серии статей, я создал хорошую функцию сохранения, равно как и другую функцию, позволяющую создавать изменяемые документо-ориентированные таблицы на лету. Они работают исправно и делают именно то, что надо, но мы можем сделать еще многое. Особенно: я хочу полнотекстовый поиск, индексируемый на лету и сохранение многих документов внутри транзакции.

Давайте сделаем это.

Компания ZIMPERIUM, специализирующаяся на компьютерной безопасности, обнаружила критические уязвимости в ядре Android, которые позволяют выполнять код через отправку MMS сообщений или Google Hangout. По примерной оценке, данной опасности подвержено 95% пользователей устройств под управлением системы Android (около 950 миллионов человек). И что самое опасное, данную уязвимость достаточно просто использовать: необходимо лишь знать номер мобильного телефона жертвы.

Прошло полгода с момента анонса решения Veeam Endpoint Backup Free на конференции VeeamON. За это время мы успели выпустить бета-версию продукта, раздать ее примерно 20 тысячам человек и провести с их помощью масштабное тестирование, чтобы выявить «детские болезни» программы. Ну а сегодня, мы с радостью представляем финальную версию программы.

С помощью программы вы можете сделать резервное копирование вашего компьютера, его томов (дисков) или же просто файлов и папок. А затем восстановить ваши данные при сбое системы, неисправности жесткого диска, повреждении или случайном удалении файла.

Для тех, кто пока не нашел время посмотреть, что же продукт из себя представляет, я подготовил обзор его основных возможностей и всяких полезных мелочей. Добро пожаловать под кат.

Все справедливо считают, что конструкция ORDER BY расходует ресурсы на проведение сортировки результата и в итоге мы должны получить результат несколько позже. Всегда ли это так?..

Всем давно уже известен сервис OneDrive от Microsoft, который представляет собой облачное хранилище данных с неплохим Web UI.

Для аналогичных сервисов, в частности, Dropbox, выпущено огромное количество дополнений и расширений, например, MacDropAny и многие другие. Для OneDrive не так много расширений, поэтому он стал площадкой для нас — и мы выпустили альтернативный клиент для OneDrive — syncDriver.



У него есть вся функциональность стандартного клиента от Microsoft, а кроме того ряд особенностей, ради которых его имеет смысл использовать. Установить его можно здесь. Сразу после установки он предложит вам осуществить подключение к сервису OneDrive.

Доброго времени суток, хабровчане.
Начитавшись замечательных статей про регистрацию загранпаспортов через госуслуги, решил зарегистрировать себя в качестве индивидуального предпринимателя, плюсы налицо: все заполнить можно дома, печатать, подшивать, нести в налоговую не надо, только в пошлину в банке заплатить и то через терминал можно.

Первая проблема найти ссылку по которой можно получить услугу, ссылки в списке услуг встречаются с совершенно одинаковыми названиями «Государственная регистрация физического лица в качестве индивидуального предпринимателя». Привожу ссылки ссылка1 и ссылка2, мне удалось определить нужную только по последней странице мастера получения услуги, там необходимо прикрепить заявление о государственной регистрации (для регистрации ИП нужен документ с номером Р21001, по неправильной ссылке предлагается другой номер документа).



Чтобы заполнить заявку, нужно знать номер своей «налоговой», ссылка которая дается на первой странице «Определение реквизитов ИФНС» никогда не откроется, не понятно зачем они указали в ней порт 8080, без указания порта узнать свой налоговый орган очень просто. Далее нужно скачать программу «Программа подготовки документов ИП», в ней стоит учесть, что не нужно заполнять поля «Данные индивидуального предпринимателя (заполняются латинскими буквами )», почему то в документе есть звездочка (которая означает что эти поля нужно заполнять только иностранцам), а в программе это не указано. В принципе, сложностей с этой программой нет, из нее нужно выгрузить документ который нужно прикрепить на последней странице (Р21001).

QR Ladybird от компании Walkera — небольшой квадрокоптер, продается в комплекте “включил и летай”, стоит от $90, включая доставку. Есть комплектация с FPV — к коптеру подвешена камера и передатчик видео, в пульт встроен приемник и экран — можно практиковаться в полетах «от первого лица».

Легально, бесплатно, без смс.

Проверено и работает на последней версии 3.4.2 (win)

Занудное и не музыкальное вступление

Я люблю вещи, относящиеся к музыке, по той простой причине, что я люблю саму музыку. И не смотря на то, что я не считаю себя аудиофилом, иногда мне нравится заниматься анализом звука при прослушивании той или иной техники относящейся к воспроизведению музыки.



Так получилось, что мимо, совершенно не навязчиво пробегали «геймерские наушники», и вначале я совсем не обратил на них какого либо внимания. Но чуть позже мелькнула мысль, интересно, а что нынче предлагают на рынке в категории «Наушники для геймеров». В своё время, я искал себе гарнитуру, которая могла бы совместить функции удобной гарнитура для игр и VoIP, и одновременно хороших наушников для музыки.
На тот момент выбор остановился на наушниках Siberia v2 от SteelSeries, это действительно были хорошие наушники, которые отлично показали себя в играх и одновременно достойно «играли» музыку. К моему сожалению, от них мне пришлось отказаться по одной простой причине – они заметно давили мне на голову, и к тому же в них было жарко ушам (моим собственным). И как бы они мне не нравились технически, больше двух часов в них я провести не мог, в общем не сложилось.
Свою проблему я решил с помощью не замысловатой беспроводной гарнитуры для игр и скайпа, а для музыки взял довольно дорогие беспроводные Sennheiser RS180, которые до сих пор полностью устраивают меня и мягкостью посадки и качеством звучания.