Пользователь
В этом небольшом примере, я хочу показать, как парсить данные с сайтов и как дальше использовать их для анализа. Для этого я спарсил таблицу рейтингов кланов из игры World of Tanks и посмотрел, как рейтинг клана может коррелировать с другими данными.
Достаточно часто возникает потребность проведения периодических вычислений и подготовки консолидированного отчета по самодостаточным данным. Т.е. по данным, которые хранятся в виде файлов. Это могут быть данные, набранные из открытых источников, различные документы и excel таблицы, выгрузки из корпоративных систем. Данные в сыром виде могут занимать как несколько мегабайт, так и несколько гигабайт. Данные могут быть обезличенными, либо содержать конфиденциальную информацию. В том случае, когда код вычислений помещается в репозиторий, а работа ведется более чем одним человеком более чем на одном компьютере, возникает проблема сохранения консистентности кода и данных. При этом необходимо еще обеспечить соблюдение разных прав доступа к коду и данным. Что делать?
Является продолжением предыдущих публикаций.
В предыдущей статье я поделился своим видением процесса построения базовой системы для организации собственного развития (применимой к сфере ИТ).
В ней в общих чертах и весьма условно были представлены шаги, которые необходимо пройти, чтобы построить эту систему. Однако, хочется внести немного конкретики — поделиться ресурсами, которые помогут вам в получении новых знаний.
Так что всех заинтересованных прошу под кат!
Я временами весьма сильно выпадаю из реальности, так что если вам не охота читать бред, отложите чтение до завершения статьи, но если у вас появятся вопросы, то момент будет упущен. Также напомню, что с прогрессированием болезни у меня большие трудности с речью, но они уже правятся сообществом хабра.
Сложность представления данных для глубокого обучения растет с каждым днем. Нейронные сети на основе данных в виде графа (Graph Neural Network, GNN) стали одним из прорывов последних лет. Но почему именно графы набирают все большую популярность в машинном обучении?
Конечной целью моего повествования является общее представление графов в приемах машинного обучения. Статья не претендует на научную работу, которая в полной мере описывает всю мощь представления графов, а лишь знакомит читателя с этим удивительным и сложным миром. Публикация отлично подойдет, как для закаленных в боях профессионалов, которые еще не знакомы с представлением графов в глубоком обучении, так и для новичков в этой сфере.
Привет, Хабр! Представляю вашему вниманию перевод статьи "Anatomy of Channels in Go" автора Uday Hiwarale.
Канал — это объект связи, с помощью которого горутины обмениваются данными. Технически это конвейер (или труба), откуда можно считывать или помещать данные. То есть одна горутина может отправить данные в канал, а другая — считать помещенные в этот канал данные.
Go для создания канала предоставляет ключевое слово chan. Канал может передавать данные только одного типа, данные других типов через это канал передавать невозможно.
На пути к открытой, независимой от производителя и приветствующей вклад сообщества модели для ускорения обучения в сфере Информационной Безопасности
8 декабря 2019 года
Джон Ламберт (John Lambert), JohnLaTwC, Distinguished Engineer, Microsoft Threat Intelligence Center
Объединение специалистов по Информационной Безопасности в рамках глобального сообщества позволяет ускорить обучение в предметной области.
Знания об атаках, собираемые в рамках MITRE ATT&CK, совместно с логикой обнаружения угроз, описанной правилами Sigma и воспроизводимым анализом, описанным в Jupyter Notebooks, образуют упорядоченный набор практик. Эти практики связывают знания с аналитикой и анализом.
Если бы организации вносили свой вклад и делились своим уникальным опытом, а также опирались на опыт других членов сообщества, используя вышеперечисленные инструменты, то специалисты ИБ в каждой организации могли бы воспользоваться преимуществами лучших методов защиты.
