Как стать автором
Обновить
45
Карма
0
Рейтинг

Пользователь

Аудит-логи на базе Афины

Блог компании Bimeister Amazon Web Services *
Кейс

Логирование бывает разным.

Наша история сегодня — это аудит-логирование. Я попробую рассказать её так, чтобы вы не уснули со скуки, и добавлю интересные вставки по реализации. Цель — дать возможность разобраться в архитектуре и причинах выбора именно такого подхода к решению проблемы.

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 769
Комментарии 4

Удаление данных с шардированной базы

Высокая производительность *Анализ и проектирование систем *SQL *Microsoft SQL Server *
Статья о том, как решали задачу оптимизации процесса удаления файлов из шардированной системы. Речь пойдет о проекте для совместного доступа и работы с файлами. Система была стартапом лет 8 назад, потом он успешно выстрелил и был несколько раз продан. В проекте 4 разработчика, которые с проектом с самого начала, что очень ценно. Документацию, традиционно, либо не успели написать, либо она не очень актуальна.

Зачем вам это читать и зачем я все это написала? Хочется рассказать о граблях, которые заботливо лежат внутри системы и бьют так, что звездочки сыпятся из глаз.

Хочу сказать большое спасибо Hanna_Hlushakova за совместную работу, доведение проекта до конца и помощь в подготовки статьи. В основном вы встретите описания проблемы и алгоритма ее решения, который мы использовали, никаких примеров кода, структур данных и других нужных вещей тут нет. Я не знаю поможет ли вам мой опыт избежать граблей у себя, но надеюсь что-то полезное вы извлечете. Возможно, данная статья будет абсолютно безвозвратной потерей драгоценного времени.


Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Просмотры 2.5K
Комментарии 0

Первые впечатления от Amazon Neptune

Блог компании OTUS Amazon Web Services *Облачные сервисы *
Перевод
Салют, хабровчане. В преддверии старта курса «AWS для разработчиков» подготовили перевод интересного материала.




Во многих юзкейсах, которые мы, как bakdata, видим на сайтах наших клиентов, релевантная информация сокрыта в связях между сущностями, например, при анализе отношений между пользователями, зависимостей между элементами или соединений между датчиками. Такие юзкейсы обычно моделируются на графе. Ранее в этом году Amazon выпустила новую графовую базу данных Neptune. В этом посте мы хотим поделиться нашими первыми идеями, хорошими практиками и тем, что может быть улучшено с течением времени.
Читать дальше →
Всего голосов 6: ↑6 и ↓0 +6
Просмотры 3.1K
Комментарии 2

Лучшая архитектура для MVP: монолит, SOA, микросервисы или бессерверная?.. Часть 2

Блог компании OTUS Программирование *
Перевод
В ноябре OTUS запускает новую образовательную программу «Архитектор ПО», в связи с этим продолжаем серию публикаций для будущих студентов курса и читателей нашего блога.

Читать первую часть


Микросервисная архитектура


Микросервисы — это тип сервисно-ориентированной архитектуры программного обеспечения, ориентированный на создание ряда автономных компонентов, составляющих приложение. В отличие от монолитных приложений, созданных как единое целое, микросервисные приложения состоят из нескольких независимых компонентов, которые склеены вместе посредством API.


Структура микросервисов и монолитная архитектура в сравнении

Подход на основе микросервисов ориентирован главным образом на бизнес-приоритеты и возможности, тогда как монолитный подход организован вокруг технологических уровней, пользовательских интерфейсов и баз данных. Микросервисный подход стал тенденцией в последние годы, так как все больше и больше предприятий становятся гибкими и переходят на DevOps.
Читать дальше →
Всего голосов 12: ↑9 и ↓3 +6
Просмотры 16K
Комментарии 16

Как пройти сертификацию PCI DSS: опыт ИТ-ГРАД

Блог компании CloudMTS Хостинг Платежные системы *Разработка под e-commerce *Управление e-commerce *
В одном из прошлых постов мы отметили, что успешно ресертифицировали свою инфраструктуру по PCI DSS и рассказали о видах хостинга PCI DSS: co-location, IaaS Basic и IaaS Advanced. Сегодня мы подробнее поговорим о самом процессе сертификации и собственном опыте прохождения аудита.

Читать дальше →
Всего голосов 17: ↑17 и ↓0 +17
Просмотры 10K
Комментарии 0

Подборка полезных слайдов от Джулии Эванс

Блог компании FirstVDS Программирование *
Перевод
Перевели новую порцию слайдов. Права доступа в Unix, файловые дескрипторы, потоки, магия proc. И на закуску пара советов о том, как общаться, когда ты не согласен. А вдруг пригодятся =)



Читать дальше →
Всего голосов 115: ↑111 и ↓4 +107
Просмотры 52K
Комментарии 42

Мультимодельные СУБД — основа современных информационных систем?

SQL *NoSQL *Администрирование баз данных *Исследования и прогнозы в IT *

Современные информационные системы достаточно сложны. Не в последнюю очередь их сложность обусловлена сложностью обрабатываемых в них данных. Сложность же данных зачастую заключается в многообразии используемых моделей данных. Так, например, когда данные становятся «большими», одной из доставляющих неудобства характеристик считается не только их объем («volume»), но и их разнообразие («variety»).


Если вы пока не находите изъяна в рассуждениях, то читайте дальше.


Шампунь 5-в-1

Читать дальше →
Всего голосов 23: ↑23 и ↓0 +23
Просмотры 13K
Комментарии 45

Где учат преподавать (не только в пед. институте)

Учебный процесс в IT

Кому будет полезна статья:

  • студентам, которые решили подзоработать репетиторством
  • аспирантам или специалистам, которым выдали семинарскую группу
  • старшим братьям\сестрам, когда младшие просят научить программировать (вышивать крестиком, говорить на китайском, анализировать рынки, искать работу)

То есть всем тем, кому нужно учить, объяснять, и кто не знает за что хвататься, как планировать уроки, что рассказывать.

Здесь вы найдете: ссылки на обучающие курсы и книги по педагогике и об образовании, на материалы о том, где почитать про обучающие цели, о привлечение внимания и упрощение материала.


то, как на вас смотрят ученики
Читать дальше...
Всего голосов 20: ↑17 и ↓3 +14
Просмотры 6.3K
Комментарии 14

Сети для самых маленьких. Часть седьмая. VPN

Системное администрирование *Сетевые технологии *
Туториал


Покупка заводов в Сибири была стратегически правильным решением для компании “Лифт ми Ам”. После того, как лифты стали ездить не только вверх, но и вниз, дела компании пошли… нет полетели, вверх. Лифты начали разбирать, как горячие пирожки со стола. Название уже не соответствовало действительности и было принято решение о ребрендинге. (На самом деле их замучила судебная тяжба с Моби).
Итак, под крыло ЛинкМиАп планируется взять заводы в Новосибирске, Томске и Брно. Самое время подумать о том, как это хозяйство подключить к имеющейся сети.

Итак, сегодня рассматриваем
1) Возможные варианты подключения, их плюсы и минусы
2) Site-to-Site VPN на основе GRE и IPSec
3) Большая тема: динамическая многоточечная виртуальная сеть (DMVPN) в теории и на практике.

В традиционном видео лишь ёмкая выжимка из статьи, посвящённая работе и настройке DMVPN.

Читать дальше →
Всего голосов 118: ↑118 и ↓0 +118
Просмотры 595K
Комментарии 43

SQL: задача о рабочем времени: разбор полётов

Блог компании Postgres Professional Занимательные задачки PostgreSQL *SQL *
В эфире опять Радио SQL! Сегодня у нас совсем краткий выпуск, посвящённый подведению итогов решения задачки участниками хабросообщества. Я обещал разыграть небольшой приз, так что подвести итоги лучше небольшой, но всё же статьёй. Дописать строчку в оригинальную статью (что я, впрочем, тоже сделал) — было явно недостаточно, заинтересованные лица могут пропустить такое подведение итогов. Поэтому подстраивайте свои ложементы и вытягивайте омматофоры, мы начинаем!

Пиу-пиу!
Всего голосов 22: ↑21 и ↓1 +20
Просмотры 8.4K
Комментарии 23

Как обеспечить производительность баз данных Microsoft SQL Server, размещаемых в облаке

Блог компании Группа Т1 Блог компании T1 Cloud Облачные вычисления *Администрирование баз данных *

Источник


Всем привет! Сегодня хотим поговорить об облачных базах данных, а точнее о тех проактивных и разовых мероприятиях, которые непосредственно обеспечивают их производительность.


Облачные базы данных давно решили вопрос быстрого прироста мощностей и запуска новых баз данных, и сегодня стали практически насущной потребностью компаний любого размера, благодаря переносу задач по администрированию и мониторингу на сторону провайдера.


Мы проделали большую работу, запуская и оптимизируя свою новую услугу облачной базы данных на собственной платформе Техносерв Cloud и, конечно же, столкнулись с рядом проблем и выработали свои подходы к их решению. Сейчас, когда сервис протестирован и работает, мы хотим поделиться с вами своим опытом – уверены, что прочитав этот материал, вы сможете избежать повторения чужих ошибок или откроете для себя что-то новое.

Читать дальше →
Всего голосов 14: ↑14 и ↓0 +14
Просмотры 35K
Комментарии 10

Как SimCity вдохновила целое поколение градостроителей

Разработка игр *Дизайн игр *Урбанизм
Перевод
image

Сцена из «SimCity 4 Deluxe».

SimCity попала в руки Джейсона Бейкера, когда он изучал политологию в Калифорнийском университете в Дейвисе. Джейсон внимательно изучил эту компьютерную игру.

«Я был не из тех игроков, которым нравилось, как по улицам бегает Годзилла и уничтожает здания. Мне нравилось обустраивать организованную жизнь города».

Такой добросовестный подход обеспечил ему преимущество на курсе местного самоуправления. Вместо написания курсовой о трёх моделях возможного развития городов Бейкер предложил воссоздать эти три сценария в SimCity, а затем позволить игре работать самостоятельно и зафиксировать успехи своих виртуальных городов.

В результате он получил за курсовую «отлично». Бейкер говорит, что игра в SimCity помогла ему вспомнить о важности местного самоуправления, поэтому в конце концов он занялся им профессионально.

Сегодня Бейкер является вице-президентом по транспорту и жилищным вопросам в некоммерческой Silicon Valley Leadership Group. С 2008 по 2016 год он работал членом совета в городе Кэмпбелл (Калифорния), за это время дважды побывав мэром.

Тридцать лет назад Maxis выпустила SimCity на Mac и Amiga. За ней последовали SimCity 2000 (1993 год), SimCity 3000 (1999 год), SimCity 4 (2003 год), версия для Nintendo DS (2007 год), SimCity: BuildIt (2013 год) и мобильное приложение (2014 год).

За это время серия игр познакомила миллионы игроков с радостями и бедами зонирования, уличных сетей и финансирования инфраструктуры, а также повлияла на целое поколение людей, планирование городов для которых стало профессией. Для многих градостроителей, архитекторов, муниципальных работников и активистов SimCity стала первой возможностью поуправлять городом. Благодаря ей они впервые осознали, что кварталы, города и пригороды планируются, что кто-то решает, где должны располагаться улицы, школы, остановки транспорта и магазины.
Читать дальше →
Всего голосов 41: ↑40 и ↓1 +39
Просмотры 21K
Комментарии 24

Вода камень точит

GTD *Учебный процесс в IT
Давным-давно я написал статью на Хабр с названием «Интенсивность важнее тщательности» про то, что лучше увеличить количество попыток сделать что-то, чем продолжительность одной попытки. Теперь я хочу дополнить эту мысль.

XKCD


Основная идея: разделяйте работу на рабочие сессии таким образом, чтобы увеличить количество попыток решить задачу. Вместо продолжительной работы на протяжении шести часов зачастую предпочтительнее сделать три сессии по два часа. Вместо трех часов иногда имеет смысл сделать три сессии по часу.

Блоки информации (chunks)


Чтобы свободно пользоваться новыми знаниями, к ним нужно привыкнуть. А привычка, как известно, дело времени. В книге Learning How to Learn (или на замечательном курсе на Coursera) блоки информации называются chunks, и в курсе рассказывается про их формирование. На это уходит время, которое на практике нельзя существенно ускорить.

Сначала мы учим, что такое натуральные числа, потом целые, потом рациональные, потом вещественные. Потом мы изучаем пределы, потом производные, потом интегралы, потом топологию, потом анализ на многообразиях и так далее. Для каждого следующего шага нам необходимо понять предыдущий и воспринимать его как информационную единицу. Когда я говорю «многообразие», для меня — это информационная единица, а для изучающего — это информационный гугол: хаусдорфово топологическое пространство, в котором у каждой точки есть окрестность, гомеоморфная бла бла. Я помню момент, когда впервые смог произнести вслух «тензорное произведение» без внутреннего дискомфорта. Мне потребовалось много времени.
Читать дальше →
Всего голосов 22: ↑22 и ↓0 +22
Просмотры 14K
Комментарии 18

Где весной поговорить про Apache Ignite, распределенные базы данных и распределенное машинное обучение

Блог компании GridGain Java *Big Data *Распределённые системы *
Начинается первая волна конференций, да и дружественные митапы активизировались. Присоединяйтесь.

15 марта, Санкт-Петербург — ODS SPB Meetup #5


Распределенный TensorFlow с Apache Ignite
На митапе, приуроченному ко дню рождения Open Data Science, Юрий Бабак, Руководитель группы разработки в GridGain, расскажет про распределенный TensorFlow с Apache Ignite:

— Apache Ignite как распределенный источник данных для TensorFlow;
— Hаспределенная тренировка модели на кластере TensorFlow поверх Apache Ignite;
— Инференс TensorFlow модели на кластере Apache Ignite

Программа и регистрация

28 марта, Москва — Scalability Meetup #7


Репликация распределенных баз данных
Репликация кластеров позволяет не беспокоиться за работоспособность распределенных систем. Но что делать, если в дата-центре отключат свет, все кластеры сразу начнут сбоить (и каждый по-своему), а потом кто-то очень серьезно ошибется?

Иван Раков, Senior Software Engineer в GridGain, расскажет про то, какие варианты репликации возможны, как реализована транзакционная целостность в GridGain, и как это защищает кластер от катастроф.

Программа и регистрация

А также на JPoint и Saint Highload
Читать дальше →
Всего голосов 13: ↑13 и ↓0 +13
Просмотры 1.1K
Комментарии 2

Открытый вебинар «Порядок выполнения запроса SELECT и план запроса в MS SQL Server»

Блог компании OTUS SQL *Microsoft SQL Server *
И снова привет!

Коллеги, в последний день января мы запускаем курс «MS SQL Server разработчик», в связи с чем у нас прошёл тематический открытый урок. На нём мы поговорили о том, как MS SQL Server выполняет запрос SELECT, обсудили, в каком порядке и что анализируется, а также немного погрузились в чтение плана запроса.

Преподаватель — Кристина Кучерова, архитектор модели данных в Сбербанке России.

Всего голосов 27: ↑24 и ↓3 +21
Просмотры 23K
Комментарии 10

Личный опыт: Пять сложностей при запуске бизнеса в США

Развитие стартапа IT-эмиграция


Вот уже пару лет я живу в США, развиваю два собственных проекта и сегодня решил поделиться опытом. Мне на глаза часто попадаются статьи с рассказами о том, как классно делать бизнес в США, авторы которых не рассказывают о возможных сложностях на этом пути. В итоге у многих может сложиться чересчур идеализированное представление о том, как они приедут в Кремниевую Долину со своим стартапом менять мир.

Так было и со мной, что неоднократно приводило к фрустрациям при столкновении с реальности. Поэтому сегодня я расскажу о сложностях в ведении бизнеса в Америке, к которым следует морально подготовиться еще до переезда.
Читать дальше →
Всего голосов 84: ↑81 и ↓3 +78
Просмотры 51K
Комментарии 150

Мой опыт подготовки к трудоустройству в Google

Блог компании Skillbox Программирование *Учебный процесс в IT
Recovery mode


От переводчика: сегодня публикуем для вас статью Праякты Татавадкар, она разработчик с небольшим стажем, но знания и опыт позволили ей получить работу в Google (со второй попытки), стать членом команды разработчиков YouTube.

Google была для меня компанией мечты с самого начала пути. Когда я успешно прошла собеседование, ко мне стали обращаться многие знакомые и друзья с просьбой поделиться опытом. Беседуя с ними, я определила самые важные для большинства вещи, которыми теперь делюсь в этой статье.
Всего голосов 34: ↑24 и ↓10 +14
Просмотры 31K
Комментарии 23

9 из 10 человек согласны зарабатывать меньше на более осмысленной работе

Исследования и прогнозы в IT *Карьера в IT-индустрии
Перевод


В своём введении к книге Working, знаковой устной истории работы 1974 года, Стадс Теркель поставил осмысленность на ту же ступень, что и финансовую компенсацию, в деле мотивации американских работников. «Работа – это поиск ежедневного смысла в той же мере, как и поиск ежедневных средств к существованию, она нужна для признания в той же мере, как и для наличных, для удивления, а не для безразличия», — писал он. Среди кучки счастливцев, встреченных им, наслаждавшихся своей работой, Теркель приметил общую тенденцию: они ценили «осмысленность работы выше награды, получаемой от зарплаты».

Прошло уже больше 40 лет, и целые горы исследований поддержали заявление о том, что американские работники ожидают чего-то более интересного, чем зарплата, в ответ на свой труд. Текущие уровни компенсации слабо коррелируют с удовлетворением от работы. И наоборот, с 2005 года важность осмысленности в выборе работы постоянно растёт. «Смысл – это новые деньги», как заявили в статье в HBR в 2011 году. Почему же не растёт число компаний, предпринимающих конкретные шаги для того, чтобы сконцентрировать свою культуру на создании смысла?
Читать дальше →
Всего голосов 20: ↑17 и ↓3 +14
Просмотры 14K
Комментарии 36

Принципы работы СУБД. MVCC

PostgreSQL *Анализ и проектирование систем *Алгоритмы *
Многие из нас сталкивались в своей работе с СУБД. На текущий момент базы данных в том или ином виде окружают нас повсюду, начиная с мобильных телефонов и заканчивая социальными сетями, в число которых входит и любимый нами хабр. Реляционные СУБД являются наиболее распространенными представителями семейства СУБД, и большинство из них являются транзакционными.
В институте нас заставляли заучивать определение ACID и стоящие за ним свойства, но почему-то стороной обходились подробности реализации этой парадигмы. В данной статье я постараюсь частично заполнить этот пробел, рассказав о MVCC, которая используется в таких СУБД как Oracle, Postgres, MySQL, etc. и является весьма простой и наглядной.
читать далее
Всего голосов 26: ↑23 и ↓3 +20
Просмотры 74K
Комментарии 22

Готовим проект в Sparx Enterprise Architect. Наш рецепт

Блог компании ГК ЛАНИТ Анализ и проектирование систем *UML Design *
Дорогой Хабр, мы решили поделиться заметками и нашим базовым рецептом о приготовлении проектов в Sparx Enterprise Architect. Причем под проектом мы подразумеваем создание какой-либо информационной системы. Впереди вас ждет рассказ о том, как у нас все организовано – примеры диаграмм, структура проекта в Enterprise Architect, немного о требованиях, проектировании и постановках на разработку.

Источник
Читать дальше →
Всего голосов 30: ↑30 и ↓0 +30
Просмотры 55K
Комментарии 15
1

Информация

В рейтинге
4 707-я
Откуда
Россия
Работает в
Дата рождения
Зарегистрирована
Активность