Pull to refresh
25
Karma
0
Rating
netslow @netslow

Пользователь

Вся правда о кубах данных OLAP: развенчиваем мифы

VK corporate blog Big Data *Data storages *


Кубы данных — не самая простая тема в дата-инжиниринге. Это тот самый случай, когда на пять запросов об определении приходятся пять разных вариантов ответа. Эта неоднозначность породила неудачную универсальную метафору, с помощью которой описываются кубы данных, — схему трехмерного куба. При этом в объяснениях нет примеров, рассказывающих, как в дата-пайплайне реализуется эта концепция.
Читать дальше →
Total votes 40: ↑38 and ↓2 +36
Views 9.7K
Comments 7

Создаем OLAP куб. Часть 1

SQL *
OLAP

Продолжая тематику Многомерные кубы, OLAP и MDX и olap для маленькой компании, традиционно, предлагаю начать с простенького «Hello World» куба, который будет анализировать процессы и тенденции голосований на Хабре.

Итак, давайте попробуем создать свою первую OLAP систему.
Но, прежде чем, потирая руки, запускать Business Intelligence Studio, предлагаю вначале создать хранилище данных хабра-голосов, так называемый Data Warehouse.
Зачем? Причин в этом несколько:
  • сама суть Data Warehouse-а хранить «очищенные» данные, готовые для анализа, поэтому даже его изначальная структура может сильно отличаться от структуры нашей хабра-OLTP базы данных
  • в HabraDW (так мы его назовем) мы вынесем только ту информацию, которая нам нужна будет для анализа, ничего лишнего
  • к Data Warehouse не накладываются требования нормализации. Даже наоборот, денормализировав некоторые данные можно добиться более понятной схемы для построения куба, а также скорости загрузки данных в куб
Читать дальше →
Total votes 29: ↑29 and ↓0 +29
Views 155K
Comments 21

JOOQ и его кроличья нора. Как выжить без Hibernate

Programming *Java *
Tutorial
В этой статье я не буду топить за JOOQ. Я предпочитаю Hibernate и всю силу Spring Data JPA, которая за ним стоит. Но статья будет не о них.



Когда мы пользуемся Hibernate и Spring Data JPA, нам не нужно задумываться о внутренних процессах — знай ставь аннотации и пиши правильные имена методов в репозитории — остальное за тебя сделают эти два монстра. В случае в JOOQ, к сожалению для многих, придётся малость напрячься и написать больше, чем findAllByUserId(Long userId).
Читать дальше →
Total votes 14: ↑3 and ↓11 -8
Views 32K
Comments 23

Neo4j. Вместо тысячи join-ов…

NoSQL *Data storage *
Sandbox

Если вы столкнулись с задачей хранения сильно связанных данных, то отличным вариантом будет использовать графовую модель данных. Мы в Текфорс сделали именно так. Почему - разберем в этой статье. 

Читать далее
Total votes 18: ↑17 and ↓1 +16
Views 7.8K
Comments 10

О том, как я прошёл курсы по программированию и остался «выжившим» в IT. Советы тем, кто хочет начать учиться в 2023

Programming *Studying in IT
Sandbox

Всем привет! Прочитав недавно пост "Невыжившие в IT", который попался в моей ленте, решил поделиться своим опытом прохождения курсов, вхождением в сферу и советами для тех, кто думает "Войти в АйТи в 2023 году", устраивайтесь поудобнее, приятного чтения!

Читать далее
Total votes 49: ↑38 and ↓11 +27
Views 74K
Comments 139

Про трекпоинт и эмуляцию мыши

WestComp corporate blog

Зачем это нужно и как реализовать программно


Много рассуждений


В предыдущей статье про настройку док-станций, я упоминал как тяжко, в свое время, мне было пользоваться лаптопами «потребительского» сегмента. Отсутствие docking-port'a и необходимость каждый раз по приходу домой или на работу подключать кучу кабелей — все это неприятно и раздражало, но что действительно вызывало страдания, так это отсутствие трекпоинта: той самой «красной пимпочки», которую можно встретить на лаптопах от IBM/Lenovo (синяя или серая в случае HP и DELL). Подробней можно почитать на той же Википедии.

Зачем он нужен? Когда большая часть операций производится с клавиатуры, будь то написание кода, либо работа в командной оболочке, необходимость переместить руку на мышь дабы переместить графический курсор и что-нибудь там кликнуть не вызывает особой радости.


Читать дальше →
Total votes 15: ↑14 and ↓1 +13
Views 36K
Comments 69

На каждой новой работе своих коллег я всегда учил именно этому

Browsers

Я часто вливался в новые коллективы и всегда знал, что у меня есть пара тузов в рукаве несколько фишек, которые сделают жизнь сотрудника проще и/или лучше. Я решил собрать самое полезное из того, что я сам использую в браузере в максимально коротком тексте с примерами, так, будто я прямо сейчас кого-то обучаю, поэтому всё будет в виде практических упражнений.

Читать далее
Total votes 61: ↑16 and ↓45 -29
Views 10K
Comments 20

Ввод-вывод — уже не узкое место

Programming *Perfect code *Client optimization *
Translation

На собеседованиях с программистами я часто прошу их написать простую программу, подсчитывающую частотность слов в текстовом файле. Это хорошая задача, проверяющая множество навыков, а уточняющие вопросы позволяют зайти на удивление глубоко.

Один из моих уточняющих вопросов такой: «Что является узким местом производительности вашей программы?» Многие отвечают что-то типа «считывание из входящего файла».

На самом деле, написать эту статью меня вдохновил ответ на чей-то вопрос в Gopher Slack: «Я заметил, что много дополнительной работы приходится на разделение строки и тому подобное, но обычно всё это намного быстрее ввода-вывода, поэтому нас это не волнует».

Я не стал спорить… и пока не проанализировал производительность задачи с подсчётом слов, думал так же. Ведь всех нас этому учили, правда? «Ввод-вывод — это медленно».

Но это больше не так! Дисковый ввод-вывод мог быть медленным 10-20 лет назад, но 2022 году последовательное считывание файла с диска выполняется очень быстро.
Читать дальше →
Total votes 31: ↑27 and ↓4 +23
Views 12K
Comments 33

Собираем медиацентр разной функциональности на коленке разной толщины

RUVDS.com corporate blog Computer hardware DIY Lifehacks for geeks

Статистике еще только предстоит в точных цифрах оценить титанические сдвиги в медиапотреблении 2020 года, однако  — и это ясно, как день — мы стали заметно больше смотреть фильмов и больше слушать музыки. И вроде бы все отлично — стриминговых сервисов как грязи, все как один предлагают аттракционы невиданной щедрости «заплати один рубль и смотри наш замечательный сервис два или три месяца». Однако, минувшая  изоляция обнажила одну интересную особенность: наши домовые сети оказались неспособны выдерживать возросшую нагрузку, июльская жара добавила проблем провайдерским шлюзам, прячущимся в плохо вентилируемых коробочках, да и просто стриминги стали снижать качество, лишь бы «продавить» свои данные до потребителя и позволить не вкладываться лишний раз в инфраструкту всем участникам медиацепочки.
Total votes 38: ↑37 and ↓1 +36
Views 29K
Comments 17

Почему я отказался от стандартной клавиатуры и никогда к ней не вернусь. Часть 1 (История клавиатуры)

Computer hardware History of IT Periphery

Сколько не совершенствуй свои клавиатурные навыки, не достигнешь значительного прогресса, используя стандартную клавиатуру. Она давно устарела, но большинство готово с этим мириться. Чтобы понять почему она устарела, необходимо разобраться в её истории.

Читать далее
Total votes 172: ↑144 and ↓28 +116
Views 61K
Comments 644

Ansible и Docker, почему и зачем?

Website development *
Translation
Достаточно много интереса проявляется среди технического сообщества к Docker и Ansible, я надеюсь, что после прочтения данной статьи, вы тоже разделите этот интерес. Вы так же получите навыки практического применения Ansible и Docker в настройке сервера и окружения для Rails приложения.

«Почему бы просто не взять и использовать Heroku?», спросите вы.
Прежде всего, я могу запустить Docker и Ansible на любой машине, с любым хостинг провайдером. Во вторых, я предпочитаю гибкость, удобству. Я могу, таким же образом, запускать все что угодно, не только web приложения. Ну и напоследок, потому что я эксперементатор в душе, я получаю удовольствие от понимания того как оно все вместе работает. Фундаментальная основа Heroku это Linux контейнер. Та же технология лежит и в основе Docker'a. На самом деле, одним из девизов Docker'a является «Контейнеризация это новая виртуализация»
Читать дальше →
Total votes 38: ↑37 and ↓1 +36
Views 74K
Comments 25

Как стать Flutter-разработчиком, или Почему кроссплатформа сейчас — это лучший выбор

Development of mobile applications *Dart *IT career Flutter *
Sandbox

Hola, Amigos!

На связи Александр Чаплыгин, Flutter Dev. В разработке я 3 года, сейчас работаю в компании по заказной мобильной разработке, за последний год делал проекты для частного медицинского центра, системы маркировок и нескольких стартапов. По свежим следам хочу рассказать о том, как попасть в мобильные разработчики, поделюсь личным опытом взлетов и факапов, приложу чек-лист по устранению ошибок новичка. Если вы начинающий специалист — эта статья для вас. Также полезно почитать заказчикам мобильных приложений, чтобы погрузиться во внутреннюю кухню проектов и команды.

Читать далее
Total votes 19: ↑15 and ↓4 +11
Views 12K
Comments 54

У вас не Agile

Agile *Product Management *History of IT
Sandbox

Как же часто мне приходилось слышать от рекрутеров одну и ту же фразу:

Мы работаем по Agile. Спринты по 1-2 недели

Под "Agile" они, конечно же, имеют в виду Scrum. Но я с уверенностью могу сказать, что ни в одной компании, что я работал, Agile'ом даже и не пахло. И тут я даже не говорю о том, что Agile каким он был задуман в принципе не дошел до массовой разработки (о чем рассказывал один из создателей Agile Дейв Томас на конференции GOTO 2015). Я говорю об Agile в общепринятом значении этого слова.

В дальнейшем, на техническом интервью, если спрашивать по пунктам, практически любой реальный работник компании подтвердит вам, что никакого Agile в компании нет, а используются лишь элементы Agile.

По некоторым причинам команде разработчиков либо не получается наладить работу по Agile, либо руководство знает, как лучше, и навязывает собственное видение методологии разработки. Эту проблему адресовал в своей статье Рон Джефрис (вот перевод на русский), дав красноречивое название подобным практикам — "Dark Scrum". Существует и более мягкая формулировка для тех, кто считает подобное положение вещей скорее фичей, а не багом — "Pseudo Agile" или "Post Agile".

В этой статье я постараюсь расставить точки над Ё и разобраться, что такое Agile на самом деле, и какие проблемы существуют у современных гибких методологий.

Читать далее
Total votes 40: ↑33 and ↓7 +26
Views 22K
Comments 58

Как мы выбирали корпоративный мессенджер и почему остановились на Discord

MY.GAMES corporate blog Instant Messaging *Game development *Games and game consoles

Всем привет, меня зовут Виктор Щепкин, я руководитель проекта в Allods Team. В этом тексте я расскажу, как мы искали рабочий мессенджер и в итоге остановились на Discord. Также опишу, как устроен наш сервер, и поделюсь подробным описанием функций, которые мы используем.

Читать далее
Total votes 49: ↑46 and ↓3 +43
Views 15K
Comments 72

Как руководить IT-специалистами, даже если они лучше вас разбираются в своей работе

Сбер corporate blog Development Management *Personnel Management *

Привет, Хабр!

Из заголовка вы уже поняли, о чём сегодня пойдёт речь. Поэтому сразу к делу. 

Возьмём для примера ситуацию. Есть команда data-аналитики: инженеры, аналитики, разработчики, каждый из которых уже собаку съел в своём деле и связал свитер из собственной бороды. Есть вновь назначенный руководитель этой команды. Он знает азы в каждой зоне (сбор данных, аналитика, разработка), но не глубоко погружён в детали и нюансы, особенно если пришёл из смежной сферы. 

Как в такой ситуации не сломать уже построенную систему? И одновременно принести дополнительную ценность для компании и подчинённых? Разбираемся под катом.

Читать далее
Total votes 25: ↑18 and ↓7 +11
Views 18K
Comments 12

Учимся управлять людьми, пока команда не выгорела: 21 концепт

Geekfactor.io corporate blog Personnel Management *
Translation

Большинство новоиспеченных тимлидов доводят своих сотрудников до выгорания, пока учатся управлять командой. Если эти советы помогут избежать таких ситуаций, то стоит их написать.

Статья будет полезна тимлидам небольших команд и стартапов. Возможно, она не пригодится менеджерам в больших компаниях и корпорациях (но прочитать я всё равно советую).

Читать далее
Total votes 11: ↑8 and ↓3 +5
Views 6.1K
Comments 1

О мобилизации для IT-специалистов

Legislation in IT IT career

Если вы все еще не понимаете, по какому принципу военкоматы мобилизируют призывников, то предлагаем вам ознакомиться с нашей статьей о мобилизации для IT-специалистов. Вы будете удивлены, что военкоматы большей частью работают согласно закону, а вот многие устные заявления, по крайней мере пока, законами не подкреплены. Поэтому имеем то, что имеем - военкоматы просто делают свою работу в соответствии с нисходящими на них указами и законами о мобилизации. Эти указы и законы мы разберем в нашей статье и затронем тему того, как мобилизация касается IT-специалистов.

Мобилизируемся вместе с профсоюзом ИТ
Total votes 146: ↑135 and ↓11 +124
Views 101K
Comments 619

Шифрование сертификатов TLS — как формируется цифровая подпись

GlobalSign corporate blog Information Security *Website development *Cryptography *IT Standards *


По оценке независимой исследовательской и консалтинговой компании Frost & Sullivan, TLS-сертификаты от GlobalSign обеспечивают максимально надёжное шифрование. В том числе за это GlobalSign получила в сентябре 2022 года награду 2022 Global Competitive Strategy Leadership Award.

Но возникает вопрос, чем же отличается шифрование в разных сертификатах? В частности, какие алгоритмы используются для криптографической подписи?
Читать дальше →
Total votes 32: ↑17 and ↓15 +2
Views 9.2K
Comments 3

Почему мне посреди ночи позвонили из АНБ и попросили исходники

Information Security *Cryptography *Open source *Software
Translation
История моей сверхсекретной чашки для кофе



«Пожалуйста, слушайте внимательно и не вешайте трубку». Это первые слова, которые неизвестный мужчина произнёс по телефону, когда брат передал мне трубку.

Были выходные на праздник 4 июля 2000 года, плюс-минус день, и мистер Икс знал: нужно начать именно с этих слов, потому что он звонил за полночь на домашний телефон моего брата в Коннектикуте. Это было особенно жутко, потому что я жил в Калифорнии, и никто не знал, что я в Коннектикуте, за исключением моих ближайших родственников, которые все были там в доме со мной. Я приехал накануне, как обычно делаю во время нашего ежегодного семейного пикника на День независимости.

Зачем он звонил?

Это был вопрос национальной безопасности.
Читать дальше →
Total votes 187: ↑178 and ↓9 +169
Views 164K
Comments 376

Information

Rating
Does not participate
Location
Москва и Московская обл., Россия
Registered
Activity