Как стать автором
Обновить
18
Карма
0.2
Рейтинг

Пользователь

Проводник Windows 11 получит современный пользовательский интерфейс

Недавно молодой коллега увидел у меня Far, когда мне нужно было посмотреть под виндой, есть ли BOM у UTF -8 файла, размером несколько Гб, удивился насколько это легко и непринужденно. Спросил: "а этой штукой много кто пользуется?". Улыбнулся

Как я стал Solution Architect в Сбере: карьерный путь длиной в 12 лет

Хотите продолжать работать в сбере?

Natives in Tech потребовала от Apache Software Foundation переименовать проекты и убрать индейскую символику в логотипе

Предполагаю, да. Но тогда какой смысл? Что, собственно, как мне кажется, и характеризует все эти попытки.

Natives in Tech потребовала от Apache Software Foundation переименовать проекты и убрать индейскую символику в логотипе

Из-за этих обижулек придётся менять тонны pom.xml, мегатонны импортов (ведь они org.apache.*)? Да пошли они!

В который раз бесят юридические прихлебалы, доящие гордость меньшинств/верующих и прочее

Надеюсь IT сообщество в отместку потребует у этих возбудившихся уважать труд программистов, чтоб не заниматься бесполезным рефакторингом.

От треугольника Серпинского до «снежинок». Реализовано на Python

Для квадрата - Ковер Серпинского.

По поводу снежинок, погуглите "Снежинка Коха". Также будет интересно, наверное, для вас реализовать L-системы, но вообще было это все и на хабре и тысячу раз везде.

Мы в город изумрудный идем дорогой трудной. Ваш компас в мир NLP

Spark NLP вообще нигде не используется? Мне показалось, что очень многообещающий фреймфорк.

Samsung представила умную духовку со встроенной видеокамерой для стримеров

А что попадает в поле зрения камеры? Только содержимое духовки или квартиры тоже? А то как бы не получилось тоже самое, что было с видеопотоком с некоторых умных пылесосов с камерой.

Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных

Правильно я понимаю, что в итоге нужно хранить для каждой строки хэш ее неключевых полей?

Потери данных при репликации в аналитическое хранилище — автоматические сверки и мониторинг качества данных

Я никогда не слышал про дерево Меркла, сейчас прочитал, но не понял как это может облегчить решаемую задачу. Не могли бы пояснить?

ChatGPT пройдёт собеседование по Data Science вместо вас

It is not possible to calculate the sum of an array faster than O(n), where n is the number of elements in the array. This is because in order to calculate the sum of an array, you must visit each element in the array at least once. Therefore, the best you can do is to use a linear time algorithm, which has a time complexity of O(n).

Вроде все ок, в чем удивление? Правда, до этого она предлагала мне O(N log N) алгоритм, типа Divide-and-Conquer. При этом отмечала, что достоинства этого подхода - это возможность распараллеливания.

ETL и ELT: ключевые различия, о которых должен знать каждый

Не хочу спорить с различными чтениями терминологии, но даже на сайте Oracle написано:

In an ETL-style interface, ODI processes the data in a staging area, which is different from the target. The data is first extracted from the source(s) and then loaded to the staging area. The data transformations take place in the staging area and the intermediate results...

По мне это ELT в чистом виде. Для того чтобы трансформировать нужно загрузить либо в целевую систему, либо в другую (но в случае ODI - только в СУБД), но которая умеет делать трансформации. Сам ODI ничего в этом плане не умеет, он только генерирует SQL скрипты. А уж целевая это система или нет - это не столь важно в подходе ELT. Строго говоря это ELTL подход.

ETL и ELT: ключевые различия, о которых должен знать каждый

Нет, все таки ELT, у него нет своего движка трансформации. Например, чтоб совершить преобразования над данными из CRM или из другого любого не SQL источника, необходимо его загрузить. Поэтому ELT

Ну, и в Википедии, если достоверный для вас источник : https://en.m.wikipedia.org/wiki/Oracle_Data_Integrator

ETL и ELT: ключевые различия, о которых должен знать каждый

Кроме того, существуют вполне себе необлачные ELT решения типа Oracle Data Integrator (устарела уже даже), Stambia. То, что ELT чаще применяется теперь в облаках совершенно не означает, что подхода не было раньше. Идея старая, но её обоснование применения немного изменилось. Если раньше были распространены массово-параллельные БД, кластерные БД, которые лучше знали как быстрее обработать хранящиеся у них данные (иногда и нет, надо отметить), то сейчас это воркер-ноды различных систем, будь то Spark, BigQuery, Synapse и т.д.

И я уж не говорю о том, что на любом ETL решении можно построить ELT, если это поддерживает или источник или целевая система (или staging). Не всегда, правда, это будет соответствовать Best practices, но в теории можно.

Как я делаю опенсорсную статусную панель «я занят»

Хорошая разработка, но тут уже писали, что скорее всего проблема с позиционированием себя в коллективе.

Не знаю как у вас, у нас вполне достаточно красного статуса в тимсе, чтоб тебя не беспокоили. Юниоры и мидлы и так не подойдут, если им не назначено, а те, кто повыше не будут ждать пока на этой поделке загорится зелёный. У них нет времени и оно стоит дороже.

S7 Airlines перешла менее чем за сутки на новую систему бронирования

российскую «Онлайн резервейшен систем

Ноу комментс, что говорить

Синхронный «запрос-ответ» с использованием REST и Apache Kafka

Угу, тоже было ощущение, что немного костыльное решение. А что за взаимодействие с тикетами, не подбросите ссылку для вдумчивого самостоятельного чтения, пожалуйста?

Большим данным настал конец. Databricks, Snowflake и конец неоправданного хайпа

А почему kafka с databricks не подходит? Hdfs вы имеете в виду не в облаке, а в в своих датацентрах?

Большим данным настал конец. Databricks, Snowflake и конец неоправданного хайпа

Что значит верить в будущее bigdata вообще? Оно уже настоящее. Всё вот эти продукты и Snowflake и Bigquery и т.д. и т.п. они и так созданы и используются и будут использоваться для обработки данных, которые невозможно (или лень, или дорого, или просто так модно потому что "мы datadriven компания") обрабатывать на своих мощностях.

Большим данным настал конец. Databricks, Snowflake и конец неоправданного хайпа

Я так понял он на lakehouse и ворчит. Но вообще, статья ни о чем. Сравнивать всю инфраструктуру Databricks со snowflake ну такое. Единственное, что было для меня полезным, так это то, что я про Fivetran раньше почему то не слышал, сейчас вот посмотрю.

Это должен иметь каждый, работающий из дома на корпоративном лаптопе

Да, есть программы, дергающие мыши, но если есть страх мониторинга или отсутствие прав на их установку, то можно тупо поместить курсор в адресную строку браузера и положить камень на пробел.

Это и называется "положить на работу"))

Информация

В рейтинге
2 066-й
Откуда
Paris, Paris, Франция
Дата рождения
Зарегистрирован
Активность