Search
Write a publication
Pull to refresh
-7
Александр @BerdBerdread⁠-⁠only

Инженер/аналитик данных, дата сайнтист, бекендер

Send message

+1

Я когда работал в МегаФоне, лет 10 назад - уже тогда были популярны идеи "единого хранилища".

Мне кажется, ещё многие поколения менеджеров смогут на единых хранилищах бабло осваивать...

Главный вопрос по этой статье: как сейчас в РФ купить лицензию на MS SQL Server?

На Кипре значительно лучше)

Живу в Лимассоле, мне до моря 1 час пешком, можно найти 10 минут пешком.

Солнечно каждый день, плохой погоды практически не бывает, зимы нет, на деревьях мандарины растут. Хачей, опять же, нет. И нормальная европейская страна - а не СНГ помойка.

Из минусов: дорогая аренда недвиги (от 1К до 2К евро в месяц) и греческий язык (хотя везде по-английски понимают).

Вот тут с 33 по 35 страницу:

https://kpfu.ru/staff_files/F_1287789421/Osteokhondroz_LFK__2.pdf

Сам занимаюсь по этой методике - очень сильно помогает.

по 10-12 повторений.

Если на весь комплекс не хватает сил - то хотя бы первые 12 упражнений.

За месяц занятий каждый день у меня прошёл болевой симптом спины.

Захотите подробнее - пишите в личку!

Тоже занимался поверлифтингом и гонялся за весами.

Проблемы со здоровьем обнаружил после 2й грыжи (как выяснилось, если у вас грыжа - это уже не вылечить. Можно только купировать симптомы - сама грыжа с вами на всю жизнь).

Крайне рекомендую вам срочно бежать к хирургу/ортопеду, и потом по назначению на МРТ всей спины и поясницы, даже если это будет платно.

Реально - если послушаете и сделаете это прям на этой неделе - потом будете дико благодарны.

Всегда поражало, как обладая настолько зашумлёнными данными, умудряетесь делать какую-то аналитику?

Однако если задачу выполнил ты, но очередное звание присвоили командиру, а тебя просто похлопали по плечу, то остаётся осадочек.

Так что в итоге - залили их версию и их не указали - или же человек исправил проблему по-своему - ну и соответственно их тоже не указал как авторов (итоговый код же писали не они)?

В левой команде 2 дизайнера, 2 бекендера и 1 фронт - тяжело ему будет...

Я фулстек - и по моему опыту на 1 час бекенд разработки - приходится 2-3 часа фронта.

набор основных коннекторов (PostgreSQL, ClickHouse и YTsaurus)

А из csv данные можно загружать?

Всего 3 коннектора - это очень мало.

+ещё вопрос - не будет ли яндекс сливать данные или следить за сервером, на котором всё будет развёрнуто?

Ну так если из-за использования не нативного кабеля будут проблемы - нужно просто в ЕС на них в суд подать.

Статья в целом хорошая, но заголовок напомнил мне одну историю:

Менторил я когда-то людей, и моей фишкой было менторить вплоть до Senior уровня.

Созваниваюсь я с одним менти - он спрашивает: "как мне максимально быстро достичь Senior уровня?"

Я спрашиваю: какие технологии и как хорошо знаешь, сколько лет опыта?

Он говорит: "Ну, по резюме 4 года опыта".

-А в реальности?

-А в реальности - год.

Сначала прочитал как "25 мбит/с" и подумал - ну и фигня - у меня уже через вайфай по 300 мбит/сек.

Потом прочитал правильно - и как дошло!

25 гбит/с - это действительно круто!

Канал как у небольшой страны где-то в африке целиком...

Помню как делали электронное голосование - и чем это закончилось.

А этот паспорт вводят как раз к выборам - очень удобно: пришёл человек, с телефона что-то показал - проголосовал - потом на другой участок пошёл.

Других причин это делать не вижу - чтобы всё автоматизировать и номера бумажного паспорта достаточно.

Так выпьем же за кибернетику!

Очень странный совет про узкую нишу.

На мой взгляд - наоборот, нужно искать что-то максимально широкое и востребованное.

Грубо говоря - учишь SQL - потом без работы точно не останешься - т.к. данные хранить нужно всем. И в любом проекте будет нужен базист/инженер данных/DBA.

Ну чего вы душните то?

Да, статья полный отстой - мало теории и объяснений.

Но надо же с чего-то начинать?

Если всех гнобить - никто пробовать писать не будет

Останутся только новостные статьи или про железо прошлого века.

Сначала хотел написать какой-то саркастический комментарий на эту новость - потому подумал, что новость и сама по себе достаточно смешная.

Доход в час на уровне стояния на кассе в маке.

Так дёшево ценить свой труд - себя неуважать.

План обучения (для работы с линуксом нужно арендавать самый дешманский VPS с линукс сервером - ubuntu linux 20 например, я хостюсь в ruvds, вот промокод если там же будете: PUI-IES-XLW) :

  1. Подключение по ssh (putty) и по sftp (mobaXterm)

  2. Топ 10 базовых команд - любой такой видос на ютубе. ls, cd, mkdir, chmod, cp, unzip, mv, head/tail

  3. Где смотреть логи ошибок.

  4. Что такое systemctl и системные демоны.

  5. Установка на линуксовый сервер каких-то базовых программ через apt get

  6. Запуск скриптов python на линуксовом сервере. Учимся пользоваться pip3

  7. Запуск скриптов по chron.

  8. установка PostgreSQL на линуксовый сервер - и настройка доступа - чтобы со своего ноутбука можно было к серверу подключаться - а не только по ssh работать.

  9. Развёртывание airflow на линуксовом сервере. Вот моя статья по которой делаем: https://habr.com/ru/articles/547936/

  10. Дальше нужно очень много SQL заниматься: базовые типы данных, создание таблиц, 3 нормальная форма, звезда/снежинка.

  11. Дальше решать задачки по SQL (месяц, по 2 часа каждый день) https://www.sql-ex.ru/

  12. На https://www.sql-ex.ru/ задрачивать все задачи, какие только можно. На собеседовании как минимум 1-2 вопроса будут типа таких.

  13. Ещё SQL: group by, partitons, оконные функции, nested loops/hash join/merge join. Как работает оптимизатор запросов. Как смотреть план выполнения запросов.

  14. Потом мы для Airflow сделали 2 дага: оба с выгрузкой данных из открытых API. В одном даге выгружали данные о курсах валют, в другом - о погоде. А потом на собесе тестовое задание было 1 в 1 такое же - выгрузить данные из API в базу.

  15. Для 14 пунка нужно освоить как создавать таблицы и делать вставку данных в таблицы используя SQLAlchemy ORM.

На мидла по нижней планке получил оффер.

Information

Rating
Does not participate
Location
Лимассол, Government controlled area, Кипр
Registered
Activity

Specialization

Data Scientist, Data Engineer
Lead
SQL
Git
Database
PostgreSQL
Linux
Spark
DWH
ClickHouse
Python
Flask