Александр @BerdBerdread-only
Инженер/аналитик данных, дата сайнтист, бекендер
Information
- Rating
- Does not participate
- Location
- Лимассол, Government controlled area, Кипр
- Registered
- Activity
Specialization
Data Scientist, Data Engineer
Lead
SQL
Git
Database
PostgreSQL
Linux
Spark
DWH
ClickHouse
Python
Flask
+1
Я когда работал в МегаФоне, лет 10 назад - уже тогда были популярны идеи "единого хранилища".
Мне кажется, ещё многие поколения менеджеров смогут на единых хранилищах бабло осваивать...
Главный вопрос по этой статье: как сейчас в РФ купить лицензию на MS SQL Server?
На Кипре значительно лучше)
Живу в Лимассоле, мне до моря 1 час пешком, можно найти 10 минут пешком.
Солнечно каждый день, плохой погоды практически не бывает, зимы нет, на деревьях мандарины растут. Хачей, опять же, нет. И нормальная европейская страна - а не СНГ помойка.
Из минусов: дорогая аренда недвиги (от 1К до 2К евро в месяц) и греческий язык (хотя везде по-английски понимают).
Вот тут с 33 по 35 страницу:
https://kpfu.ru/staff_files/F_1287789421/Osteokhondroz_LFK__2.pdf
Сам занимаюсь по этой методике - очень сильно помогает.
по 10-12 повторений.
Если на весь комплекс не хватает сил - то хотя бы первые 12 упражнений.
За месяц занятий каждый день у меня прошёл болевой симптом спины.
Захотите подробнее - пишите в личку!
Тоже занимался поверлифтингом и гонялся за весами.
Проблемы со здоровьем обнаружил после 2й грыжи (как выяснилось, если у вас грыжа - это уже не вылечить. Можно только купировать симптомы - сама грыжа с вами на всю жизнь).
Крайне рекомендую вам срочно бежать к хирургу/ортопеду, и потом по назначению на МРТ всей спины и поясницы, даже если это будет платно.
Реально - если послушаете и сделаете это прям на этой неделе - потом будете дико благодарны.
Всегда поражало, как обладая настолько зашумлёнными данными, умудряетесь делать какую-то аналитику?
Так что в итоге - залили их версию и их не указали - или же человек исправил проблему по-своему - ну и соответственно их тоже не указал как авторов (итоговый код же писали не они)?
В левой команде 2 дизайнера, 2 бекендера и 1 фронт - тяжело ему будет...
Я фулстек - и по моему опыту на 1 час бекенд разработки - приходится 2-3 часа фронта.
А из csv данные можно загружать?
Всего 3 коннектора - это очень мало.
+ещё вопрос - не будет ли яндекс сливать данные или следить за сервером, на котором всё будет развёрнуто?
Ну так если из-за использования не нативного кабеля будут проблемы - нужно просто в ЕС на них в суд подать.
Статья в целом хорошая, но заголовок напомнил мне одну историю:
Менторил я когда-то людей, и моей фишкой было менторить вплоть до Senior уровня.
Созваниваюсь я с одним менти - он спрашивает: "как мне максимально быстро достичь Senior уровня?"
Я спрашиваю: какие технологии и как хорошо знаешь, сколько лет опыта?
Он говорит: "Ну, по резюме 4 года опыта".
-А в реальности?
-А в реальности - год.
Сначала прочитал как "25 мбит/с" и подумал - ну и фигня - у меня уже через вайфай по 300 мбит/сек.
Потом прочитал правильно - и как дошло!
25 гбит/с - это действительно круто!
Канал как у небольшой страны где-то в африке целиком...
Помню как делали электронное голосование - и чем это закончилось.
А этот паспорт вводят как раз к выборам - очень удобно: пришёл человек, с телефона что-то показал - проголосовал - потом на другой участок пошёл.
Других причин это делать не вижу - чтобы всё автоматизировать и номера бумажного паспорта достаточно.
Очень странный совет про узкую нишу.
На мой взгляд - наоборот, нужно искать что-то максимально широкое и востребованное.
Грубо говоря - учишь SQL - потом без работы точно не останешься - т.к. данные хранить нужно всем. И в любом проекте будет нужен базист/инженер данных/DBA.
Ну чего вы душните то?
Да, статья полный отстой - мало теории и объяснений.
Но надо же с чего-то начинать?
Если всех гнобить - никто пробовать писать не будет
Останутся только новостные статьи или про железо прошлого века.
Сначала хотел написать какой-то саркастический комментарий на эту новость - потому подумал, что новость и сама по себе достаточно смешная.
Доход в час на уровне стояния на кассе в маке.
Так дёшево ценить свой труд - себя неуважать.
План обучения (для работы с линуксом нужно арендавать самый дешманский VPS с линукс сервером - ubuntu linux 20 например, я хостюсь в ruvds, вот промокод если там же будете: PUI-IES-XLW) :
Подключение по ssh (putty) и по sftp (mobaXterm)
Топ 10 базовых команд - любой такой видос на ютубе. ls, cd, mkdir, chmod, cp, unzip, mv, head/tail
Где смотреть логи ошибок.
Что такое systemctl и системные демоны.
Установка на линуксовый сервер каких-то базовых программ через apt get
Запуск скриптов python на линуксовом сервере. Учимся пользоваться pip3
Запуск скриптов по chron.
установка PostgreSQL на линуксовый сервер - и настройка доступа - чтобы со своего ноутбука можно было к серверу подключаться - а не только по ssh работать.
Развёртывание airflow на линуксовом сервере. Вот моя статья по которой делаем: https://habr.com/ru/articles/547936/
Дальше нужно очень много SQL заниматься: базовые типы данных, создание таблиц, 3 нормальная форма, звезда/снежинка.
Дальше решать задачки по SQL (месяц, по 2 часа каждый день) https://www.sql-ex.ru/
На https://www.sql-ex.ru/ задрачивать все задачи, какие только можно. На собеседовании как минимум 1-2 вопроса будут типа таких.
Ещё SQL: group by, partitons, оконные функции, nested loops/hash join/merge join. Как работает оптимизатор запросов. Как смотреть план выполнения запросов.
Потом мы для Airflow сделали 2 дага: оба с выгрузкой данных из открытых API. В одном даге выгружали данные о курсах валют, в другом - о погоде. А потом на собесе тестовое задание было 1 в 1 такое же - выгрузить данные из API в базу.
Для 14 пунка нужно освоить как создавать таблицы и делать вставку данных в таблицы используя SQLAlchemy ORM.
На мидла по нижней планке получил оффер.