Любая работа должна оцениваться нормальным специалистом, должны накидываться часы минимум 10% на форс-мажоры. Если много логики, много непонятных ранее моментов, то запасных часов может оказаться как 50%, так и 100. Сроки определяет не бизнес, а исполнитель. Если исполнитель не попадает в сроки, устраивающие бизнес - увеличивайте штат разрабов или двигайте дедлайны вправо, иначе выйдет говно, которое придется переделывать, что будет дороже.
Если что то можно сделать костылем или долго, то делаем долго. Любой костыль рано или поздно становится стоп-фактором, который потребует пристрелить проект. Это закон. Если сейчас костыль родили за 5 часов вместо нормальной реализации за 40ч, то потом выкинете в помойку тысячи часов и начнете закапывать еще тысячи на новую реализацию. Любого сотрудника, который предлагает костылить или который сделал костыль, надо привязывать к лавке и каждый сотрудник компании должен подойти и высечь его розгами. Чтобы навсегда запомнил, насколько говнокод - это больно. У него должен появиться рефлекс: костыль = очень много боли. А тимлида, который пропускает костыли в работу - гнать ссаными тряпками. В любой работе, в любой среде костыли потом несут кровь, боль, хаос.
Все очень относительно. С одной стороны, 99% выполняемых ежедневно задач DevOps-а не требуют глубинных знаний по IP-адресации. Ему дали вводные, инженер вбил инфу в конфиг и все заработало. Реально он может 20 лет отработать без знания как порезать сетку /8 или /16 на подсети /29 и другие, как работает протоколы OSPF/BGP, чем отличаются POST от GET. С другой стороны, DevOps - это не про деплой, методологию, а про постоянное расширение своих знаний вглубь вширь, про ежедневную учебу.
Совет автору: вам нужно выполнять стандартные DevOps-задачи? Тогда нанимайте людей, которые показали хорошие знания и навыки в вашем DevOps-стеке. И раз в квартал проводите переаттестацию. Планируйте ему трек развития знаний, требуйте (финансовая мотивация) от него непрерывного роста НУЖНЫХ ВАМ дополнительных знаний из базы. Если сразу определитесь, что вам нужны не гении (а готовы им соответственно платить???), а просто качественные работники, то количество собеседований сократится в разы или на порядок. Я сам провел сотни собеседований, сам прошел десятки собеседований и понял одно: нужен усредненный набор знаний и опыта, все что недоучил - доучит в ходе работы. Сделайте сетку из 20-30 навыков от минимального джуна до эксперта/сеньора и разбейте зарплату на маленькие части. По результатам переаттестации и повышайте зарплату на нужное количество ступенек. Не показывает движения 2-3 раза - значит человек не растет, повышать не за что. Если за один квартал/полугодие закрыл несколько пробелов знаний, то повышайте соответственно на эту же сумму. Все должно быть прозрачно и каждый должен понимать, сколько, за что и когда он будет получать в з.п.
Товарищ ездил по Украине пару лет назад - там на мове добровольно разговаривает процентов 20. Большинство из русскоговорящих 80% мову знают в той или иной степени, но как любой иностранный язык - с помощью жестов и мата помогают объясниться с окружающими.
>Поинтересуйтесь, как законодательства принимающих стран рассматривают "туристов", приехавших работать удалённо.
1. Я много лет интересуюсь темой релокейта. В Тае можно открыть фирму и легально работать. Можно приехать по туристической визе и с регулярными виза-ранами жить там годами. Чем ты занимаешься дома за закрытыми дверями, трахаешься с кем то или работаешь удаленно - ни в одном государстве никто не может проконтролировать. Так что на этот счет вообще не стоит париться. Можно оформить годовую студенческую визу и официально учить английский или тайский язык пару часов в день. Что ты делаешь все остальное время - никто не знает. Можно просто устроиться в тайскую фирму работать.
Они весьма лояльно относятся к "туристам", если те работают на работодателя за пределами Тайланда, оплату получают на карту за пределами Тайланда и только тратят в Тае. Были уже такие случаи, когда человека "спалили" за работой на удаленке, но потом не стали ничего предпринимать.
>Сразу видно, что вы ни разу в жизни не бывали в один день на работе и на море.
БУГАГА! Показать фотку, как я с ноутом лежу в шезлонге отеля у бассейна? Показать, как я с пивом и том-ямом сижу перед ноутом у бассейна? Я только в Тае 3 раза так работал во время отпуска то по 2, то по 3 недели. Жена с ребенком плещутся в бассейне или в море, а мне надо срочно сдать какой то документ и я часами там работал.
>Днём на море ходят только туристы.
Каждый сам решает, что себе позволять. Если человек - разработчик, тестировщик и график позволяет, то только он сам себе ставит границы, в которых хочет жить.
>даже возможность сходить на море перед работой не спасает от выгорания.
Выгорание - это для современной полудохлой молодежи-миллениалов со смузи, вейпами и айподом. Поколение родом из 90-х знает, что человек должен въебывать как лошадь, а потом должен отдыхать. У нас эта функция просто не встраивалась при рождении. Мы к выгорающим относимся просто как к лентяям, которые не хотят и не умеют работать.
Написала заяву - значит через 2 недели свободна. Есть деньги - отдает. Нет денег - пусть на нее подают в суд. Если свалила в Тай, то там ее вообще хер кто найдет. Если не свалила, то в суде докажет, что какая то часть ей нужна на жизнь. Будет часть зарплаты отчисляться бывшему работодателю, а она уже будет работать уже на новом месте с большей зарплатой и в нормальных условиях. пока ничего нерешаемого я не увидел. Какие то мега-проблемы у вас ну вообще не мега... По сравнению с тем, в какие говна я попадал и выкручивался, это вообще фигня. Поэтому получается, что она слишком тупая и слабая чтобы выжить. Эволюция
Мне пофигу на психологию. Я сам бросал престижную, но геморройную работу и уходил "вникуда" ради более нормальных условий и повышения зарплаты. Было страшно, было тяжело, но без рисков и сложностей успеха не добиться. А если человек сел на жопке ровно, сложил лапки и тихонько под подушкой плачет до тех пор, пока не сдох от переработок, то он сам дурак. Эволюция говорит, что он оказался слишком слаб для выживания. Это не метеорит ее прихлопнул. Не война ее убила. Не какая то злая воля третьих лиц. Она сама себя загоняла до смерти. Жалеть таких я не могу. Просто очередной номинант на премию Дарвина
Я - реалист, который за последние несколько лет сменил несколько работ ради повышения зарплаты. Если человека не заперли в яму и он айтишник, то я не вижу причин для того, чтобы это не реализовать. Будет просто? Нет, чтобы чего то добиться, надо вкалывать. Но при желании она в течение года переехала бы.
В смысле рабом? Ее приковали к батарее? Она в любой стране может работать на работодателя из любой точки мира. Неделю посидела на hh.ru, выбрала из тысяч вакансий с максимальной оплатой, написала заяву на увольнение и через 2 недели свалила в Тай. Утром 4 часа поработала, 2-3 часа потусила на море, вернулась и еще 4 часа поработала. Вечером - погулять, потусить. Никакого выгорания. Сама решила сдохнуть
В реальности, работая на самых распространенных задачах, тебе продвинутая математика может не пригодиться и за 20 лет. Какие то мелочи, типа массивов и графов могут возникать в некоторых направлениях, но глубокое знание математики - это пустая трата времени для подавляющего большинства программистов.
Я написал свою первую программу на бейсике в 88 году. Потом было много всего: и асм, и С/С++, и РНР, и 1С и т.д. Бухгалтерия? Там какие то отчеты, запросы, выборки, отображение. Сайты? Получил, отпарсил, отфильтровал, положил в базу, выбрал из базы, отобразил. Битра? ООП, выборки, логика, отображение, доп.сущности. Ты сушишь голову несколько лет в институте разными аспектами высшей математики, а на практике ИТ и высшая математика очень редко пересекаются. Школьной программы "за глаза" для решения большинства задач.
Я написал свою первую программу на бейсике в 88 году. Потом было много всего: и асм, и С/С++, и РНР, и 1С и т.д. Бухгалтерия? Там какие то отчеты, запросы, выборки, отображение. Сайты? Получил, отпарсил, отфильтровал, положил в базу, выбрал из базы, отобразил. Битра? ООП, выборки, логика, отображение, доп.сущности. Ты сушишь голову несколько лет в институте разными аспектами высшей математики, а на практике ИТ и высшая математика очень редко пересекаются. Школьной программы "за глаза" для решения большинства задач.
>Хотите проверить свои способности в парсинге — Леруа Мерлен, регионы Москва + Питер, данные каждый день по всем товарам. Получится?
Код довольно простой для парсинга. И не такое парсили. Защита? А что они проверяют? Частоту захода с одного адреса? Так не надо заходить с одного адреса. Берем общедоступные списки проксиков, отдельным потоком их качаем, другим потоком проверяем на эталонной странице, потом через него выкачиваем одну страницу товаров и переходим к другому. Проксики не должны повторяться в течение хотя бы 15 минут. Между проверками можно добавлять рэндомный интервал. Защищаются по браузеру/окружению/агенту? Сделайте подборку реальных разрешений, языков, ОС, браузеров и каждому запросу придавайте уникальный "вид". Это - хром из винды с разрешением 4к, это обращение - мобилка-огрызкофон с сафари, это - линуксовый клиент с огнелисом и разрешением 2к. Я когда hh полностью парсил по своему региону, пришлось постоянно догонять их. Только что отдавали - раз, уже не отдают. Ввели новую защиту. Ок, обходим ее и парсим еще несколько дней.
>Мы с вами работаем :)
Да, но нет. Бизнес-модель низкомаржинальная и нежизнеспособная. Перед тем, как начинать какой то бизнес, нужно определить целевую аудиторию, примерный порядок потребителей вашего товара, насыщенность рынка, перспективы роста. Уже сейчас видно, что целевая аудитория минимальна. Донести до них информацию о своих услугах крайне проблематично. Реклама в интернете - самый дорогой вид рекламы и процент лидов с него (на каждый потраченный рубль) самый низкий. Даже существующие клиенты понимают, что при постоянной потребности проще посадить мальчика на 50к где-нибудь в регионе, который будет им клепать аналитику, чем отдавать вам сотни тысяч рублей. Поэтому со временем клиенты будут уходить.
>Цена за сайт при таком количестве снижается до 2000 р. в месяц, а работы очень много.
Это не просто низкомаржинально. Это - вообще убыточно. 2000-2500р и более - цена часа работы программиста для заказчика при заказе услуги в регионах. Компании с таким ценнником еле держатся на плаву, выручают объемы. Как только малейший факап, срок работ выползает за оценку и проект тут же становится убыточным. Нужен какой то "спонсор", который будет оплачивать все просадки в деньгах. Штрафы, факапы, скидки - все это потери, которые рано или поздно могут привести к разорению компании. Пока есть время, руки, готовая команда, лучше заранее изучить варианты и начать мигрировать в другую область работ. Там, где перспективы роста намного реальней, целевую аудиторию проще найти и она шире. Остаться без работы через несколько лет роста будет очень больно
В реальности, работая на самых распространенных задачах, тебе продвинутая математика может не пригодиться и за 20 лет. Какие то мелочи, типа массивов и графов могут возникать в некоторых направлениях, но глубокое знание математики - это пустая трата времени для подавляющего большинства программистов.
Я написал свою первую программу на бейсике в 88 году. Потом было много всего: и асм, и С/С++, и РНР, и 1С и т.д. Бухгалтерия? Там какие то отчеты, запросы, выборки, отображение. Сайты? Получил, отпарсил, отфильтровал, положил в базу, выбрал из базы, отобразил. Битра? ООП, выборки, логика, отображение, доп.сущности. Ты сушишь голову несколько лет в институте разными аспектами высшей математики, а на практике ИТ и высшая математика очень редко пересекаются. Школьной программы "за глаза" для решения большинства задач.
Автору спасибо за интересную и полезную статью. Задумка, в целом интересная, но реально многим не нужны такие объемы информации. Правильно было бы сделать возможность GET/POST-запросом выбор отдельных регионов, отдельных сущностей, отдельных справочников. Т.е. если тебе не нужно ничего кроме инфы по одному региону или даже городу, то была бы возможность выкачивать справочник объемом в мегабайты, а не гигабайты. По домам я бы добавил деление по квартира-подъезд, если его еще нет. По домам я бы добавил широту и долготу, если этого еще нет.
До кучи - DevOps. Большой стек нужных продуктов должен накладываться на хорошую базу по сетям, виртуализации, Linux, программирования и т.д. Студент посмотрит на зарплаты и захочет "с нуля" прыгнуть на должность девопса, а потом будет глазами лупать когда без нормальной базы прилетят реальные задачи. Сложная диагностика и локализация, проблемы связи смежных систем, все это невозможно решать без понимания работы сетевых протоколов, маршрутизации, сетевой фильтрации, API, REST, механизмов сборки ПО, азов программирования и т.д.
>для разбора кода. Часто приходится глядеть в сорсы опенсорс инструментов, чтобы понимать, как это работает (а вернее - не работает таким образом, как вы думаете).
Фраза ---------------------------------------------------------------------------------------------------------------------- "Язык не принципиален. Если это конечно не PHP или не Perl =) Самые популярные и удобные варианты — это Python и Go." ---------------------------------------------------------------------------------------------------------------------- здесь уже не подходит. Если проект написан на C# или Java, то язык очень даже принципиален и будет отличаться, как от питона, так и от го.
>Я могу сесть и поплакать, а могу форкнуть код и переписать так, чтоб умел
Аналогично. Если инструмент написан на Java, то знание нужного языка - принципиально. Если допиливается готовый инструмент в виде API-костыля, который будет прокладкой между инструментом и БД, то да, язык не принципиален. Это может быть и C#, Perl, PHP, Java. Если код инструмента написан на ASM-е или Erlang-е и надо дописать именно его, то знание питона не поможет никак.
>для написания своих инструментов. Вы писали на C#, Python, Perl, PHP, Go? На уровне девопсовских задач все эти языки абсолютно одинаковы. Что есть у Python и Go такого специфического, чего не умеет Perl, PHP? У меня есть опыт программирования примерно на 15 языках, включая Basic, 1C, Pascal, ASM86-486, PHP, C, C++, Perl, PHP, JS и т.д. Доки по C#, Ruby, Python и Go я пробежался "по-диагонали" чтобы понимать, есть ли смысл гоняться за модой и бросаться изучать новый язык или оставлять инструменты на том, что знаю. Ничего какого то революционного у них нет. Чуть другой синтаксис, чуть другая логика работы, но чего то прямо "вау!!!" я не обнаружил. Каждые 3-5 лет всплывает мода на новый язык, пока одни пытаются дорасти хотя бы до уверенного миддла, модный язык уже меняется. Только что пиковые зарплаты были у "шарпистов", через 3 года у питонистов, через 5 лет у явистов, сейчас у какого-нибудь Rust с сообществом в 5к человек на весь мир.
>То есть - вам придётся использовать те же языки, на которых написана инфраструктурщина. Терраформ на го написан.
Битрикс24 - на PHP, как и куча других продуктов.
>"у нас тут куча техплатформенного кода на пайтоне, и пайплайн под пайтон, и автодеплой, и линтеры,
Все то же самое можно сказать про Erlang и Java. У меня сейчас один из проектов именно на Java. И тут пришел кандидат со своим Go. Эй, кто там следующий?
>Язык не принципиален. Если это конечно не PHP или не Perl =) Самые популярные и удобные варианты — это Python и Go. Интересно, чем PHP или Perl не угодили и чем Python и Go лучше указанных языков, кроме моды на них? Простейшая обработка входных массивов данных и выплюнуть все в файл - задача одинаково легкая и удобная как в Python, так и в PHP, Java, Ruby, C, C++, R, C#, Rust и еще кучи современных языков. Даже сраный древний Pascal справится с этим не хуже питона. PHP и Perl отлично и быстро молотят огромные объемы текста. PHP обычно даже проще, удобнее, комфортнее в плане разработки скриптов и код получается обычно лаконичней того же питона. Если ты отлавливаешь баг в PHP, то ты знаешь, что проблема с кодом, а не в том, что где то пробел лишний или не добили до ожидаемого количества. Я уж не говорю про кусок кода, скопированного с какого то сайта. Код на PHP или Perl просто скопировал и запустил, а питоновский будешь форматировать пол часа, разбираясь с пробелами. А для огромного количества задач и обычного Bash-а хватает.
Парень уверенно встал на тропу BlackHat хакеров, отсидел, не исправился. Чего он ожидал, медали? Один перевод денег в битках, потом в киви и на сбер уже говорит о попытках запутать следы. И получение лицензии, фирмы, оформление софта как ПО для ИБ, не привело бы к сроку. Он занимается незаконной деятельностью, продает хакерский софт на хакерских форумах, никакие налоги не платит и потом ноет, что его повязали? Я тоже по юности баловался хакерством, но по исключительно по заветам WhiteHat. Просто изучал защиты, потом рассказывал админам про уязвимости. А вот моих менее законопослушных знакомых присадили и я решил не рисковать. Все это интересно, но всегда есть риск получить срок от людей, которые не будут разбираться, чем этичные хакеры отличаются от вредоносов
Автор, Вам стоит поработать над стилем изложения. Какой то непонятный сумбур, иногда непонятно, что пытались сказать. Давайте кому-нибудь почитать перед публикацией.
Любая работа должна оцениваться нормальным специалистом, должны накидываться часы минимум 10% на форс-мажоры. Если много логики, много непонятных ранее моментов, то запасных часов может оказаться как 50%, так и 100. Сроки определяет не бизнес, а исполнитель. Если исполнитель не попадает в сроки, устраивающие бизнес - увеличивайте штат разрабов или двигайте дедлайны вправо, иначе выйдет говно, которое придется переделывать, что будет дороже.
Если что то можно сделать костылем или долго, то делаем долго. Любой костыль рано или поздно становится стоп-фактором, который потребует пристрелить проект. Это закон. Если сейчас костыль родили за 5 часов вместо нормальной реализации за 40ч, то потом выкинете в помойку тысячи часов и начнете закапывать еще тысячи на новую реализацию. Любого сотрудника, который предлагает костылить или который сделал костыль, надо привязывать к лавке и каждый сотрудник компании должен подойти и высечь его розгами. Чтобы навсегда запомнил, насколько говнокод - это больно. У него должен появиться рефлекс: костыль = очень много боли. А тимлида, который пропускает костыли в работу - гнать ссаными тряпками. В любой работе, в любой среде костыли потом несут кровь, боль, хаос.
Всю эту статью можно заменить фразой: "запустите mc"
Все очень относительно. С одной стороны, 99% выполняемых ежедневно задач DevOps-а не требуют глубинных знаний по IP-адресации. Ему дали вводные, инженер вбил инфу в конфиг и все заработало. Реально он может 20 лет отработать без знания как порезать сетку /8 или /16 на подсети /29 и другие, как работает протоколы OSPF/BGP, чем отличаются POST от GET. С другой стороны, DevOps - это не про деплой, методологию, а про постоянное расширение своих знаний вглубь вширь, про ежедневную учебу.
Совет автору: вам нужно выполнять стандартные DevOps-задачи? Тогда нанимайте людей, которые показали хорошие знания и навыки в вашем DevOps-стеке. И раз в квартал проводите переаттестацию. Планируйте ему трек развития знаний, требуйте (финансовая мотивация) от него непрерывного роста НУЖНЫХ ВАМ дополнительных знаний из базы. Если сразу определитесь, что вам нужны не гении (а готовы им соответственно платить???), а просто качественные работники, то количество собеседований сократится в разы или на порядок. Я сам провел сотни собеседований, сам прошел десятки собеседований и понял одно: нужен усредненный набор знаний и опыта, все что недоучил - доучит в ходе работы. Сделайте сетку из 20-30 навыков от минимального джуна до эксперта/сеньора и разбейте зарплату на маленькие части. По результатам переаттестации и повышайте зарплату на нужное количество ступенек. Не показывает движения 2-3 раза - значит человек не растет, повышать не за что. Если за один квартал/полугодие закрыл несколько пробелов знаний, то повышайте соответственно на эту же сумму. Все должно быть прозрачно и каждый должен понимать, сколько, за что и когда он будет получать в з.п.
Товарищ ездил по Украине пару лет назад - там на мове добровольно разговаривает процентов 20. Большинство из русскоговорящих 80% мову знают в той или иной степени, но как любой иностранный язык - с помощью жестов и мата помогают объясниться с окружающими.
>Поинтересуйтесь, как законодательства принимающих стран рассматривают "туристов", приехавших работать удалённо.
1. Я много лет интересуюсь темой релокейта. В Тае можно открыть фирму и легально работать. Можно приехать по туристической визе и с регулярными виза-ранами жить там годами. Чем ты занимаешься дома за закрытыми дверями, трахаешься с кем то или работаешь удаленно - ни в одном государстве никто не может проконтролировать. Так что на этот счет вообще не стоит париться. Можно оформить годовую студенческую визу и официально учить английский или тайский язык пару часов в день. Что ты делаешь все остальное время - никто не знает. Можно просто устроиться в тайскую фирму работать.
Они весьма лояльно относятся к "туристам", если те работают на работодателя за пределами Тайланда, оплату получают на карту за пределами Тайланда и только тратят в Тае. Были уже такие случаи, когда человека "спалили" за работой на удаленке, но потом не стали ничего предпринимать.
>Сразу видно, что вы ни разу в жизни не бывали в один день на работе и на море.
БУГАГА! Показать фотку, как я с ноутом лежу в шезлонге отеля у бассейна? Показать, как я с пивом и том-ямом сижу перед ноутом у бассейна? Я только в Тае 3 раза так работал во время отпуска то по 2, то по 3 недели. Жена с ребенком плещутся в бассейне или в море, а мне надо срочно сдать какой то документ и я часами там работал.
>Днём на море ходят только туристы.
Каждый сам решает, что себе позволять. Если человек - разработчик, тестировщик и график позволяет, то только он сам себе ставит границы, в которых хочет жить.
>даже возможность сходить на море перед работой не спасает от выгорания.
Выгорание - это для современной полудохлой молодежи-миллениалов со смузи, вейпами и айподом. Поколение родом из 90-х знает, что человек должен въебывать как лошадь, а потом должен отдыхать. У нас эта функция просто не встраивалась при рождении. Мы к выгорающим относимся просто как к лентяям, которые не хотят и не умеют работать.
Написала заяву - значит через 2 недели свободна. Есть деньги - отдает. Нет денег - пусть на нее подают в суд. Если свалила в Тай, то там ее вообще хер кто найдет. Если не свалила, то в суде докажет, что какая то часть ей нужна на жизнь. Будет часть зарплаты отчисляться бывшему работодателю, а она уже будет работать уже на новом месте с большей зарплатой и в нормальных условиях. пока ничего нерешаемого я не увидел. Какие то мега-проблемы у вас ну вообще не мега... По сравнению с тем, в какие говна я попадал и выкручивался, это вообще фигня. Поэтому получается, что она слишком тупая и слабая чтобы выжить. Эволюция
Мне пофигу на психологию. Я сам бросал престижную, но геморройную работу и уходил "вникуда" ради более нормальных условий и повышения зарплаты. Было страшно, было тяжело, но без рисков и сложностей успеха не добиться. А если человек сел на жопке ровно, сложил лапки и тихонько под подушкой плачет до тех пор, пока не сдох от переработок, то он сам дурак. Эволюция говорит, что он оказался слишком слаб для выживания. Это не метеорит ее прихлопнул. Не война ее убила. Не какая то злая воля третьих лиц. Она сама себя загоняла до смерти. Жалеть таких я не могу. Просто очередной номинант на премию Дарвина
Я - реалист, который за последние несколько лет сменил несколько работ ради повышения зарплаты. Если человека не заперли в яму и он айтишник, то я не вижу причин для того, чтобы это не реализовать. Будет просто? Нет, чтобы чего то добиться, надо вкалывать. Но при желании она в течение года переехала бы.
В смысле рабом? Ее приковали к батарее? Она в любой стране может работать на работодателя из любой точки мира. Неделю посидела на hh.ru, выбрала из тысяч вакансий с максимальной оплатой, написала заяву на увольнение и через 2 недели свалила в Тай. Утром 4 часа поработала, 2-3 часа потусила на море, вернулась и еще 4 часа поработала. Вечером - погулять, потусить. Никакого выгорания. Сама решила сдохнуть
Не стоит. Чуть выше ответил:
В реальности, работая на самых распространенных задачах, тебе продвинутая математика может не пригодиться и за 20 лет. Какие то мелочи, типа массивов и графов могут возникать в некоторых направлениях, но глубокое знание математики - это пустая трата времени для подавляющего большинства программистов.
Я написал свою первую программу на бейсике в 88 году. Потом было много всего: и асм, и С/С++, и РНР, и 1С и т.д. Бухгалтерия? Там какие то отчеты, запросы, выборки, отображение. Сайты? Получил, отпарсил, отфильтровал, положил в базу, выбрал из базы, отобразил. Битра? ООП, выборки, логика, отображение, доп.сущности. Ты сушишь голову несколько лет в институте разными аспектами высшей математики, а на практике ИТ и высшая математика очень редко пересекаются. Школьной программы "за глаза" для решения большинства задач.
Я написал свою первую программу на бейсике в 88 году. Потом было много всего: и асм, и С/С++, и РНР, и 1С и т.д. Бухгалтерия? Там какие то отчеты, запросы, выборки, отображение. Сайты? Получил, отпарсил, отфильтровал, положил в базу, выбрал из базы, отобразил. Битра? ООП, выборки, логика, отображение, доп.сущности. Ты сушишь голову несколько лет в институте разными аспектами высшей математики, а на практике ИТ и высшая математика очень редко пересекаются. Школьной программы "за глаза" для решения большинства задач.
>Хотите проверить свои способности в парсинге — Леруа Мерлен, регионы Москва + Питер, данные каждый день по всем товарам. Получится?
Код довольно простой для парсинга. И не такое парсили. Защита? А что они проверяют? Частоту захода с одного адреса? Так не надо заходить с одного адреса. Берем общедоступные списки проксиков, отдельным потоком их качаем, другим потоком проверяем на эталонной странице, потом через него выкачиваем одну страницу товаров и переходим к другому. Проксики не должны повторяться в течение хотя бы 15 минут. Между проверками можно добавлять рэндомный интервал. Защищаются по браузеру/окружению/агенту? Сделайте подборку реальных разрешений, языков, ОС, браузеров и каждому запросу придавайте уникальный "вид". Это - хром из винды с разрешением 4к, это обращение - мобилка-огрызкофон с сафари, это - линуксовый клиент с огнелисом и разрешением 2к. Я когда hh полностью парсил по своему региону, пришлось постоянно догонять их. Только что отдавали - раз, уже не отдают. Ввели новую защиту. Ок, обходим ее и парсим еще несколько дней.
>Мы с вами работаем :)
Да, но нет. Бизнес-модель низкомаржинальная и нежизнеспособная. Перед тем, как начинать какой то бизнес, нужно определить целевую аудиторию, примерный порядок потребителей вашего товара, насыщенность рынка, перспективы роста. Уже сейчас видно, что целевая аудитория минимальна. Донести до них информацию о своих услугах крайне проблематично. Реклама в интернете - самый дорогой вид рекламы и процент лидов с него (на каждый потраченный рубль) самый низкий. Даже существующие клиенты понимают, что при постоянной потребности проще посадить мальчика на 50к где-нибудь в регионе, который будет им клепать аналитику, чем отдавать вам сотни тысяч рублей. Поэтому со временем клиенты будут уходить.
>Цена за сайт при таком количестве снижается до 2000 р. в месяц, а работы очень много.
Это не просто низкомаржинально. Это - вообще убыточно. 2000-2500р и более - цена часа работы программиста для заказчика при заказе услуги в регионах. Компании с таким ценнником еле держатся на плаву, выручают объемы. Как только малейший факап, срок работ выползает за оценку и проект тут же становится убыточным. Нужен какой то "спонсор", который будет оплачивать все просадки в деньгах. Штрафы, факапы, скидки - все это потери, которые рано или поздно могут привести к разорению компании. Пока есть время, руки, готовая команда, лучше заранее изучить варианты и начать мигрировать в другую область работ. Там, где перспективы роста намного реальней, целевую аудиторию проще найти и она шире. Остаться без работы через несколько лет роста будет очень больно
Статья вообще не соответствует заголовку.
В реальности, работая на самых распространенных задачах, тебе продвинутая математика может не пригодиться и за 20 лет. Какие то мелочи, типа массивов и графов могут возникать в некоторых направлениях, но глубокое знание математики - это пустая трата времени для подавляющего большинства программистов.
Я написал свою первую программу на бейсике в 88 году. Потом было много всего: и асм, и С/С++, и РНР, и 1С и т.д. Бухгалтерия? Там какие то отчеты, запросы, выборки, отображение. Сайты? Получил, отпарсил, отфильтровал, положил в базу, выбрал из базы, отобразил. Битра? ООП, выборки, логика, отображение, доп.сущности. Ты сушишь голову несколько лет в институте разными аспектами высшей математики, а на практике ИТ и высшая математика очень редко пересекаются. Школьной программы "за глаза" для решения большинства задач.
Автору спасибо за интересную и полезную статью.
Задумка, в целом интересная, но реально многим не нужны такие объемы информации. Правильно было бы сделать возможность GET/POST-запросом выбор отдельных регионов, отдельных сущностей, отдельных справочников. Т.е. если тебе не нужно ничего кроме инфы по одному региону или даже городу, то была бы возможность выкачивать справочник объемом в мегабайты, а не гигабайты. По домам я бы добавил деление по квартира-подъезд, если его еще нет. По домам я бы добавил широту и долготу, если этого еще нет.
До кучи - DevOps. Большой стек нужных продуктов должен накладываться на хорошую базу по сетям, виртуализации, Linux, программирования и т.д. Студент посмотрит на зарплаты и захочет "с нуля" прыгнуть на должность девопса, а потом будет глазами лупать когда без нормальной базы прилетят реальные задачи. Сложная диагностика и локализация, проблемы связи смежных систем, все это невозможно решать без понимания работы сетевых протоколов, маршрутизации, сетевой фильтрации, API, REST, механизмов сборки ПО, азов программирования и т.д.
>для разбора кода. Часто приходится глядеть в сорсы опенсорс
инструментов, чтобы понимать, как это работает (а вернее - не работает
таким образом, как вы думаете).
Фраза
----------------------------------------------------------------------------------------------------------------------
"Язык не принципиален. Если это конечно не PHP или не Perl =) Самые популярные и удобные варианты — это Python и Go."
----------------------------------------------------------------------------------------------------------------------
здесь уже не подходит. Если проект написан на C# или Java, то язык очень даже принципиален и будет отличаться, как от питона, так и от го.
>Я могу сесть и поплакать, а могу форкнуть код и переписать так, чтоб умел
Аналогично. Если инструмент написан на Java, то знание нужного языка - принципиально. Если допиливается готовый инструмент в виде API-костыля, который будет прокладкой между инструментом и БД, то да, язык не принципиален. Это может быть и C#, Perl, PHP, Java. Если код инструмента написан на ASM-е или Erlang-е и надо дописать именно его, то знание питона не поможет никак.
>для написания своих инструментов.
Вы писали на C#, Python, Perl, PHP, Go? На уровне девопсовских задач все эти языки абсолютно одинаковы. Что есть у Python и Go такого специфического, чего не умеет Perl, PHP? У меня есть опыт программирования примерно на 15 языках, включая Basic, 1C, Pascal, ASM86-486, PHP, C, C++, Perl, PHP, JS и т.д. Доки по C#, Ruby, Python и Go я пробежался "по-диагонали" чтобы понимать, есть ли смысл гоняться за модой и бросаться изучать новый язык или оставлять инструменты на том, что знаю. Ничего какого то революционного у них нет. Чуть другой синтаксис, чуть другая логика работы, но чего то прямо "вау!!!" я не обнаружил. Каждые 3-5 лет всплывает мода на новый язык, пока одни пытаются дорасти хотя бы до уверенного миддла, модный язык уже меняется. Только что пиковые зарплаты были у "шарпистов", через 3 года у питонистов, через 5 лет у явистов, сейчас у какого-нибудь Rust с сообществом в 5к человек на весь мир.
>То есть - вам придётся использовать те же языки, на которых написана инфраструктурщина. Терраформ на го написан.
Битрикс24 - на PHP, как и куча других продуктов.
>"у нас тут куча техплатформенного кода на пайтоне, и пайплайн под пайтон, и автодеплой, и линтеры,
Все то же самое можно сказать про Erlang и Java. У меня сейчас один из проектов именно на Java. И тут пришел кандидат со своим Go. Эй, кто там следующий?
>Язык не принципиален. Если это конечно не PHP или не Perl =) Самые популярные и удобные варианты — это Python и Go.
Интересно, чем PHP или Perl не угодили и чем Python и Go лучше указанных языков, кроме моды на них? Простейшая обработка входных массивов данных и выплюнуть все в файл - задача одинаково легкая и удобная как в Python, так и в PHP, Java, Ruby, C, C++, R, C#, Rust и еще кучи современных языков. Даже сраный древний Pascal справится с этим не хуже питона. PHP и Perl отлично и быстро молотят огромные объемы текста. PHP обычно даже проще, удобнее, комфортнее в плане разработки скриптов и код получается обычно лаконичней того же питона. Если ты отлавливаешь баг в PHP, то ты знаешь, что проблема с кодом, а не в том, что где то пробел лишний или не добили до ожидаемого количества. Я уж не говорю про кусок кода, скопированного с какого то сайта. Код на PHP или Perl просто скопировал и запустил, а питоновский будешь форматировать пол часа, разбираясь с пробелами. А для огромного количества задач и обычного Bash-а хватает.
Парень уверенно встал на тропу BlackHat хакеров, отсидел, не исправился. Чего он ожидал, медали? Один перевод денег в битках, потом в киви и на сбер уже говорит о попытках запутать следы. И получение лицензии, фирмы, оформление софта как ПО для ИБ, не привело бы к сроку. Он занимается незаконной деятельностью, продает хакерский софт на хакерских форумах, никакие налоги не платит и потом ноет, что его повязали? Я тоже по юности баловался хакерством, но по исключительно по заветам WhiteHat. Просто изучал защиты, потом рассказывал админам про уязвимости. А вот моих менее законопослушных знакомых присадили и я решил не рисковать. Все это интересно, но всегда есть риск получить срок от людей, которые не будут разбираться, чем этичные хакеры отличаются от вредоносов
Автор, Вам стоит поработать над стилем изложения. Какой то непонятный сумбур, иногда непонятно, что пытались сказать. Давайте кому-нибудь почитать перед публикацией.
Ну как, смысл есть - 1000р за статью. 5 таких "мегастатей" в день и 100к в месяц в кармане
Ты про 8 лет бомбежек мирных жителей не слышал?