ИТ-индустрия проявляет интерес к большим языковым моделям (LLM). Многие компании — в том числе стартапы и разработчики — предпочитают self-hosting открытых LLM работе с API проприетарных решений. Мы в beeline cloud решили обсудить плюсы и минусы такого подхода, в том числе с финансовой точки зрения.

Почему синьоры богатеют, а джуны беднеют?

Почему 10 лет назад «войти в IT» было намного легче из-за низкого порога входа, перспективнее для роста и выгоднее в финансовом плане, чем сейчас?

Почему IT-сфера – это «дойная корова», а Веб-разработка – «содержанка» Бизнеса?

Почему лощёные программисты ничем не отличаются от обычных рабочих на заводе?

Предлагаю вместе поразмышлять над этими вопросами.

Все сейчас ринулись в IT, как в новый Клондайк. На эту тему написано немало статей. Но редко кто пишет, что 10 лет назад «войти в IT» было намного проще, чем сейчас. Сама IT-индустрия была другой: девственно неисследованной, непереборчивой, относительно простой. Войти в Айтишку было легче. А за последние 10 лет она расширилась, немного обнаглела, «место входа» тоже стало шире благодаря сильно увеличившемуся количеству «входящих» в неё. И теперь предыдущие маленькие знания не доставляют ей удовольствия. Поэтому приходится наращивать толщину и глубину знаний, чтобы удовлетворить сегодняшнюю Айтишку в обмен на оффер.

Ситуация на айтишном рынке труда сложилась странная. Все говорят о кадровом голоде в IT: «Рабочих рук для клавиатур не хватает! Эпоха цифровизации, а работать некому. Везде нужны программисты!». Сайты по поиску работы под завязку забиты айтишными вакансиями. Но вот только большинство компаний ищут именно миддлов и синьоров, а не начинающих специалистов – джунов или уж тем более стажёров. Но проблема в том, что первых мало, а вакансий для них много, и, наоборот, «сегодня «войти в IT» и устроиться джуном без опыта работы – это как проталкиваться к сцене на стадионном рок-концерте» (по выражению моей знакомой HR).

Книга «Программируем коллективный разум» в основном посвящена алгоритмам классификации и кластеризации, хотя есть главы, посвященные другим темам вроде создания собственного поисковика, генетическим алгоритмам и генетическому программированию. Почти все описанные алгоритмы применяются в духе Web 2.0, используя анализ поведения пользователей на разных сайтах, которые предоставляют свой API. Но что особенно приятно удивило, так это то, что все примеры написаны на языке Python.

Вот какие алгоритмы описываются в книге:

• Коллаборативная фильтрация. Или, говоря человечески языком, алгоритмы, которые могут рекомендовать вам какие-то покупки, сайты или музыку в зависимости от оценок, которые вы поставили другим подобным вещам. По таким алгоритмам работает навязывание покупок в интернет-магазинах или подбор музыки на last.fm. В конце главы приводится пример, который будет рекомендовать вам ссылки из сервиса del.icio.us.
• Алгоритмы группировки (кластеризации). Создаваемый пример анализирует RSS-каналы блогов и пытается их автоматически разделить на группы в виде дерева в зависимости от частоты слов, которые попадаются в блоге. Заодно Сегаран рассказывает как можно сделать так, чтобы названия блогов расположились на плоскости кучками в зависимости от их близости в плане рассматриваемых тем.
• Отдельная глава посвящена построению поисковиков – созданию паука и, самое главное, рассматриваются алгоритмы ранжирования ссылок, в том числе и с учетом ссылок страниц друг на друга, создавая, таким образом, аналог Google PageRank. Еще интересно, что в этой же главе есть пример, где для выдачи наиболее релевантных ссылок используется нейронная сеть, которая обучается по мере того как пользователь щелкает на понравившиеся ему ссылки.