Еще со времён школы меня будоражили возможности, которые дают компьютеры. Написать программу — это как создать что-то материальное своими руками. Неделю назад я за один вечер прочитал книгу Себастьяна Рашки «Строим LLM с нуля» (доступна на английском бесплатно), в которой без сложной теории матанализа описывается архитектура современных LLM и как их тюнить. 

Если вы интересовались, как работают LLM, то уже имеете представление, что модели умеют предсказывать следующее слово и что за этим стоит математика. Но на этом объяснение, как правило, заканчивается. Детали того, как они предсказывают следующее слово, часто рассматриваются как черный ящик.. В этой статье предлагаю рассмотреть эту тему подробнее и познакомиться с тонкой настройкой (fine-tuning) LLM для решения условно-практической задачи классификации с помощью примеров кода, приведенных в упомянутой книге. 

Статья устроена так, что все шаги в статье вы можете повторить и в конце получить набор скриптов для выстраивания пайплайна обучения LLM. Я же описал свои шаги, потому что лучший способ что-то понять — это применить теорию на практике и попытаться объяснить результат кому-то. 

Чтобы приступить к лабораторной работе, достаем двойные листочки, расчехляем питон и тиктокен.

Каждую весну я достаю велосипед с балкона, чтобы покататься ради удовольствия и подышать свежим воздухом. Ещё одна важная для меня функция велосипеда — перемещаться до работы и обратно. Как по мне — вполне альтернатива городскому транспорту. 

Лет 10 назад я обозревал велогибрид, когда поддался настойчивым убеждениям на форумах о том, что он лучше, чем просто велосипед, ведь это транспорт будущего - он надёжный и экономичный. Думал, что он будет достаточно комфортно (в хорошую погоду) и быстро перемещать меня из точки А в точку Б не затрачивая силы. Сейчас я катаюсь только на «обычном» велосипеде — без мотора. И электробайк больше не куплю.

Работая в финансовой сфере много лет, я замечал, что иногда людям из разных профессий бывает довольно сложно понять друг друга. Например, по причине повышенных требований к сохранности данных, аналитикам и разработчикам часто приходится общаться со специалистами по информационной безопасности, требования которых могут быть не всегда понятны. 

Даже будучи хорошим специалистом с многолетнем стажем, мы можем слабо представлять, как же сотрудники ИБ оценивают системы, которые мы строим. Чтобы немного сблизить людей преследующих одну цель, но смотрящих на информационные системы с разных сторон, предлагаю взглянуть на мир со стороны ИБ.

Как это сделать? В этом поможет такой инструмент, как Threagile. С его помощью можно построить модель информационной системы и получить отчёт о возможных угрозах.

Сейчас многие финансовые стартапы развиваются на западном рынке, и повышение уровня зрелости ИТ-процессов по международным стандартам позволяет не только получить понятный для бизнеса ИТ-отдел, но и повысить стоимость компании, если планируется ее продажа.
Опишу подход к организации процессов управления ИТ-услугами на своём опыте.