Миникурс будет посвящен большим языковым моделям, чтобы вы узнали о том, как они на самом деле устроены, чтобы лучше понимать, как в дальнейшем их использовать для ваших нужд. Соответственно, первая лекция будет посвящена в основном видению и основам архитектуры трансформера. Ну, ни для кого не секреты, поэтому столько людей здесь собралось, что большие языковые модели становятся все более популярны в мире, и проявляется это не только в том, что мы с вами вот их используем, слышали об этом, даже мой стоматолог слышал что-то про GPT.
Ну и в том, что большие техногиганты, такие как Мета, Майкрософт и другие компании закупают сотнями тысяч видеокарт для двух целей. Это для обучения таких моделей, но и на самом деле не менее важная цель просто для того, чтобы использовать их, то есть так называемые инференс-модели. И для этих целей тоже огромное количество видеокарт закупается и требуется.
При этом в последнее время уже возникают в США нехватки электричества для цодов, для llm, и там они уже пытаются договариваться на какие-то электростанции, чтобы это все дело поддерживать. И, соответственно, рост стоимости компаний, хотя здесь, конечно, это такое, рост стоимости по оценке инвесторов и Market Cap это разные вещи, но все равно, по информации годичной давности, получается, OpenAI оценивалась инвесторами в 157 миллиардов долларов.
Это так же много, как и Market Cap у Siemens, который производит все на свете, он производит турбины, не знаю, чего он только не производит. Она существует уже долгие годы и производит конкретные материальные ценности. И вот какая-то компания, которая производит по сути диджитал ценности, она уже по оценке инвесторов дошла вот до этой суммы. Что поразительно. Но более поразительно, конечно, это то, кто больше всех денег на самом деле получил с этой всей историей с большими языковыми моделями - Это NVIDIA.
