Pull to refresh
26
0
olegi @olegi

Пользователь

Send message

Как линейная алгебра помогла мне в разработке интерактивного редактора диаграмм

Level of difficultyEasy
Reading time9 min
Views12K

Ах, матрицы — одна из тех базовых концепций линейной алгебры, с которыми мы встречались в школе. Несмотря на их важность, мне за мою карьеру ни разу не доводилось с ними работать, и из-за этого я забыл, насколько они мощны и универсальны. Подходящий момент, чтобы вспомнить их, настал, когда я работал над моим интерактивным редактором диаграмм Schemio. В этой статье я расскажу, как использовал матрицы для решения сложных задач.

Читать далее

Как дообучать LLM с помощью Supervised Fine-Tuning

Reading time15 min
Views15K

Обычно большие языковые модели (large language model, LLM) обучают в несколько этапов, включающих предварительное обучение и множество этапов fine-tuning (см. ниже). Предварительное обучение — это дорогостоящий процесс (например, требующий многих сотен тысяч долларов на вычислительные ресурсы), однако fine-tuning модели LLM (или контекстное обучение) по сравнению с этим гораздо дешевле (например, сотни долларов или даже меньше). Учитывая широкую доступность и бесплатность (даже для коммерческого использования) предварительно обученных LLM (например, MPT, Falcon или LLAMA-2), мы можем создавать большой спектр мощных приложений благодаря fine-tuning моделей под нужные задачи.


Этапы обучения LLM

На текущем этапе исследований ИИ одним из самых широко применяемых видов fine-tuning моделей LLM стал supervised fine-tuning (SFT). При этой методике курируемый датасет высококачественных выходных данных LLM применяется для непосредственного fine-tuning модели. SFT прост и дёшев в использовании, это полезный инструмент выравнивания языковых моделей, ставший популярным даже за пределами исследовательского сообщества опенсорсных LLM. В этой статье мы вкратце расскажем о принципах SFT, рассмотрим исследования по этой теме и приведём примеры того, как практикующие специалисты могут с лёгкостью пользоваться SFT, написав всего несколько строк кода на Python.
Читать дальше →

Начинаем продолжать: обработка исходников с помощью ИИ в оффлайне

Level of difficultyMedium
Reading time17 min
Views13K

В этой статье я расскажу про расширение «Continue» для VSCode, помогающее обрабатывать исходные коды и просто текст любым ИИ, в том числе бесплатным и запущенным локально; а так же покажу, что умеет делать локальный вариант ИИ уже сейчас. 

Читать далее

Почему я больше не делаю важные дела: и еще 3 правила как не потерять себя к 40 годам

Level of difficultyEasy
Reading time8 min
Views152K

До 30 лет кажется, что ты еще успеваешь завоевать мир. Кое-кто и вправду успевает. Но вскоре у многих появляются дети, а поясница с желудком потихоньку выходят из игры. Тогда-то и начинаешь понимать – жизнь чертовски быстро заканчивается. В этой статье поговорим о том, как не просрать ее окончательно.

Читать далее

Кажется, LLM программирует лучше меня

Level of difficultyEasy
Reading time15 min
Views35K

Может ли искусственный интеллект (ИИ) превзойти программиста-человека при написании кода? Проведя ряд экспериментов, становится понятно, что ответ на этот вопрос – уверенное да!

Давайте в этом убедимся

Просто выберите Postgres

Level of difficultyMedium
Reading time6 min
Views30K

Отчасти это действенный совет, отчасти — вопрос к читателям.

Совет: при создании нового приложения, требующего постоянного хранения данных, как это и бывает в случае большинства веб-приложений, по умолчанию следует выбирать Postgres.

Читать далее

У меня был 6-дневный дофаминовый детокс — и вот что получилось

Level of difficultyEasy
Reading time5 min
Views150K

Что такое дофамин и почему в среде любителей самосовершенствования он считается гормоном, способствующим отвлечению внимания?

Выражение «дофаминовый детокс» на первый взгляд звучит как полный отказ от дофамина на какое-то время, что в корне неверно. От дофамина избавиться невозможно.

Дофамин нередко называют нейромедиатором «хорошего самочувствия», однако его функция заключается в регуляции системы мотивации и вознаграждения. Когда уровень дофамина повышается, организм получает сигнал о том, что то или иное занятие доставляет нам удовольствие и его стоит повторять.

Проблема в том, что дофамин активно выделяется и во время пролистывания социальных сетей, и при достижении какой-либо значимой цели.

Читать далее

Сравнение ARM и x86: от структуры чипов до применения

Level of difficultyMedium
Reading time10 min
Views13K

Вы когда-нибудь задумывались, почему ваш смартфон работает на процессоре ARM, а мощный игровой ПК — на x86? Эти две архитектуры играют ключевую роль в современных технологиях, но используются в разных устройствах. ARM-процессоры применяют в смартфонах, планшетах, умных часах, MacBook и даже некоторых серверах благодаря низкой потребляемой мощности. Процессоры на x86 известны своей производительностью и гибкостью, что делает их идеальными для сильных ПК и серверов.

В этой статье мы разберем, чем отличаются эти архитектуры, как они работают и почему ARM стал популярным выбором для мобильных устройств, а x86 сохраняет позиции в мире мощных ПК и серверных решений.
Читать дальше →

ОС «Аврора» — веб-сервер в кармане

Level of difficultyMedium
Reading time6 min
Views14K

Привет, читатель!

В начале июня я опубликовал обзор смартфона с ОС «Аврора». После этого взялся изучать документацию к SDK, решил написать пару небольших приложений и портировать один проект на телефон. В процессе понял, что для выполнения команд, просмотра файлов и доставки пакетов требуется консоль. В какой-то момент стало любопытно покопаться и посмотреть, какие приложения есть в репозиториях «Авроры» и с чем из этого можно поиграться. Выбор оказался весьма широк, но самым интересным для меня был исполнитель интерпретируемого языка. Если вам интересно, какой код можно запустить со смартфона на «Авроре» и какие могут возникнуть нюансы, прошу под кат!
Читать дальше →

Как Google обрабатывает JavaScript в процессе индексации веб-страниц

Level of difficultyEasy
Reading time13 min
Views7.1K



Понимание того, как поисковые системы изучают, рендерят и индексируют веб-страницы, имеет решающее значение для оптимизации сайтов под поисковые системы. По мере изменений в работе поисковых систем (например, Google), отслеживать, что работает, а что нет, становится все сложнее, особенно в случае с клиентским JS.

Читать дальше →

Как настроить веб-приложение под высокие нагрузки

Level of difficultyMedium
Reading time8 min
Views7.5K

Привет, меня зовут Александр Ададуров. Я — руководитель проектов ФГБУ «Центр информационно-технического обеспечения». В этой статье я опишу опыт настройки сайта с образовательным контентом под нагрузку в пиках до 15 000 запросов в секунду или до нескольких миллионов пользователей в день. 

Образовательный контент сайта представлял собой иллюстрированные HTML-страницы, видеоуроки и различные интерактивные задания, преимущественно на JavaScript, которые проверяли правильность выполнения заданий запросами к бэкенду. Сайт жил спокойной жизнью и вяло развивался до введения локдаунов в связи с распространением COVID-19. Первые месяцы карантина существенно изменили код приложения, его архитектуру и даже серверную инфраструктуру, на которой оно располагалось. 

Читать далее

Если Вселенная расширяется, то во что именно?

Level of difficultyEasy
Reading time8 min
Views66K

На протяжении почти 60 лет Большой взрыв остаётся самой успешной теорией, объясняющей происхождение всего на свете. Начавшись с горячего, плотного, богатого материей и излучением состояния, Вселенная с тех пор расширялась и охлаждалась. В процессе эволюции в ней сначала образовались протоны и нейтроны, первые лёгкие элементы, стабильные атомы и, в конце концов, звезды, галактики, планеты и сложная химия, способная породить жизнь. Спустя 13,8 миллиарда лет после того, как всё началось, мы наблюдаем за всё ещё расширяющейся Вселенной и пытаемся понять, откуда всё это взялось и как стало таким, каким мы его видим сегодня.

Но если Вселенная расширяется всё это время, то во что? Или куда?

Простой ответ на этот вопрос столь же краток, сколь и неудовлетворителен: Вселенная расширяется сама в себя, а не в какую-либо «внешнюю» среду. Это ещё один пример того, как общая теория относительности противоречит нашему повседневному опыту и интуиции.
Читать дальше →

Методы оптимизации в машинном и глубоком обучении. От простого к сложному

Level of difficultyHard
Reading time29 min
Views24K

В данной статье представлен обзор различных популярных (и не только) оптимизаторов, которые применяются в машинном и глубоком обучении, в частности для обучения нейронных сетей. Мы рассмотрим их основную идею и ключевые особенности, переходя от простых к более сложным концепциям. Помимо этого, в самом конце вы сможете найти большое количество дополнительных источников для более детального ознакомления с материалом.

Читать далее

Электростатическая очистка воздуха помещений от продуктов распада радона. Часть 1, введение

Reading time8 min
Views20K
image
В данной публикации рассматривается проблема загрязнения воздуха радоном и его дочерними продуктами распада (ДПР). Собраны и показаны различные факты, когда радон концентрируется и его можно обнаружить бытовым радиометром. Указано на понимание опасности радона на западе и дан краткий экскурс в теорию радиоактивного распада и повреждения тканей. И в заключение, предложена одна идея, пока не применяемая для целей очистки воздуха от ДПР.

Радон — радиоактивный газ, в 7 раз тяжелее воздуха, не имеющий запаха и цвета в следовых количествах, в которых присутствует повсеместно на нашей планете. Однако, следовые количества бывают разными…

Читать дальше →

Neural ODE: встреча с дифференциальными Уравнениями

Level of difficultyMedium
Reading time8 min
Views7.5K

Дифференциальные уравнения и нейронные сети вместе? Не может быть или может... Neural ODE – подход в глубоком обучении, объединяющий идеи нейронных сетей и обыкновенных дифференциальных уравнений. Выглядит пугающе, давайте проверим!

Читать далее

Как я научился не волноваться и полюбил технологическую сингулярность

Reading time11 min
Views16K

Что пугает людей в перспективе технологической сингулярности на самом деле? Дело не в неконтролируемости и необратимости: поступь прогресса неконтролируема и необратима как минимум с начала Промышленной революции: сначала люди пытались остановить паровозы, потом, едва человечество поверило в силу пара — его сменил двигатель внутреннего сгорания, а потом произошла компьютерная и интернет-революция. Ни на одном из этих этапов люди не могли предсказать, что придёт им на смену, а никакое сопротивление и издержки перемен не могли их остановить.

Действительно пугающая часть технологической сингулярности не входит в определение «технологический рост станет неконтролируемым и необратимым, что приведет к непредвиденным последствиям для человеческой цивилизации», но подразумевается по умолчанию: это угроза вреда от этих перемен.

Чтобы разобрать этот страх, надо разобрать две вещи: что самое страшное может создать человечество и что самое худшее грозит человечеству, бесстрашно проследовав по этому пути до его логического экстремума.

Читать далее

Как я в зеленом банке архитектором работал

Reading time10 min
Views36K

Привет, друзья!

Все, описанное мной в этой статье, является пересказом моих личных наблюдений и моим личным мнением. Статья не несет в себе цели кого-либо порочить, но, возможно, подтолкнет кого-то из руководителей Сбера к изменениям в компании.

В конце 2021 года я работал архитектором в Ростелекоме. На тот момент, я работал в компании уже более двух лет, отлично знал своих коллег из разных департаментов, своих заказчиков, вел свой портфель проектов. У меня было отличное рабочее место, у окна, в офисе в новой высотке на Вернадского, режим посещения работы почти свободный. В те дни, когда я приезжал в офис, меня всегда ждали вкусные печеньки на кухне, и, иногда, ставшие к тому времени уже почти родными, коллеги по отделу архитектуры.

Все началось с моего желания расширить горизонты своих компетенций и сменить привычную работу технического архитектора на интригующую и казавшуюся мне такой волнующей работу корпоративного архитектора. Должности, отличающиеся всего на одно слово в составе названия, настолько сильно отличаются по фактуре работы.

Читать далее

Кто такой архитектор ПО и как им стать

Reading time11 min
Views37K

Всем привет! Меня зовут Виктор Василенко, я техлид и Solution-архитектор. Я работал в Яндексе и X5 Group и уже не первый год сотрудничаю с Практикумом. Я делюсь опытом на курсах «Алгоритмы и структуры данных» и «Асинхронное программирование на Python».

Архитектор ПО — это специалист, ответственный за проектирование структуры и организацию системы или продукта. Роль архитектора в IT-компании включает в себя не только технические задачи, но часто и коммуникационные и организационные обязанности. Также архитектор является промежуточным звеном между бизнес-процессами и технологическими решениями.

Пока что индустрия не может чётко определить эту деятельность как профессию. В общероссийском классификаторе профессий ОКПДТР архитектор встречается скорее ландшафтный, чем программного обеспечения. В вузах вы не сможете найти специальность «Архитектура программного обеспечения». 

Границы профессии достаточно размытые, и часто это не профессия и должность, а скорее роль. Задачи разнятся: архитектор должен уметь писать код и документировать его для коллег, в то же время он может коммуницировать с бизнесом и заказчиками, выстраивать стратегию развития компании на годы вперед. 

В этой статье я хочу поделиться своим видением роли архитектора ПО и рассказать:

Кто такой архитектор ПО и какие они бывают;

Чем занимается архитектор решений в компаниях разного масштаба;

Чем отличаются инженеры от архитекторов ПО;

Какие обычно задачи стоят перед архитектором ПО;

Конкретно: какие нужны навыки и компетенции;

Как перейти из инженера на позицию архитектора.

Читать далее

Как проходят архитектурные секции собеседования в Яндексе: практика дизайна распределённых систем

Reading time25 min
Views167K
Привет, меня зовут Костя Кардаманов, я работаю в отделе технологий разработки Яндекса. Обычно такой же фразой я приветствую и кандидатов на собеседовании. А сегодня я хотел бы рассказать вам, как и зачем мы проводим интервью по дизайну систем с бэкенд-разработчиками. Сразу скажу: для фронтендеров, мобильных разработчиков и ML-инженеров подобный тип собеседований применим слабо, так что эти специальности мы здесь обсуждать не будем.

Технический уровень кандидата у нас оценивается за счет всего двух типов интервью: секции с кодом и секции дизайна компьютерных систем. Первый тип мы назначаем всем претендентам вне зависимости от их уровня, а вот у кандидатов, которые претендуют на должность старшего специалиста, нужно проверять не только способность писать эффективный и работоспособный код, но и способность разрабатывать сложные системы в целом.

Что такое дизайн информационных систем


Основная цель любой IT-компании — производить сервисы, которые решают задачи пользователей. Мы должны уметь собирать элементы системы в единый механизм, который будет эффективно выполнять поставленную цель, и если первый тип собеседований нацелен в первую очередь на проверку необходимого минимума, то интервью про дизайн систем проверяет достаточность навыков кандидата в достижении конечной цели. Далекому от IT пользователю принципы и устройство систем могут казаться бесконечно сложными, но мы, их разработчики, должны иметь (не обязательно детальное) представление о принципах функционирования и роли каждого компонента.

Опытный читатель может сказать — в мире полно платных и бесплатных решений, из которых я могу собрать систему как из деталей конструктора, зачем мне понимать устройство этих деталей?
Читать дальше →
1
23 ...

Information

Rating
Does not participate
Location
Москва и Московская обл., Россия
Registered
Activity