Как стать автором
Обновить
0
0

Пользователь

Отправить сообщение

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 4: Дизайн систем машинного обучения

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров5.4K

Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor). Мы строим скоринговые (credit scoring), лидогенерационные (lead generation) и антифрод (anti-fraud) модели на телеком данных, а также делаем гео-аналитику (geo-analytics).

В предыдущей статье я поделился материалами для подготовки к этапу по специализированному машинному обучению.

В этой статье рассмотрим материалы, которые можно использовать для подготовки к секции по дизайну систем машинного обучения.

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Комментарии3

Инструменты Android-разработчика

Время на прочтение14 мин
Количество просмотров6.8K

Будь эффективным — используй «туллинг»!

В этой статье я хочу поделиться с вами своим опытом и рассказать о наиболее полезных инструментах, которые я использую в своей повседневной работе. Мы рассмотрим как широко известные, так и менее популярные, но не менее ценные утилиты, которые помогут вам стать более эффективным Android‑разработчиком.

Читать далее
Всего голосов 38: ↑38 и ↓0+42
Комментарии8

Проект модели солнечной системы из LEGO

Уровень сложностиПростой
Время на прочтение14 мин
Количество просмотров4.3K

Я всегда был поклонником Lego Technic, особенно моделей с шестернями, рукоятками и всякими движущимися частями. Но похоже, что фокус серии Technic начинает всё дальше уходить от функциональных моделей. Поэтому мне пришлось взять дело в свои руки. По-моему, планетарная установка — идеальный проект для сборки из деталей Lego Technic.

Читать далее
Всего голосов 11: ↑11 и ↓0+11
Комментарии2

Эмуляция сбоев ФС. Ломаем PostgreSQL

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров4.4K

Привет, Хабр!

Задумывались ли вы при написании программы о том, что может произойти, если на диске закончится место или при чтении данных из сектора возникнет ошибка? Обрабатывается ли это?

Читать далее
Всего голосов 16: ↑14 и ↓2+12
Комментарии7

Как я нашел миллион под ногами?

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров91K

Я искал, где бы мог заработать больше, чем, крутя баранку на машине с прицепом. И узнал, что 90% всего чеснока, который продается в России – это импорт. То есть увеличить количество нашего чеснока можно минимум в 5 раз.

Вы едите его каждый день, он легкий, дорогой, а в магазинах китайский.

А чеснок – это как раз та культура, про которую можно было сказать 1 млн ₽ с гектара. Картошка – дешевая, в клубнике – много ручного труда. А вот выращивание чеснока можно автоматизировать, а цены доходят до 380 ₽ за кг.

Читать далее
Всего голосов 252: ↑234 и ↓18+270
Комментарии218

Выстраиваем стабильное соединение для обучения с подкреплением на Python на моделях AnyLogic

Время на прочтение12 мин
Количество просмотров2.3K

AnyLogic — идеальная платформа для создания симуляционных моделей для обучения DRL-агентов в сложных средах. Недавно разработанная библиотека Alpyne — это библиотека Python, которая позволяет пользователям обучать DRL-агентов на Python, взаимодействуя с моделью AnyLogic. К сожалению, она все еще недостаточно стабильна для работы со сложными симуляционными моделями.

В этой статье мы представляем новый способ взаимодействия DRL с симуляционными моделям в AnyLogic с помощью библиотеки Pypeline. Этот метод также может быть использован для (не глубокого) обучения с подкреплением, но благодаря своей простоте большинство сред, для которых хватает простого RL, могут быть смоделированы непосредственно в самих языках программирования, таких как Python.

Читать далее
Всего голосов 4: ↑4 и ↓0+5
Комментарии0

Сильный ИИ. Элира2. Сохранение диалогов ChatGPT

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров1.5K

Всем привет!

В этой статье я расскажу о том, как можно сохранить диалоги в ChatGPT вместе с изображениями из чата!

Несмотря на уже довольно долгое существование ChatGPT в нем до сих пор отсутствует функция сохранения диалогов с изображениями. Более того, при наличии изображений в диалоге, ссылка для сохранения вообще не создается. Именно поэтому я решил создать скрипт, который позволит сохранять диалоги напрямую через веб-интерфейс ChatGPT, используя Selenium.

Читать далее
Всего голосов 2: ↑2 и ↓0+3
Комментарии0

Мощь AST в действии, или как переписать код 10 летней давности на ES6-модули и ничего не сломать

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров5.2K

Всем привет! Меня зовут Кирилл и я работаю фронтенд-разработчиком. Я расскажу о том, как мы перевели несколько тысяч файлов, написанных на JavaScript, с легаси кода, который использовал goog.module, на новые ES6-модули с помощью построения и преобразования абстрактного синтаксического дерева.

Эта статья будет полезна тем, у кого тоже возникла потребность в рефакторинге большого количества кода.

Читать далее
Всего голосов 23: ↑23 и ↓0+25
Комментарии4

Учимся работать с Kubernetes через запуск приложения

Время на прочтение8 мин
Количество просмотров7.2K

Вместе с Павлом Агалецким, ведущим разработчиком PaaS в Авито, изучим команды утилиты kubectl в Kubernetes, попробуем запустить два приложения и познакомимся с консольным дашбордом k9s.

Читать далее
Всего голосов 4: ↑3 и ↓1+2
Комментарии3

Яндекс разработал и выложил в опенсорс YaFSDP — инструмент для ускорения обучения LLM и сокращения расходов на GPU

Время на прочтение12 мин
Количество просмотров18K

Сегодня мы выкладываем в опенсорс наш новый инструмент — алгоритм YaFSDP, который помогает существенно ускорить процесс обучения больших языковых моделей.

В этой статье мы расскажем о том, как можно организовать обучение больших языковых моделей на кластере и какие проблемы при этом возникают. Рассмотрим альтернативные методы ZeRo и FSDP, которые помогают организовать этот процесс. И объясним, чем YaFSDP отличается от них.

Читать далее
Всего голосов 88: ↑87 и ↓1+111
Комментарии0

BananaNAS — портативный NAS из одноплатника

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров11K

В статье рассказывается о разработке портативного NAS с двумя дисками NVME на основе одноплатного компьютера. Даётся небольшая теория работы контроллера PCIe, рассказывается о проблемах интеграции своего модуля дисков, а также приводятся детали дизайна и результаты тестирования.

Детали разработки
Всего голосов 14: ↑14 и ↓0+16
Комментарии45

Шина для Росатома: собрали ядро из опенсорса и прошли сертификацию ФСТЭК

Время на прочтение8 мин
Количество просмотров12K
image

Возможно, вы слышали много историй про то, как для какой-то крупной компании разрабатывается система, которая потом становится просто неприменимой примерно нигде, включая изначальную компанию.

Мы Гринатом — условно говоря, ИТ-интегратор Росатома, но не только. Наш основной заказчик ставит задачу на отраслевые решения. То есть по факту мы делаем решения для Росатома, но при этом учитываем, что другим российским компаниям они тоже нужны. И в этом месте случается самое интересное: эти решения должны быть конкурентными, применимыми за пределами контура заказчика и вообще работать.

В 2022 году у всех стала «болеть» шина. На самом деле наша история началась в 2017-м, но к 2020 году у нас уже был проект, который можно было доделать до отраслевого решения. А когда доделали — решили вывести его на коммерческий рынок, чтобы шину как продукт могла купить любая российская компания, которой это нужно.

Но у нас в задаче она должна иметь 4-й уровень доверия ФСТЭК и входить в реестр российского ПО.

В общем, мы взяли опенсорсное ядро Apache NiFi под лицензией Apache 2.0, выделили ядро и коннекторы, провели многоступенчатый аудит кода, модифицировали его под локальные требования и засертифицировали во ФСТЭК свой форк, а потом к этой стабилизированной версии дописали всё остальное, что нужно. К слову, лицензия Apache 2.0 позволяет сильно перерабатывать исходный код и распространять результат коммерчески как самостоятельное произведение. Ничего сверхоригинального, но это много довольно тяжёлой работы. Про неё и расскажу подробнее под катом.
Читать дальше →
Всего голосов 22: ↑19 и ↓3+21
Комментарии27

Используем REM для адаптива: комфортная резиновая вёрстка для всех устройств

Уровень сложностиПростой
Время на прочтение3 мин
Количество просмотров12K

Все верстальщики рано или поздно сталкивались с болью, которая заключается в адаптиве сайта под различные устройства. Существуют разные технологии, упрощающие подгонку размеров под определённые устройства, например, clamp(). Эта функция удобна, так как позволяет минимизировать использование брейкпоинтов, но у неё есть свои недостатки:

Читать далее
Всего голосов 9: ↑9 и ↓0+9
Комментарии8

Справочник по применению GPU в машинном обучении

Уровень сложностиСредний
Время на прочтение35 мин
Количество просмотров7.5K

Это перевод популярного лонгрида Тима Детмерса "Выбор графического процессора для глубокого обучения: мой опыт и советы".

Глубокое обучение (Deep learning, DL) - область с высокими вычислительными требованиями, и выбор графического процессора будет в корне определять ваши возможности в этой сфере. Какие характеристики важны при выборе нового GPU? Оперативная память GPU, ядра, тензорные ядра, кэш? Как сделать экономически эффективный выбор? Мы рассмотрим эти вопросы, заодно разберемся с распространенными заблуждениями, разберемся в характеристиках GPU, дадим советы, которые помогут вам сделать правильный выбор.

Читать далее
Всего голосов 21: ↑21 и ↓0+26
Комментарии2

Как подружить Llama-3 и YouTube имея всего 40 строк кода

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров6.4K

Сделаем Телеграм бота которому можно кинуть ссылку на YouTube видео и поговорить с ним о содержимом этого видео.

Читать далее
Всего голосов 7: ↑7 и ↓0+7
Комментарии10

Создание музыки в нейросети Udio, подробная инструкция с примерами от сообщества

Уровень сложностиПростой
Время на прочтение17 мин
Количество просмотров25K


Друзья, всем привет! Меня зовут Илья, я основатель онлайн-нейросети для создания изображений ArtGeneration.me, техноблогер и нейро-евангелист. С самого детства я мечтал научиться играть на каком-нибудь музыкальном инструменте. Я делал много попыток: были две гитары (акустическая и электро), клавиши и даже электронные барабаны. Но мне всегда не хватало усидчивости, и я не чувствовал удовлетворения от освоения инструмента, поэтому забрасывал его. Пробовал также освоить Ableton и FL Studio, но они казались мне слишком сложными. В итоге, к 35 годам я научился играть только на варгане, хотя душа требовала большего — я очень люблю музыку и слушаю ее буквально 24/7.


Нейросети уже дали мне возможность создавать прекрасные изображения, и я думал, как было бы здорово, если бы можно было так же легко создавать музыку. И действительно, около 10 месяцев назад появились такие инструменты, как MusicGen и AudioCraft от Meta*.


Читать дальше →
Всего голосов 27: ↑26 и ↓1+36
Комментарии20

Postgres Pro Shardman: горизонтальное масштабирование реляционных СУБД

Уровень сложностиСредний
Время на прочтение24 мин
Количество просмотров6K

Последние несколько лет мы в Postgres Professional активно занимаемся разработкой своего решения для горизонтального масштабирования PostgreSQL. Пользователям нужен был простой способ увеличить производительность путем добавления узлов. Традиционно для веба в таких случаях просто брали NoSQL базы или шардировали вручную, позже появились распределенные SQL-решения с поддержкой ACID-транзакций. Тем не менее терялась часть возможностей и достоинств PostgreSQL. Корпоративный рынок тяжелых вертикальных решений также сильно ограничен как ценой, так и доступностью. Поэтому исследованиями в области распределенных СУБД в компании занимались еще с 2017 года, а в 2020 началась работа над коммерческим продуктом. 

В этой статье я расскажу про технические детали реализации и почему был сделан такой выбор технологий. Опишу, какие направления нам показались преждевременными и их пришлось отложить, а также что мы ожидаем в будущем.

Читать далее
Всего голосов 28: ↑28 и ↓0+37
Комментарии8

userver 2.0 — большой релиз фреймворка для IO-bound программ

Время на прочтение6 мин
Количество просмотров7.2K
С момента прошлого релиза фреймворка 🐙 userver для С++ прошло чуть больше полугода. За это время мы многое сделали:


  • сильно оптимизировали работу фреймворка и обогнали основных конкурентов в бенчмарках высокопроизводительных фреймворков;
  • значительно упростили конфигурирование;
  • обзавелись install, докер-образами, Yandex Cloud-образом и DEB-пакетами;
  • обросли новой функциональностью, включая серверные мидлвари для HTTP, и YDB-драйвером;
  • перешли на новую ежемесячную схему релизов и упростили версионирование.

Добро пожаловать под кат за подробностями
Всего голосов 43: ↑43 и ↓0+57
Комментарии18

Сколько можно заработать и потерять на картошке? Мой опыт на поле размером с Ватикан

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров21K

Расскажу, сколько нужно заплатить немцам, чтобы тебе разрешили выращивать картошку, как сети обходят минимальную наценку на товары первой необходимости, почему Европа, алкоголизм против фермера? Знаете, сколько соток в 1 гектаре, ставьте лайк. А если выращивали картошку, пишите в комментариях. 🥔

Читать далее
Всего голосов 39: ↑29 и ↓10+27
Комментарии86

Собираем балансирующий куб

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров22K

Этот куб балансирует на одной из своих вершин и одновременно может управляемым образом вращаться вокруг своей оси. Это возможно благодаря умному управлению и трём реактивным маховикам.

Первоначальная идея этого устройства взята у исследователей Швейцарской высшей технической школы Цюриха, продемонстрировавших в этом видео свой Cubli. За последующие годы дизайн в определённых аспектах был усовершенствован. В частности, Bobrow et al (Университет Сан-Паулу) предложили улучшенную концепцию управления, уменьшающую количество IMU (блоков инерциальных датчиков) с шести до всего одного.

Я решил собрать такое устройство. Хотя идея и не нова, все предыдущие работы по этой теме в основном имели закрытые исходники. Я планирую изменить ситуацию. Это значит, что мне придётся выполнить реверс-инжиниринг и начертить всё с нуля. Результат моей работы, полностью опенсорсный (GitHub), показан в видео.
Читать дальше →
Всего голосов 121: ↑121 и ↓0+144
Комментарии42
1
23 ...

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность