Саммари работает не так. Надо сначала скормить ему текст и, когда он будет у модели в контексте, она сможет его пересказать. Причем точно и без первирания в большинстве случаев.
Вы же просите у модели вытащить из своего обучающего датасета одну из многих миллиардов последовательностей токенов. Кто может поручиться, что в обучающем датасете не было фанфика про Герасима и Муму, где они вдвоем на марс улетели? Так что это полный бред просить у модели рассказать какой-то факт.
Странно, что нигде нет награды за близость мяча к воротам соперника. Кажется, что такая награда была бы лучше, чем за гол :)
Еще, если вам не трудно, хотя бы при первом появлении вставляйте ссылки на методы, которые в статье используются. Так ни разу и не увидел раскрытия аббревиатуры PPO за весь текст.
Я понимаю, что это не цель статьи и не цель исследования, но можно было немного подумать о математике процесса и решить задачу без полного перебора:)
Достаточно всего лишь правильно поставить задачу оптимизации. По факту хочется построить линейную регрессию на ответах пользователей, как на фичах с ограничением по количеству используемых фичей в 5. Это немного модифицированная линейная регрессия с L1 регуляризацией.
Для биржи важна именно скорость выполнения каждой конкретной транзакции + согласованность. Сильно многопоточно вычислять ничего не выйдет по одному инструменту, например.
На 100% определить нельзя. Для пушей про организации точно используется подтверждение по GPS. Так что большинство (95%+) от людей, которые хотя бы рядом были.
Вот ко мне приходят на собеседования такие сорокалетние айтишники, которые успели уже за 20 лет карьеры забыть, как код писать. Опыт показывает, что боятся собеседований и не любят вопросы те, кто не умеет на них отвечать.
Только что вкатившийся сеньор, 28 лет.
P.S. я встречал много кандидатов, которые и после 20 лет карьеры умеют быстро решать задачи и не пасуют перед стрессовыми ситуациями.
Вообще-то "обучение" нейросети - это процесс изменения весов. При разговоре с chat GPT вы веса не меняете. То, что здесь произошло, выглядит как доказательство наличия у сетки архитектуры, хранящей контекст диалога. Что само по себе является на мой взгляд безумным достижением.
Вообще все попытки обвинить сетку в тупости выглядят, как анекдот про собаку, которая научилась играть в шахматы.
Неплохо было бы сделать рандомный сбор для обучения. А то у вас всегда будет смещение в дефолтную сортировку товаров. Может быть поэтому у вас на холодных пользователях не получается лучше, чем сортировка по популярности.
Ценные бумаги это не срочная наличка. Зачем мне ее продавать в любое время дня и ночи? Это немного другое.
Мне кажется, что Вы не разу не оказывались в кризисной ситуации с портфелем на руках :)
Инвесторы могут либо в какой-то момент получать дивиденды, или продать мои акции кому-то еще.
Вот эта часть несправедлива. Если убрать с рынка ликвидность, акции без выплаты дивидендов (а это по сути любая растущая компания) не будут пользоваться спросом. Легко сказать, поди продай акции, когда цена на них начнет падать или когда просто захочется. А без арбитражных роботов это гораздо сложнее. Попробуйте продать свою квартиру за пару миллисекунд, когда цена на нее начнет падать, посмотрим, что у Вас получится:)
Регуляторы рынка США не такие уж простые люди, и систему с небольшой комиссией они придумали не от глупости своей. Биржей можно управлять разными способами. Можно наоборот бороться с роботами, вводя конские комиссии, как в Японии. И посмотрите на состояние их биржи...
Трейдеры — это не перекупщики. Есть такие понятия, как арбитраж и ликвидность. Рынок — это сложная система, которая сама себя регулирует, и наличие в ней трейдеров тоже обусловлено потребностью системы в них.
Когда вы приходите на американскую биржу и хотите купить акцию компании AAPL, кто гарантирует вам, что цена этой бумаги будет справедливой? На самом деле трейдеры и все возможные скальпирующие арбитражные роботы.
А кто гарантирует, что вы сможете в любое время дня и ночи продать свою акцию по конкурентной цене? Опять же трейдеры и роботы.
Именно в этом и есть смысл торговли на бирже.
Вы можете сказать, а почему они на этом зарабатывают? Это же нечестно! Но торговля на бирже и поддержка ликвидности — это такая же работа, как и все остальные. Она должна оплачиваться. Мы, например, держим штат сотрудников, имеем инфраструктуру в Москве и в Америке, платим за данные и все для Вас. А в замен имеем пару копеек с каждого трейда какого-нибудь спешащего обналичить деньги чайника:)
Читать такую стену текста очень сложно. Даже при том, что я человек заинтересованный и, как вижу слова ML и трейдинг в одном предложении, сразу возбуждаюсь.
По теме:
Нормальный дата сайентист верит в то, что предсказать движение рынка в целом -- это нерешаемая задача, потому предсказывать любые движения, которые сильно скореллированы с движением рынка (например приращение цены бумаги на какой-то период вперед) -- это гиблое дело.
Использовать технические характеристики бумаги в анализе можно, но вопрос в том, что получить доступ к ним раньше остальных бывает очень затруднительно. Из первых источников, типа блумберга, получать данные больно дорого для индивидуального инвестора. А если у тебя нет доступа к даным раньше остальных, надо закладываться на то, что влияние этой инфомации уже учтено в изменении цены бумаги и использовать их для предсказаний чего бы то ни было бессмысленно.
Все мои удачные стратегии (их бин у меня и немало с трек рекордом 10+ лет) использовали только информацию о движении цены бумаги и ее соседей по рынку.
Дургое дело, что в большинстве своем ML алгоритмы на рынке выскребают копейки и требуют больших денег и торговли сразу по тысячам бумаг каждый день, чтобы уменьшить статистическую погрешность.
В итоге самым удачным подходом оказывается использовать классические вероятностные модели движения рынка, которые уже нечувствительны к шумам + ML уже внутри них, как доп преимущество.
Саммари работает не так. Надо сначала скормить ему текст и, когда он будет у модели в контексте, она сможет его пересказать. Причем точно и без первирания в большинстве случаев.
Вы же просите у модели вытащить из своего обучающего датасета одну из многих миллиардов последовательностей токенов. Кто может поручиться, что в обучающем датасете не было фанфика про Герасима и Муму, где они вдвоем на марс улетели? Так что это полный бред просить у модели рассказать какой-то факт.
Очень интересно!
Странно, что нигде нет награды за близость мяча к воротам соперника. Кажется, что такая награда была бы лучше, чем за гол :)
Еще, если вам не трудно, хотя бы при первом появлении вставляйте ссылки на методы, которые в статье используются. Так ни разу и не увидел раскрытия аббревиатуры PPO за весь текст.
Интересно! Впервые, кажется, вижу статью на Хабре, где Яндекс кого-то заблокировал и в итоге компанию не обзывают последними словами:)
Если по делу, то скорее всего ваша блокировка совпала с выходом в открытый доступ YandexGPT и яндекс просто постарался зачистить поле от конкурентов.
Это именно смайлы вида :)) с произвольным количеством закрывающих скобочек
Я понимаю, что это не цель статьи и не цель исследования, но можно было немного подумать о математике процесса и решить задачу без полного перебора:)
Достаточно всего лишь правильно поставить задачу оптимизации. По факту хочется построить линейную регрессию на ответах пользователей, как на фичах с ограничением по количеству используемых фичей в 5. Это немного модифицированная линейная регрессия с L1 регуляризацией.
Ваше решение работает так-то заО(n)
Для биржи важна именно скорость выполнения каждой конкретной транзакции + согласованность. Сильно многопоточно вычислять ничего не выйдет по одному инструменту, например.
Мне показалось или отбор моделей и замер качества проводятся на одном и том же датасете?
Вам стоит почитать что-то про множественное тестирование гипотез.
На 100% определить нельзя. Для пушей про организации точно используется подтверждение по GPS. Так что большинство (95%+) от людей, которые хотя бы рядом были.
А как бы ты проводил фактчекинг отзывов?
Вот ко мне приходят на собеседования такие сорокалетние айтишники, которые успели уже за 20 лет карьеры забыть, как код писать.
Опыт показывает, что боятся собеседований и не любят вопросы те, кто не умеет на них отвечать.
Только что вкатившийся сеньор, 28 лет.
P.S. я встречал много кандидатов, которые и после 20 лет карьеры умеют быстро решать задачи и не пасуют перед стрессовыми ситуациями.
Ох, сердечко прихватило, когда std::endl увидел в замере производительности...
Вообще-то "обучение" нейросети - это процесс изменения весов.
При разговоре с chat GPT вы веса не меняете.
То, что здесь произошло, выглядит как доказательство наличия у сетки архитектуры, хранящей контекст диалога. Что само по себе является на мой взгляд безумным достижением.
Вообще все попытки обвинить сетку в тупости выглядят, как анекдот про собаку, которая научилась играть в шахматы.
Для начала можно попробовать хранить кешированные позиции в хешмапе, а не в листе. Это должно дать неплохой такой прирост производительности:)
По факту описанный в статье алгоритм - это и есть А* :)
Неплохо было бы сделать рандомный сбор для обучения. А то у вас всегда будет смещение в дефолтную сортировку товаров. Может быть поэтому у вас на холодных пользователях не получается лучше, чем сортировка по популярности.
Что-то мне кажется, что для такого небольшого набора фичей можно было бы и без ML обойтись:)
По теме выбора фичей: если у вас есть знания о таких вещах, неплохо было бы докинуть еще пол, возраст ученика и пол, возраст учителя.
Мне кажется, что Вы не разу не оказывались в кризисной ситуации с портфелем на руках :)
Вот эта часть несправедлива. Если убрать с рынка ликвидность, акции без выплаты дивидендов (а это по сути любая растущая компания) не будут пользоваться спросом. Легко сказать, поди продай акции, когда цена на них начнет падать или когда просто захочется. А без арбитражных роботов это гораздо сложнее. Попробуйте продать свою квартиру за пару миллисекунд, когда цена на нее начнет падать, посмотрим, что у Вас получится:)
Регуляторы рынка США не такие уж простые люди, и систему с небольшой комиссией они придумали не от глупости своей. Биржей можно управлять разными способами. Можно наоборот бороться с роботами, вводя конские комиссии, как в Японии. И посмотрите на состояние их биржи...
Трейдеры — это не перекупщики. Есть такие понятия, как арбитраж и ликвидность. Рынок — это сложная система, которая сама себя регулирует, и наличие в ней трейдеров тоже обусловлено потребностью системы в них.
Когда вы приходите на американскую биржу и хотите купить акцию компании AAPL, кто гарантирует вам, что цена этой бумаги будет справедливой? На самом деле трейдеры и все возможные скальпирующие арбитражные роботы.
А кто гарантирует, что вы сможете в любое время дня и ночи продать свою акцию по конкурентной цене? Опять же трейдеры и роботы.
Именно в этом и есть смысл торговли на бирже.
Вы можете сказать, а почему они на этом зарабатывают? Это же нечестно! Но торговля на бирже и поддержка ликвидности — это такая же работа, как и все остальные. Она должна оплачиваться. Мы, например, держим штат сотрудников, имеем инфраструктуру в Москве и в Америке, платим за данные и все для Вас. А в замен имеем пару копеек с каждого трейда какого-нибудь спешащего обналичить деньги чайника:)
Читать такую стену текста очень сложно. Даже при том, что я человек заинтересованный и, как вижу слова ML и трейдинг в одном предложении, сразу возбуждаюсь.
По теме:
Нормальный дата сайентист верит в то, что предсказать движение рынка в целом -- это нерешаемая задача, потому предсказывать любые движения, которые сильно скореллированы с движением рынка (например приращение цены бумаги на какой-то период вперед) -- это гиблое дело.
Использовать технические характеристики бумаги в анализе можно, но вопрос в том, что получить доступ к ним раньше остальных бывает очень затруднительно. Из первых источников, типа блумберга, получать данные больно дорого для индивидуального инвестора. А если у тебя нет доступа к даным раньше остальных, надо закладываться на то, что влияние этой инфомации уже учтено в изменении цены бумаги и использовать их для предсказаний чего бы то ни было бессмысленно.
Все мои удачные стратегии (их бин у меня и немало с трек рекордом 10+ лет) использовали только информацию о движении цены бумаги и ее соседей по рынку.
Дургое дело, что в большинстве своем ML алгоритмы на рынке выскребают копейки и требуют больших денег и торговли сразу по тысячам бумаг каждый день, чтобы уменьшить статистическую погрешность.
В итоге самым удачным подходом оказывается использовать классические вероятностные модели движения рынка, которые уже нечувствительны к шумам + ML уже внутри них, как доп преимущество.