Pull to refresh
19
0
kizill @kizill

Разработчик C++

Send message

'depth': [4, 6, 10],

Дело вот в этом - время растет нелинейно с глубиной, так как число листьев, которые нужно подсчитать это 2^{depth}, поэтому оценка тут может ошибаться из-за того, что некоторые прогоны в разы длиннее других.

А покажите ваш набор параметров? Скорее всего есть параметры, сильно замедляющие обучение, поэтому оценка по среднему времени оказывается неверной.

Привет! А что понимается по standalone применением? Есть makefile сборка статической и динамической библиотеки с C API, этот интерфейс поддерживает катфичи и мультикласс, есть c#, java & rust обертки над этой библиотекой, и наконец для экзотических потребностей есть экспорт моделей в python код с поддержкой катфичей.

Catboost — не про обработку неструктурированных данных, он решает совсем другую задачу — как с помощью набора каких-то характеристик объекта предсказать класс объекта(задача классификации и мультиклассификации) или какую-то численную характеристику объекта (задача регрессии). То есть для начала вам нужно построить набор численных и/или категориальных признаков, которые описывают ваши объекты и разметить обучающее множество объектов тем значением, которое мы будем предсказывать (проставить таргеты).
По поводу обучения решающих деревьев на gpu — на самом деле, уже довольно давно большая часть формул ранжирования яндекса учится как раз на gpu (чтобы понять, насколько давно вот статья про это аж 2013 года www.osp.ru/os/2013/08/13037858 Ускоряется обучение при переходе на gpu в десятки раз (ускорение зависит от функции потерь), это как раз связано с тем, что большую часть времени при обучении деревьев занимают весьма маленькие и локальные задачи: посчитать производные, построить гистограмки, обратить матрицу. А за счет того, что поставить N видеокарт можно в одну систему, они еще и заметно проще масштабируются — не нужно собирать CPU кластер с отличной сетью и/или RDMA.
Совсем-совсем скоро будет большой анонс gpu версии нашего catboost, но бета версию уже можно найти в репозитори: github.com/catboost/catboost/tree/master/catboost/cuda
Пускай объектив обеспечивает в границах светого пятна равномерную освещённость l люкс, тогда освещенность каждого пикселя будет равна l*s где s — площадь пикселя. То есть если у ФФ и у кропа площадь пикселей одинакова, то соотвественно и освещённость пикселей будет одинакова. Ваш КО.
Соглашусь, плюс для материала, который претендует на Теорию Всего как-то банальной систематичности не хватает.
«Любые сжатые данные имеют абсолютно равномерное распределение случайной величины» — слишком сильное утверждение.
Проблема не в масштабировании окна, которое, кстати, не сразу появилось в rfc по tcp, а вышло в виде отдельного RFC 1323 в 1992 году (через 11 лет после RFC 793), а в том, как его масштабировать. Алгоритмов весьма много, почитать можно тут — en.wikipedia.org/wiki/TCP_congestion_avoidance_algorithm
А вот ссылка на разработанный и исследовательским центром Microsoft алгоритм — research.microsoft.com/apps/pubs/default.aspx?id=70189 документ 2005 года.
Кстати, в виде патчей этот алгоритм доступен и для Linux.
Вы правильно поняли, в качестве измерителей использовались Windows машины.
С таск шедьюлером бороться не пришлось, с ним просто пришлось считаться.
За ICMP отвечает драйвер стека tcpip.sys
Да, портирование вполне возможно на любую ОС в которой есть pcap. Разницы в результате не будет, так как через WinPcap посылаются вручную собранные пакеты и ОС, на которой выполняется тестовое приложение, не должна по идее вносить значительных искажений.
Тестовая программа использовала WinPcap для посылки и приёма ICMP Timestamp. Схема эксперимента до крайности проста — посылаем запрос и ждем ответа на него, спим n миллисекунд,…, выводим результаты по мере поступления. Данные собирались с большого количества машин.
Точные цифры задержек, как и код, сейчас привести не могу — всё осталось на работе.
Да, программы отправляющей и принимающей запросы.

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Works in
Registered
Activity