Есть ресурсы, которые обучают модели анализировать новости. Есть история финансовых новостей и быстрая их интерпретация тоже может быть ключом к пониманию как поведет себя рынок.
Еще можно стараться угадывать не минутные изменения, а часовые, например. Или использовать сразу несколько временных шагов. минута, час, день, чтобы у модели было больше контекста. Модель сможет заглянуть за горизонт дальше и возможно прогнозировать лучше.
Исходя из описания вашего процесса тренировки - тут можно всерьез задуматься над разработкой своей LLM. Потому как вам не нужно самое дорогое что есть в доступных платных моделях - их обученные веса. Вы в своем векторном пространстве обучаете модель на своих данных. Можно пробовать собирать свою модель и гонять бесплатно. А на сэкономленные деньги взять пару H100. :)
Язык C достаточно простой и эффективный. На нем можно писать простые функции и эффективные решения. На нем много библиотек. Если вы делаете ошибки в C - рано увеличивать сложность и переходить к C++. И совет не используйте выделение памяти в стиле С в C++ потому что можно выделить что-то в стеке... Это очень странно.
Вы можете посмотреть условие и проверить свое решение на https://highload.fun/tasks/5 . там бинарные данные идут на вход. Замена std::cin на mmap дает x250 ускорение. А дальше волшебство и танцы с бубном, чтобы приблизиться к лидеру.
Если мы говорим о закваске не медовой, как у автора, а обычной из ржаной- и пшеничной муки, то там молочнокисные бактерии будут работать много медленней. Чтобы хлеб испечь сегодня утром, его надо будет замешивать за 12 часов где-то. Ну и т.к. бактерии молочнокислые и при брожении выделяют кислоту - кислинка в таком хлебе будет чувствоваться. Еще одно отличие - лучше ферментация белков. Дольше контакт муки с водой - лучше ферментация и белки распадаются на более простые. Кто-то может сказать что такой хлеб ближе к безглютеновому, но это маркетинг.
Для компании нет разницы, кто писал код, если он понятный, хорошо документирован и корректно работает. AI ассистент может перестать работать, программист может уволиться. И при таких входных данных нам надо выбрать стоит ли использовать AI и для каких задач. Ясное дело что с большими и сложными задачами он (пока) не справится. Тысячи строк просто в контекст не влезут и продумать все мелочи за раз сложно. С другой стороны - тесты написать сможет. Базовую имплементацию функции с четкими требованиями написать сможет. Просмотреть код, чтоб в нем не было ляпов - может. Программисту остаются задачи уровня Middle+ - представить общую архитектуру, разбить на задачи, проверить что все кирпичи сходятся и все работает как надо.
./Mlucas_asimd -fft 7168 -iters 100 -nthread 8
Mlucas 20.1.1
http://www.mersenneforum.org/mayer/README.html
INFO: testing qfloat routines...
INFO: 16384 MB of available system RAM detected.
CPU Family = ARM Embedded ABI, OS = OS X, 64-bit Version, compiled with Gnu-C-compatible [llvm/clang], Version 16.0.0 (clang-1600.0.26.3).
INFO: Build uses ARMv8 advanced-SIMD instruction set.
INFO: Using prefetch.
INFO: Using inline-macro form of MUL_LOHI64.
INFO: Using FMADD-based 100-bit modmul routines for factoring.
INFO: MLUCAS_PATH is set to ""
INFO: using 53-bit-significand form of floating-double rounding constant for scalar-mode DNINT emulation.
Setting DAT_BITS = 10, PAD_BITS = 2
INFO: testing IMUL routines...
INFO: Testing 64-bit 2^p (mod q) functions with 100000 random (p, q odd) pairs...
INFO: System has 10 available processor cores.
INFO: testing FFT radix tables...
Set affinity for the following 8 cores: 0.1.2.3.4.5.6.7.
Mlucas selftest running.....
/****************************************************************************/
User did not set LowMem in mlucas.ini ... allowing all test types.
User did not set CheckInterval in mlucas.ini ... using default.
NTHREADS = 8
Setting ITERS_BETWEEN_CHECKPOINTS = 100000.
worktodo.ini file not found...using user-supplied command-line exponent p = 132772789
INFO: Maximum recommended exponent for FFT length (7168 Kdbl) = 134847983; p[ = 132772789]/pmax_rec = 0.9846108636.
Initial DWT-multipliers chain length = [short] in carry step.
M132772789: using FFT length 7168K = 7340032 8-byte floats, initial residue shift count = 70720170
This gives an average 18.088856969560897 bits per digit
Using complex FFT radices 224 16 32 32
mers_mod_square: Init threadpool of 8 threads
Using 8 threads in carry step
100 iterations of M132772789 with FFT length 7340032 = 7168 K, final residue shift count = 58265101
Res64: DD02AEFE839F92D5. AvgMaxErr = 0.186049107. MaxErr = 0.218750000. Program: E20.1.1
Res mod 2^35 - 1 = 7411321303
Res mod 2^36 - 1 = 16339659737
Clocks = 00:00:01.084
Вопрос табов или пробелов решается форматированием кода перед коммитом и после чекаута. Вы можете настроить хук и весь код в репозитории будет причесан по вашему вкусу.
Хранить индексы и внутреннюю информацию о коде, которую понимает о нем компилятор в репозитории смысла нет. Потому что и информация и формат может меняться по мере обновления компилятора или других компонентов среды. Да еще и избыточность высокая.
Сертификаты копировать не обязательно. Каждый может сервер получать свои сертификаты через acme.sh, когда вы делаете авторизацию через dns. Потом их надо установить и перезагрузить nginx. Это автоматизируется командой: acme.sh --install-cert -d <domain> --key-file /etc/nginx/ssl/certs/<domain>.key --fullchain-file /etc/nginx/ssl/certs/<domain>.cert --reloadcmd "sudo /usr/sbin/service nginx reload" пути внутри nginx произвольные. главное чтоб в конфигах домена вы их правильно указали.
С такой командой acme.sh будет автоматом проверять обновление сертификата и перезагружать его внутри nginx, когда сертификат обновится.
И есть еще один вопрос, который вы не рассмотрели. Вы заказали 5 серверов чтобы каждый регион ходил через свой сервер, однако отказ любого из серверов оставит пользователей без контента. По хорошему надо какие-то heartbeat запросы отсылать и налету конфигурировать clouddns чтобы при падении сервера автоматом перенаправлять трафик.
Мы для Guru Maps настроили кэширующиего worker-a на cloudflare и он заменил нам все сервера во всех регионах. Cloudflare стал edge cdn и дальше усложнять архитектуру не пришлось.
Ну так сишный код тоже не идеален. Быстрый код писать сложно. А mojo старается сделать всю сложную оптимизационную работу под капотом. Когда его анонсировали была хорошая статья с описанием как им удалось этого достичь. https://www.modular.com/blog/mojo-vs-rust-is-mojo-faster-than-rust
Это как опыт в Pubg имеет мало отношения к опыту солдата. Так и это "зарабатывание" мало релевантно к жизненному опыту. Есть скиллы которые позволят ребенку придумывать идеи и строить бизнес. Они ценны как внутри Roblox, так и за его пределами. Но без понимания большей картины - Roblox бесполезен. Ровно как и любая pay to win игра. Clash of ***, Brawl of *** и т.д. Полезно умение узнавать выкачивалку денег заранее и обходить ее стороной.
Напоследок небольшой совет: Когда будете писать, что что-то не получается пишите что делаете, как работает и как вы считаете что должно работать. Это сэкономит отвечающим время и позволит сразу дать развернутый ответ по делу, а не спрашивать подробности.
Но это странно покупать тихий и легкий ноут и потом говорить что при высокой нагрузке там троттлинг. Да он тихий и легкий, а не максимально быстрый. Нет, все три параметра одновременно нельзя. :)
Жалобы выглядят будто люди купили вилку, потом начали ей есть суп и что-то проливается.
Но почему "взлома Linux"? :) Hacking тут в первоначальном смысле - "глубоко разбираться". Копаться в драйверах, в схемах, разбираться во внутреннем устройстве.
Ну потому что отпечаток - это хэш от публичного ключа сервера. Если кто-то хочет передать чужой публичный ключ - он ничего не сможет прочитать в ответе клиента.
С этим нонпрофитом как-то мутно там все. Потому что они зарегистрировали себе for-profit дочку OpenAI Global, LLCеще в 2019 и стремились заработать побольше денег.
Есть ресурсы, которые обучают модели анализировать новости. Есть история финансовых новостей и быстрая их интерпретация тоже может быть ключом к пониманию как поведет себя рынок.
Еще можно стараться угадывать не минутные изменения, а часовые, например. Или использовать сразу несколько временных шагов. минута, час, день, чтобы у модели было больше контекста. Модель сможет заглянуть за горизонт дальше и возможно прогнозировать лучше.
Исходя из описания вашего процесса тренировки - тут можно всерьез задуматься над разработкой своей LLM. Потому как вам не нужно самое дорогое что есть в доступных платных моделях - их обученные веса. Вы в своем векторном пространстве обучаете модель на своих данных. Можно пробовать собирать свою модель и гонять бесплатно. А на сэкономленные деньги взять пару H100. :)
Язык C достаточно простой и эффективный. На нем можно писать простые функции и эффективные решения. На нем много библиотек. Если вы делаете ошибки в C - рано увеличивать сложность и переходить к C++. И совет не используйте выделение памяти в стиле С в C++ потому что можно выделить что-то в стеке... Это очень странно.
Втюхать. И это уже сленг отдела продаж. :))
Вы можете посмотреть условие и проверить свое решение на https://highload.fun/tasks/5 . там бинарные данные идут на вход. Замена std::cin на mmap дает x250 ускорение. А дальше волшебство и танцы с бубном, чтобы приблизиться к лидеру.
Если мы говорим о закваске не медовой, как у автора, а обычной из ржаной- и пшеничной муки, то там молочнокисные бактерии будут работать много медленней. Чтобы хлеб испечь сегодня утром, его надо будет замешивать за 12 часов где-то. Ну и т.к. бактерии молочнокислые и при брожении выделяют кислоту - кислинка в таком хлебе будет чувствоваться. Еще одно отличие - лучше ферментация белков. Дольше контакт муки с водой - лучше ферментация и белки распадаются на более простые. Кто-то может сказать что такой хлеб ближе к безглютеновому, но это маркетинг.
Для компании нет разницы, кто писал код, если он понятный, хорошо документирован и корректно работает. AI ассистент может перестать работать, программист может уволиться. И при таких входных данных нам надо выбрать стоит ли использовать AI и для каких задач. Ясное дело что с большими и сложными задачами он (пока) не справится. Тысячи строк просто в контекст не влезут и продумать все мелочи за раз сложно. С другой стороны - тесты написать сможет. Базовую имплементацию функции с четкими требованиями написать сможет. Просмотреть код, чтоб в нем не было ляпов - может. Программисту остаются задачи уровня Middle+ - представить общую архитектуру, разбить на задачи, проверить что все кирпичи сходятся и все работает как надо.
Ага. А более навернутая mprime не собирается на армах. Все как пишут на форуме.
У меня получилось на macOS 15 и M2 Pro без проблем. Исходники тут: https://www.mersenneforum.org/mayer/README.html
Makefile с путями для brew и флагом для neon:
Кусок лога:
Вопрос табов или пробелов решается форматированием кода перед коммитом и после чекаута. Вы можете настроить хук и весь код в репозитории будет причесан по вашему вкусу.
Хранить индексы и внутреннюю информацию о коде, которую понимает о нем компилятор в репозитории смысла нет. Потому что и информация и формат может меняться по мере обновления компилятора или других компонентов среды. Да еще и избыточность высокая.
Сертификаты копировать не обязательно. Каждый может сервер получать свои сертификаты через acme.sh, когда вы делаете авторизацию через dns. Потом их надо установить и перезагрузить nginx. Это автоматизируется командой: acme.sh --install-cert -d <domain> --key-file /etc/nginx/ssl/certs/<domain>.key --fullchain-file /etc/nginx/ssl/certs/<domain>.cert --reloadcmd "sudo /usr/sbin/service nginx reload" пути внутри nginx произвольные. главное чтоб в конфигах домена вы их правильно указали.
С такой командой acme.sh будет автоматом проверять обновление сертификата и перезагружать его внутри nginx, когда сертификат обновится.
И есть еще один вопрос, который вы не рассмотрели. Вы заказали 5 серверов чтобы каждый регион ходил через свой сервер, однако отказ любого из серверов оставит пользователей без контента. По хорошему надо какие-то heartbeat запросы отсылать и налету конфигурировать clouddns чтобы при падении сервера автоматом перенаправлять трафик.
Мы для Guru Maps настроили кэширующиего worker-a на cloudflare и он заменил нам все сервера во всех регионах. Cloudflare стал edge cdn и дальше усложнять архитектуру не пришлось.
Ну так сишный код тоже не идеален. Быстрый код писать сложно. А mojo старается сделать всю сложную оптимизационную работу под капотом. Когда его анонсировали была хорошая статья с описанием как им удалось этого достичь. https://www.modular.com/blog/mojo-vs-rust-is-mojo-faster-than-rust
Это как опыт в Pubg имеет мало отношения к опыту солдата. Так и это "зарабатывание" мало релевантно к жизненному опыту. Есть скиллы которые позволят ребенку придумывать идеи и строить бизнес. Они ценны как внутри Roblox, так и за его пределами. Но без понимания большей картины - Roblox бесполезен. Ровно как и любая pay to win игра. Clash of ***, Brawl of *** и т.д. Полезно умение узнавать выкачивалку денег заранее и обходить ее стороной.
Может показаться, что программисты токсичные и вредные, но это не всегда так. Многие из комментирующих прошли этот путь и не заметили сложностей. Вводим в гугл "develop for Android" первой ссылкой официальные доки от гугла: https://developer.android.com/develop там можно читать все вдоль и поперек. Прям одна из верхних ссылок - мое первое приложение для Android: https://developer.android.com/get-started/overview там же дальше ссылка на курс по Android разработке: https://developer.android.com/courses/android-basics-compose/course
Вся информация была под рукой. Удачного изучения.
Напоследок небольшой совет: Когда будете писать, что что-то не получается пишите что делаете, как работает и как вы считаете что должно работать. Это сэкономит отвечающим время и позволит сразу дать развернутый ответ по делу, а не спрашивать подробности.
Кохлеарные имплатны так и работают. Может там запатентовано все под завязку.
Тут шутка в том что M3 с троттлингом будет все равно быстрее чем Lenovo Yoga за те же деньги. :) И автономность будет лучше. Как там по весу не знаю.
Но это странно покупать тихий и легкий ноут и потом говорить что при высокой нагрузке там троттлинг. Да он тихий и легкий, а не максимально быстрый. Нет, все три параметра одновременно нельзя. :)
Жалобы выглядят будто люди купили вилку, потом начали ей есть суп и что-то проливается.
Но почему "взлома Linux"? :) Hacking тут в первоначальном смысле - "глубоко разбираться". Копаться в драйверах, в схемах, разбираться во внутреннем устройстве.
Ну потому что отпечаток - это хэш от публичного ключа сервера. Если кто-то хочет передать чужой публичный ключ - он ничего не сможет прочитать в ответе клиента.
Если уж ускорять, то с mojo?
С этим нонпрофитом как-то мутно там все. Потому что они зарегистрировали себе for-profit дочку OpenAI Global, LLC еще в 2019 и стремились заработать побольше денег.