Если не ошибаюсь, ext4 на линуксе раскидывает файлы с большими промежутками, чтобы они могли расти какое-то время без проблем. Поэтому там фрагментация обычно 1-2% максимум. А вот что реально оказывается проблемой, так это фрагментация файла директории, если в ней долгое время создавались и удалялись файлы десятками, а то и сотнями тысяч. В этом случае уже никаких пропусков не добавляется, файл-индекс сплошной, и при фрагментации возникают ощутимые задержки при обращении к файлам внутри такой директории, даже если их там мало. Причём, никакие кэши не помогают, проявляется это в том числе и на SSD, тормозит сама логика траверса, хотя вроде как и не должна.
Путей решения два — либо удалить и создать такую директорию заново, либо использовать малоизвестный флаг -D у fsck.ext4. Он документирован, разумеется, но об этой проблеме практически не говорят, т.к. она случается редко и после файловых катаклизмов. В моём случае это был какой-то мой скрипт, который создал миллионы файлов в домашнем каталоге, после их удаления размер файла самой директории /home/rkfg был несколько мегабайт, и тормозить всё стало ощутимо.
Это несущественные детали. У системы есть конкретный владелец, который устанавливает правила, остальное уже неважно. На этого владельца можно надавить при необходимости, правила изменятся, результат будет достигнут.
TON на основе PoS, согласен, что это не PoW, но на мой взгляд тоже неплохо.
Почему так просто не забрать? Системой TON владеет телеграм, они могут устанавливать любые правила и менять их как угодно. Блохчейн — это маркетинговый приём для малосведущих, он не даёт абсолютно никаких гарантий иммутабельности сам по себе. Иммутабельность возможна только в децентрализованном консенсусе, вдобавок, формируемом на основе PoW, всё остальное просто неэффективный шлак.
Биткоин с 2013 майнят только на асиках, потому что видюхи проигрывают им на порядки по производительности и энергоэффективности. Что ни говори, а C++ развивается быстрее хотя бы «биткоин-критиков», уже неплохо!
"Derivative Work(s)” means (a) any derivative work of the Software Products as recognized by U.S. copyright laws and (b) any modifications to a Model, and any other model created which is based on or derived from the Model or the Model’s output. For clarity, Derivative Works do not include the output of any Model.
Было бы крайне глупо ограничивать использование результатов генерации. Во-первых, как это контролировать? Выдача разных файнтюнов может быть кардинально разной. Во-вторых, какой в этом смысл? Люди могут генерить эти картинки миллионами, небольшому стартапу абсолютно нет резона гоняться за каждым блогером или магазинчиком, где иконки были сгенерены SDXL.
Зато если кто-то на их моделях построил бизнес (всякие генераторы-апскейлеры-языковой анализ) и начал грести миллионы именно от использования самих моделей — здесь уже не грех и поделиться. А копирайтить результаты работы вообще никто не должен хотеть, т.к. это делает их по сути соучастниками всех потенциальных преступлений, которые с помощью ИИ можно совершать (фейковые картиночки, порно и т.п.).
Здесь не говорится, что это будет единственный вариант. Две недели назад Эмад сказал, что веса будут на HF как обычно: https://www.reddit.com/r/StableDiffusion/comments/1c6awnl/comment/kzzzf3z/ Конечно, он уже не CEO, но всё же. Кроме того, их лицензия ограничивает только использование их моделей на других платных сервисах. Т.е. без подписки все модели можно качать и использовать бесплатно для своих нужд, а выхлопы вообще никак не ограничены — можно их продавать и делать с ними что угодно. Подписка нужна только если ты делаешь платный сервис, который использует их модели для своей работы.
Что же касается открытой публикации весов модели SD3 в открытом доступе, то здесь Stability AI выбрала компромиссный вариант. Компания пообещала в будущем выложить веса модели, но только для членов Stability AI Membership. Причем доступ к ним получат не все, а лишь подписчики Professional и Enterprise уровней.
Для лор лучше всего не применять аккумуляции и бэтчинг, они от этого мутнеют. Это хорошо для полноразмерного файнтюнинга на тысячах изображений, потому что там важна генерализация, а лоры всё же больше для специализации используются (добавление одного концепта/персонажа), за исключением стилевых. Там, скорее всего, бэтчинг будет наоборот полезен.
Я для 1.5 тренил, для интереса пробовал разные размеры бэтчей, на 24 Гб можно и 20-30 поставить, прожуёт. Так вот, на больших размерах концепт полностью вымывался, в ноль. Я тренировал на фото человека, и в результате на картинках получались пустые локации без единого человека. То же самое на рисованных персонажах, всё быстро схлопывается. Например, Go Gopher уже после нескольких ипоков стал рисоваться как один большой круг с точкой, а потом просто исчез. Очевидно, модель из-за слишком большого усреднения в бэтче (я знаю, что это технически не усреднение, но по факту работает аналогично) захватила только неизменную форму больших глаз, потеряв остальное, а потом и её «забыла».
Так что оптимальнее всего ставить размер бэтча и аккумуляции в 1 и забыть про них вообще. Да, видюха будет нагружена не полностью, но качество результата будет ощутимо выше. Стили я практически не тренировал, но интуитивно кажется, что там большие бэтчи будут работать лучше. Полный файнтюнинг тоже не делал.
Прошло 14 лет, и пришло понимание (не ко всем пока, но ещё не вечер), что «обеспечение» требуется только вещам, которые сами по себе могут печататься неограниченно и бесплатно. При этом, децентрализованно такое «обеспечение» проверить невозможно, всегда будут какие-то гаранты, которым придётся верить на слово.
Поэтому биткоин не обеспечен ничем и предоставляет фиксированную шкалу ценности. Так же, как метр не обеспечен линейкой или килограмм — куском металла, они просто есть, и их значимость в их постоянности и общедоступности.
Увеличивать количество биткоина нельзя не только потому, что это невозможно привязать к экономике (децентрализованно нельзя прийти к точному консенсусу касательно текущего объёма всех товаров и услуг на планете). Это нельзя ещё и потому, что инфляция — скрытый налог на сбережения. Нынешняя эмиссия биткоина не является инфляцией, потому что максимальное количество известно, и каждый может точно знать, какой частью «пирога» он владеет, просто пирог ещё не полностью испечён, но финальный размер знают все. А вот увеличение общей массы приводит к снижению твоей доли. И если такое увеличение сделать один раз, найдутся предлоги сделать его ещё и ещё, до бесконечности. Что приведёт нас опять к той же самой системе дырявого ведра, в которой мы живём сейчас — сколько ни работай, инфляция постепенно сожрёт всё.
Ну хорошо, какой смысл откатывать 4 пустых блока? Зачем вообще такой откат нужен, если он ничего не меняет? Выглядит как cargo cult (хехе), ведь у биткоина так сделали, значит, нам тоже надо, а понимания нет. К слову, у биткоина глубина реорга не ограничена вообще никак. Если вы предоставите форк с большим объемом работы, он будет принят безоговорочно, даже если он откатывает всё до генезиса. И это абсолютно верный алгоритм. Если система децентрализована на самом деле, у неё не может быть каких-то точно-настоящих-форков, которые фиксируются чекпоинтами от разработчиков. У биткоина есть отметки блоков, которые считаются заведомо верными (это оптимизация), но если нода получит конфликтующий форк, она его честно проверит и примет, если он удовлетворяет правилам.
Почему они пустые, если у вас одна транзакция в каждом блоке? Понимание как раз есть, тут всё очень банально: ваш блокчейн не работает. В общем смысле — нет. Это игрушечная система, которая будет прекрасно функционировать в отсутствие мотивированного атакующего, располагающего достаточно скромными ресурсами. Вы пишете, что блоки подписывают предыдущие участники, что будет, если они откажутся? Ведь они за это ничего не получают. Или если они попросту забросят систему. Всё остановится или есть запасной вариант на этот случай? Что будет, если атакующий подкупит этих участников, и они подпишут его альтернативную историю? Система абсолютно не децентрализована, впрочем, PoS и его аналоги заведомо этого не допускают. Всё работает, потому что не популярно и не интересно тем, у кого есть ресурсы на атаку. Но как только вы перейдете дорогу кому-то заинтересованному, всё быстро развалится, поэтому я надеюсь, что от этой вашей системы не будет зависеть ничего важного. А поиграть в безопасность, иммутабельность и нецензурность не вредно, если понимать, что это просто игра.
Даже 4 блока уже неплохо — можно считать, что домены в последних 4 блоках могут быть захвачены кем угодно, кому не лень помайнить. Хорошо, как быть с новыми нодами, которые не знают «истинную» голову цепи (её на самом деле не существует, если блокчейн не игрушечный — всегда есть ненулевая вероятность параллельной более длинной цепи)? Вот я запустил ноду, она подключилась к каким-то участникам. Злоумышленник запустил сто тыщ нод, которые раздают альтернативную цепь, где последние 100 или 50 блоков отличаются. Моя нода получила два варианта истории, один от старых нод, другой от злоумышленника. Какой из них следует выбрать? Почему?
Независимо намайнить некий длинный форк невозможно
Почему? Кто запретит? Центра же нет, каждый волен создавать блоки с любым предком, лишь бы PoW был верный.
Как ваша система отреагирует, если я создам 100 блоков, начиная с какого-то более раннего (скажем, 50-й от головы), только домены в них зарегаю на свой ключ (имена возьму из существующих блоков)? В биткоине форк с бо́льшим объёмом работы всегда побеждает (в этом смысл блокчейна), а у вас цепь не продлевается, пока кому-то не понадобится новый домен. Если человек запускает новую ноду и получает два конфликтующих форка, какой из них он выберет?
Мне эта часть понравилась тем, что это внезапная реалистичная калька с голливудских хакеров, у которых из мельтешащих на экране буковок по одной собирается пароль. Причём, вроде, в фильмах это появилось раньше, чем в реальности.
Тут всё на самом деле просто, LTC — это обычный шиткоин, и как и любой другой он идёт на ноль относительно биткоина. Выбираем в качестве единицы измерения BTC и вуаля:
Тут уже никакие халвинги не спасут, доктор сказал в морг — значит, в морг.
Никакие другие факторы на это повлиять не могут. Цифровая редкость может быть открыта лишь однажды, ведь повторные «открытия» — это просто бесплатная или крайне дешёвая инфляция над первоначальной, коей биткоин и является. И прибыль от этой инфляции, разумеется, получают те, кто находятся ближе всего к её источнику, т.е. разработчики. Поэтому по мере осознания этого факта людьми ценность переливается из шиткоинов в биткоин как наиболее децентрализованный и защищённый актив.
Измерять стоимость крипты в долларах неверно, потому что доллар подвержен инфляции точно так же, как и любая отдельно взятая крипта, как и всё «криптопространство» в целом (каждый день запускается новая криптопирамидка, и многим удаётся урвать кусочек пирога). Биткоин же является наиболее устойчивым мерилом, т.к. его фундаментальные правила известны с 2009 года, и их невозможно изменить никому.
Если не ошибаюсь, ext4 на линуксе раскидывает файлы с большими промежутками, чтобы они могли расти какое-то время без проблем. Поэтому там фрагментация обычно 1-2% максимум. А вот что реально оказывается проблемой, так это фрагментация файла директории, если в ней долгое время создавались и удалялись файлы десятками, а то и сотнями тысяч. В этом случае уже никаких пропусков не добавляется, файл-индекс сплошной, и при фрагментации возникают ощутимые задержки при обращении к файлам внутри такой директории, даже если их там мало. Причём, никакие кэши не помогают, проявляется это в том числе и на SSD, тормозит сама логика траверса, хотя вроде как и не должна.
Путей решения два — либо удалить и создать такую директорию заново, либо использовать малоизвестный флаг -D у fsck.ext4. Он документирован, разумеется, но об этой проблеме практически не говорят, т.к. она случается редко и после файловых катаклизмов. В моём случае это был какой-то мой скрипт, который создал миллионы файлов в домашнем каталоге, после их удаления размер файла самой директории /home/rkfg был несколько мегабайт, и тормозить всё стало ощутимо.
Это несущественные детали. У системы есть конкретный владелец, который устанавливает правила, остальное уже неважно. На этого владельца можно надавить при необходимости, правила изменятся, результат будет достигнут.
А на мой взгляд, это не то что плохо, это ужасно и отвратительно. https://habr.com/ru/articles/600113/ почитайте.
Почему так просто не забрать? Системой TON владеет телеграм, они могут устанавливать любые правила и менять их как угодно. Блохчейн — это маркетинговый приём для малосведущих, он не даёт абсолютно никаких гарантий иммутабельности сам по себе. Иммутабельность возможна только в децентрализованном консенсусе, вдобавок, формируемом на основе PoW, всё остальное просто неэффективный шлак.
Биткоин с 2013 майнят только на асиках, потому что видюхи проигрывают им на порядки по производительности и энергоэффективности. Что ни говори, а C++ развивается быстрее хотя бы «биткоин-критиков», уже неплохо!
А ещё это может быть S-кривая. А ещё люди могут тупеть в среднем, потому что значительная часть их нужд заменяется технологиями.
Нет, это явно прописано в лицензии, см. https://github.com/Stability-AI/generative-models/blob/main/model_licenses/LICENSE-SDXL-Turbo (это первая их лицензия с ограничениями):
Было бы крайне глупо ограничивать использование результатов генерации. Во-первых, как это контролировать? Выдача разных файнтюнов может быть кардинально разной. Во-вторых, какой в этом смысл? Люди могут генерить эти картинки миллионами, небольшому стартапу абсолютно нет резона гоняться за каждым блогером или магазинчиком, где иконки были сгенерены SDXL.
Зато если кто-то на их моделях построил бизнес (всякие генераторы-апскейлеры-языковой анализ) и начал грести миллионы именно от использования самих моделей — здесь уже не грех и поделиться. А копирайтить результаты работы вообще никто не должен хотеть, т.к. это делает их по сути соучастниками всех потенциальных преступлений, которые с помощью ИИ можно совершать (фейковые картиночки, порно и т.п.).
Здесь не говорится, что это будет единственный вариант. Две недели назад Эмад сказал, что веса будут на HF как обычно: https://www.reddit.com/r/StableDiffusion/comments/1c6awnl/comment/kzzzf3z/ Конечно, он уже не CEO, но всё же. Кроме того, их лицензия ограничивает только использование их моделей на других платных сервисах. Т.е. без подписки все модели можно качать и использовать бесплатно для своих нужд, а выхлопы вообще никак не ограничены — можно их продавать и делать с ними что угодно. Подписка нужна только если ты делаешь платный сервис, который использует их модели для своей работы.
Источник?
Для лор лучше всего не применять аккумуляции и бэтчинг, они от этого мутнеют. Это хорошо для полноразмерного файнтюнинга на тысячах изображений, потому что там важна генерализация, а лоры всё же больше для специализации используются (добавление одного концепта/персонажа), за исключением стилевых. Там, скорее всего, бэтчинг будет наоборот полезен.
Я для 1.5 тренил, для интереса пробовал разные размеры бэтчей, на 24 Гб можно и 20-30 поставить, прожуёт. Так вот, на больших размерах концепт полностью вымывался, в ноль. Я тренировал на фото человека, и в результате на картинках получались пустые локации без единого человека. То же самое на рисованных персонажах, всё быстро схлопывается. Например, Go Gopher уже после нескольких ипоков стал рисоваться как один большой круг с точкой, а потом просто исчез. Очевидно, модель из-за слишком большого усреднения в бэтче (я знаю, что это технически не усреднение, но по факту работает аналогично) захватила только неизменную форму больших глаз, потеряв остальное, а потом и её «забыла».
Так что оптимальнее всего ставить размер бэтча и аккумуляции в 1 и забыть про них вообще. Да, видюха будет нагружена не полностью, но качество результата будет ощутимо выше. Стили я практически не тренировал, но интуитивно кажется, что там большие бэтчи будут работать лучше. Полный файнтюнинг тоже не делал.
Сейчас — нормально. Но за мою зарплату дают всё меньше и меньше биткоинов, увы. Продолжаем планомерно нищать.
Что не смеётесь, не смешно? Это биткоин!
Прошло 14 лет, и пришло понимание (не ко всем пока, но ещё не вечер), что «обеспечение» требуется только вещам, которые сами по себе могут печататься неограниченно и бесплатно. При этом, децентрализованно такое «обеспечение» проверить невозможно, всегда будут какие-то гаранты, которым придётся верить на слово.
Поэтому биткоин не обеспечен ничем и предоставляет фиксированную шкалу ценности. Так же, как метр не обеспечен линейкой или килограмм — куском металла, они просто есть, и их значимость в их постоянности и общедоступности.
Увеличивать количество биткоина нельзя не только потому, что это невозможно привязать к экономике (децентрализованно нельзя прийти к точному консенсусу касательно текущего объёма всех товаров и услуг на планете). Это нельзя ещё и потому, что инфляция — скрытый налог на сбережения. Нынешняя эмиссия биткоина не является инфляцией, потому что максимальное количество известно, и каждый может точно знать, какой частью «пирога» он владеет, просто пирог ещё не полностью испечён, но финальный размер знают все. А вот увеличение общей массы приводит к снижению твоей доли. И если такое увеличение сделать один раз, найдутся предлоги сделать его ещё и ещё, до бесконечности. Что приведёт нас опять к той же самой системе дырявого ведра, в которой мы живём сейчас — сколько ни работай, инфляция постепенно сожрёт всё.
Последние два параграфа наиболее «интересные». Думаем.
Ну хорошо, какой смысл откатывать 4 пустых блока? Зачем вообще такой откат нужен, если он ничего не меняет? Выглядит как cargo cult (хехе), ведь у биткоина так сделали, значит, нам тоже надо, а понимания нет. К слову, у биткоина глубина реорга не ограничена вообще никак. Если вы предоставите форк с большим объемом работы, он будет принят безоговорочно, даже если он откатывает всё до генезиса. И это абсолютно верный алгоритм. Если система децентрализована на самом деле, у неё не может быть каких-то точно-настоящих-форков, которые фиксируются чекпоинтами от разработчиков. У биткоина есть отметки блоков, которые считаются заведомо верными (это оптимизация), но если нода получит конфликтующий форк, она его честно проверит и примет, если он удовлетворяет правилам.
Почему они пустые, если у вас одна транзакция в каждом блоке? Понимание как раз есть, тут всё очень банально: ваш блокчейн не работает. В общем смысле — нет. Это игрушечная система, которая будет прекрасно функционировать в отсутствие мотивированного атакующего, располагающего достаточно скромными ресурсами. Вы пишете, что блоки подписывают предыдущие участники, что будет, если они откажутся? Ведь они за это ничего не получают. Или если они попросту забросят систему. Всё остановится или есть запасной вариант на этот случай? Что будет, если атакующий подкупит этих участников, и они подпишут его альтернативную историю? Система абсолютно не децентрализована, впрочем, PoS и его аналоги заведомо этого не допускают. Всё работает, потому что не популярно и не интересно тем, у кого есть ресурсы на атаку. Но как только вы перейдете дорогу кому-то заинтересованному, всё быстро развалится, поэтому я надеюсь, что от этой вашей системы не будет зависеть ничего важного. А поиграть в безопасность, иммутабельность и нецензурность не вредно, если понимать, что это просто игра.
Даже 4 блока уже неплохо — можно считать, что домены в последних 4 блоках могут быть захвачены кем угодно, кому не лень помайнить. Хорошо, как быть с новыми нодами, которые не знают «истинную» голову цепи (её на самом деле не существует, если блокчейн не игрушечный — всегда есть ненулевая вероятность параллельной более длинной цепи)? Вот я запустил ноду, она подключилась к каким-то участникам. Злоумышленник запустил сто тыщ нод, которые раздают альтернативную цепь, где последние 100 или 50 блоков отличаются. Моя нода получила два варианта истории, один от старых нод, другой от злоумышленника. Какой из них следует выбрать? Почему?
Почему? Кто запретит? Центра же нет, каждый волен создавать блоки с любым предком, лишь бы PoW был верный.
Как ваша система отреагирует, если я создам 100 блоков, начиная с какого-то более раннего (скажем, 50-й от головы), только домены в них зарегаю на свой ключ (имена возьму из существующих блоков)? В биткоине форк с бо́льшим объёмом работы всегда побеждает (в этом смысл блокчейна), а у вас цепь не продлевается, пока кому-то не понадобится новый домен. Если человек запускает новую ноду и получает два конфликтующих форка, какой из них он выберет?
Мне эта часть понравилась тем, что это внезапная реалистичная калька с голливудских хакеров, у которых из мельтешащих на экране буковок по одной собирается пароль. Причём, вроде, в фильмах это появилось раньше, чем в реальности.
Пишу из 2023-го, настройка по-прежнему в клавиатуре, еле нашёл!
Тут всё на самом деле просто, LTC — это обычный шиткоин, и как и любой другой он идёт на ноль относительно биткоина. Выбираем в качестве единицы измерения BTC и вуаля:
Никакие другие факторы на это повлиять не могут. Цифровая редкость может быть открыта лишь однажды, ведь повторные «открытия» — это просто бесплатная или крайне дешёвая инфляция над первоначальной, коей биткоин и является. И прибыль от этой инфляции, разумеется, получают те, кто находятся ближе всего к её источнику, т.е. разработчики. Поэтому по мере осознания этого факта людьми ценность переливается из шиткоинов в биткоин как наиболее децентрализованный и защищённый актив.
Измерять стоимость крипты в долларах неверно, потому что доллар подвержен инфляции точно так же, как и любая отдельно взятая крипта, как и всё «криптопространство» в целом (каждый день запускается новая криптопирамидка, и многим удаётся урвать кусочек пирога). Биткоин же является наиболее устойчивым мерилом, т.к. его фундаментальные правила известны с 2009 года, и их невозможно изменить никому.
Осталось определить, кто умнее, чтобы прекратить эту бесполезную возню. Я вот прекратил уже давно и советую другим поступать так же.