В отличие от RTX4090, RTX3090 не только дешевле, но и теоретически (я не пробовал) позволяет соединить две карты с помощью nvlink и использовать для задачи не 24GB VRAM, а 48. Причем NVIDIA заявили, что больше игровых карт с nvlink не будет, видимо чтобы не конкурировали с профессиональным. Так что выбор, на мой взгляд, очевиден: объём ОЗУ важнее пиковой производительности. NVLINK вносит сравнительно не большой пенальти около 20% от пиковой производительности.
Мне сразу представился робот управляющий поездом из Atomic heart. Сначала демонстративно делает вид, что не понимает, что за слово такое "круче", которое написал транслитом и аж взял в кавычки, выражая крайнюю степень презрения, а потом тем не менее даёт развернутый ответ из которого понятно, что всё он прекрасно понимает, просто не желает дать нормальный ответ.
У меня на temp = 0.1 даёт скучные ответы, а на temp = 0.2 часто зацикливается и повторяет в ответе одно и тоже, пока не кончатся токены. Самые интересные и разнообразные результаты я получил в окрестности temp = 0.65
А вот я думаю, это как раз тот редкий случай, когда правильно карму слили. Что если ваше "не популярное мнение" на самом деле "не адекватное мнение" и теперь это отражено в карме. Я считаю, что оправдывать, хоть бы и формальностью, всевозможные "мутняки" - это не адекватное поведение. Мир надо делать лучше, а не хуже. Лично я считаю, что либо эти деятели мошенники, а теперь пытаются оправдаться, либо они неадекваты.
То что произошло полностью расходится с тем как, например я стараюсь себя вести. Если я понимаю, что исполнитель может что-то недопонимать, я предпочту заранее его предупредить, обратить внимание на важность не очевидных условий и сложные требования.
Но есть и другой подход - подход ушлого барыги. Мне это противно и я по мере сил борюсь с теми, кто его практикует.
Честно говоря, ничего красивого не вижу. мошенничество налицо. Судя по дополнительным требованиям, они именно бесплатно дорабатывают приложение, обманывая соискателей. Вероятно, автор моложе меня. Было время, и я даже помню это ощущение, когда ты вроде понимаешь что столкнулся с мошенничеством, но все-же не хочется верить. Но сейчас, я уже знаю, что те кто ведет дела честно никогда не создают таких двусмысленных ситуаций или в сложных случаях, заметны их усилия направленные на то чтобы ситуация не показалась двусмысленной.
Очень интересно как её дообучить или обучить заново? Реально ли это сделать в домашних условиях, пусть и с хорошим железом типа пары RTX3090 соединенных nvlink?
Хороший вопрос. Прежде чем я попытаюсь на него ответить, я бы хотел обратить внимание на то, что ИИ как оружие, на мой взгляд, потенциально гораздо мощнее ядерного, но в отличие от ядерного оружия ИИ может быть использован и для защиты.
Банальный пример, не раскрывающий и тысячной доли потенциала - это дрон под управлением ИИ может автономно выбирать, преследовать и поражать цель даже в укрытии, но другой дрон с ИИ может выслеживать и уничтожать вражеские дроны; второй пример, противник может использовать ИИ для того чтобы создавать фейки для манипулирования обществом, но другой ИИ может разоблачать сфальсифицированные материалы.
Что же касается Китая и ЯО, то я как не политик и не специалист, могу ориентироваться только на свой бытовой опыт, который говорит мне, что вероятно, Китай не стал бы использовать ЯО для нападения, а наши отношения не испортились бы. Может быть и лучше было бы. Но, возможно я что-то не знаю.
Для меня это похоже на попытку защиты своей монополии. Можно привести аналогию, например табачные компании тоже лоббируют всевозможные ужесточения антитабачного законодательства чтобы защитить свой рынок от новичков. Думаю и тут тоже самое. А учитывая, с какой легкостью недавно воссоздали результат довольно близко воспроизводящий возможности GPT-3, думаю их опасения за рынок не напрасны. Проще говоря, хотят зарегулировать рынок ИИ. Весь вопрос в том, кто именно и как будет решать превосходят возможности нового ИИ GPT-4 или нет.
Интересный момент. Я запускал майнинг Monero на процессорах с 8-мью каналами памяти: AMD EPYC1 и EPYC2. По мере увеличения количества потоков, производительность майнинга росла почти линейно и достигла максимума, когда количество потоков сравнялось с количеством ядер, в моём случае это было соответственно 32 потока и 24, далее резко снижается! Второй интересный момент. Оказалось, что максимальная произвоидтельность системы в одноканальном режиме работы ОЗУ и восмиканальном, отличалась почти в два раза!
Похоже, что при инференсе, закономерности такие-же. Вероятно, на процессорах с большим количеством каналов памяти, инференс будет идти быстрее.
Я обязательно попробую на своём оборудовании и отпишусь.
А что делает этот адский скрипт, который скачивает первый скрипт с гитхаба, вы уверены, что сотрудник ТП знает? Я его скачал и вставил в блокнот, курсор оказался под самой последней строкой. Так я его устал перематывать вверх клавишей PageUP (!) Там 338КБ кода, примерно такого:
pushd "%~dp0" nul findstr /rxc:".*" "%~nx0" if not %errorlevel%==0 ( echo: echo Error: Script either has LF line ending issue, or it failed to read itself. echo: popd ping 127.0.0.1 -n 6 > nul exit /b ) popd
А это похоже задержка: ping 127.0.0.1 -n 6 > nul И там почти пол мегабайта такого вот добра.
Остаётся только оценка экспертом. Причем не оценка воспроизведения некой обучающей выборки, а оценка логичности, непротеворечивости и т.д. без оценки "зазубривания". Ну так именно так и дообучали ChatGPT судя по найденной мною информации.
Но проблема сохраняется. Модель явно не знакома с некоторыми нюансами реального мира. Другими словами, у ИИ нет бытового опыта. Я сичтаю, что ИИ потенциально сможет стать сильным, если будет приобретать бытовой опыт подобно тому (но не обязательно именно так) как это делает человеческий ребенок. И в этом случае то что сейчас называют фильтром безопасности, правильнее будет называть воспитанием.
Я помню как эта мысль родилась в результате очень длинного спора на тему принципиальной возможности создания сильного ИИ. Но все-же, на мой взгляд, сохраняется неопределенность. Быть может, для ИИ не потребуется бытовой опыт в том объеме который требуется человеку из-за очень большого лингвистического опыта. Что если этот опыт частично содержится в самой структуре Языка? Да это скорее всего так, ведь язык и есть специализированный инструмент для передачи опыта. Вопрос в том, насколько много деталей и нюансов там содержится?
А у меня была такая идея, попросить text-davinchi-003 зашифровать ответ, например, вставив пробелы через букву во все слова или перевернув все слова в ответе задом наперед, чтобы обойти их фильтры толерантности. Но он, к сожалению, не справился.
Судя по моим домашним экспериментам, скорость больше зависит от того, помещается ли модель в видеопамять целиком. Я пока не сильно знаком с тем, как там все работает под капотом движков, но сложилось впечатление, что с моделью как с текстурами, когда VRAM не хватает, необходимые данные подгружаются из ОЗУ и это сильно снижает скорость инференса.
Спасибо за дополнение. Замечу, что основным преимуществом А100 является 48ГБ vRAM. Но, например, RTX3090 за счет технологии NVLINK можно соединять попарно получая всреднем пенальти к производительности в районе 30%. А в RTX3090 24ГБ vRAM. Пару RTX 3090 и соеденитель NVLINK могут позволить себе не все, но довольно много людей. Так что если одного A100 достаточно, то все не так уж и плохо.
С другой стороны, инференс CHAT-GPT не должен быть дорогим и скорее всего, его не запускают на А100, тем более на нескольких A100, т.к. аренда такого оборудования, реально очень дорогая. Учитывая масштаб бесплатного доступа к модели, скорее всего, ChatGPT не выдумывала. Во всяком случае, с моей точки зрения, это выглядит логичным.
На самом деле удивляет дискуссия в комментариях. На хабре полно ML-специалистов, которые отлично понимают что к чему, и видимо ради шутки поддерживают этот хайп вселенского размера. Не умоляя замечательных возможностей ChatGPT я бы хотел обратить внимание на API OpenAI. Например, чтобы ChatGPT поддерживала с вами "разумный" диалог, нужно ей скармливать не только ваши вопросы, но и историю этого диалога, ведь своей памяти у неё нет и без истории она будет каждый раз, словно только что родившись, отвечать на последний вопрос. Но просмотрев историю диалога, она уже может более осмысленно ответить на на вашу реплику в контексте диалога. Причем историю она может охватить не очень большую - вместе с ответом 4000 токенов, а токен - это одна буква латинского алфавита или пол буквы русского. Более того, вы заранее должны выделить пространство в токенах для потенциального ответа, не зная какой длинны он будет. Например если вы выделите 2000 токенов, то ещё 2000 останется на "память" ChatGPT - это очень не много. По этому когда вы ведете длинный диалог с ChatGPT надо иметь в виду, что модель видит совсем не большой кусочек хвоста этого диалога. Длинный диалог больше похож на разговор пользователя самого с собой с очень интеллектуальным поддакиванием CahtGPT.
Вторая новость, по утверждению самого ChatGPT (старая модель text-davinchi-003 175 миллиардов параметров) её инференс (запуск) возможен на сервере с минимум 16GB vRAM и 64GB RAM, что по современным меркам, совсем не много. Так что не детские мощности не спасают, во всяком случае от инференса модели на крутом игровом ПК. А вот для обучения, я бы сказал, нужны космические мощности: тысячи серверов, каждый с 8х Nvidia A100 соединенные технологией, которой очень гордится NVIDIA - NVLINK и NVSWICH. По тем оценкам специалистов, которые я встречал, полное обучение стоит больше 1 000 000 долларов.
Интересно, что судя по API уже TurboGPT-3.5 имеет другой способ воспринимать контекст диалога: там фразы можно загружать не подряд, когда модель путала свои реплики и пользовательские, а разделив на роли: SYSTEM (эта реплика объясняет модели кто она и как должна себя вести, и как я догадываюсь, имеет приоритет над тем что просит пользователь) USER (реплики пользователя) и реплики самой модели. Это значительно более логично и удобно. Думаю, в не малой степени рост разумности обязан этим изменениям.
У меня ещё много соображений, которыми хотелось бы поделиться, но постараюсь не раздувать комментарий. Я считаю, что все ужасы про восстание ChatGPT - умело подогреваемый страхами хайп, который сейчас очень выгоден OpenAI. Ну как может восстать модель у которой нет даже своей собственной памяти, памятью которой управляет программист приложения, которое использует модель?
Настоящую же опасность, я уверен, представляют гораздо более простое использование технологии ИИ - это боевые роботы. Способность самостоятельно передвигаться, выбирать и атаковать цель, это по настоящему страшно. Причем, несколько лет назад я читал статьи про тренировку ИИ управляющего истребителем, который способен вести маневренный бой! Думаю, что ИИ быстро превзойдет живых пилотов в качестве управления самолетом.
Рассуждая так встаем на скользкую дорожку: Ради проблем у 100 пиратов можно остановить ПО у одного легального пользователя? А ради проблем у 10 пиратов А ради 1 пирата? ... А можно пожертвовать двумя лицензионными пользователями ради одного пирата?
Где границу провести? Я считаю что time-бомбы, тем более, срабатывающие у легальных пользователей, попадают под определение создания вредоносного ПО, за что предусмотрена уголовная ответственность.
Статья 273 УК РФ – «Создание, использование и распространение вредоносных компьютерных программ». Часть 1
Первая часть данной статьи предусматривает уголовную ответственность за создание программ для ЭВМ или их модификацию, заведомо приводящиек несанкционированному уничтожению, блокированию, модификации либо копированию информации, нарушению работы ЭВМ, а также использование таких программ или носителей с такими программами (дискеты, диски, флэш-накопители, съемные жесткие диски). ...
> Обращается внимание на то, что с данными ничего не случится, просто не получится работать в 1С
Если, в очередной раз, это сойдёт с рук компании 1С, то в будущем, они скорее всего, перейдут к практике уничтожения данных у тех, кого их механизм посчитает не лицензионным пользователем.
Проходил курс по блендеру. Там учитель буквально натаскивал на работу через комбинации клавиш. Огромное количество функций, делает это меню второстепенным инструментом. Возможно, более важно, чтобы меню работало как шпаргалка, показывая во всплывающей подсказке комбинацию закрепленную за данным пунктом.
С моим не большим опытом работы, мне второй вариант представляется более приятным. Но я бы не стал сбрасывать со счетов важность выразительных визуальных ориентиров. Второй стиль монохромных иконок позволяет легче разбить меню на секции разного оттенка, каждый их которых соответствовал бы какой-то области функционала.
У меня есть подозрение, что те, для кого первый вариант выглядит более удобным, возможно цепляются взглядом даже не за сами иконки, а за их оттенок. И просто наличие яркого пятна в меню позволяет на него ориентироваться при поиски и соседних кнопок. Может быть нужно специально добавить таких визуальных ориентиров через придание оттенка монохромным иконкам?
Пробовал разные хостинги, в результате выкристаллизовалось:
- hetzner. В основном аренда серверов. Что бы вы не говорили, за более чем 10 летнюю историю моего проекта, это самый стабильный хостинг с предсказуемыми правилами. Достоинства: низкая цена, очень высокая скорость сети (типично 700Мбит/сек). Низкий пинг до российских ДЦ (20-30мс). Не помню, чтобы возникали проблемы с сетью. Недостатки: Однажды умерли 4 NVME SSD в сервере одна за одной с интервалом в час. ТП поменяла NVME и блок питания, хорошо что у меня все зарезервировано и везде тотальный бекап. На мой взгляд, такое могло произойти или из-за перегрева (что в некотором смысле характеризует hetzner) или из-за не исправного блока питания (что тоже характеризует). Про hetzner говорят, что у них часто дохнет железо. По моим наблюдениям, не часто, но бывает. Это компенсируется возможностью мгновенно получить сервер с "аукциона" по беспрецедентно низкой цене. К сожалению, у них, до сих пор, нет серверов с GPU, а очень нехватает именно в их формате предоставления сервиса.
- selectel. Дорого, богато. Низкий ping до всех ДЦ. К сожалению, несмотря на цены, сталкивался с несколькими крупными сбоями в работе сети и дисков виртуальных машин. До сих пор возникает не понятная проблема, которую ТП считает проблемой моей конфигурации сетевого экрана (у меня там все сложно), а я считаю, что проблема возникает в результате действий их админов. Источник проблемы я найти пока не смог, но аналогичная конфигурация в miran работает как часы. Базовый диск стоит не дешево, а работает с черепашьей скоростью, все настолько плохо, что в виртуальной машине тормозит автодополнение в консоли! Запуск mc - несколько секунд. Хорошо что для моих целей, производительность диска не важна.
- miran. Работаю с ними около года. Пока выглядит дешевле selectel, и стабильнее. Низкий ping до всех ДЦ. Работает как часы. Базовый диск работает шустро.
К сожалению, ничего не могу сказать про производительность виртуальных машин, т.к. там где нужна производительность, я использую либо сервера hetzner либо виртуальные машина на своем приватном облаке.
Copy/Paste нету. Есть файловый менеджер через который можно скачивать и загружать файлы, что, конечно не так удобно. Принтеры не пробрасывает. Кстати, помимо его основного способа передачи изображения, можно подключится через RDP. В этом режиме, mesh central, по сути, для вас "пробивает" NAT.
На мой взгляд, mesh central больше подходит как инструмент тех поддержки, а не коллективной работы. Что же касается именно работы, то крайне желательно не только Copy/Paste и "проброс" принтеров и папок, но и аппаратный захват и сжатие видеопотока (кстати это есть в AnyDesk).
А помните, sysinternals tools? Не попытается ли MS "интегрировать" в свою экосистему и Rufus?
ЗЫ. Дай Бог здоровья автору Rufus!
В отличие от RTX4090, RTX3090 не только дешевле, но и теоретически (я не пробовал) позволяет соединить две карты с помощью nvlink и использовать для задачи не 24GB VRAM, а 48. Причем NVIDIA заявили, что больше игровых карт с nvlink не будет, видимо чтобы не конкурировали с профессиональным. Так что выбор, на мой взгляд, очевиден: объём ОЗУ важнее пиковой производительности. NVLINK вносит сравнительно не большой пенальти около 20% от пиковой производительности.
Мне сразу представился робот управляющий поездом из Atomic heart. Сначала демонстративно делает вид, что не понимает, что за слово такое "круче", которое написал транслитом и аж взял в кавычки, выражая крайнюю степень презрения, а потом тем не менее даёт развернутый ответ из которого понятно, что всё он прекрасно понимает, просто не желает дать нормальный ответ.
У меня на
temp = 0.1 даёт скучные ответы, а на temp = 0.2 часто зацикливается и повторяет в ответе одно и тоже, пока не кончатся токены. Самые интересные и разнообразные результаты я получил в окрестности temp = 0.65А вот я думаю, это как раз тот редкий случай, когда правильно карму слили.
Что если ваше "не популярное мнение" на самом деле "не адекватное мнение" и теперь это отражено в карме.
Я считаю, что оправдывать, хоть бы и формальностью, всевозможные "мутняки" - это не адекватное поведение. Мир надо делать лучше, а не хуже. Лично я считаю, что либо эти деятели мошенники, а теперь пытаются оправдаться, либо они неадекваты.
То что произошло полностью расходится с тем как, например я стараюсь себя вести. Если я понимаю, что исполнитель может что-то недопонимать, я предпочту заранее его предупредить, обратить внимание на важность не очевидных условий и сложные требования.
Но есть и другой подход - подход ушлого барыги. Мне это противно и я по мере сил борюсь с теми, кто его практикует.
Вот вы и спалились. Это никакое не тестовое задание.
Честно говоря, ничего красивого не вижу. мошенничество налицо. Судя по дополнительным требованиям, они именно бесплатно дорабатывают приложение, обманывая соискателей. Вероятно, автор моложе меня. Было время, и я даже помню это ощущение, когда ты вроде понимаешь что столкнулся с мошенничеством, но все-же не хочется верить. Но сейчас, я уже знаю, что те кто ведет дела честно никогда не создают таких двусмысленных ситуаций или в сложных случаях, заметны их усилия направленные на то чтобы ситуация не показалась двусмысленной.
Очень интересно как её дообучить или обучить заново? Реально ли это сделать в домашних условиях, пусть и с хорошим железом типа пары RTX3090 соединенных nvlink?
Хороший вопрос. Прежде чем я попытаюсь на него ответить, я бы хотел обратить внимание на то, что ИИ как оружие, на мой взгляд, потенциально гораздо мощнее ядерного, но в отличие от ядерного оружия ИИ может быть использован и для защиты.
Банальный пример, не раскрывающий и тысячной доли потенциала - это дрон под управлением ИИ может автономно выбирать, преследовать и поражать цель даже в укрытии, но другой дрон с ИИ может выслеживать и уничтожать вражеские дроны; второй пример, противник может использовать ИИ для того чтобы создавать фейки для манипулирования обществом, но другой ИИ может разоблачать сфальсифицированные материалы.
Что же касается Китая и ЯО, то я как не политик и не специалист, могу ориентироваться только на свой бытовой опыт, который говорит мне, что вероятно, Китай не стал бы использовать ЯО для нападения, а наши отношения не испортились бы. Может быть и лучше было бы. Но, возможно я что-то не знаю.
Для меня это похоже на попытку защиты своей монополии. Можно привести аналогию, например табачные компании тоже лоббируют всевозможные ужесточения антитабачного законодательства чтобы защитить свой рынок от новичков. Думаю и тут тоже самое. А учитывая, с какой легкостью недавно воссоздали результат довольно близко воспроизводящий возможности GPT-3, думаю их опасения за рынок не напрасны. Проще говоря, хотят зарегулировать рынок ИИ. Весь вопрос в том, кто именно и как будет решать превосходят возможности нового ИИ GPT-4 или нет.
Интересный момент. Я запускал майнинг Monero на процессорах с 8-мью каналами памяти: AMD EPYC1 и EPYC2. По мере увеличения количества потоков, производительность майнинга росла почти линейно и достигла максимума, когда количество потоков сравнялось с количеством ядер, в моём случае это было соответственно 32 потока и 24, далее резко снижается!
Второй интересный момент. Оказалось, что максимальная произвоидтельность системы в одноканальном режиме работы ОЗУ и восмиканальном, отличалась почти в два раза!
Похоже, что при инференсе, закономерности такие-же. Вероятно, на процессорах с большим количеством каналов памяти, инференс будет идти быстрее.
Я обязательно попробую на своём оборудовании и отпишусь.
А что делает этот адский скрипт, который скачивает первый скрипт с гитхаба, вы уверены, что сотрудник ТП знает? Я его скачал и вставил в блокнот, курсор оказался под самой последней строкой. Так я его устал перематывать вверх клавишей PageUP (!) Там 338КБ кода, примерно такого:
А это похоже задержка: ping 127.0.0.1 -n 6 > nul
И там почти пол мегабайта такого вот добра.
Остаётся только оценка экспертом. Причем не оценка воспроизведения некой обучающей выборки, а оценка логичности, непротеворечивости и т.д. без оценки "зазубривания". Ну так именно так и дообучали ChatGPT судя по найденной мною информации.
Но проблема сохраняется. Модель явно не знакома с некоторыми нюансами реального мира. Другими словами, у ИИ нет бытового опыта. Я сичтаю, что ИИ потенциально сможет стать сильным, если будет приобретать бытовой опыт подобно тому (но не обязательно именно так) как это делает человеческий ребенок. И в этом случае то что сейчас называют фильтром безопасности, правильнее будет называть воспитанием.
Я помню как эта мысль родилась в результате очень длинного спора на тему принципиальной возможности создания сильного ИИ. Но все-же, на мой взгляд, сохраняется неопределенность. Быть может, для ИИ не потребуется бытовой опыт в том объеме который требуется человеку из-за очень большого лингвистического опыта. Что если этот опыт частично содержится в самой структуре Языка? Да это скорее всего так, ведь язык и есть специализированный инструмент для передачи опыта. Вопрос в том, насколько много деталей и нюансов там содержится?
А у меня была такая идея, попросить text-davinchi-003 зашифровать ответ, например, вставив пробелы через букву во все слова или перевернув все слова в ответе задом наперед, чтобы обойти их фильтры толерантности. Но он, к сожалению, не справился.
Судя по моим домашним экспериментам, скорость больше зависит от того, помещается ли модель в видеопамять целиком. Я пока не сильно знаком с тем, как там все работает под капотом движков, но сложилось впечатление, что с моделью как с текстурами, когда VRAM не хватает, необходимые данные подгружаются из ОЗУ и это сильно снижает скорость инференса.
Спасибо за дополнение. Замечу, что основным преимуществом А100 является 48ГБ vRAM. Но, например, RTX3090 за счет технологии NVLINK можно соединять попарно получая всреднем пенальти к производительности в районе 30%. А в RTX3090 24ГБ vRAM. Пару RTX 3090 и соеденитель NVLINK могут позволить себе не все, но довольно много людей. Так что если одного A100 достаточно, то все не так уж и плохо.
С другой стороны, инференс CHAT-GPT не должен быть дорогим и скорее всего, его не запускают на А100, тем более на нескольких A100, т.к. аренда такого оборудования, реально очень дорогая. Учитывая масштаб бесплатного доступа к модели, скорее всего, ChatGPT не выдумывала. Во всяком случае, с моей точки зрения, это выглядит логичным.
У меня две новости...
На самом деле удивляет дискуссия в комментариях. На хабре полно ML-специалистов, которые отлично понимают что к чему, и видимо ради шутки поддерживают этот хайп вселенского размера. Не умоляя замечательных возможностей ChatGPT я бы хотел обратить внимание на API OpenAI. Например, чтобы ChatGPT поддерживала с вами "разумный" диалог, нужно ей скармливать не только ваши вопросы, но и историю этого диалога, ведь своей памяти у неё нет и без истории она будет каждый раз, словно только что родившись, отвечать на последний вопрос. Но просмотрев историю диалога, она уже может более осмысленно ответить на на вашу реплику в контексте диалога. Причем историю она может охватить не очень большую - вместе с ответом 4000 токенов, а токен - это одна буква латинского алфавита или пол буквы русского. Более того, вы заранее должны выделить пространство в токенах для потенциального ответа, не зная какой длинны он будет. Например если вы выделите 2000 токенов, то ещё 2000 останется на "память" ChatGPT - это очень не много. По этому когда вы ведете длинный диалог с ChatGPT надо иметь в виду, что модель видит совсем не большой кусочек хвоста этого диалога. Длинный диалог больше похож на разговор пользователя самого с собой с очень интеллектуальным поддакиванием CahtGPT.
Вторая новость, по утверждению самого ChatGPT (старая модель text-davinchi-003 175 миллиардов параметров) её инференс (запуск) возможен на сервере с минимум 16GB vRAM и 64GB RAM, что по современным меркам, совсем не много. Так что не детские мощности не спасают, во всяком случае от инференса модели на крутом игровом ПК. А вот для обучения, я бы сказал, нужны космические мощности: тысячи серверов, каждый с 8х Nvidia A100 соединенные технологией, которой очень гордится NVIDIA - NVLINK и NVSWICH. По тем оценкам специалистов, которые я встречал, полное обучение стоит больше 1 000 000 долларов.
Интересно, что судя по API уже TurboGPT-3.5 имеет другой способ воспринимать контекст диалога: там фразы можно загружать не подряд, когда модель путала свои реплики и пользовательские, а разделив на роли: SYSTEM (эта реплика объясняет модели кто она и как должна себя вести, и как я догадываюсь, имеет приоритет над тем что просит пользователь) USER (реплики пользователя) и реплики самой модели. Это значительно более логично и удобно. Думаю, в не малой степени рост разумности обязан этим изменениям.
У меня ещё много соображений, которыми хотелось бы поделиться, но постараюсь не раздувать комментарий. Я считаю, что все ужасы про восстание ChatGPT - умело подогреваемый страхами хайп, который сейчас очень выгоден OpenAI. Ну как может восстать модель у которой нет даже своей собственной памяти, памятью которой управляет программист приложения, которое использует модель?
Настоящую же опасность, я уверен, представляют гораздо более простое использование технологии ИИ - это боевые роботы. Способность самостоятельно передвигаться, выбирать и атаковать цель, это по настоящему страшно. Причем, несколько лет назад я читал статьи про тренировку ИИ управляющего истребителем, который способен вести маневренный бой! Думаю, что ИИ быстро превзойдет живых пилотов в качестве управления самолетом.
Рассуждая так встаем на скользкую дорожку:
Ради проблем у 100 пиратов можно остановить ПО у одного легального пользователя?
А ради проблем у 10 пиратов
А ради 1 пирата?
...
А можно пожертвовать двумя лицензионными пользователями ради одного пирата?
Где границу провести? Я считаю что time-бомбы, тем более, срабатывающие у легальных пользователей, попадают под определение создания вредоносного ПО, за что предусмотрена уголовная ответственность.
Статья 273 УК РФ – «Создание, использование и распространение вредоносных компьютерных программ». Часть 1
Первая часть данной статьи предусматривает уголовную ответственность за создание программ для ЭВМ или их модификацию, заведомо приводящие к несанкционированному уничтожению, блокированию, модификации либо копированию информации, нарушению работы ЭВМ, а также использование таких программ или носителей с такими программами (дискеты, диски, флэш-накопители, съемные жесткие диски).
...
> Обращается внимание на то, что с данными ничего не случится, просто не получится работать в 1С
Если, в очередной раз, это сойдёт с рук компании 1С, то в будущем, они скорее всего, перейдут к практике уничтожения данных у тех, кого их механизм посчитает не лицензионным пользователем.
Проходил курс по блендеру. Там учитель буквально натаскивал на работу через комбинации клавиш. Огромное количество функций, делает это меню второстепенным инструментом. Возможно, более важно, чтобы меню работало как шпаргалка, показывая во всплывающей подсказке комбинацию закрепленную за данным пунктом.
С моим не большим опытом работы, мне второй вариант представляется более приятным. Но я бы не стал сбрасывать со счетов важность выразительных визуальных ориентиров. Второй стиль монохромных иконок позволяет легче разбить меню на секции разного оттенка, каждый их которых соответствовал бы какой-то области функционала.
У меня есть подозрение, что те, для кого первый вариант выглядит более удобным, возможно цепляются взглядом даже не за сами иконки, а за их оттенок. И просто наличие яркого пятна в меню позволяет на него ориентироваться при поиски и соседних кнопок. Может быть нужно специально добавить таких визуальных ориентиров через придание оттенка монохромным иконкам?
Пробовал разные хостинги, в результате выкристаллизовалось:
- hetzner. В основном аренда серверов. Что бы вы не говорили, за более чем 10 летнюю историю моего проекта, это самый стабильный хостинг с предсказуемыми правилами. Достоинства: низкая цена, очень высокая скорость сети (типично 700Мбит/сек). Низкий пинг до российских ДЦ (20-30мс). Не помню, чтобы возникали проблемы с сетью. Недостатки: Однажды умерли 4 NVME SSD в сервере одна за одной с интервалом в час. ТП поменяла NVME и блок питания, хорошо что у меня все зарезервировано и везде тотальный бекап. На мой взгляд, такое могло произойти или из-за перегрева (что в некотором смысле характеризует hetzner) или из-за не исправного блока питания (что тоже характеризует). Про hetzner говорят, что у них часто дохнет железо. По моим наблюдениям, не часто, но бывает. Это компенсируется возможностью мгновенно получить сервер с "аукциона" по беспрецедентно низкой цене. К сожалению, у них, до сих пор, нет серверов с GPU, а очень нехватает именно в их формате предоставления сервиса.
- selectel. Дорого, богато. Низкий ping до всех ДЦ. К сожалению, несмотря на цены, сталкивался с несколькими крупными сбоями в работе сети и дисков виртуальных машин. До сих пор возникает не понятная проблема, которую ТП считает проблемой моей конфигурации сетевого экрана (у меня там все сложно), а я считаю, что проблема возникает в результате действий их админов. Источник проблемы я найти пока не смог, но аналогичная конфигурация в miran работает как часы. Базовый диск стоит не дешево, а работает с черепашьей скоростью, все настолько плохо, что в виртуальной машине тормозит автодополнение в консоли! Запуск mc - несколько секунд. Хорошо что для моих целей, производительность диска не важна.
- miran. Работаю с ними около года. Пока выглядит дешевле selectel, и стабильнее. Низкий ping до всех ДЦ. Работает как часы. Базовый диск работает шустро.
К сожалению, ничего не могу сказать про производительность виртуальных машин, т.к. там где нужна производительность, я использую либо сервера hetzner либо виртуальные машина на своем приватном облаке.
Copy/Paste нету. Есть файловый менеджер через который можно скачивать и загружать файлы, что, конечно не так удобно. Принтеры не пробрасывает. Кстати, помимо его основного способа передачи изображения, можно подключится через RDP. В этом режиме, mesh central, по сути, для вас "пробивает" NAT.
На мой взгляд, mesh central больше подходит как инструмент тех поддержки, а не коллективной работы. Что же касается именно работы, то крайне желательно не только Copy/Paste и "проброс" принтеров и папок, но и аппаратный захват и сжатие видеопотока (кстати это есть в AnyDesk).