А вам нужен переводчик именно со всех языков на все?
Я к тому, что учитывая относительно скромные ресурсы домашних компов, все-же имеет смысл думать над языковыми моделями, заточенными под конкретное применение. Перевод (с указанием конкретных языков), программирование, точные науки, биология и медицина, гуманитарные знания... Это здорово сэкономит ресурсы или расширит возможности самой нейросети, позволив вместо универсальных знаний обо всем на свете на всех языках мира загрузить более глубокие - на английском или русском.
Ничто не мешает иметь на диске несколько таких моделей и перезагружать их по мере необходимости.
Переводчики - да, полезная функция, но если чем-то жертвовать для запуска на домашнем компьютере, я бы пожертвовал переводом между разными языками (все равно почти вся информация мира есть на английском, и онлайн-переводчики никто не отменял). А дома... нужно то, что по тем или иным причинам забанено корпорациями. Также как и раньше: что-то мы берем с официальных сайтов, а что-то качаем с торрентов и прочих p2p.
Почему людям неинтересно читать то что выдает ИИ? Мне интересно. Для меня языковые модели - потрясающее средство закрытия гештальта, связанного с получением знаний в интересующих меня областях. Индивидуальный профессор, который всё объяснит и покажет на примерах. Если бы такая штука была когда я получал высшее образование - я бы вне всякого сомнения учился бы только на "отлично" и пошел бы дальше в науку (и не потому что ИИ писал бы за меня курсовики - а именно потому, что это максимально быстрый и удобный способ разжевать любой непонятный момент в лекциях и учебниках, не ограничивая себя в количестве итераций и способах рассмотрения вопроса).
А еще у языковых моделей простой английский, читаешь практически как на русском, без словаря и даже не задумываешься.
Модель 13B неплохо работала на 32 гигах оперативки (хоть и медленно, но зато более-менее адекватно, даже код писала), вечером попробую 30B.
Вообще, тут многие экспериментируют с русским языком. Безусловно, для корпораций, у которых неограниченные ресурсы, это нужно и логично - и рано или поздно они доведут модели до совершенства на всех языках. А вот для домашнего применения, нужны ли данные на всех языках? Ведь где-то там в модели не только русский, но и немецкий, французский, испанский и т.д., возможно даже японский и китайский. И всё это утяжеляет модель. Интересно, возможно ли как-то профильтровать модель по языкам (самое простое - по кодировке входных токенов), оставив только английский?
Если предположить, что благодаря истинной (квантовой) случайности для каждого момента настоящего возможно множество вариантов будущего, то почему бы не быть и обратному - для каждого момента настоящего возможно множество вариантов прошлого, приводящих к данному настоящему. Но у людей настолько жестко в мозгах зашита концепция "одномерного однонаправленного времени", что отказаться от нее не так уж и просто. Правда, большинству даже многомерное время представить практически невозможно, хотя многомерное (>3) пространство - вполне можно.
Ну если обобщать, то это касается не только C#. Другие современные высокоуровневые компилируемые языки со статической типизацией, такие как Go и Swift, также обладают этими преимуществами - как перед более низкоуровневыми С/С++, так и перед интерпретируемыми динамическими JS/Python.
И то и другое:) Я часто переключаюсь между окнами, часто работаю так чтобы было видно несколько окон сразу. А уж место экономить, на современных мониторах, это смешно))
Окна у которых нет заголовка - это ужасно. Такое окно сложно перетаскивать (каждый раз нужно угадывать за что цеплять мышью), более того, если на экране много окон, то нередко для таких окон даже не определить границу где оно начинается.
К сожалению, сейчас это какой-то тренд. Например у современных браузеров нередко такое поведение по умолчанию; у некоторых в настройках можно вернуть "классический заголовок", но увы - не у всех.
Закос под Мак в виде центрированных значков снизу - зачем?
И вообще, сколько уже можно прибивать интерфейс рабочего стола к версии ОС гвоздями. Ведь по сути это просто программа explorer.exe. Сделали бы на выбор несколько, включая классический, десяточный, маковидный и еще какие нибудь для любителей экзотики.
Все эти нюансы можно и нужно учитывать при формализации и построении онтологий. Вот прямо так - отдельно "физическая бесконечно малая", отдельно "математическая бесконечно малая", для них обобщение "просто бесконечно малая", к этим понятиям уже цепляются еще более неформальные языковые формы, и т.д.
Я лишь говорю о том, что языковая вероятностная модель - самая неудобная для науки, потому что она основана на интернет-болтовне миллиардов людей, и по сути ничего кроме этой болтовни воспроизводить не может. Вместо Сингулярности мы построим совершенную болталку, которая будет писать нам идеальные художественные книги, снимать идеальные художественные фильмы, но ни на шаг не приблизит нас к решению фундаментальных вопросов и задач Физики, Биологии и Всего Такого.
Языковая вероятностная модель разумеется не предназначена для точной математики, там нужна именно математическая модель. Да, наверное какая-то логика в вероятностной языковой нейросети имеется, но она появляется там как побочный продукт огромного объема входных данных и размазана весьма тонким и неравномерным слоем. Это не то, чему можно безоговорочно доверять, как доверяем мы например арифметическим операциям в процессоре.
Вообще, языковая модель в моем представлении - это лишь мостик между несоврешенным человекоориентированным представлением информации и более совершенным AI-ориентированным, существующим в более формальном виде, подобно тому как формулы существуют в системах символьной алгебры. Это очень важный мостик, ибо перегнать вручную весь огромный объем знаний, накопленный человечеством, в машинно-ориентирванную форму, кажется практически невозможным (хотя прецеденты есть: тут на Хабре были статьи о формализация математики, о попытках создания онтологической базы знаний и т.п.). С помошью ИИ мы сделаем это достаточно быстро. И это важнейшая задача на сегодня - формализация знаний. Нельзя останавливаться на языковом уровне, нужно идти дальше, и языковые ИИ в этом деле отличные помощники, но не конечная цель или конечный результат развития ИИ как такового.
Кстати а что следует понимать под "количеством параметром", есть точное определение? Я пытался у ChatGPT выяснить, он тоже точно не знает. Это вроде и не число нейронов, и не число связей, а что же того?
Вы бы рассказали что ваш язык умеет, какие языковые конструкции поддерживает. Например массивы, структуры, перечисления, функции и будут ли функции first-class объектами (т.е. лямбды, замыкания и прочее), кортежи (нетипизированные составные литералы), рефлексия, метапрограммирование и т.д. Какие будут операции? Из того что я понял только совсем стандартные, но если у вас низкоуровневый язык то может имеет смысл подумать о более специфических битовых операциях? Например в системе команд x86 есть битовое вращение, битовое сканирование, есть установка, сброс и получение бита по номеру, эти операции в Си не представлены.
Непарные кавычки и скобки - это уже уровень лексических макросов, т.е. существующий препроцессор С/С++. Я предлагаю только уровень синтаксических макросов, а значит - работа с законченными нодами синтаксического дерева, там непарных скобок и кавычек быть не может. Приведенный вами пример с точки зрения синтаксического анализа совершенно корректен и никаких проблем с ним не будет. Ошибка может выявиться только если передать блок несовместимый с "else", но это будет не бред на десятки строк, как сейчас при метапрограммировании на шаблонах, а вполне конкретная ошибка компиляци - такая же, как если бы вы вручную написали "else" без "if".
Точки останова по данным - классная штука, но почему-то до сих пор в Visual Studio не добавили такую простую возможность, как установка точки по данным из контекстного меню окон просмотра переменных (Locals, Watch). Приходится вбивать выражение с "&" (с адресом переменной) и затем вручную вбивать этот адрес в шестнадцатеричном виде в окно установки точки по изменению данных.
Лямбды это рантайм-механизм, а иногда нужно генерировать именно синтаксические деревья определенного вида для последующей компиляции. "Фрагментом кода" может быть например просто имя (последовательность символов, допустимая для идентификатора), которое где-то в шаблоне будет использовано как имя (или даже часть имени) поля, метода, вложенного класса...
Это что-то типа RAII в С++.
А вам нужен переводчик именно со всех языков на все?
Я к тому, что учитывая относительно скромные ресурсы домашних компов, все-же имеет смысл думать над языковыми моделями, заточенными под конкретное применение. Перевод (с указанием конкретных языков), программирование, точные науки, биология и медицина, гуманитарные знания... Это здорово сэкономит ресурсы или расширит возможности самой нейросети, позволив вместо универсальных знаний обо всем на свете на всех языках мира загрузить более глубокие - на английском или русском.
Ничто не мешает иметь на диске несколько таких моделей и перезагружать их по мере необходимости.
Переводчики - да, полезная функция, но если чем-то жертвовать для запуска на домашнем компьютере, я бы пожертвовал переводом между разными языками (все равно почти вся информация мира есть на английском, и онлайн-переводчики никто не отменял). А дома... нужно то, что по тем или иным причинам забанено корпорациями. Также как и раньше: что-то мы берем с официальных сайтов, а что-то качаем с торрентов и прочих p2p.
Почему людям неинтересно читать то что выдает ИИ? Мне интересно. Для меня языковые модели - потрясающее средство закрытия гештальта, связанного с получением знаний в интересующих меня областях. Индивидуальный профессор, который всё объяснит и покажет на примерах. Если бы такая штука была когда я получал высшее образование - я бы вне всякого сомнения учился бы только на "отлично" и пошел бы дальше в науку (и не потому что ИИ писал бы за меня курсовики - а именно потому, что это максимально быстрый и удобный способ разжевать любой непонятный момент в лекциях и учебниках, не ограничивая себя в количестве итераций и способах рассмотрения вопроса).
А еще у языковых моделей простой английский, читаешь практически как на русском, без словаря и даже не задумываешься.
Правильная ссылка https://huggingface.co/Pi3141/alpaca-30B-ggml
а еще точнее https://huggingface.co/Pi3141/alpaca-30B-ggml/tree/main
Модель 13B неплохо работала на 32 гигах оперативки (хоть и медленно, но зато более-менее адекватно, даже код писала), вечером попробую 30B.
Вообще, тут многие экспериментируют с русским языком. Безусловно, для корпораций, у которых неограниченные ресурсы, это нужно и логично - и рано или поздно они доведут модели до совершенства на всех языках. А вот для домашнего применения, нужны ли данные на всех языках? Ведь где-то там в модели не только русский, но и немецкий, французский, испанский и т.д., возможно даже японский и китайский. И всё это утяжеляет модель. Интересно, возможно ли как-то профильтровать модель по языкам (самое простое - по кодировке входных токенов), оставив только английский?
Может они там вкладывают немалые деньги в биотехнологии омоложения, и уже есть результаты, а мы и не знаем)
Если предположить, что благодаря истинной (квантовой) случайности для каждого момента настоящего возможно множество вариантов будущего, то почему бы не быть и обратному - для каждого момента настоящего возможно множество вариантов прошлого, приводящих к данному настоящему. Но у людей настолько жестко в мозгах зашита концепция "одномерного однонаправленного времени", что отказаться от нее не так уж и просто. Правда, большинству даже многомерное время представить практически невозможно, хотя многомерное (>3) пространство - вполне можно.
Ну если обобщать, то это касается не только C#. Другие современные высокоуровневые компилируемые языки со статической типизацией, такие как Go и Swift, также обладают этими преимуществами - как перед более низкоуровневыми С/С++, так и перед интерпретируемыми динамическими JS/Python.
Ну это понятно почему - без явных релизов очередной версии с очередным номером интерес к продукту падает, что плохо сказывается на продажах.
И то и другое:) Я часто переключаюсь между окнами, часто работаю так чтобы было видно несколько окон сразу. А уж место экономить, на современных мониторах, это смешно))
В сравнении с LLAMA аналогичного размера, лучше или хуже?
Окна у которых нет заголовка - это ужасно. Такое окно сложно перетаскивать (каждый раз нужно угадывать за что цеплять мышью), более того, если на экране много окон, то нередко для таких окон даже не определить границу где оно начинается.
К сожалению, сейчас это какой-то тренд. Например у современных браузеров нередко такое поведение по умолчанию; у некоторых в настройках можно вернуть "классический заголовок", но увы - не у всех.
Закос под Мак в виде центрированных значков снизу - зачем?
И вообще, сколько уже можно прибивать интерфейс рабочего стола к версии ОС гвоздями. Ведь по сути это просто программа explorer.exe. Сделали бы на выбор несколько, включая классический, десяточный, маковидный и еще какие нибудь для любителей экзотики.
Интересно почему LaTeX не приняли в качестве официального средства html для формул, а вместо него придумали громоздкий mathml?
Все эти нюансы можно и нужно учитывать при формализации и построении онтологий. Вот прямо так - отдельно "физическая бесконечно малая", отдельно "математическая бесконечно малая", для них обобщение "просто бесконечно малая", к этим понятиям уже цепляются еще более неформальные языковые формы, и т.д.
Я лишь говорю о том, что языковая вероятностная модель - самая неудобная для науки, потому что она основана на интернет-болтовне миллиардов людей, и по сути ничего кроме этой болтовни воспроизводить не может. Вместо Сингулярности мы построим совершенную болталку, которая будет писать нам идеальные художественные книги, снимать идеальные художественные фильмы, но ни на шаг не приблизит нас к решению фундаментальных вопросов и задач Физики, Биологии и Всего Такого.
Языковая вероятностная модель разумеется не предназначена для точной математики, там нужна именно математическая модель. Да, наверное какая-то логика в вероятностной языковой нейросети имеется, но она появляется там как побочный продукт огромного объема входных данных и размазана весьма тонким и неравномерным слоем. Это не то, чему можно безоговорочно доверять, как доверяем мы например арифметическим операциям в процессоре.
Вообще, языковая модель в моем представлении - это лишь мостик между несоврешенным человекоориентированным представлением информации и более совершенным AI-ориентированным, существующим в более формальном виде, подобно тому как формулы существуют в системах символьной алгебры. Это очень важный мостик, ибо перегнать вручную весь огромный объем знаний, накопленный человечеством, в машинно-ориентирванную форму, кажется практически невозможным (хотя прецеденты есть: тут на Хабре были статьи о формализация математики, о попытках создания онтологической базы знаний и т.п.). С помошью ИИ мы сделаем это достаточно быстро. И это важнейшая задача на сегодня - формализация знаний. Нельзя останавливаться на языковом уровне, нужно идти дальше, и языковые ИИ в этом деле отличные помощники, но не конечная цель или конечный результат развития ИИ как такового.
Кстати а что следует понимать под "количеством параметром", есть точное определение? Я пытался у ChatGPT выяснить, он тоже точно не знает. Это вроде и не число нейронов, и не число связей, а что же того?
Вы бы рассказали что ваш язык умеет, какие языковые конструкции поддерживает. Например массивы, структуры, перечисления, функции и будут ли функции first-class объектами (т.е. лямбды, замыкания и прочее), кортежи (нетипизированные составные литералы), рефлексия, метапрограммирование и т.д. Какие будут операции? Из того что я понял только совсем стандартные, но если у вас низкоуровневый язык то может имеет смысл подумать о более специфических битовых операциях? Например в системе команд x86 есть битовое вращение, битовое сканирование, есть установка, сброс и получение бита по номеру, эти операции в Си не представлены.
Непарные кавычки и скобки - это уже уровень лексических макросов, т.е. существующий препроцессор С/С++. Я предлагаю только уровень синтаксических макросов, а значит - работа с законченными нодами синтаксического дерева, там непарных скобок и кавычек быть не может. Приведенный вами пример с точки зрения синтаксического анализа совершенно корректен и никаких проблем с ним не будет. Ошибка может выявиться только если передать блок несовместимый с "else", но это будет не бред на десятки строк, как сейчас при метапрограммировании на шаблонах, а вполне конкретная ошибка компиляци - такая же, как если бы вы вручную написали "else" без "if".
Точки останова по данным - классная штука, но почему-то до сих пор в Visual Studio не добавили такую простую возможность, как установка точки по данным из контекстного меню окон просмотра переменных (Locals, Watch). Приходится вбивать выражение с "&" (с адресом переменной) и затем вручную вбивать этот адрес в шестнадцатеричном виде в окно установки точки по изменению данных.
Лямбды это рантайм-механизм, а иногда нужно генерировать именно синтаксические деревья определенного вида для последующей компиляции. "Фрагментом кода" может быть например просто имя (последовательность символов, допустимая для идентификатора), которое где-то в шаблоне будет использовано как имя (или даже часть имени) поля, метода, вложенного класса...