Для меня нейросети всегда представлялись аналогом мозга человека, где и память и вычисления происходят в одном месте. Но, чем больше углубляюсь в тему, тем больше понимаю, на сколько это далеко от истины.
Если поначалу говорили, что нейронные сети основаны на работе мозга и некоторые их разновидности действительно вдохновлены его устройством, то сейчас уже не так. Более того, есть некоторая тенденция отказа от термина "нейронная сеть" в пользу "модель глубокого обучения", вероятно в том числе чтобы не создавать путаницу с нейронами мозга.
А зачем машин лернинг, ИИ, нейронные сети, "перекрестная энтропия" (хаха))) и тп для достижения такого простого результата?
С генерацией текста без смысла (генерация рефератов) прекрасно справляются алгоритмы в виде лапшичного кода, да и работают они в 1000 раз быстрее.
Может стоит сравнивать и оценивать не по учебной реализации, а по полноценной? Эта реализация на NumPy, так в реальном мире так не делают. Есть PyTorch, который оптимизирован именно под конкретные задачи, работает с GPU и так далее.
Ну и резальтат ооочень зависит от того, какой корпус использовался для обучения. Вот, из самой статьи:
Например, GPT-3 была обучена на 300 миллиардах токенов текста из Интернета и книг:
Что-то я сомневаюсь, что модель на NumPy обучалась так же.
Так что реализация из статьи годится чтобы анализировать и понять, как, в общих чертах, работают такие модели. И не более.
Целую ночь пытался разобраться в устройстве GPT и нейросетей в целом.
Целая ночь это мало. Тут на месяцы и годы счет идти должен. И попробуйте взять сети попроще. Разбираться в нейросетях по GPT это то же самое что выяснять как работает авиация по Airbus 380. В принципе, возможно, но если начать с этажерок братьев Райт, будет проще.
Я правильно понимаю, что сохранять у себя в нейронах результаты диалога они не могут?
В общем случае после внедрения модели, в процессе эксплуатации её веса не меняются.
Я думал, что они могут обучаться в процессе выполнения...
Для обучения помимо размеченных входных данных (которые не всегда есть где взять в случае пользовательского ввода) нужно еще накапливать градиенты для слоев сети. А на это нужны вычислительные ресурсы и память. Дорого выходит всегда в таком режиме работать.
Поэтому, считаю, не стоит объяснять необходимость нового языка программирования.
Стоит, потому что эта необходимость по-прежнему не ясна. Как вы перешли от предыдущего абзаца к этому утверждению не понятно.
конструкции типа exactly-once в Python
По ссылке речь идет об Apacke Kafka. Вы точно уверены что exactly-once это именно конструкция в Python?
устаревшую концепцию интерфейса в C++
В C++ вообще нет интерфейсов в том смысле, какой в это слово вкладывается в C# или Java. Или вы про абстрактные классы с чисто виртуальными методами?
устаревший стандарт snake_case стандартной библиотеки C++
А в стандартной библиотеке Qt используется другой стандарт, хотя это тот же C++. Проблема всё ещё есть?
Компилятор должен считывать по одной строке кода и выполнять вычисления, определенные в этой строке.
А если выражение занимает несколько строк? А если это определение некоторой структуры данных, оно должно быть в одну строку?
Компилятор должен ... выполнять вычисления, определенные в этой строке.
Вы точно уверены, что это должен делать именно компилятор?
Отказоустойчивость (в случае ошибки, допущенной программистом, программа выводит сообщение об ошибке, а не завершает аварийно работу)
А если эта ошибка приводит к тому, что состояние программы некорректно? Что неверные данные записаны не там, где должны и дальнейшее выполнение невозможно с логической точки зрения?
С учётом сказанного выше есть сильные сомнения что автор так уж хорошо понимает дизайн языков программирования.
То есть от языка программирования все равно отказаться не получится. Поверх машинного кода запилят текстовые мнемоники, назвут языком ассемблера и пойдут на второй круг.
Всегда есть возможность развернуть полноценную версию Enterprise Edition на собственном хостинге, на своём сервере, не оплачивая никакой абоненткой платы.
А где про это написано? Я пока вижу только то, что если развернуть у себя GitLab EE и не покупать лицензию, то будет доступно только то, что лицензию не требует, то есть GitLab EE превратится в GitLab CE.
Собственно, так оно и есть. Белые уезжают, не-белые, кто может тоже. Страна на первом месте по распространению ВИЧ (11% населения в 2007). Хотя на одну женщину приходится 2.3 рождения, население уменьшается. Средняя продолжительность жизни 50 лет. В общем, не рай на земле.
Да, теперь я понял, о чем вы, прошу прощения. Да, проблему с объектами разных типов словарь со списком результатов и метаданными о странице решит. Но пагинация все равно ужасно и неэффективно сделана.
Пагинация выглядит так, что мы сначала фильтруем и извлекаем из базы все данные, а потом уже выделяем нужную страницу. При этом мы загружаем в память все подходящие под фильтр данные, а затем уже эти данные нарезаем на страницы. Это нормально работает когда у нас всего строк в таблице и десятка не наберется. Когда окажется, что в таблице пара миллионов строк, 100 000 подходит под фильтр, а нам нужны только первые 15, загружать все 100к в память будет грустно. А если пользователь решит идти по страницам, то все вышеуказанное мы будем делать для каждой страницы.
И еще. Идея добавлять в конец списка результатов информацию о странице выглядит сомнительно. Обращаясь к этому API, я должен помнить, что у меня в одной коллекции могут быть сущности разных типов, что сильно усложняет обработку результата.
И что? У миллионов предметов имена пересекаются между собой. Гиацинт это не только цветы, но еще и пушка. Маруся это не только человек, но и команда Формулы-1, журнал и внезапно дача. А Алиса это вообще рок-группа.
Если у Эппла, амазона и остальных клятых западников хватило ума дать ассистентам СИНТЕТИЧЕСКИЕ имена,
Alexa это синтетическое имя? Точно? А еще википедия утверждает что Siri это краткая форма имени Sigrid, весьма распространённого в скандинавских странах. Более того, та же википедия утверждает что имя Siri было дано осознанно как скандинавское. Разве что Cortana это синтетическое имя, но и то оно дано в честь персонажа игры, а какое количество Кортан из плоти и крове бродит по миру потому что их родители оказались фанатами Halo предсказать трудно.
А чего подробнее? Регистрируетесь на Globbing, получаете адрес в Москве, в Озоне заказываете на этот адрес. Где-то через неделю-полторы забираете в автомате или в отделении уже в Армении. Надо только следить, чтобы время доставки курьером попадало во время работы этого пункта приема. Для Amazon алгоритм аналогичный, только адрес штатовский.
Это где же вы живете? Сколько ни езжу по Еревану, проблем с вызовом машины нет. И если что, я не в Кентроне. Только один раз, оказавшись в небольшом городе обнаружил, что ничего кроме эконома там нет. Но даже в этом случае таксист приехал ровно туда куда было нужно, и помог еще вещи в багажник загрузить. Никаких жалоб по поводу оплаты он не предъявил.
Например, на момент выезда было превышение. И какая депортация, штраф же, в районе 100к драмов.
Так я об этом и говорю, было превышение пребывания из-за того что выезд на пару дней в Грузию срок не сбросил и дни считались непрерывно. Штраф коллега заплатил, но вот потом уже был суд, причем коллега говорил дословно "если выиграю суд, то штраф вернут, если проиграю -- то депортация". Еще кстати, суд идет исключительно на армянском, поэтому компания ему переводчика искала.
Если человека штрафуют за нарушение миграционного законодательства, то есть за пребывание сверх разрешенного срока без законных оснований, то даже после уплаты штрафа, законные основания не появляются.
многие водители раздражаются, когда видят, что установлена оплата картой, иногда бывают даже прямые вопросы «а чо вы, русские, картой вечно платите?», очень часто водитель вообще не приезжает, но при этом нажимает «поехали», а где-то через минуту нажимает, что уже отвёз клиента
Не подтверждаю. Полгода езжу исключительно на такси (вообще ни разу не ездил ни автобусом, в метро даже чтобы просто посмотреть не спускался) и плачу исключительно картой (карта добавлена в приложение), за все время ни разу ни один таксист не то что не ворчал по поводу оплаты, но вообще ни разу эту тему не поднял ни в каком виде.
От Яндекс.еды пришлось полностью отказаться: почти 40-50% заказов не приезжают в принципе, и зачастую приходится долго и упорно скандалить, чтобы вернуть деньги за заказ (особенно если он по итогу числится как доставленный и в числе вариантов для низкой оценки также предлагаются «курьер был невежлив», «еда остыла» и так далее). Один раз заказ был доставлен нормально, но при его оформлении было произведено тройное списание суммы с карты. Словом — рулетка какая-то.
Это тоже не подтверждаю. Заказываю регулярно, несколько раз в неделю, все заказы приехали. Более того, заказы даже более-менее вовремя, за одним-двумя исключениями. И это при том что я живу в новом доме, который курьеры обычно не знают (некоторые честно звонят, уточняя, какой это район города) и в котором вообще нет домофона (у меня в описании заказа вписана просьба звонить по прибытии, чтобы я спустился), курьеры всегда звонят.
Если поначалу говорили, что нейронные сети основаны на работе мозга и некоторые их разновидности действительно вдохновлены его устройством, то сейчас уже не так. Более того, есть некоторая тенденция отказа от термина "нейронная сеть" в пользу "модель глубокого обучения", вероятно в том числе чтобы не создавать путаницу с нейронами мозга.
Может стоит сравнивать и оценивать не по учебной реализации, а по полноценной? Эта реализация на NumPy, так в реальном мире так не делают. Есть PyTorch, который оптимизирован именно под конкретные задачи, работает с GPU и так далее.
Ну и резальтат ооочень зависит от того, какой корпус использовался для обучения. Вот, из самой статьи:
Что-то я сомневаюсь, что модель на NumPy обучалась так же.
Так что реализация из статьи годится чтобы анализировать и понять, как, в общих чертах, работают такие модели. И не более.
Целая ночь это мало. Тут на месяцы и годы счет идти должен. И попробуйте взять сети попроще. Разбираться в нейросетях по GPT это то же самое что выяснять как работает авиация по Airbus 380. В принципе, возможно, но если начать с этажерок братьев Райт, будет проще.
В общем случае после внедрения модели, в процессе эксплуатации её веса не меняются.
Для обучения помимо размеченных входных данных (которые не всегда есть где взять в случае пользовательского ввода) нужно еще накапливать градиенты для слоев сети. А на это нужны вычислительные ресурсы и память. Дорого выходит всегда в таком режиме работать.
Стоит, потому что эта необходимость по-прежнему не ясна. Как вы перешли от предыдущего абзаца к этому утверждению не понятно.
По ссылке речь идет об Apacke Kafka. Вы точно уверены что exactly-once это именно конструкция в Python?
В C++ вообще нет интерфейсов в том смысле, какой в это слово вкладывается в C# или Java. Или вы про абстрактные классы с чисто виртуальными методами?
А в стандартной библиотеке Qt используется другой стандарт, хотя это тот же C++. Проблема всё ещё есть?
А если выражение занимает несколько строк? А если это определение некоторой структуры данных, оно должно быть в одну строку?
Вы точно уверены, что это должен делать именно компилятор?
А если эта ошибка приводит к тому, что состояние программы некорректно? Что неверные данные записаны не там, где должны и дальнейшее выполнение невозможно с логической точки зрения?
С учётом сказанного выше есть сильные сомнения что автор так уж хорошо понимает дизайн языков программирования.
И все написано на Swift.
Это ваш диплом/курсовая?
И по иронии судьбы, BLAS может оказаться написан на... Fortran. Как например OpenBLAS и ATLAS.
То есть от языка программирования все равно отказаться не получится. Поверх машинного кода запилят текстовые мнемоники, назвут языком ассемблера и пойдут на второй круг.
А где про это написано? Я пока вижу только то, что если развернуть у себя GitLab EE и не покупать лицензию, то будет доступно только то, что лицензию не требует, то есть GitLab EE превратится в GitLab CE.
Собственно, так оно и есть. Белые уезжают, не-белые, кто может тоже. Страна на первом месте по распространению ВИЧ (11% населения в 2007). Хотя на одну женщину приходится 2.3 рождения, население уменьшается. Средняя продолжительность жизни 50 лет. В общем, не рай на земле.
Данные, если что, из википедии.
Интересно, автор имел в виду именно датский, который Danish или всё же голландский, который Dutch?
Да, теперь я понял, о чем вы, прошу прощения. Да, проблему с объектами разных типов словарь со списком результатов и метаданными о странице решит. Но пагинация все равно ужасно и неэффективно сделана.
Я воспринял как желание кешировать ваш ответ про
Либо я не понял что и куда вы предлагаете положить.
И чем это поможет? У вас следующий запрос может быть с другими фильтрами, и то что вы так изящно закешировали станет бесполезным.
Пагинация выглядит так, что мы сначала фильтруем и извлекаем из базы все данные, а потом уже выделяем нужную страницу. При этом мы загружаем в память все подходящие под фильтр данные, а затем уже эти данные нарезаем на страницы. Это нормально работает когда у нас всего строк в таблице и десятка не наберется. Когда окажется, что в таблице пара миллионов строк, 100 000 подходит под фильтр, а нам нужны только первые 15, загружать все 100к в память будет грустно. А если пользователь решит идти по страницам, то все вышеуказанное мы будем делать для каждой страницы.
И еще. Идея добавлять в конец списка результатов информацию о странице выглядит сомнительно. Обращаясь к этому API, я должен помнить, что у меня в одной коллекции могут быть сущности разных типов, что сильно усложняет обработку результата.
И что? У миллионов предметов имена пересекаются между собой. Гиацинт это не только цветы, но еще и пушка. Маруся это не только человек, но и команда Формулы-1, журнал и внезапно дача. А Алиса это вообще рок-группа.
Alexa это синтетическое имя? Точно? А еще википедия утверждает что Siri это краткая форма имени Sigrid, весьма распространённого в скандинавских странах. Более того, та же википедия утверждает что имя Siri было дано осознанно как скандинавское. Разве что Cortana это синтетическое имя, но и то оно дано в честь персонажа игры, а какое количество Кортан из плоти и крове бродит по миру потому что их родители оказались фанатами Halo предсказать трудно.
Matrixnet это не чат, это про машинное обучение.
А как написать и добавить в keygen прилипчивую музыку, раздел будет?
А чего подробнее? Регистрируетесь на Globbing, получаете адрес в Москве, в Озоне заказываете на этот адрес. Где-то через неделю-полторы забираете в автомате или в отделении уже в Армении. Надо только следить, чтобы время доставки курьером попадало во время работы этого пункта приема. Для Amazon алгоритм аналогичный, только адрес штатовский.
Это где же вы живете? Сколько ни езжу по Еревану, проблем с вызовом машины нет. И если что, я не в Кентроне. Только один раз, оказавшись в небольшом городе обнаружил, что ничего кроме эконома там нет. Но даже в этом случае таксист приехал ровно туда куда было нужно, и помог еще вещи в багажник загрузить. Никаких жалоб по поводу оплаты он не предъявил.
Так я об этом и говорю, было превышение пребывания из-за того что выезд на пару дней в Грузию срок не сбросил и дни считались непрерывно. Штраф коллега заплатил, но вот потом уже был суд, причем коллега говорил дословно "если выиграю суд, то штраф вернут, если проиграю -- то депортация". Еще кстати, суд идет исключительно на армянском, поэтому компания ему переводчика искала.
Если человека штрафуют за нарушение миграционного законодательства, то есть за пребывание сверх разрешенного срока без законных оснований, то даже после уплаты штрафа, законные основания не появляются.
Не подтверждаю. Полгода езжу исключительно на такси (вообще ни разу не ездил ни автобусом, в метро даже чтобы просто посмотреть не спускался) и плачу исключительно картой (карта добавлена в приложение), за все время ни разу ни один таксист не то что не ворчал по поводу оплаты, но вообще ни разу эту тему не поднял ни в каком виде.
Это тоже не подтверждаю. Заказываю регулярно, несколько раз в неделю, все заказы приехали. Более того, заказы даже более-менее вовремя, за одним-двумя исключениями. И это при том что я живу в новом доме, который курьеры обычно не знают (некоторые честно звонят, уточняя, какой это район города) и в котором вообще нет домофона (у меня в описании заказа вписана просьба звонить по прибытии, чтобы я спустился), курьеры всегда звонят.