Благодарю. Так и было запланировано. Уже задумал набор аналогий для матриц, операторов и изменения пространства признаков. Только где найти время, силы и желание не знаю пока.
Спасибо за обратную связь! По вашему стилю предположу, что вы, должно быть, преподаватель: они любят, чтобы все было строго и споры о том, какая книга каноничное и ближе к истине. Благо, я не математик, а всего лишь энтузиаст ;)
Не стал писать про систему координат, потому как собираюсь создать отдельную статью посвященную базису. По задумке, читатель-ученик, как бы еще принимает все как данность и не видит разницы и надобности в чем-то другом. Но в итоге именно этот момент с линейными операторами меняет все представление.
Что касается сущности. Я намеренно называл одно и то же разными словами. Цель: создать параллельную логическую связь между вектором (во всех его смыслах), строкой датасета, объектом класса и сущностью в самом широком смысле понятия, которой может быть все что угодно, поддающееся описанию. Как говорится, все есть информация, и все взаимосвязано.
Мне нужно чтобы читатель осознал, что вектор может описывать все: эмоции и болезни людей, тенденции экономики, состояния объектов, музыку, личность и все что угодно и даже больше. Это крайне абстрактно, но только это позволит понять нейронные сети.
В последнем предложении вы сами ответили на свой вопрос. Вы так много всего перечислили, особенно серьезных проектов. Зачем это, если нет даже знания языка?
Поэтому сначала нужно ответить на вопрос: "Для чего?", а уже потом "Как именно?". Дата-сайентист, дата-инженер, ML-инженер - это все разные специальности. Я сам занимаюсь чистыми исследованиями (data science) и из фреймворков знаю только TF/Keras.
Так что, совет простой: чем проще, тем лучше, а не наоборот. Начните с базы и сконцентрируйтесь на чем-то одном, максимум 2 вещах, если они работают параллельно. Иначе получится как с двумя зайцами.
Если это язык, то пусть для начала будет один Питон, поскольку именно на нем пишутся все скрипты. Параллельно можно будет изучать нейронные сети, начав, конечно же, с математики. Далее классическое ML (поверхностно), чтобы понять, как обучаются модели, что такое обобщающая способность, какие есть фундаментальные проблемы при обучении. Только потом нейронные сети. Это лучше, чем изучить 1000 крутых проектов, которые завтра устареют. А линейная алгебра и backprop не устареют никогда.
Простой вопрос, сможете вручную рассчитать прямой и обратный проход маленькой полносвязной сети из пары слоев по паре нейронов?
Спасибо за поддержку! Думаю все возможно, но стоит ли оно того? Все основы можно было изложить одной статьей в виде сухого сжатого материала. Тут же большая часть времени ушла на работу с его подачей. К сожалению, пока моя работа не пользуется большим спросом.
В этом случае медлительность признак основательности. Разумеется, статью нельзя изучить за одно прочтение! На создание своего фреймворка я потратил 4 месяца. Теперь по поводу вопроса, если я его верно понял.
Вы описывайте некий интерактивный интерфейс, но на практике все ограничено возможностями сайта (маркдаун - это максимум). Вы можете создать черновик, чтобы увидеть их.
Серьезные проекты, как правило, пишутся на базе готовых фреймворков с дополнением собственными модулями. Сами модули могут разрабатываться на Python, а за тем переводиться на низкоуровневый язык, например C++. У разных компаний для этого есть собственные специалисты/отделы. То есть сами DS-исследования и чистая инженерия с сопровождением и оптимизацией продукта - это разные вещи.
Мой же материал объясняет смысл и устройство архитектуры. Большинство курсов натаскивают своих жертв на готовые сборки из черных ящиков без понимания сути. Это как учиться живописи по книжке-раскраске: создается некая иллюзия умения. Однако, чтобы написать серьезный проект, например свой собственный слой, нужно досконально понимать базу.
Лучший способ стать хорошим механиком: изобрести свой велосипед!
Спасибо за интерес к моей статье. Ниже некоторые разъяснения работы внимания.
Суть самовнимания в том, что каждая текстовая единица в последовательности (тексте) имеет отношение ко всем остальным, выраженное математически в конкретных числах.
Пример без батча: На вход поступает тензор X [T D], а на выходе должно быть некое переработанное представление тех же данных Z [T D], где главное выделено, а несущественное отброшено.
Технически (в плане формы) мы можем взять X [T D] и умножить на транспонированный вариант Xt [D T], и получить таблицу токенов A[T T]. А потом "взвесить" эти же данные X полученной таблицей A[T T] * X [T D] = Z [T D], и за одно вернуть их к первоначальной форме [T D]. Но в реальности мы работаем с проекциями данных: вход умножаются на три разных обучаемых параметра QKV (матрицы весов), чтобы модель могла меняться и тренировать свое внимание.
В качестве аналогий часто приводятся наименования: "запросы", "ключи" и "значения", которые облегчают понимание механизма.
Все легче, чем кажется. Если есть конкретные вопросы, то я на них отвечу.
Поистине качественные данные крайне скудны (cohn-kanade, JAFFE) и ограничены (например рамками одной расы).
А тем, что есть у корпораций, разумеется, никто не поделится.
Единственный легальный вариант для серьезного проекта, взять готовый датасет (допустим VGGFace) и разметить квалифицированной командой психологов :) по всем канонам, потому что даже всякие Толоки не помогут сделать лучше, чем тот же affectnet.
Частей будет только 3 - это явно написано в статье.
То что понятно вам, не всегда понятно другим. Здесь рассматривается принципиальные моменты, что мы считаем эмоцией и что классифицируем. Прежде чем что-то решать сначала нужно поставить задачу.
Если ваши личные предпочтения противоречат статье, то зачем же так себя пытать? :) Ведь если есть вопросы к смыслу/качеству, то можно просто не читать или написать свою.
На счет демагогии... Некоторые вещи могут быть понятными только на первый взгляд. Небо синее - это знают все. А почему именно оно синее - это знают лишь единицы. Я лишь хотел написать понятно, с самого начала и для тех, кто только вникает в тему. Поэтому уровень сложности стоит "простой".
Благодарю. Так и было запланировано. Уже задумал набор аналогий для матриц, операторов и изменения пространства признаков. Только где найти время, силы и желание не знаю пока.
Дельное замечание. Отзеркалил. Спасибо!
Спасибо за обратную связь!
По вашему стилю предположу, что вы, должно быть, преподаватель: они любят, чтобы все было строго и споры о том, какая книга каноничное и ближе к истине. Благо, я не математик, а всего лишь энтузиаст ;)
Не стал писать про систему координат, потому как собираюсь создать отдельную статью посвященную базису. По задумке, читатель-ученик, как бы еще принимает все как данность и не видит разницы и надобности в чем-то другом. Но в итоге именно этот момент с линейными операторами меняет все представление.
Что касается сущности. Я намеренно называл одно и то же разными словами. Цель: создать параллельную логическую связь между вектором (во всех его смыслах), строкой датасета, объектом класса и сущностью в самом широком смысле понятия, которой может быть все что угодно, поддающееся описанию. Как говорится, все есть информация, и все взаимосвязано.
Мне нужно чтобы читатель осознал, что вектор может описывать все: эмоции и болезни людей, тенденции экономики, состояния объектов, музыку, личность и все что угодно и даже больше. Это крайне абстрактно, но только это позволит понять нейронные сети.
P.S. Получилось у меня или нет, судить вам!
В последнем предложении вы сами ответили на свой вопрос. Вы так много всего перечислили, особенно серьезных проектов. Зачем это, если нет даже знания языка?
Поэтому сначала нужно ответить на вопрос: "Для чего?", а уже потом "Как именно?". Дата-сайентист, дата-инженер, ML-инженер - это все разные специальности. Я сам занимаюсь чистыми исследованиями (data science) и из фреймворков знаю только TF/Keras.
Так что, совет простой: чем проще, тем лучше, а не наоборот. Начните с базы и сконцентрируйтесь на чем-то одном, максимум 2 вещах, если они работают параллельно. Иначе получится как с двумя зайцами.
Если это язык, то пусть для начала будет один Питон, поскольку именно на нем пишутся все скрипты. Параллельно можно будет изучать нейронные сети, начав, конечно же, с математики. Далее классическое ML (поверхностно), чтобы понять, как обучаются модели, что такое обобщающая способность, какие есть фундаментальные проблемы при обучении. Только потом нейронные сети. Это лучше, чем изучить 1000 крутых проектов, которые завтра устареют. А линейная алгебра и backprop не устареют никогда.
Простой вопрос, сможете вручную рассчитать прямой и обратный проход маленькой полносвязной сети из пары слоев по паре нейронов?
Считайте, что уже связались.
Задавайте ваши вопросы. Я отвечу, если будет время.
Спасибо за поддержку!
Думаю все возможно, но стоит ли оно того?
Все основы можно было изложить одной статьей в виде сухого сжатого материала. Тут же большая часть времени ушла на работу с его подачей.
К сожалению, пока моя работа не пользуется большим спросом.
В этом случае медлительность признак основательности. Разумеется, статью нельзя изучить за одно прочтение! На создание своего фреймворка я потратил 4 месяца.
Теперь по поводу вопроса, если я его верно понял.
Вы описывайте некий интерактивный интерфейс, но на практике все ограничено возможностями сайта (маркдаун - это максимум). Вы можете создать черновик, чтобы увидеть их.
Серьезные проекты, как правило, пишутся на базе готовых фреймворков с дополнением собственными модулями. Сами модули могут разрабатываться на Python, а за тем переводиться на низкоуровневый язык, например C++. У разных компаний для этого есть собственные специалисты/отделы. То есть сами DS-исследования и чистая инженерия с сопровождением и оптимизацией продукта - это разные вещи.
Мой же материал объясняет смысл и устройство архитектуры. Большинство курсов натаскивают своих жертв на готовые сборки из черных ящиков без понимания сути. Это как учиться живописи по книжке-раскраске: создается некая иллюзия умения. Однако, чтобы написать серьезный проект, например свой собственный слой, нужно досконально понимать базу.
Лучший способ стать хорошим механиком: изобрести свой велосипед!
Спасибо за интерес к моей статье. Ниже некоторые разъяснения работы внимания.
Суть самовнимания в том, что каждая текстовая единица в последовательности (тексте) имеет отношение ко всем остальным, выраженное математически в конкретных числах.
Пример без батча:
На вход поступает тензор X [T D], а на выходе должно быть некое переработанное представление тех же данных Z [T D], где главное выделено, а несущественное отброшено.
Технически (в плане формы) мы можем взять X [T D] и умножить на транспонированный вариант Xt [D T], и получить таблицу токенов A [T T]. А потом "взвесить" эти же данные X полученной таблицей A [T T] * X [T D] = Z [T D], и за одно вернуть их к первоначальной форме [T D]. Но в реальности мы работаем с проекциями данных: вход умножаются на три разных обучаемых параметра QKV (матрицы весов), чтобы модель могла меняться и тренировать свое внимание.
В качестве аналогий часто приводятся наименования: "запросы", "ключи" и "значения", которые облегчают понимание механизма.
Все легче, чем кажется.
Если есть конкретные вопросы, то я на них отвечу.
Пишите вопросы, даже самые глупые. Постараюсь ответить на все.
Спасибо!
Если знаете кого-то кому нужна такая статья, то приводите их сюда. Буду ждать.
Здравствуйте. Получается нигде...
Поистине качественные данные крайне скудны (cohn-kanade, JAFFE) и ограничены (например рамками одной расы).
А тем, что есть у корпораций, разумеется, никто не поделится.
Единственный легальный вариант для серьезного проекта, взять готовый датасет (допустим VGGFace) и разметить квалифицированной командой психологов :) по всем канонам, потому что даже всякие Толоки не помогут сделать лучше, чем тот же affectnet.
Частей будет только 3 - это явно написано в статье.
То что понятно вам, не всегда понятно другим. Здесь рассматривается принципиальные моменты, что мы считаем эмоцией и что классифицируем. Прежде чем что-то решать сначала нужно поставить задачу.
Если ваши личные предпочтения противоречат статье, то зачем же так себя пытать? :) Ведь если есть вопросы к смыслу/качеству, то можно просто не читать или написать свою.
На счет демагогии... Некоторые вещи могут быть понятными только на первый взгляд. Небо синее - это знают все. А почему именно оно синее - это знают лишь единицы. Я лишь хотел написать понятно, с самого начала и для тех, кто только вникает в тему. Поэтому уровень сложности стоит "простой".