Angel Vivaldi, Dmitry Demyanenko — виртуозы
Seas of Years — прог-рок
Scale the Summit (поздние) — приятный мелодичный прог/фьюжн
Anup Sastry, Marcin Lis — ближе к прогрессивному направлению
Widek, Piotrek Gruszka, Modern Day Babylon — джент (космос)
Alluvial, Conquering Dystopia, Keith Merrow, Jeff Loomis — я бы назвал это мрачным джентом)
Polyphia — инструментальный треш, но заценить стоит
Ну не всегда.
Вот те же кватернионы в 3Д-графике) Казалось бы, нафига козе баян, в смысле четвёртая координата, если у нас 3-мерное пространство, которое мы потом вообще проецируем на 2Д плоскость? Давайте её выкинем и сразу повысим скорость расчёта, например, освещения на 25% на том же железе!
А вот фиг.
Допустим, вам нужно нарисовать цветок в вазе на столе в купе поезда) При этом сам цветок задан в виде координат вершин в собственной модели цветка, а дальше нам нужно поворачивать и параллельно переносить эти координаты в систему координат камеры. Ну, сначала в координаты вазы, потом стола, потом вагона, и только потом камеры. В данном случае получается 5 поворотов и 4 переноса для каждой вершины.
В классическом трёхмерном пространстве поворот это умножение на матрицу, а перенос — сложение с вектором. Операции не коммутируют, поэтому их придётся выполнять «честно» для каждой вершины. Если у нас N вершин, то нужно 10*N операций.
В кватернионах, где исходные координаты x,y,z приписываются мнимым осям i,j,k, а по четвертой (действительной) оси берётся по умолчанию 1, и поворот, и перенос, и даже проецирование это умножение на матрицу 4х4. Умножения на матрицу между собой коммутируют, т.е. мы можем сначала перемножить все 9 и даже 10 (с проецированием) матриц между собой (и с делать это один раз), а потом умножить все вектора вершин на эту готовую единую матрицу преобразования. Т.е. нам нужно всего N+10 операций (хотя и на 1 координату больше).
Я вот не знаю, как можно вывести такие формулы, не привлекая кватернионы и матрицы, исключительно из «школьной» геометрии, особенно если мы заранее не знаем, что так вообще можно. Не, ну наверняка как-то можно, но, чтобы догадаться, нужен мегамозг. А в кватернионах это как бы естественным образом получается.
Если брать англоязычные то насколько я понимаю, например вот эти — вполне себе hard sci-fi:
— Permanence от Karl Schroeder https://www.goodreads.com/book/show/11693580-permanence — Земля то сначала колонизировала соседние миры (в основном — около коричневых карликов) на досвете и были созданы специальные социальные структуры даже для поддержания связи. Но вот изобрели сверхсвет, с особенностями, с Земли началось распространение Rights Economy (в смысле доведенной до логического конца защиты прав, уже не только авторских).
— Его же — Синхромир https://www.goodreads.com/book/show/30984805 — тут вообще сверхсвета нет, звездную империю создать не помешало. Особенную.
— Hegemony от Mark Kalina https://www.goodreads.com/book/show/14952967-hegemony — Гегемония с соседями мир поддерживает… правда выходит не очень (что как бы ожидаемо — с точки зрения самого крупного соседа — аристократия Гегемонии людьми — не является, они сами ту же технологию на некоторых преступниках используют)
— We Are Legion / We Are Bob Dennis E. Taylor — https://www.goodreads.com/book/show/32109569-we-are-legion-we-are-bob подписал ГГ после продажи свой компании крупному конкуренту под название Terasoft, договор с компаний по крионированию, те обязательства выполнили, благо долго ждать не пришлось, ну насколько могли — настолько и выполнили, в бизнес-плане не были предусмотрены новейшие достижения в области развития демократии в США. ГГ в итоге пришлось заниматься тем, о чем по его мнению, любой нерд мечтает, ну и выживать в процессе.
Возможно — серия про Ell Donsaii от Laurence Dahners https://www.goodreads.com/series/96454-ell-donsaii — значительная часть сюжета — ГГ (позднее — ГГ с коллегами) что-то изобрела и использует. Или пытается НЕ дать использовать другим и очень осторожно сама. Только вот ее разработки (позднее — ее с коллегами) регулярно меняют мир. Разработки все более менее hard sci-fi (ну — насколько я понимаю данный термин). ГГ к тому же спортсменка и просто красавица (но она красоту часто прячет, в том числе потому что уж слишком хорошо ее многие знают).
Возможно — Perilous Waif E. William Brown https://www.goodreads.com/book/show/33962948-perilous-waif — опять же нормально расписанный мир (и техника и социальные элементы и строение вселенной которое делает возможным описанную технику).
Там сильно индивидуально всё. Стоит, во-первых, поглядеть популярные моды на оф. сайте. Во-вторых, arumba07 сделал несколько модпаков в соответствии со своими летсплеями, можно их потыкать.
Стоит учесть, моды выключают достижения. Ну и обычно усложняют игру.
Предобучение на неразмеченных данных практически не используется — в основном люди берут сеть, обученную на imagenet-е и тюнят ее для своих задач.
То, о чем вы спрашиваете, живет под именем semi-supervised learning, и работает в общем-то довольно таки неплохо — на том же mnist-е имея 100 размеченных картинок и все остальное неразмеченное, можно получить около 1% ошибки [1]. Для сравнения — лучшие результаты с 50000 размеченных картинок это 0.5-0.3%. Для больших сетей не используется — слишком уж накладно по вычислениям.
Скопирую рекомендуемые ресурсы с курса от МФТИ и Яндекса.
Линейная алгебра
Ильин, Ким. Линейная алгебра и аналитическая геометрия (1998) — МГУ.
Умнов. Аналитическая геометрия и линейная алгебра (2011) — МФТИ.
Деммель. Вычислительная линейная алгебра. Теория и приложения (2001) — понятный кусок про матричные разложения.
Математический анализ
Ильин, Позняк, Основы математического анализа (2005) — МГУ.
Тер-Крикоров, Шабунин. Курс математического анализа (2001) — МФТИ, много примеров.
Иванов. Лекции по математическому анализу (2000) — МФТИ, очень короткое, но полное изложение.
Методы оптимизации
Нестеров. Методы выпуклой оптимизации (2010) — математически строгое введение в оптимизацию от живого классика.
Boyd, Vandenberghe. Convex Optimization (2004) — идеальная книга по классической оптимизации, много интересных постановок задач.
Schneider, Kirkpatrick. Stochastic Optimization (2006) — стохастическая оптимизация во всём многообразии.
Теория вероятностей и статистика
Dekking, Kraaikamp, Lopuhaa, Meester. A Modern Introduction to Probability and Statistics, Understanding Why and How (2005) — доступная книга, описывающая базовые понятия, теоремы и методы; разбирается очень много примеров, тесно связанных с задачами машинного обучения и анализа данных.
Лагутин. Наглядная математическая статистика (2007) — в основном статистика, но есть и небольшое введение в теорию вероятностей. Стоит читать, кроме глав про классификацию и анализ данных, там изложение не слишком современно.
Чжун, АитСахлиа. Элементарный курс теории вероятностей. Стохастические процессы и финансовая математика (2007) — очень простое изложение.
Отличные лекции с мехмата Новосибирского Государственного Университета:http://www.nsu.ru/mmf/tvims/chernova/tv/tv_nsu07.pdf — теория вероятностей,http://www.nsu.ru/mmf/tvims/chernova/ms/ms_nsu07.pdf — математическая статистика.
Diez, Barr, Çetinkaya-Rundel, Dorazio. Advanced High School Statistics (2015) — вводная книга, программа соответствует типичному курсу Statistics 101 хорошего западного университета.
DasGupta. Probability for Statistics and Machine Learning: Fundamentals and Advanced Topics (2011) — для смелого читателя, рассматриваются в том числе достаточно высокоуровневые методы.
Забористая инструментальная джентуха много интереснее обычной джентухи с гроулом. Говорю как фанат Мешугги, который регулярно работает под Nothing и Obzen с Koloss.
Настройка ssh тунеля:
1. На локальной машине открываете тунель:
sudo ssh -D 9999 root@[VPS_IP]
2. введите VPS_IP и порт 9999 как socks5 proxy либо вашего браузера, либо глобально в системе (в OS X это делается во вкладке Сеть -> Активное соединение -> Дополнительно -> Прокси).
3. настройте ssh git введя в корневой папке вашего репазитория
git config http.proxy 'socks5://127.0.0.1:9999'
Seas of Years — прог-рок
Scale the Summit (поздние) — приятный мелодичный прог/фьюжн
Anup Sastry, Marcin Lis — ближе к прогрессивному направлению
Widek, Piotrek Gruszka, Modern Day Babylon — джент (космос)
Alluvial, Conquering Dystopia, Keith Merrow, Jeff Loomis — я бы назвал это мрачным джентом)
Polyphia — инструментальный треш, но заценить стоит
Вот те же кватернионы в 3Д-графике) Казалось бы, нафига козе баян, в смысле четвёртая координата, если у нас 3-мерное пространство, которое мы потом вообще проецируем на 2Д плоскость? Давайте её выкинем и сразу повысим скорость расчёта, например, освещения на 25% на том же железе!
А вот фиг.
Допустим, вам нужно нарисовать цветок в вазе на столе в купе поезда) При этом сам цветок задан в виде координат вершин в собственной модели цветка, а дальше нам нужно поворачивать и параллельно переносить эти координаты в систему координат камеры. Ну, сначала в координаты вазы, потом стола, потом вагона, и только потом камеры. В данном случае получается 5 поворотов и 4 переноса для каждой вершины.
В классическом трёхмерном пространстве поворот это умножение на матрицу, а перенос — сложение с вектором. Операции не коммутируют, поэтому их придётся выполнять «честно» для каждой вершины. Если у нас N вершин, то нужно 10*N операций.
В кватернионах, где исходные координаты x,y,z приписываются мнимым осям i,j,k, а по четвертой (действительной) оси берётся по умолчанию 1, и поворот, и перенос, и даже проецирование это умножение на матрицу 4х4. Умножения на матрицу между собой коммутируют, т.е. мы можем сначала перемножить все 9 и даже 10 (с проецированием) матриц между собой (и с делать это один раз), а потом умножить все вектора вершин на эту готовую единую матрицу преобразования. Т.е. нам нужно всего N+10 операций (хотя и на 1 координату больше).
Я вот не знаю, как можно вывести такие формулы, не привлекая кватернионы и матрицы, исключительно из «школьной» геометрии, особенно если мы заранее не знаем, что так вообще можно. Не, ну наверняка как-то можно, но, чтобы догадаться, нужен мегамозг. А в кватернионах это как бы естественным образом получается.
— Permanence от Karl Schroeder https://www.goodreads.com/book/show/11693580-permanence — Земля то сначала колонизировала соседние миры (в основном — около коричневых карликов) на досвете и были созданы специальные социальные структуры даже для поддержания связи. Но вот изобрели сверхсвет, с особенностями, с Земли началось распространение Rights Economy (в смысле доведенной до логического конца защиты прав, уже не только авторских).
— Его же — Синхромир https://www.goodreads.com/book/show/30984805 — тут вообще сверхсвета нет, звездную империю создать не помешало. Особенную.
— Hegemony от Mark Kalina https://www.goodreads.com/book/show/14952967-hegemony — Гегемония с соседями мир поддерживает… правда выходит не очень (что как бы ожидаемо — с точки зрения самого крупного соседа — аристократия Гегемонии людьми — не является, они сами ту же технологию на некоторых преступниках используют)
— We Are Legion / We Are Bob Dennis E. Taylor — https://www.goodreads.com/book/show/32109569-we-are-legion-we-are-bob подписал ГГ после продажи свой компании крупному конкуренту под название Terasoft, договор с компаний по крионированию, те обязательства выполнили, благо долго ждать не пришлось, ну насколько могли — настолько и выполнили, в бизнес-плане не были предусмотрены новейшие достижения в области развития демократии в США. ГГ в итоге пришлось заниматься тем, о чем по его мнению, любой нерд мечтает, ну и выживать в процессе.
Возможно — серия про Ell Donsaii от Laurence Dahners https://www.goodreads.com/series/96454-ell-donsaii — значительная часть сюжета — ГГ (позднее — ГГ с коллегами) что-то изобрела и использует. Или пытается НЕ дать использовать другим и очень осторожно сама. Только вот ее разработки (позднее — ее с коллегами) регулярно меняют мир. Разработки все более менее hard sci-fi (ну — насколько я понимаю данный термин). ГГ к тому же спортсменка и просто красавица (но она красоту часто прячет, в том числе потому что уж слишком хорошо ее многие знают).
Возможно — Perilous Waif E. William Brown https://www.goodreads.com/book/show/33962948-perilous-waif — опять же нормально расписанный мир (и техника и социальные элементы и строение вселенной которое делает возможным описанную технику).
Стоит учесть, моды выключают достижения. Ну и обычно усложняют игру.
Нужен уже готовый активированный акк на DO. В подвале сайта ссылки на скрипт на github и собственно сам проект — есть немного документации.
Я бы хотел добавить, что дополнительная мотивация увеличивать веса в направлении маленького градиента — это чтобы лучше вылезать из седловых точек, в которых практически всегда застревает отпимизация (настоящий локальный минимум встретить в таком многомерном пространстве — очень маловероятно)
Вот наш кумир Andrej Karpathy в CS231 поясняет - http://cs231n.github.io/neural-networks-3/#ada
То, о чем вы спрашиваете, живет под именем semi-supervised learning, и работает в общем-то довольно таки неплохо — на том же mnist-е имея 100 размеченных картинок и все остальное неразмеченное, можно получить около 1% ошибки [1]. Для сравнения — лучшие результаты с 50000 размеченных картинок это 0.5-0.3%. Для больших сетей не используется — слишком уж накладно по вычислениям.
[1] https://arxiv.org/abs/1606.03498, таблица 1.
Линейная алгебра
Ильин, Ким. Линейная алгебра и аналитическая геометрия (1998) — МГУ.
Умнов. Аналитическая геометрия и линейная алгебра (2011) — МФТИ.
Деммель. Вычислительная линейная алгебра. Теория и приложения (2001) — понятный кусок про матричные разложения.
Математический анализ
Ильин, Позняк, Основы математического анализа (2005) — МГУ.
Тер-Крикоров, Шабунин. Курс математического анализа (2001) — МФТИ, много примеров.
Иванов. Лекции по математическому анализу (2000) — МФТИ, очень короткое, но полное изложение.
Методы оптимизации
Нестеров. Методы выпуклой оптимизации (2010) — математически строгое введение в оптимизацию от живого классика.
Boyd, Vandenberghe. Convex Optimization (2004) — идеальная книга по классической оптимизации, много интересных постановок задач.
Schneider, Kirkpatrick. Stochastic Optimization (2006) — стохастическая оптимизация во всём многообразии.
Теория вероятностей и статистика
Dekking, Kraaikamp, Lopuhaa, Meester. A Modern Introduction to Probability and Statistics, Understanding Why and How (2005) — доступная книга, описывающая базовые понятия, теоремы и методы; разбирается очень много примеров, тесно связанных с задачами машинного обучения и анализа данных.
Лагутин. Наглядная математическая статистика (2007) — в основном статистика, но есть и небольшое введение в теорию вероятностей. Стоит читать, кроме глав про классификацию и анализ данных, там изложение не слишком современно.
Чжун, АитСахлиа. Элементарный курс теории вероятностей. Стохастические процессы и финансовая математика (2007) — очень простое изложение.
Отличные лекции с мехмата Новосибирского Государственного Университета:http://www.nsu.ru/mmf/tvims/chernova/tv/tv_nsu07.pdf — теория вероятностей,http://www.nsu.ru/mmf/tvims/chernova/ms/ms_nsu07.pdf — математическая статистика.
Diez, Barr, Çetinkaya-Rundel, Dorazio. Advanced High School Statistics (2015) — вводная книга, программа соответствует типичному курсу Statistics 101 хорошего западного университета.
DasGupta. Probability for Statistics and Machine Learning: Fundamentals and Advanced Topics (2011) — для смелого читателя, рассматриваются в том числе достаточно высокоуровневые методы.
1. На локальной машине открываете тунель:
sudo ssh -D 9999 root@[VPS_IP]
2. введите VPS_IP и порт 9999 как socks5 proxy либо вашего браузера, либо глобально в системе (в OS X это делается во вкладке Сеть -> Активное соединение -> Дополнительно -> Прокси).
3. настройте ssh git введя в корневой папке вашего репазитория
git config http.proxy 'socks5://127.0.0.1:9999'
Может еще пригодиться кому-нибудь…