Обучение с подкреплением (Reinforcement Learning) делится на два больших класса: Model-Free и Model-Based. В первом случае действия оптимизируются напрямую по сигналу награды, а во втором нейросеть является только моделью реальности, а оптимальные действия выбираются с помощью внешнего планировщика. У каждого подхода есть свои достоинства и недостатки.

Разработчики из Berkeley и Google Brain представили Model-Based алгоритм PDDM с улучшенным планировщиком, позволяющий эффективно обучаться сложным движениям с большим числом степеней свободы на небольшом числе примеров. Чтобы научиться вращать мячи в роботизированной руке с реалистичными суставами пальцев с 24 степенями свободы, потребовалось всего 4 часа практики на реальном физическом роботе.

FAQ.Net — программа для заметок, написанная под Windows на языке C# (.NET Framework 2.0).
История началась с того, что нужна была портативная программа для хранения накопленных знаний (копий статей из интернета, ссылки на статьи, SQL-запросы, программный код, пароли и т.д.), с возможностью быстрого поиска и редактирования документов. За основу интерфейса FAQ.Net был взят интерфейс из CHM-формата (файл справки или руководство о программе).
Так как я специализируюсь на базах данных, то решил все документы хранить в БД, используя встроенную СУБД — SQLite. Создал таблицы и написал интерфейс для работы с БД.

Многие программисты до сих пор создают заметки в текстовых документах, сохраняя их на компьютере и со временем теряют их местонахождение. Теперь, с помощью FAQ.Net все накопившиеся документы, можно хранить в одном месте, не опасаясь за их утрату.
В приложении FAQ.Net имеется возможность резервного копирования БД.

Первая попытка

Все началось с того, что я люблю ходить по конференциям и частенько хожу на них в Яндекс, Mail.ru и другие крупные компании. Однажды мне написал HR из Яндекса и попросила сделать тестовое на стажера фронтенд-разработчика.

Я его сделала, вот оно. По условию оно должно было работать на айфонах и андроидах, поэтому я проверила его в Browser Stack и дописала пару префиксов и css-стилей.

Через какое-то время поняла, что не хочу быть стажером, имея несколько лет опыта за плечами и зааплаилась в Я.Маркет через форму на их сайте.

Мне позвонила HR и предложила пройти скайп-интервью с лайвкодингом. Перед собеседованием я повторила структуры данных, сложность алгоритмов, сортировки. Тогда я еще не знала, что этого недостаточно.

На интервью я не смогла решить алгоритмические задачки, не знала внутренности JS и меня сбрили.

Это задело мою самооценку и весь следующий год параллельно с работой я учила JS на глубоком уровне и решала задачки на codewars. Здесь можно оценить мой прогресс.

Я знаю, что значительная часть людей, которая интересуется проблематикой мозга, ищет ответ вовсе не на вопросы типа «Как связана лимбическая система с мозолистым телом?»

Вы ищете ответ на вопрос: — Где именно в этих двух килограммах жирового студня живет то, что вы именуете «Собой» или просто «Я»?

И сразу занятное наблюдение из личного опыта:

Далеко не все люди понимают смысл текста из предыдущей цитаты. Не то чтобы «не сходу» или «не быстро». А вообще никак не понимают. И это непонимание здорово смахивает на отсутствие субъективного опыта. На основании чего я даже какое-то время полагал, что не все окружающие меня люди обладают самосознанием. Если вы понимаете, что я имею в виду. Возможно даже, что вам тоже иной раз приходили такие мысли в голову. И я, кстати, так до сих пор и не нашел достоверного метода, чтобы подтвердить или опровергнуть эту гипотезу. По той простой причине, что она — нефальсифицируема. Как и значительная часть других утверждений «околомозговой» тематики, которые общепринято считать научными фактами, но которые по сути своей, являются просто расхожими мнениями.

И поскольку есть еще и такое расхожее мнение, что «Правильно поставленный вопрос — есть половина ответа», я предлагаю попробовать рассмотреть вопрос из первой цитаты более пристально. Ну, просто потому, что эту задачку, в той или иной ее форме, ваш интеллект пытается решить всю свою жизнь. Возвращаясь к ней снова и снова, с позиции нового опыта и новых знаний.

Что удивительного в мозжечке? Отдел мозга, который дал нам возможность наслаждаться красотой и великолепием музыки, невероятной точностью и грацией танцевальных движений.

Гипотеза «чувствительности» ставила в тупик многих выдающихся специалистов по информатике, но её новое доказательство оказалось настолько простым, что один исследователь смог свести его к единственному твиту

Опубликованная этим летом работа ставит точку в почти 30-летней истории гипотезы, касающейся структуры фундаментальных строительных блоков компьютерных схем. Эта гипотеза «чувствительности» годами ставила в тупик многих выдающихся специалистов по информатике, но её новое доказательство оказалось настолько простым, что один исследователь смог свести его к единственному твиту.

«Эта гипотеза была одной из самых раздражающих и позорных открытых задач во всей комбинаторике и теоретической информатике», — писал в своём блоге Скот Ааронсон из Техасского университета в Остине. «Список людей, пытавшихся доказать её, и не сумевших сделать это, представляет собой список самых выдающихся людей в дискретной математике и теоретической информатике», — добавил он в емейле.

Сегодня утром на пути к кампусу Беркли я провёл пальцами по листьям ароматного куста, а затем вдохнул знакомый запах. Я делаю так каждый день, и каждый день первое слово, которое всплывает в голове и приветственно машет рукой — это шалфей (sage). Но я знаю, что это растение — не шалфей, а розмарин, поэтому я приказываю шалфею успокоиться. Но слишком поздно. После rosemary и sage я не могу помешать появлению на сцене петрушки (parsley) и чабреца (thyme), после чего в голове возникают первые ноты мелодии и лица на обложке альбома, и вот я уже снова оказался в середине 1960-х, одетый в рубашку с огурцами. Тем временем розмарин (rosemary) вызывает в памяти Роуз Мэри Вудс (Rosemary Woods) и 13-минутный пробел (хотя теперь, проконсультировавшись с коллективной памятью, я знаю, что это должны быть Роуз Мэри Вудс и пробел в 18 с половиной минут). От Уотергейта я перепрыгиваю к историям на главной странице. Потом я замечаю в ухоженном саду ещё одно растение с пушистыми серо-зелёными листями. Это тоже не шалфей, а чистец (lamb’s ear). Тем не менее, sage наконец получает свою минуту славы. От трав я переношусь к математическому ПО Sage, а потом к системе противовоздушной обороны 1950-х под названием SAGE, Semi-Automatic Ground Environment, которой управлял самый крупный из когда-либо построенных компьютеров.

В психологии и литературе подобные мыслительные блуждания называются потоком сознания (автор этой метафоры — Уильям Джеймс). Но я бы выбрал другую метафору. Моё сознание, насколько я ощущаю, не течёт плавно от одной темы к другой, а скорее порхает по ландшафту мыслей, больше похожее на бабочку, чем на реку, иногда прибиваясь к одному цветку, а затем к другому, иногда уносимая порывами ветка, иногда посещающая одно и то же место снова и снова.

Cascadia Code наконец-то здесь! Вы можете установить его непосредственно со страницы выпусков в нашем репозитории на GitHub или автоматически получить его в следующем обновлении Windows Terminal.

Постойте, что за «Cascadia Code»?

Cascadia Code был представлен в мае этого года на мероприятии Microsoft Build. Это новейший моноширинный шрифт, поставляемый Microsoft, который обеспечивает свежий опыт работы с командной строкой и редакторами кода. Cascadia Code был разработан рука об руку с новым приложением Windows Terminal. Этот шрифт рекомендуется использовать с терминальными приложениями и текстовыми редакторами, такими как Visual Studio и Visual Studio Code.

Серия «Белый шум рисует черный квадрат»

История цикла этих публикаций начинается с того, что в книге Г.Секей «Парадоксы в теории вероятностей и математической статистике» (стр.43), было обнаружено следующее утверждение:


Рис. 1.

По анализу комментарий к первым публикациям (часть 1, часть 2) и последующими рассуждениями созрела идея представить эту теорему в более наглядном виде.

Большинству из участников сообщества знаком треугольник Паскаля, как следствие биноминального распределения вероятностей и многие сопутствующие законы. Для понимания механизма образования треугольника Паскаля развернем его детальнее, с развертыванием потоков его образования. В треугольнике Паскаля узлы формируются по соотношению 0 и 1, рисунок ниже.


Рис. 2.

Для понимания теоремы Эрдёша-Реньи составим аналогичную модель, но узлы будут формироваться из значений, в которых присутствуют наибольшие цепочки, состоящие последовательно из одинаковых значений. Кластеризации будет проводиться по следующему правилу: цепочки 01/10, к кластеру «1»; цепочки 00/11, к кластеру «2»; цепочки 000/111, к кластеру «3» и т.д. При этом разобьём пирамиду на две симметричные составляющие рисунок 3.


Рис. 3.

Первое что бросается в глаза это то, что все перемещения происходят из более низкого кластера в более высокий и наоборот быть не может. Это естественно, так как если цепочка размера j сложилась, то она уже не может исчезнуть.

Математики и нейробиологи создали первую анатомически точную модель, объясняющую, как устроено зрение

Великая загадка человеческого зрения состоит в следующем: мы воспринимаем насыщенное изображение окружающего нас мира, при том, что зрительная система нашего мозга получает крайне мало информации о нём. Большую часть того, что мы «видим», на самом деле мы представляем в своей голове.

«Многое из того, что, как вам кажется, вы видите, вы на самом деле придумываете, — сказала Лай-Санг Янг, математик из Нью-Йоркского университета. – Реально вы их не видите».

Однако мозг, судя по всему, неплохо справляется с задачей изобретения зрительного мира, поскольку мы обычно не сталкиваемся с дверями. К сожалению, изучение одной лишь анатомии не показывает нам, как именно мозг создаёт эти изображения – не более, чем пристальное разглядывание двигателя автомобиля позволит вам раскрыть законы термодинамики.

В рамках одного из экспериментов специалисты из Калифорнийского университета начали выращивать «кластеры» головного мозга человека из стволовых клеток. Затем собрали их и отправили на МКС — всего несколько сотен. Выращенные кластеры, а вернее, органоиды мозга, достигают размеров булавочной головки. В каждом таком органоиде несколько сот тысяч клеток.

Разные виды клеток группировали в различные органоиды. В июле этого года НАСА отправило органоиды при помощи ракеты на борт космической станции МКС. Это было сделано для того, чтобы выяснить, как клетки головного мозга будут вести себя в условиях нулевой гравитации.

Новая работа Google предлагает архитектуру нейронных сетей, способных имитировать врожденные инстинкты и рефлексы живых существ, с последующим дообучением в течение жизни.

А также значительно уменьшающую количество связей внутри сети, повышая тем самым их быстродействие.

В данной книге мы фокусировались на основных деталях устройства нейросетей: как они работают, как их можно использовать в задачах распознавания последовательностей. Этот материал возможно непосредственно применять на практике. Но, конечно, одна из причин интереса к НС – надежда, что когда-нибудь они смогут выйти за пределы простого распознавания последовательностей. Возможно, их, или какие-то другие подходы на основе цифровых компьютеров, в итоге можно будет применять для создания думающих машин, способных поспорить с человеческим интеллектом или превзойти его? Эта идея выходит далеко за пределы обсуждаемого в книге материала – или ноу-хау любого человека на планете. Но порассуждать на эту тему всегда интересно.

Было очень много споров по поводу того, могут ли компьютеры в принципе достичь уровня человеческого интеллекта. Я не буду рассматривать этот вопрос. Несмотря на дебаты, я считаю, что не существует серьёзных сомнений в возможности создания разумного компьютера – хотя эта задача может оказаться чрезвычайно сложной, и, возможно, выйти далеко за пределы существующих технологий – а текущие критики однажды окажутся в положении виталистов прошлого.

Математики доказали, что случайный процесс в применении к случайной поверхности неизменно порождает определённые закономерности

В оригинале статьи это трёхмерное изображение, которое можно покрутить

В фильме про поиски потерянного Ковчега Индиане Джонсу пришлось искать потайную комнату, скрывавшую легендарный Ковчег Завета. Для определения его точного местоположения Индиане нужно было найти особую карту, видимую только тогда, когда солнце светит через особый кристалл в определённой комнате в определённое время дня.

Подобная идея – что важнейшую информацию можно раскрыть только при точном совпадении определённых обстоятельств – встречается во многих мифах. Встречается она и в математике, иногда в неожиданных ситуациях. Вот теперь три математика доказали, что если очень точно настроить определённый тип случайности, то на свет появляются замысловатые геометрические фигуры – будто карта с кладом на обычном полу.

Любой аналитик, в начале своей работы, проходит ненавистный этап определения идентификации параметров распределения. Потом, с наработкой опыта, для него согласование полученных остаточных разбросов означает, что какой-то этап, в анализе Big Data, пройден и можно двигаться дальше. Уже нет необходимости проверять сотни моделей на соответствие различным уравнениям регрессии, искать отрезки с переходными процессами, составлять композицию моделей. Терзать себя сомнениями: «Может есть, еще какая-нибудь модель, которая больше подходит?»

Подумал: «А что, если пойти от противного. Посмотреть, что может сделать белый шум. Может ли белый шум создать, что-то, что наше внимание сопоставит со значимым объектом из нашего опыта?»


Рис. Белый шум (файл взят из сети, размер 448х235).

По этому вопросу рассуждал так:

1. Какова вероятность, что появится горизонтальные и вертикальные линии, заметной длины?
2. Если они могут появиться, то какова вероятность, что они совпадут своим началом по одной из координат и составят прямоугольную фигуру?

Дальше по тексту, объясню, как эти задачи связались с анализом Big Data.

Ваши ожидания формируют и ускоряют ваше восприятие. Новая модель, объясняющая этот эффект, предлагает обновить теории обработки сигналов.

Если вы ожидаете определённый вкус, а ваш язык чувствует другой – он покажется вам неприятным. Если вкус будет ожидаемым, вы почувствуете его быстрее.

Представьте, что вы взяли стакан, и думаете что внутри – яблочный сок, а потом, пригубив, обнаруживаете, что это имбирный эль. Даже если вы обычно любите содовую, на этот раз вкус кажется вам противным. Всё потому, что контекст и внутренние состояния, включая ожидание, влияют на то, как животные ощущают и обрабатывают информацию с органов чувств, поясняет Альфредо Фонтанини, нейробиолог из Университета Стони-Брук в Нью-Йорке. В данном случае ожидание не того стимула приводит к удивлению и отрицательной реакции.

Однако это влияние не ограничивается качеством восприятия. Среди прочих эффектов, настройка органов чувств на ожидание входных данных, хороших или плохих, может увеличить скорость обнаружения, определения и реакции на них животного.

В мире, который кажется заполненным хаосом, физики обнаружили новые формы синхронизации, и теперь учатся предсказывать и контролировать их

Самцы светлячков вида Luciola cruciata синхронизируют вспышки на берегу реки в Японии

Когда бессвязные аплодисменты толпы внезапно превращаются в единый пульс, когда все начинают хлопать в унисон – кто решил, что так будет? Не вы, и не кто-то другой. Сверчки издают звуки синхронно; метрономы, поставленные рядом, качаются одновременно; некоторые светлячки мерцают в темноте вместе. По всем США энергосеть работает на частоте 60 Гц, и все её неисчислимые притоки переменного тока синхронизируются сами по себе. Наша жизнь зависит от синхронизации. Нейроны в мозге активируются синхронными волнами, чтобы управлять нашим телом и разумом, а клетки водителя ритма сердца синхронизируются, создавая биение.

Индустрия сконцентрировалась на ускорении перемножений матриц, однако улучшение алгоритма поиска может привести к более серьёзному повышению быстродействия

В последние годы компьютерная индустрия была занята, пытаясь ускорить вычисления, требуемые для искусственных нейросетей – как для обучения, так и для получения выводов её работы. В частности, довольно много усилий было положено на разработку специального железа, на котором можно выполнять эти вычисления. В Google разработали Tensor Processing Unit, или TPU, впервые представленный публике в 2016-м. Позже Nvidia представила V100 Graphics Processing Unit, описывая его, как чип, специально разработанный для обучения и использования ИИ, а также для других высокопроизводительных вычислительных нужд. Полно и иных стартапов, концентрирующихся на других типах аппаратных ускорителей.

Google Safe Browsing внезапно нашел вирус на моем сайте. [WNC-611600] Malicious or unwanted software detected on site… (Которого не было — как выяснилось позже).

Всем привет! Сегодня я расскажу о своих экспериментах с системами частиц. Основной целью было нахождение простых правил, которые бы порождали интересное поведение.

Классический пример системы с простыми правилами и сложным поведением — клеточные автоматы, именно на них я и ориентировался, пытаясь подобрать правила. Конечно же, для клеточных автоматов правила будут в большинстве случаев проще. Но частицы могут быть красивее!

Под катом много мегабайт гифок.