Иногда возникает необходимость получить данные c веб-страниц и сохранить их в структурированном виде.

Инструменты веб-скрапинга (web scraping) разрабатываются для извлечения данных с веб-сайтов. Эти инструменты бывают полезны тем, кто пытается получить данные из Интернета. Веб-скрапинг — это технология, позволяющая получать данные без необходимости открывать множество страниц и заниматься копипастом. Эти инструменты позволяют вручную или автоматически извлекать новые или обновленные данные и сохранять их для последующего использования. Например, с помощью инструментов веб-скрапинга можно извлекать информацию о товарах и ценах из интернет-магазинов.

NASA открыло свободный доступ к каталогу программного обеспечения 2017-2018. Как говорится в официальном сообщении все программные продукты и алгоритмы могут использоваться совершенно бесплатно.

Как только Microsoft объявила о том, что .NET станет opensource и сможет работать не только на Windows, но и на других операционных системах, что было весьма актуально в связи с наметившемся трендом на импортозамещение, переход на Linux и т.п., меня заинтересовал этот проект. Я стал искать информацию. И в Виртуальной Академии Microsoft нашел курс «What’s New with ASP.NET 5». Но проект еще только развивался. Вносились изменения. Версии не всегда были совместимы между собой. И я решил подождать пока процесс стабилизируется. Появится финальная версия. И, возможно, исправления к финальной версии, как это нередко случается.

В результате вместо ASP.NET 5 в итоге появились .NET Core 1.0 и ASP.NET Core 1.0. Существующий «полный» фреймворк .NET был ограничен Windows, а .NET Core стал кроссплатформенным и нацелен на работу в облаке. Я решил вернуться к его изучению и посмотреть, что сейчас мне могут предложить в Виртуальной Академии Microsoft.
И вот, что я нашел для себя.

Искусственный интеллект, машинное обучение и глубокое обучение уже сейчас являются неотъемлемой частью многих предприятий. Часто эти термины используются как синонимы.

Искусственный интеллект движется огромными шагами — от достижений в области беспилотных транспортных средств и способности обыгрывать человека в такие игры, как покер и Го, к автоматизированному обслуживанию клиентов. Искусственный интеллект — это передовая технология, которая готова произвести революцию в бизнесе.

Часто термины искусственный интеллект, машинное обучение и глубокое обучение используются бессистемно как взаимозаменяемые, но, на самом деле, между ними есть различия. Чем именно различаются эти термины будет рассказано далее.

В предыдущий раз я проанализировал наборы данных: распределение по категориям и форматам файлов, степень заполнения полей в паспортах наборов данных, и т.п. Теперь попытаюсь понять, как часто наборами данных интересуются и как часто наборы данных используются? Какие наборы данных вызывают интерес у пользователей портала?

Мне понадобилось запустить фоновый процесс в ASP.NET. Возник вопрос: как лучше это сделать? Немного погуглив в блоге SCOTT HANSELMAN, я нашел запись «How to run Background Tasks in ASP.NET». Статья не очень новая – 2014 года, но вполне актуальная, поэтому я решил перевести ее на русский язык.

В прошлый раз [Загрузка данных с сайта открытых данных data.gov.ru] мне не без проблем удалось научиться загружать данные с портала открытых данных России. Портал открытых данных должен предоставлять наиболее актуальные сведения об открытых данных федеральных органов власти, органов региональной власти и иных организаций (цитата с сайта data.gov.ru). Посмотрим, какие данные на портале, насколько они актуальны и в каком виде размещаются.