All streams
Search
Write a publication
Pull to refresh
139
80

Технический писатель, ИТ-редактор блога MWS

Send message

Топливо для ИИ: подборка открытых датасетов для машинного обучения

Reading time6 min
Views85K


Связанные проекты сообщества Open Data (проект Linked Open Data Cloud). Многие датасеты на этой диаграмме могут включать в себя данные, защищенные авторским правом, и они не упоминаются в данной статье


Если вы прямо сейчас не делаете свой ИИ, то другие будут делать его вместо вас для себя. Ничто более не мешает вам создать систему на основе машинного обучения. Есть открытая библиотека глубинного обучения TensorFlow, большое количество алгоритмов для обучения в библиотеке Torch, фреймворк для реализации распределенной обработки неструктурированных и слабоструктурированных данных Spark и множество других инструментов, облегчающих работу.


Добавьте к этому доступность больших вычислительных мощностей, и вы поймете, что для полного счастья не хватает лишь одного ингредиента — данных. Огромное количество данных находится в открытом доступе, однако непросто понять, на какие из открытых датасетов стоит обратить внимание, какие из них годятся для проверки идей, а какие могут быть полезны в качестве средства проверки потенциальных продуктов или их свойств до того, как вы накопите собственные проприетарные данные.


Мы разобрались в этом вопросе и собрали данные по датасетам, удовлетворяющим критериям открытости, востребованности, скорости работы и близости к реальным задачам.

Читать дальше →

Космическая демосцена: Вселенная умещается в 64 килобайта

Reading time4 min
Views75K


Демосцена всегда поражала воображение. В 1994, 2004, 2017 годах разработчики снова и снова всех удивляют, превращая файл размером 64 килобайта в нечто немыслимое. Демо стало не просто асаной, из которой программист выжимает максимум возможностей своего компьютера и собственных скиллов, а превратилось в отдельный вид киберискусства.


Современные демки откололись от континента прочих субкультур (где-то на берегу остались представители оверклокинга) и дрейфуют в одиночестве. Они не гимн возможностей компьютерной техники, а ding an sich selbst betrachtet — метафизическая вещь в себе, которая может быть фрагментом игры, аниме или трейлером фильма-катастрофы.


А еще демо может быть о космосе и это, вероятно, самый подходящий формат. Чтобы исследовать пространство и воочию наблюдать космологические модели, достаточно всего 64K. Сгенерированное изображение смешивает элементы геймдизайна, кинематографа и программирования в синхронизированный аудиовизуальный коктейль, который затянет вас в процесс отрешенного созерцания межгалактических чудес.

Умные дома без электроники, кинетическая архитектура и живые здания

Reading time8 min
Views31K

image


Умный дом в нашем понимании — это компьютеризированная система, регулирующая температуру, свет, потребление энергии и другие условия, интегрируя сенсорные, интерактивные, высокотехнологичные системы. Однако автоматизированное здание, обеспечивающее ресурсосбережение для всех жителей, можно создать вовсе без интеллектуальных электронных устройств.


Саморегулируемые дома, построенные по принципам кинетической архитектуры, обеспечивают необходимый уровень комфорта с помощью одних лишь трансформирующихся и мобильных элементов конструкции. Эта концепция известна как минимум век, но только в последние годы технологии строительства достигли уровня, при котором установка кинетических элементов в архитектуре становится экономически целесообразна.


Сегодня расскажем про умные дома прошлого, без компьютеров и сенсорных экранов, инновации которых пригодятся человечеству в будущем.

Смотреть на звезды: лучшие открытые обсерватории мира

Reading time7 min
Views33K

image
Телескоп VLT Паранальской обсерватории (является частью Европейской южной Обсерватории в Чили)


Сегодня жители больших городов не могут наблюдать за звездами. Даже метеорные потоки, такие простые (и захватывающие) астрономические явления, остаются вне поля зрения. Мы живем под освещенным ночным небом, страдающим от высокой степени светового загрязнения.


Ради возможности увидеть Млечный путь не только на фотографиях люди отправляются в астротуры, путешествуя по заповедникам темного неба. Именно в таких темных и малонаселенных местах находятся крупнейшие астрономические обсерватории. Некоторые из ведущих мировых обсерваторий открыты для посещений, что дает нам возможность увидеть то, с чем работают ученые — глубокое ночное небо.

Читать дальше →

Контроль опасных кассовых операций: интеграция видеонаблюдения с 1С

Reading time5 min
Views11K
image

Не все решения, оптимизирующие бизнес, действительно работают эффективно. Желание минимизировать расходы и максимизировать прибыль часто ведет к необдуманным действиям. Поэтому, чтобы не оторваться от реальности, Ivideon использует собственные продукты наравне с нашими пользователями. Новые камеры, обновление сервиса, видеоаналитика – всё это проверяется сотрудниками, на полноценной основе работает внутри офиса и магазинов.

В начале года мы сделали совместный проект с Давидом Яном и компанией iiko, привязав сервис видеонаблюдения к кассовым операциям в ресторанах. Теперь можно посмотреть видеозапись подозрительного события на кассе прямо в личном кабинете Ivideon. Например, вы увидели отмену чека и хотите узнать причину. Iiko остались довольны сотрудничеством и предлагают видеонаблюдение как допуслугу своим клиентам.

А вот мы остались с чувством легкой неудовлетворенности – впервые не могли сами пользоваться собственным продуктом. У Ivideon пока нет своего ресторана. Зато у нас есть сеть магазинов. И тут пришла идея: какая разница, ресторан, дом книги или магазин камер? Главное, наличие кассы. Наши магазины работают на 1С (как и треть предприятий по всей стране), поэтому мы решили подружить сервис видеонаблюдения с системой автоматизации «1С: Предприятие».

Как создаются карты

Reading time10 min
Views42K

image
Нарисованная от руки карта в Массачусетском музее современного искусства


Современным картографам гораздо проще, чем их коллегам из прошлого, создававшим далекую от идеала схему с весьма приблизительными расчетами местоположения объектов. До начала XX века картография менялась медленно и, хотя белых пятен к тому моменту почти не осталось, точностью карты похвастаться не могли.


С началом эры аэросъемки местности картографы получили отличный инструмент, позволявший составить детальный план любой территории. Спутниковая съемка должна была, по идее, завершить тысячелетнюю работу по созданию идеального инструмента ориентирования, но картографы столкнулись с новыми проблемами.


Как инструмент решения картографических проблем и ошибок, появился проект OpenStreetMap (OSM), на основе данных которого существует наш сервис MAPS.ME. В OSM огромное количество данных: не только обрисованные спутниковые снимки, но и информация, которую знают только местные жители. Сегодня мы подробнее расскажем, как оцифровывается и становится картой реальный мир.

Читать дальше →

Популяризация науки: лекции российских ученых

Reading time7 min
Views35K

image


В мире растет число фейковых новостей и все сложнее найти источник правдивой информации. Спрос на достоверность, качество и фактчекинг не пропал, но сложно подружить методологии проверки данных с новостями мейнстрима в эпоху, когда даже серьезные издания гонятся за кликбейтом. Изъеденные недочетами новости политики, экономики, спорта и других сфер начинают раздражать, а не привлекать внимание. Образуется информационный вакуум, заполнить который могут новости науки. Манипулировать научными данными не так интересно, как фактами в экономике и политике. Наука поддерживается прекрасной репутацией источников — например, не вызывает сомнений авторитетность журнала «Nature» или достоверность базы данных биотехнологической информации PubMed.


И все же между источником научных данных и читателем часто стоит фильтр, отвечающий за качество публикаций — журналист. Избавиться от прослойки можно лишь в том случае, если вы сразу получаете информацию от ученых. Так можно сделать, если подписаться на интересующих вас авторов. Они есть в соцсетях, но информация там не структурирована, а вот каналы с видеоконтентом — как личные, так и собранные обычными людьми, — это ценный источник адаптированных данных.

Полезные книги о разработке мобильных игр на Android и iOS

Reading time8 min
Views42K

image


Вы решили заняться разработкой мобильных игр. С чего начать? Большинство программистов в геймдеве не ходили в учебные заведения, специализирующие только на играх. Скорее, это был какой-нибудь аналог GeekUniversity с видеоуроками или самостоятельный путь, начавшийся с огромного количества любимых игр, разбора механики, курсов в целом по мобильной разработке, оттачивания найденных алгоритмов в простых игрушках, создаваемых для первого портфолио.


Вне зависимости от выбранного пути, рано или поздно появится необходимость подключить еще один источник знаний, и тут вы можете задуматься о книгах. Учитывайте, что ни одна книга по мобильной разработке не заменит практику. В больших статьях по геймдеву вы слово «книга» можете вообще не встретить. Однако книги имеют определенное преимущество по сравнению со статьями — легко отсортировать их по рейтингу и выбрать лучшие.


Итак, книги не заменят вам реальные боевые курсы, но они могут стать хорошим подспорьем и дополнительным источником знаний. Из книг выбираем лучшие, а далее сортируем по вашему языку и области применения.

Читать дальше →

Нейроискусство: зачем создают картины из нейронов мозга

Reading time4 min
Views18K

image


Искусство и наука редко пересекаются. Когда это происходит и прикладное исследование, понятное лишь специалистам, обогащается визуальными образами, наука получает больше внимания обывателей. Сравните сами: исследования мозга по всему миру ведутся каждый день, но графики, диаграммы и рентгеновские снимки не вызывают у нас сильные эмоции. Однако, как только появляются красочные рисунки, иллюстрирующие воздействие на мозг, новость получает большой отклик. Вне контекста научных открытий нам просто нравится смотреть на работу внутренних органов, особенно интересно следить за функционированием полушарий, отвечающих за мышление.

Читать дальше →

Как выбрать камеру видеонаблюдения по завуалированным характеристикам

Reading time6 min
Views33K
image

Все мы умеем выбирать камеру, но не все умеем делать это правильно. В то время как сеть завалена обзорами на любую технику, исчезающее мало становится материалов, в которых действительно грамотно раскрываются возможности устройств.

Оптические приборы в этом отношении пострадали больше всего. Каждый человек знает про мегапиксели и разрешение, но когда речь заходит о более тонких материях, начинает «плавать». Если вы задумываетесь о покупке камеры (и не являетесь экспертом в этой области), полезно будет разобраться, что на самом деле означают непонятные аббревиатуры в характеристиках. Разобраться – это значит не только прочитать описание.

Правильное видеонаблюдение на транспорте: проблемы и решения

Reading time4 min
Views19K
image

Робот-подводник медленно ползет по морскому дну. В его клешнях-манипуляторах высокоскоростной бронированный оптически кабель. При помощи специального плуга, длинный кабель зарывают в океаническое дно на глубину как минимум один метр. Оператор контролирует каждый шаг робота с помощью камер видеонаблюдения.

Если у вас есть робот, железнодорожный состав или экскаватор, копающий яму до магматических горных пород, вы понимаете смысл удаленного контроля. И не только в этих случаях. На самом деле контроль любых движущихся объектов востребован во многих случаях – от морских перевозок до сферы автомобильного транспорта.

Обычные решения на базе промышленных видеорегистраторов имеют высокую стоимость; у традиционных автомобильных регистраторов с модулями сотовой связи есть другие минусы. Мы в Ivideon смогли придумать собственную систему видеонаблюдения на транспорте, которая доступна по цене любому клиенту и гораздо проще в настройке.

Фантастические и реальные технологии «Терминатора»

Reading time9 min
Views42K

image


Сегодня Арнольд Шварценеггер отмечает 70-летие, а меньше чем через месяц вернется на экраны в своем главном фильме. «Терминатор-2: Судный день» снова появится в кинотеатрах в обновленной 3D-версии. В России премьера состоится 24 августа 2017 года.


Как видите, интерес к фантастическому боевику, вышедшему в прокат 26 лет назад, не угас до сих пор. В чем причина зрительского интереса? Конечно, в этом огромная заслуга Джеймса Кэмерона, но фильм обрел популярность не только из-за таланта режиссера. Нам просто нравятся хорошие истории про восстание машин, искусственный интеллект и киборгов.


Удивительно, что история, рассказанная на языке фантастики, сегодня воспринимается как должное. Мы живем в мире дронов-беспилотников, огромных массивов информации, активно развивающихся технологий ИИ и вооружения, которое с каждым годом становится умнее. Поэтому для гик-культуры сегодня интересно анализировать жизнь и смерть Терминатора с точки зрения реального технического прогресса.

Самые необычные испытания и эксперименты

Reading time12 min
Views29K


На Хабре мы публикуем серию дайджестов «Стартап дня», в которую попадают самые интересные молодые IT-компании со всего мира. В процессе отбора материала приходится сталкиваться с разными удивительными идеями, некоторые из которых действительно потрясают.


Во все времена существовали эксцентричные ученые. Изобретатели, химики, физики, физиологи, разномастные естествоиспытатели использовали различные ухищрения, стремясь обосновать правильность своих гипотез. Ученые в поисках истины шли на отчаянные эксперименты. Сегодня кажется странным, как подобные опыты могли прийти в голову людям, но прогресс, достигнутый в медицине, психологии или физике стал возможен во многом благодаря смелым и даже безумным людям. Дальше вы узнаете больше о некоторых эксцентричных научных поисках.

Что читать о нейросетях

Reading time6 min
Views134K


Нейросети переживают второй Ренессанс. Сначала еще казалось, что сообщество, решив несколько прикладных задач, быстро переключится на другую модную тему. Сейчас очевидно, что спада интереса к нейросетям в ближайшем будущем не предвидится. Исследователи находят новые способы применения технологий, а следом появляются стартапы, использующие в продукте нейронные сети.


Стоит ли изучать нейросети не специалистам в области машинного обучения? Каждый для себя ответит на этот вопрос сам. Мы же посмотрим на ситуацию с другой стороны — что делать разработчикам (и всем остальным), которые хотят больше знать про методы распознавания образов, дискриминантный анализ, методы кластеризации и другие занимательные вещи, но не хотят расходовать на эту задачу лишние ресурсы.


Ставить перед собой амбициозную цель, с головой бросаться в онлайн-курсы — значит потратить много времени на изучение предмета, который, возможно, вам нужен лишь для общего развития. Есть один проверенный (ретроградный) способ, занимающий по полчаса в день. Книга — офлайновый источник информации. Книга не может похвастаться актуальностью, но за ограниченный период времени даст вам фундаментальное понимание технологии и способов ее возможной реализации под ваши задачи.

Читать дальше →

Маршрут по Вестеросу и Эссосу: картография вымышленных и реальных миров

Reading time5 min
Views24K

image


Вымышленные миры часто становятся отдушиной для картографа. Где еще можно не сдерживать свой талант и творить, получая удовольствие от самого факта создания детального плана местности? Даже ученые проводят эксперименты по созданию карт на выдуманных мирах. Исследователи из Ланкастерского университета планируют за три года создать программу, которая будет сама извлекать из художественных текстов элементы для геолокации и на их основе строить анимированные 3D-изображения соответствующих мест. Тренировать нейросеть начнут на трилогии Дж. Р. Р. Толкиена.


Практически по каждому масштабному фантастическому произведению можно построить карту. Обычно дело ограничивается воображением читателя. Иногда карту рисует настоящий художник или специалист по картографии — так, например, появилась карта Бекланской империи из романа Ричарда Адамса «Шардик», которую нарисовал известный иллюстратор-картограф Рафаэль Паласьос.


Случается, что автор книги рисует карту сам. Сделать это становится проще, если события романа основаны на реальных историях. Даже фэнтези с драконами и магией появляется не на пустом месте — герою нужен маршрут, а писателю — вдохновение. Сегодня вместе c MAPS.ME мы изучим основы реальной картографии «Песни Льда и Пламени» Джорджа Р. Р. Мартина.

Читать дальше →

Редкие космические предметы из музейных коллекций

Reading time5 min
Views16K

image
Экспозиция Музея космонавтики (Москва, ВДНХ)


Мы привыкли воспринимать космос через текст и фотографии здесь, на Гиктаймсе, и на множестве других ресурсов, а между тем вся советская, теперь уже и российская история покорения космоса — это сотни тысяч различных вещей, которые можно увидеть, осязать, почувствовать.


Самое главное, что можно постичь, изучая артефакты прошлого — это идеи. Макеты, созданные по чертежам и рисункам, а также реальные вещи космонавтов производят сильное впечатление. Они показывают, как достичь невозможного при ограниченных ресурсах, а также с каким изяществом инженеры решали сложные технические задачи.


В коллекциях Политехнического и других музеев хранятся сотни редчайших артефактов и не все из них доступны на выставках. Некоторые только ждут своего часа, другие уже почти забыты.

Читать дальше →

Проблемы гаджетов и софта для здорового питания

Reading time7 min
Views7.1K


По данным Всемирной организации здравоохранения (ВОЗ) здоровье зависит на 50–55% от образа жизни самого человека, на 20–25% от экологии, на 15–20% от генетических факторов, на 10–15% от медицины (точная величина факторов зависит от возраста, пола и индивидуальных особенностей). Наше здоровье, по большей части, дело нас самих — ведя правильный образ жизни и снижая влияние неблагоприятных факторов, мы можем поддерживать активность на должном уровне и даже частично восстанавливать утраченное здоровье. Так что никогда не поздно начать следить за тем, как мы проводим свою жизнь.


Один из главных параметров здорового образа жизни — это качество продуктов питания. С самого детства мы знаем, чем полезна одна еда, и какой вред может нанести другая. Но эти знания существуют сами по себе, их трудно экстраполировать на реальную жизнь. Но используя технологии, можно превратить правильное питание в привычку, без которой трудно будет представить жизнь. Это как построить умный дом, где вместо дома — ваше собственное тело.

Читать дальше →

Как подключить видеонаблюдение с помощью усиления 2G/3G/4G сигнала

Reading time4 min
Views14K
image

Если вас охватывает ужас при виде человека, взбирающегося на строительный кран, вспомните о тех, кто каждый день работает на большой высоте. Крановщики, мойщики окон, монтажники-высотники – все эти люди выбрали не стены офиса, а воздух и головокружительную высоту.

Работа в таких условиях требует железных нервов и надежного оборудования. Безопасность на объекте поддерживается не только типовыми правилами поведения, но и камерами наблюдения, решающими разные задачи (однажды мы помогали клиенту, который хотел с помощью камер Ivideon идентифицировать в зоне детекции людей без защитных касок).

На любой стройке трудно найти нормальный интернет хотя бы для одной камеры. А когда камер нужно десять? Задача усложняется многократно. Проблема повсеместна: дом за городом, ремонт в подвале, магазин на первом этаже ТЦ за толстыми ж/б стенами – везде для камер нужен широкий интернет-канал. Наше решение проблемы – ZLT P10+ антенна с модемом и роутером для приема и усиления 2G/3G/4G сигнала.

Симфония 13 миллиардов лет: звуки Солнечной системы и далеких звезд

Reading time4 min
Views20K


«Музыка» космоса — известный метод исследований, при котором различные космические объекты подвергают «озвучке». Космос наполнен электромагнитными (и не только) волнами самых разных частот: рентгеновское и гамма- излучение, ультрафиолет, видимый свет, инфракрасное излучение, радиоволны. Некоторые волны мы можем усилить и перевести в звуковые сигналы.


Преобразовывать космическое излучение в звуковые волны можно для двух целей:


  • сбора информации в повторяющихся паттернах звука и поиск закономерности, т.е. получение определенного набора данных для исследований;
  • получения эстетическое удовольствие.

Ученые постоянно выкладывают сборники космической «музыки» (не приходится сетовать на редкий выход новых «альбомов»), поэтому каждый может составить собственную картотеку звуков вселенной, заняться научными поисками, сделать ремикс. Или просто послушать концерт в исполнении Марса.

Потенциально опасные алгоритмы

Reading time25 min
Views55K

Математические модели и алгоритмы сегодня отвечают за принятие важных решений, влияющих на нашу повседневную жизнь, более того — они сами управляют нашим миром.


Без высшей математики мы бы лишились алгоритма Шора для факторизации целых чисел в квантовых компьютерах, калибровочной теории Янга-Миллса для построения Стандартной модели в физике элементарных частиц, интегрального преобразования Радона для медицинской и геофизической томографии, моделей эпидемиологии, анализов рисков в страховании, моделей стохастического ценообразования финансовых производных, шифрования RSA, дифференциальных уравнений Навье-Стокса для прогнозирования изменений движения жидкостей и всего климата, всех инженерных разработок от теории автоматического управления до методов нахождения оптимальных решений и еще миллиона других вещей, о которых даже не задумываемся.


Математика стоит в основе цивилизации. Тем интереснее узнать, что с самого зарождения этого краеугольного камня в нем содержатся ошибки. Иногда ошибки математики остаются незаметными тысячелетия; порой они возникают спонтанно и быстро распространяются, проникая в наш код. Опечатка в уравнении ведет к катастрофе, но и само уравнение может быть потенциально опасно.


Мы воспринимаем ошибки как нечто чуждое, но что если вокруг них и строится наша жизнь?

Читать дальше →

Information

Rating
85-th
Works in
Registered
Activity