Pull to refresh
  • by relevance
  • by date
  • by rating

Оптимизация разметки данных для ускорения обучения моделей

Data Mining *Image processing *Big Data *Machine learning *Artificial Intelligence
Translation

Подавляющее большинство инструментов глубокого обучения позволяет нам быстро создавать новые приложения с потрясающей производительностью, от программ компьютерного зрения, классифицирующих сложные объекты по фотографиям, до анализаторов естественного языка при помощи извлечения семантики из текстов. Однако самым серьёзным узким местом всех этих методик является огромное количество данных, необходимое для обучения моделей — обычно сотни тысяч примеров для обучения.

Если вы приступаете к созданию с нуля классификатора изображений, допустим, для распознавания несвежих продуктов на конвейерной ленте, для сбора и ручной разметки всех этих фотографий вам понадобятся недели или месяцы. К счастью, существует множество глубоких нейронных сетей, уже обученных на больших массивах данных фотографий с большим количеством классов. Они позволяют устранить проблему «холодного запуска». Идея, лежащая в основе трансферного обучения заключается в использовании результатов работы этих моделей, фиксирующих высокоуровневую семантику изображений, в качестве входящих данных для новых классификаторов, решающих требуемую задачу. Это значительно уменьшает объём данных, которые нужно аннотировать вручную — с сотен тысяч до тысяч.

Однако аннотирование даже тысяч примеров может быть затратной задачей, особенно если для выполнения задачи по аннотированию требуется навыки специалиста в соответствующей области. В идеале достаточно было бы разметить только несколько сотен задач и позволить конвейеру машинного обучения самообучаться без контроля. Эта задача также называется бюджетированное обучение (budgeted learning): мы выделяем сумму денег на приобретение набора данных обучения для создания модели с нужной производительностью. Ещё одна проблема связана с дрейфом концепции, при котором целевая задача со временем меняется (на линию распознавателя поступают новые продукты) и показатели прогнозирования без вмешательства человека деградируют.
Читать дальше →
Rating 0
Views 91
Comments 0

Google продляет поддержку Chrome для Windows 7 на шесть месяцев

Google Chrome
image

Хорошая новость для всех, кто по-прежнему предпочитает Windows 7 более новым версиям операционной системы. Google продлила поддержку Chrome для этой почтенной ОС еще на шесть месяцев, предоставив компаниям, чьи планы по переходу на Windows 10 были нарушены из-за пандемии.
Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Views 4K
Comments 10

Легализуемся. Обзор бесплатного ПО для Windows.

Software
Попытаюсь поднять избитую и отчасти спорную тему за счёт конкретики вместо религиозных войн.

В последнее время вопрос соблюдения авторских прав в России стал очень актуальным и можно отметить усиленное рвение ответственных органов за соблюдением соответствующих законов РФ.

В связи с этим для желающих легализоваться публикую обзор бесплатного программного обеспечения, которое заменяет, а иногда в той или иной степени и превосходит платные аналоги.
Итак, начнём!..
Rating 0
Views 1K
Comments 0

Джентельменский набор вэб-разработчика. Моя версия.

Lumber room
Love your job
Сегодня, вместо того чтобы в очередной раз написать о том, как и что написать (каламбур), предлагаю поговорить о том в чем писать и какие утилиты использовать, а именно софт, который делает нашу работу легче.
У каждого есть свои предпочтения и привычки в использовании софта, я начну со своих, условно поделив их на несколько категорий, а вы продолжите. Всегда интересно посмотреть кто с чем работает. Начнем.
Читать дальше
Total votes 33: ↑19 and ↓14 +5
Views 753
Comments 74

Thunderbird 2.0 выйдет в конце апреля

IT-companies
В конце этой недели выйдет Thunderbird 2.0 Release Candidate — то есть последняя промежуточная версия перед релизом, который назначен на конец апреля. Thunderbird — это опенсорсный десктопный почтовый клиент от Mozilla. Thunderbird перенимает всё больше веб-функциональности у Firefox. Thunderbird — кросс-платформенный клиент, который работает на MacOS X, Linux, Windows (в новой версии с поддержкой Vista). Первый релиз состоялся весной 2003 года и с тех пор программой пользуются 10 миллионов человек.
Обзор новой версии внутри...
Total votes 31: ↑29 and ↓2 +27
Views 414
Comments 37

Aqua Dock

Software
Aqua Dock — бесплатный launchbar/taskbar для Windows XP, сделанный в стиле дока Mac OSX: значки дока увеличиваются при наведении на них мыши.

aqua-dock.jpg

Размещение программ в доке происходит простым перетаскиванием ярлыка на док, удаление, как логично предположить, — перетаскиваем ненужного ярлыка с дока. Запущенные в данный момент программы отображаются небольшим треугольником. Настройки довольно простые, но все необходимое для удобства использования есть:

aqua-dock-settings.png

Еще одна приятная особенность Aqua Dock в том, что она хранит все настройки в ini-файлах в каталоге с программой, т.е. спокойно может быть помещена на флешку. Собственно, я уже добавил Aqua Dock к своей коллекции Portable-софта.

aqua-dock-default-skin.jpg

» Скачать Aqua Dock 1.0 (738 Кб)
Total votes 32: ↑28 and ↓4 +24
Views 1.8K
Comments 28

Microsoft душит ценой покупателей software в России

Lumber room
И без того недешевый лицензионный софт скоро станет и вовсе практически недоступным для многих россиян. По информации «Известий», со следующего месяца компания Microsoft, являющаяся мировым монополистом на рынке операционных систем, примерно на 25% поднимает цены на свои самые популярные продукты — Windows и Office. Федеральная антимонопольная служба хранит молчание, а пираты радостно потирают руки: спросу на их продукцию теперь уж точно ничего не угрожает.

ссылка на источник
Total votes 7: ↑2 and ↓5 -3
Views 202
Comments 0

Chrony — обезжиреный тайм-менеджмент

GTD *
ChronyПрактически все гуру селф-девелопмента советуют своим читателям вести так называемый таймлог — журнал, в котором фиксируется, на что расходуется рабочее время. Это довольно просто: вы записываете время начала и окончания каждого действия, а в конце дня анализируете журнал и делаете соответствующие выводы.
Плюсы такого тщательного контроля за собой я ощутил уже на третий день, но так же понял, что абсолютно отвык (и не хочу привыкать, что самое главное) пользоваться ручкой, тетрадкой и калькулятором. Было бы весьма неплохо иметь маленькую софтину, максимально упрощающую процесс ведения и анализа таймлога. А если она при этом не будет навязывать различные ToDo-списки, ремайндеры, кучу опций, календарей и отчетов, то будет вообще здорово.
После продолжительной борьбы моя созидательная натура взяла верх над врожденной ленью, в результате чего появилась Chrony.

Что в итоге получилось
Total votes 56: ↑53 and ↓3 +50
Views 5.4K
Comments 153

Google «отдаст GPhone»

IT-companies
Google создает свою Linux-based ОС для мобильных устройств и планирует передать его производителям мобильных телефонов, согласно отчетам.

Спекулирование на Gphone проекте уже давно породило два варианта развития ситуации: Google сама начнет конструировать мобильный устройства или сконцентрируется на разработке софтвера.

План Google — создать продукт с открытым исходным кодом, который будет конкурировать с Microsoft Mobile и Symbian.

via PC Pro
Total votes 17: ↑15 and ↓2 +13
Views 271
Comments 22

Как продавать программы через Интернет. Эпизод III – Сайт продукта

Lumber room
Начнем с вопроса.

Создавать или не создавать сайт для программного продукта?

Если продукт выпускает компания, у которой уже есть сайт, то большинство пытается его засунуть в один из пунктов своего меню. Такой подход считаю в корне неправильным.
Во-первых, в данном случае компания гонится за двумя зайцами, раскручивая свой продукт, она пытается раскрутить и свою компанию. Но сами понимаете, к чему может привести такая гонка.
Читать дальше →
Rating 0
Views 441
Comments 0

Как продавать программы через Интернет. Эпизод III – Сайт продукта.

Interfaces *

Начнем с вопроса.
Создавать или не создавать сайт для программного продукта?
Если продукт выпускает компания, у которой уже есть сайт, то большинство пытается его засунуть в один из пунктов своего меню. Такой подход считаю в корне неправильным.
Во-первых, в данном случае компания гонится за двумя зайцами, раскручивая свой продукт, она пытается раскрутить и свою компанию. Но сами понимаете, к чему может привести такая гонка.
Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Views 2.3K
Comments 6

Патент на pop-up

Lumber room
Следующий кросс-пост с моего технического блога:
— Я думал, что это миф, городская легенда. Но, нет, оказывается правда. 14 мая 2002-го года патентное бюро США выдало патент номер 6,389,458 на следующий Javascript код:

function onExit()
{
popup = window.open(“pop.html”);
popup.focus();
}

Только что прочитал об этом в декабрьском номере Communications of ACM – кстати, источник очень интересных статей.

1. Patented Algorithms are bad, copyrighted software is good by editorial by Paul Watson, letter from Rod Oldehoeft – Communications of the ACM, December 2007 / Vol. 50, No. 12, p. 9-10.
Total votes 17: ↑14 and ↓3 +11
Views 297
Comments 8

Software made in India. Скоро в России

Lumber room
Крупнейший индийский разработчик ПО и поставщик IT-услуг Tata Consultancy Services (TCS) объявил, что открывает в Москве представительство, оно займется продажей продуктов и услуг в России и странах бывшего СССР. Эксперты считают, что TCS к 2010 году может занять до 10% российского рынка IT-услуг, но для этого ей необходимо купить сильного местного игрока.

Открытие офиса TCS в России серьезно обострит конкуренцию в сфере системной интеграции и аутсорсинга бизнес-процессов, считает председатель совета Лиги независимых экспертов в области IT Сергей Карелов: «На офшорную разработку софта в выручке TCS приходится не более 20%, остальное — услуги по внедрению ПО, консалтинг. То есть в России TCS будет конкурировать главным образом с системными интеграторами, такими как IBS, „Ланит“, ISG». По мнению господина Карелова, ключевое преимущество TCS — финансовые возможности: "Крупнейшие компании вроде «Газпрома», Сбербанка, быть может, и рады бы отдать обслуживание IT-инфраструктуры на аутсорсинг, но российские игроки IT-рынка не в состоянии предоставить им финансовые гарантии. TCS с выручкой более $4 млрд может это сделать, поэтому я не удивлюсь, если они получат в России крупные аутсорсинговые контракты, примерно по $50 млн каждый".

Полностью www.kommersant.ru/doc-rss.aspx?DocsID=843848
Total votes 6: ↑5 and ↓1 +4
Views 199
Comments 1

Публикация лицензионного соглашения на сайте — можно или нет?

Copyright
Добрый день, хабралюди! Вот, озаботился в свете одного проекта, таким вопросом, и буду рад услышать ответ или подсказку, в каком направлении копать.

Можно ли публиковать на веб-сайте полный текст лицензионного соглашения на коммерческий софт (для примера — хочу опубликовать лицензию на Microsoft Vista или на Adobe Photoshop)? Без перевода, для справочных целей, именно весь текст, конечно с указанием ссылки на сайт производителя, на сам лицензию если она на сайте есть и к какой программе относится.
Total votes 11: ↑6 and ↓5 +1
Views 619
Comments 6

RoomTeem, арт-директорский релиз

Lumber room
Очередная бета-версия RoomTeem-а специально посвящена арт-директорам.

Румтим, в частности — очень удобный инструмент для того, чтобы работающие с графикой люди могли кинуть друг-другу картинку «на посмотреть». А посмотреть — это значит — покритиковать, правда? :)

Вот этот сладостный процесс критики мы и задумали облегчить.

Теперь можно в несколько кликов мыши опубликовать картинку (2 клика), получить её на другом компьютере (3 клика), открыть в аннотаторе (3 клика), обматерить (1 клик и буквочки), и отправить обратно (3 клика).

Хорошо? Хорошо. :) Но мы пошли дальше. Мы автоматизировали и сам процесс критики. Теперь даже не нужно самому формулировать претензию к креативу и уровню исполнения! :)

Мы выбрали для вас самые яркие комментарии к чужим графическим работам, сделанные Тёмой Лебедевым в рамках бизнес-линча, и внесли их в меню программы. Теперь достаточно нажать плюсик, навести жало комментария на неугодный фрагмент картинки и выбрать из речей Мастера ту, что заклеймит объект наиболее точно. «Унылое говно» всегда под рукой: зачем набирать 12 букв, если всё можно сказать двумя кликами?!

Да что говорить, смотрите:
Читать дальше →
Total votes 11: ↑8 and ↓3 +5
Views 251
Comments 8

Microsoft запустил WorldWide Telescope

Lumber room
На конференции TED Conference 27 февраля 2008, Microsoft представила свой новый проект под названием WorldWide Telescope, обещая рабочую бета-версию к концу мая 2008 года. Разработка проекта была заложена еще в 2002 году Джимом Греем — одним из ведущих сотрудников Microsoft Research eScience Group, который в прошлом году пропал в Тихом океане.



WorldWide Telescope разработан на основе движка Visual Experience Engine и использует научные данные, собранные на протяжении многих лет при помощи телескопов «Хаббл» и «Спитцер», и объем хранилища составляет несколько терабайт.

С помощью этого сервиса пользователи смогут изучать Солнечную систему, Галактики, НЛО и т.д. Согласно достоверным источникам, сегодня в базе WorldWide Telescope находятся более 300 изображений звездных планетарных систем. Также сервис позволяет создавать веб-экскурсии по космическому пространству. WorldWide Telescope в первую очередь будет конкурентом Google Sky и Stellarium.
Скачать программу

via The Social Trend
Total votes 12: ↑10 and ↓2 +8
Views 214
Comments 8

TiddlyWiki — все в одном

Lumber room
Молодцы ребята, создавшие TiddlyWiki — OpenSource-систему для управления записями, которая состоит из одного HTML-файла! В этом файле содержиться javascript-код, который управляет записями (которые, кстати, сохраняются в этом-же файле). В системе имеется поддержка тегов (меток), поиск, имеется масса других возможностей, например, встраиваемые плагины, темы оформления, настройки шаблонов, цветов, стилей и др. Имеется возможность автоматического созданения резервных копий (советую задать каталог для этих резервных копий в настройках, чтобы не загромождать текущую папку бекапами Вашего блокнота). Отмечу, что часть настроек сохраняется в куках браузера, имеейте это в виду. Список поддерживаемых броузеров см. здесь.

Кастомизация системы позволяет настраивать пользовательское меню, статьи, которые должны показываться при старте системы. Имеется возможность задавать различные команды в ссылке (открыть статью с заданным именем, создать статью, поиск по тегам и т.д.).

К сожалению, русская версия TiddlyWiki имеется, но только для версии 2.1.3. Текущая версия 2.4 (равно, как и 2.2, 2.3) пока не русифицирована.

Далее я опишу некоторый синтаксис, а также краткий порядок работы с системой.
Читать дальше →
Total votes 16: ↑13 and ↓3 +10
Views 1.3K
Comments 20

Утилиты записи дисков

Software
Почти все пользователи Windows знают про программу Nero Burning Rom, но не «нерой» единой можно записывать диски. Я попробовал посмотреть на альтернативные утилиты, которые существуют на русском языке и при этом обновлялись в последние пару месяцев. Две из них совершенно бесплатны.
Читать дальше →
Total votes 36: ↑26 and ↓10 +16
Views 11K
Comments 70