• Calico Enterprise: обзор
    0

    Для меня было откровением, что Kubernetes по умолчанию устанавливает кластеры без всякой защиты. Весь трафик внутри кластера открытый. Весь…
    Наверное, это и помогло им так быстро распространиться среди девов. Прототип слепить можно очень быстро, если не париться с security.
    Получается, что Calico полностью заменяет (ну, или, может заменить) kube сети на свою реализацию. Довольно радикально.

  • eBPF: современные возможности интроспекции в Linux, или Ядро больше не черный ящик
    0

    Meжду прочим, моя компания занимается защищенными сетями в том числе с использованием eBPF. Я сам ML занимаюсь, но постоянно слышу про eBPF. Если интересно, то есть несколько блог постов про это:
    Announcing eBPF Mode GA; A Look at the New Calico eBPF Dataplane; Introducing the Calico eBPF Dataplane. Еще недавно наш CTO написал e-book на эту тему (бесплатную). Если интересно, могу ссылку поискать.

  • 50 приложений для эффективной организации удалённой работы
    0

    Мы рабоаем на MS DevOps, Teams, Slack. Для software development сейчас DevOps очень хороша.

  • Пора на свалку
    0

    Требования немножко противоречивые. 1+2 против 6. Т.е.или низкоуровневый, для системных работ — против UI. Я бы не смешивал.
    Если брать первые требования, то Go на ум приходит.


    Кстати, зачем С++ выдумали поверх С? Для ООП. А ООП какие проблемы решает? DRY проблемы. Не хочется много раз что-то повторять.
    В UI подобные проблемы везде. А в системном программировании поменьше. Linux © — тому хороший пример.

  • Пора на свалку
    0

    Я тоже по этому пути прошел.
    Занимался одним интеграционным продуктом одной известной комании (неважно какой продукт, какая компания). Тоже добрался до топа.
    А в конце получилась похожая история, несочетание меня и этой софтвари.
    И да, было горестно бростать все нажитое, выученное.
    Сейчас получаю давно забытое удовольствие от программирования. python, я ж его просто люблю. Я так соскучился по забытому чувству, когда что-то пишешь-пишешь, а оно бац, и сразу работает. И это с моим-то счастьем (счастье мое в том, что я вылавливаю больше ошибок, чем вся команда. Хотя иногда кажется, что ошибки вылавливают меня.)
    Получаю сейчас раза в 3 меньше. И совсем не жалею. Может когда и дорасту до прежних рейтов, может нет, совсем неважно. Убитых лет жалко.
    Уверен, что у тебя тоже все получится. Нажитый опыт, он не весь по языку. В этом опыте еще много чего полезного и уникального. Не надо себя недооценивать.
    Есть куча свежих, веселых, умных языков, которые решают С++шные задачи.

  • Null проблема в Data Science и Machine Learning
    0

    :)
    Постараюсь с другой стороны. Если бы работали с тэгом, то были бы просто значение null или class1+class2. A c двумя классами будут null и другой null. Что совсем не один тэг null. С двумя классами все бохааче. М.б. class1_null+class2, class1+class2_null, class1_null+class2_null. А если null окрасим "разными причинами пропуска", то еще богаче, информативнее :)

  • Null проблема в Data Science и Machine Learning
    0

    Кстати,
    есть интересное дополнение.
    Часто случается, когда мы классикацию по нескольким классам заменяем на тэги. Т.е.несколько фич заменяем на фичу-list, в которой м.б. сколько угодно значений (тех же классов, к примеру). При использовании тэга может потеряться сематника пропущенных классов.
    Лучше на примере: есть значение Должность (Electrical Engineer, Mechanical Engineer). Мы работаем с фичами Индустрия и Роль, либо с тэгом. С двумя инженерами понятно. Что делать со названием работы "нужен помощник со знанием математики"? Т.е. Индустрия — "не хватает данных", Роль — "многозначная" или "другие". А с тэгом пролет, потому что натурально мы бы просто не задали никакого тэга. И тогда мы теряем семантику пропущенных двух классов одновременно. А если пытаться в тэги засунуть семантику нескльких NA значений, то будет проще опять заменить тэг на те же пару классов. (заранее извиняюсь за скомканное объяснение)

  • Null проблема в Data Science и Machine Learning
    0

    Спасибо за поддержку,
    Именно! Получаются доп.фичи.
    Разные источники/причины NA могут быть определены в виде дополнительных фичь. Т.е. не просто заменой NA значения на что-то еще, а в виде доп.колонки с признаком. Из примера сверху это может быть — "не хватает текста".

  • Null проблема в Data Science и Machine Learning
    0

    Ага, отличное дополнение! Добавлю ссылку на этот МAR.

  • Как работают двоичные нейронные сети, и почему они будут популярными в 2020-м
    0

    Статья отражает многие современные исследования. На ум приходит компания Numenta, Jeff Howkins with Hierarchical Temporal Memory. У них много есть чего на youtube в том числе очень интересные курсы по HTM. Так вот они тоже все строят на бинарной идее.
    Далеко ходить не надо. Наш могз построен на бинарной основе и пока что никакие супер-сложные и быстрые процессоры его не переплюнули. Numenta как раз идет от работы мозга.
    Так что, я тоже думаю, что бинарные сети будут рулить.
    Похоже, что самая большая проблема на этом пути — в создании "правильного" двоичного железа. Не того, что моделирует плавающую арифметику на двоичной элементной базе, а железа, похожего на HTM.
    … и вдогонку. Дискуссии о проблемах имплементирования бинарных сетей на существующих процессорах понятны, но, по большому счету, мало что значат. Как в свое время быстренько выдумали GPU для каких-то там игра, так и сейчас, быстренько сварганят двоичные процессоры для бинарных сетей. С современными компьютерами — это небольшая работа :)

  • Microsoft MVP Global Summit 2016, заметки на полях
    0

    Пару дополнений к этой статье про MVP из России.
    Да, продление статуса делается проще, чем получение его в первый раз. Лидеры по стране (служащие МС) часто не перерабатывают, а процедура продления намного проще для них, чем нахождение нового кандидата. У нас, в Канаде, в принципе то же самое.
    Про критику МС… Наверное это специфика Российской программы. У нас ни разу за критику ни слова не говорили. И не слышал такого от других МVP. Хотя, это м.б.специфика Канады. У нас "наезд" — это всегда доброжелательный и конструктивный диалог, с улыбками, и часто с беспрерывными извинениями :) Ну, такая уж специфика. Мне лично она нравится. И результат такого общения мне тоже нравится :) Кстати, именно на MVP Summit часто этот стиль отбрасывался и пару раз была просто ругань (у SQL Server MVP есть пяток ребят :) ). В русском стиле… потом на парти они же с майкрософтовскими ребятами, на которых ругались, в обнимку ходили.

  • EDI стандарт. Технический обзор
    0

    Метод доставки сообщения ("ручной", интернетом,..) мало влияет не формат сообщения. Но если у вас действительно используются используются поля EDI сообщений для роуминга и авторизации, то это будет первый случай в моей практике :) Не рассказывайте только это знакомым хакерам, хотя вряд ли они будут это хакать. Слишком просто и примитивно все это взломать. Все равно, что у младеньца леденец отобрать.

  • Роджер Шанк — об IBM Watson
    0
    Основная идея статьи похожа на правду. Но сами рассуждения как бу уводят от нее от конкретного разбора ситуации в эмоциональную сферу, которой здесь не место.
    Действительно, IBM смотрится очень слабо на нынешнем ландшафте ИИ. Масса статей и прорывных технологий от Google, Microsoft, Yandex, университетов. А IBM двигает Ватсон, не раскрывая, что там у него внутри. Если зайти на их сайт и попробовать понять это, ничего не получится. Увидим сплошной sales-треп ни о чем. Что обидно, т.к.известно, что внутри IBM есть (были?) очень хорошие группы ученых и инженеров.
    Похоже, что Ватсон базируется на массивном инвестировании в классические ML методы, в Deep-Learning, NN что-то о них не слышно. Т.е.у них, похоже, хороший инжиниринг в feature preparation. Ничего в этом плохого нет. Плохо, когда мало понимающие сейлзмэны строят свой мир, далекий от реальности.
    Это уже у них неоднократно наблюдалось, например с продвижением EDI, с реинкарнацией мэйнфреймов. Корпоративный мир, однако.
  • Почему в сорок лет я решил поменять профессию и стать программистом Python
    +1

    На Python пишут в университетах. Поэтому на нем масса библиотек по математике, разным наукам, по ML. Масса отличнейших библиотек. Пишут эти библиотеки люди со степенями и мозгами. Как раньше в 80ые писали на том же Фортране. Поэтому среднее качество кода выше среднего по Джаве и СиШарпу, есно за пределами .NET библиотек.
    Кроме того у него замечательные примитивы по работе с коллекциями. Вроде просто, но результат ощущается быстро и практически везде.
    По поводу скорости. Везде (?), где она нужна, есть библиотеки, скомпилированные на С.
    Минусы тоже есть. Меня достает то, что всегда надо выбирать 2 или 3 версию надо/можно использовать :)

  • Когда появится следующий большой язык программирования с точки зрения Дарвина
    0

    Вполне себе проглядывают ниши, где могут зародиться новые языки. Нужны для этого некие новые (но стабилизировавшиеся) условия, большая территория и незаселенность, так?
    Вот к примеру незаселенная территория: GPU, TPU и разные перенастраиваемые массивы. Это было на периферии, а тут вдруг стало мэйнстримом, в кот. MSFT, Google, Amazon вкладывают сейчас немыслимые средства. Очень лакомая область. Так и просится, чтобы на ней появился язык для сборки логики на хардваре. Я в курсе, что подобные уже есть. Может быть один из них и стрельнет в нас.
    Опять же территория Erlang. Вроде только сейчас она поспевает для массового заселения девелоперами. У Go почему-то не получилось. Надо разобраться, почему.
    Еще просится на сцену метаязык, на котором можно собирать программы из любых других языков. Но это — типичная "интелектуальная штучка", которая никогда не приносит практич.результатов :(

  • Распознавание образов и научное знание
    0

    Я очень надеюсь. Но в реальности здесь не так просто. Не представляю, что бизнес будет финансировать, к примеру, создание базы данных изображений насекомых или растений. Эта работа требует много времени, участия академической науки, массы людей с фотоаппаратами, ИТшников. Т.е.координировать людей в совершенно разных средах. Институты — у них своя структура коммуникации, организации, финансирования. Бизнес — своя.
    Стимулы сделать окончательный результат д.б.разными, гремучая смесь энтузиазма и денег.
    С ImageNet получилось потому, что там был локальный минимум. Сошлись: сильное желание в акад.среде, сделать эту базу; была сильная конкуренция; было несколько попыток, под которые нашлись деньги; и т.д. Т.е.довольно случайное сочетание.
    Делать подобные базы по академическим направлениям, — тут скорее всего все упрется в… Кстати, командные системы управления здесь могут опередить "демократические". Россия и Китай здесь могут опередить "партнеров". :)

  • Распознавание образов и научное знание
    0

    Во многих случаях, где надо определить "что это такое", поможет приложение, концентрирующее знания конкретной науки. К примеру, агроном видит личинку жука. Смартфоном делает фото и получает несколько возможных ответов. По каждому ответу он смотрит изображения из базы и принимает решение, что же это за насекомое. Тут же смотрит, надо ли с ним бороться, какова опасность. Тут же посылает свою находку в центр.
    Похожие приложения — для рыбаков. Для биологов. Для лесников. Для охотников, егерей. Для грибников :)
    Для коллекционеров разных мастей: марок, значков, картин, наклеек, посуды, автомобилей. Для этнографов.

  • Распознавание образов и научное знание
    0

    Заменил почвы на насекомых. Спасибо за редактирование!

  • Распознавание образов и научное знание
    0

    Спасибо за ссылку.
    Задача у меня стоит другая. Мне надо распознать на фото корабль(тип)/катер/парусник/каяк и посчитать количество. Пока не стоит задача идентифицировать корабль. Хотя, если камера стоит в нужном месте, то эта задача тоже решается.

  • Распознавание образов и научное знание
    0

    Согласен, пример не очень показательный. Может быть просто разметка здесь должна быть не по названиям почв, а по ее характеристикам. Пойнт в том, чтобы визуальное представление предоставляло нам информацию.

  • Распознавание образов и научное знание
    0

    Спасибо за ссылку!
    Я тоже думаю, что интеграция — это не проблема в дальней перспективе.

  • Распознавание образов и научное знание
    0

    Что я предлагаю сделать? Наверное, осознать, что базы размеченных изображений, да и вообще данных, сами по себе представляют науку. Т.е. они так же, как научные статьи по результатам исследований, представляют из себя научные знания. Звучит странно, но пример ImageNet показывает, как такая база может послужить общему прогрессу в конкретном направлении.
    Спасибо за ссылку!

  • Microsoft MVP Global Summit 2016, заметки на полях
    0

    Спасибо :)
    Я тоже в этом году сошел на берег. 10 лет был MVP, давно уже пора. Засиделся.
    Кстати — да. Когда вокруг одни знакомые и друзья, как-то не хочется уже о плохом писать, рука не поднимается.

  • Microsoft MVP Global Summit 2016, заметки на полях
    +1

    Спасибо за критику. Текст подправил. Действительно, было слишком много восторга.
    По MVP программе скорее не соглашусь с вами.
    Как нам много раз говорили люди из МС, от MVP им не нужны продажи. Для этого у МС есть другие программы. От MVP им нужен трезвый, сторонний, профессиональный взгляд на их продукты и технологии.
    Из моего опыта: на каждой сессии саммита, на каждой! от нас МС слышал массу нелицеприятных мнений. Но все вежливо и толково, т.к. МVP зарабатывают на жизнь своей работой, своими знаниями о продуктах МС. А нормальный человек в колодец плевать не будет. Как бы мы с МС в одной лодке, тут я с вами согласен. Но они отвечают за качество этой лодки, а мы лодку для своих целей используем. Если лодка нам не понравится, мы другую купим. Но прежде попытаемся решить проблемы полюбовно. Так быстрее и дешевле. Мы ж уже на эту лодку потратились.
    Как-то так…
    И еще. Меня в свое время выбрали MVP за то, что я много ругался по поводу BizTalk. Сказали, что со многим со мною согласны, не мог бы я принять статус MVP? Уточнили, что я им не буду ничего должен, что как я ругался, так и продолжай.

  • Microsoft MVP Global Summit 2016, заметки на полях
    0

    C чего вы решили, что MVP — это типа сейлз-менеджера? Я Майкрософт ничего не должен. Залезте в БизТолк форум, где я в основном кручусь, почитайте мой блог (хотя он специализированный, вряд ли он вам будет интересен), где я там Майкрософт или ее программы нахваливаю? МС, конечно, хочет, чтобы я положительно отзывался, но совсем не против конструктивной критики.
    На саммите мы вообще имеем дело только с МС девелоперами. И они от нас хотят честног (хотя и экспертного, а не враждебного) мнения. Что в этом плохого?
    Это по поводу рекламирования и моей работы как MVP. :)
    По поводу полезного сервиса — совершенно согласен, это будет интереснее. Хотя вряд ли это будет Azure ML. Скорее всего будет какая-нибудь ML библиотека, и совсем не факт, что Майкрософтовская.


    С уважением, и спасибо за критику :)

  • Microsoft MVP Global Summit 2016, заметки на полях
    0

    Про тенденции попытался рассказать. Нам же показывали в основном не то, что уже все видят на Azure portal, а то, что будет в недалеком будущем, то, во что MSFT вкладывается. Народ, который все это разрабатывает, нам все и показывал и рассказывал. Им обычно некогда по разным симпозиумам ездить, они код пишут.

  • Microsoft MVP Global Summit 2016, заметки на полях
    0

    Есть сценарии, где получается супер-выгодно.
    К примеру там, где сайт с большими пиковыми нагрузками и на пиках нельзя снижать производительность. Например, сайт по продаже билетов. На часы или пару дней рентовать сколько надо ресурсов, а обычно держать в десятки раз меньше. Если покупать свое оборудование, то будет очень дорого.
    Другой пример, кратковременные задачи с большими вычислительными требованиями. Например, месяц проектируем какой-то алгоритм, а потом его надо за часы прогнать на данных. Тот же Machine Learning. Так, кстати, многие на Kaggle и делают.
    Еще, сайт c небольшим трафиком на Azure вообще можно практически бесплатно хостить. А чуть добавить и будет дублирование по разным сервеным центрам, что своими силами будет очень дорого даже для богатых компаний.

  • Microsoft MVP Global Summit 2016, заметки на полях
    0

    Согласен.
    У меня уже не первый саммит, поэтому непосредственно о саммите я, наверное, мало и написал.
    Что нового было? На большой вечеринке вместо приглашенных музыкантов опять было караоке. MVP-шники — народ частично веселый, поэтому было весело :)
    Канадцы опять пели гимн и делали фото канадских MVP в красных хоккейных формах, чокнутые :)
    Русских приехало в этот раз мало.
    Опять не было главной речи от главного Макрософточника (последний раз был Надэла в его первый год в должности). До этого был несколько раз Балмер, а до него был Гейтс. Самый веселый и сумасшедший был Балмер.
    В этот раз, как и в прошлый, не было заключительной вечеринки. Она проходила несколько раз на футбольном стадионе, была в баре-клубе-амбаре (название не помню), была в отеле. Самая классная, на мой взгляд, была в Авиационном музее Боинга.


    "Облачные технологии"? для меня это тоже странно звучит :) Пока не похоже, что термин устоялся.

  • DS, ML и люди, которые этим занимаются. Взгляд Сбербанка
    0

    Для людей с творческим началом, к которому, надеюсь, относятся и программисты всех мастей, очень важна творческая составляющая работы. В Google идут не только за зарплатами, но еще и за творческой работой. Сбербанк молодец, что позволяет программистам заниматься в том числе и тем, что им нравится. Всем от этого только польза.
    Молодцы, что вкладываются не только в банкоматы, но еще и в творческих людей. :)

  • Глубинное обучение и работа мозга: Когда наступит технологическая сингулярность
    0
    • Во-первых, компьютерный интеллект уже превысил человеческий во многих-многих областях. Я не буду на этом сейчас останавливаться, но достаточно достать свой телефон...
    • Во-вторых, мозг действует на чрезвычайно низких скоростях, если сравнивать с компьютером. Просто структуры мозга трехмерные, а компьютера — планарные.
    • В-третьих, размеры "элементов" компьютера уже во много раз меньше "элементов" биологического мозга.

    Т.е.никаких принципиальных ограничений на создание компьютерного интеллекта нет уже сейчас. Прогресс, в нашем случае в технологии, действует всегда по GD :) в сторону наискорейшего спуска. Упремся в проблему размеров элементов, тогда пойдем по пути осваивания трехмерных структур и т.п.
    Уверен, что будут еще много сложных, еще неизвестных препятствий на этом пути. Уверен, что ни одна из них не устоит.
    Компьютерный интеллект уже существует. Но не ожидайте, что он будет имитировать человеческий интеллект. Так же, как самолет — не подобие птицы, а колесо — не подобие ноги.

  • Самая нужная программа на свете
    0
    Мне очень понравилась идея хранения своей «памяти» в виде разделяемой «базы данных». Я здесь вижу пересечение с идеей Wikipedia. Вы не думали о том, чтобы написать экспорт в формат Wikipedia? Или же попробовать использовать формат данных Википедии для данных MyTetra? Как вам такая идея?
    И спасибо большое за замечательную статью, за массу идей! В MyTetra есть все для успешного стартапного проекта.
  • Поиск звуковых аномалий
    0
    Ооо… спасибо за конструктивный комментарий. Сейчас заключение добавлю :) Спасибо!
  • Хабр умирает?
    +2
    Разделение или объединение делается по одной причине: увеличение или уменьшение постов/посетителей, которое делает невозможным комфортный просмотр.
    Разделение неизбежно приводит к разделению аудитории, что — очень негативный фактор.
    После разделения обязательно надо мониторить поведение публики и статистику. Если желаемые цели не достигнуты, то надо срочно вертать назад.
    Это я из своего опыта ведения форумов и блогов.
    С Хабром ясно, что ситуация после разделения вышла из под контроля. Бывает и так.
  • Прячем фактическое место, где стоит сервер компании: практические методы и вопрос
    0
    Ну да, тут не сокрытие местоположения сервера, а размазывание ресурсов по серверным центрам с разным географич. положением. Если еще вывести владельца ресурсов Azure/AWS в отдельную организацию, то получить данные даже по запросу органов будет очень проблематично.
    Кстати, какие по вашему мнению лучшие методы физическо-юридической защиты? К примеру, данные на серверном центре в USA или Японии а клауд ресурсы арендуются через Гибралтарскую компанию. Управляет всем этим заопарком другая компания, с которой заключен договор, что они предоставляют секьюрити токены сторонним лицам только по запросу от органов своего государства, а хозяинам — только по особому протоколу, который не-знаю-как сразу прекращает выдачу в случаях…
    Какой может быть потенциально возможный путь затребования данных для органов?
  • Хабр умирает?
    +99
    Из моего опыта причины такие:

    • разделение сайта. Мутное оно какое-то. Интерес размазало, а концентрации специалистов в нужных местах не создало.
    • модерирование. Упала планка.
    • четкого выделения хитов уже нет.
  • Примеры реализации Pub-Sub: Azure Topics, EventHub, ZeroMQ, microServiceBus, etc
    0
    Замечательная статья! Большое спасибо.
    С бенчмарками. Из рассмотренных систем в статье подробно описаны: ZeroMQ, RabbitMQ, Redis. Плюс масса других систем.
    Рекомендую!
  • Примеры реализации Pub-Sub: Azure Topics, EventHub, ZeroMQ, microServiceBus, etc
    0
    Спасибо!
  • Прячем фактическое место, где стоит сервер компании: практические методы и вопрос
    +2
    Согласен с abehterev. Немножко непонятно требование.
    Задача ограничить доступ к физическим серверам или задача скрыть его нахождение?
    Обе задачи решаются размщениев AWS или в Azure.
    По защите от вражеских атак тот же Azure имеет кучу преимуществ по стравнению с самодельным решением, начиная от простейшего ServiceBus Relay, продолжая с гео-распределенной системой, размазанной по серверным центрам всего мира. На защите там задействованны спецы с громадным опытом, знаниями и ресурсами.
    Но если к вам придут с предписанием суда на ваши данные, как вы обезопаситесь с помощью технических средств (см. недавнее дело Apple против US)?
  • Примеры реализации Pub-Sub: Azure Topics, EventHub, ZeroMQ, microServiceBus, etc
    0
    Это точно. Kafka был вдохновителем Azure EventHub, т.е.последний был построен на идеях Kafka.
    Я, к сожалению, не имею опыта работы с ним. Если есть опыт, пожалуйста, поделитесь. Очень интересно.
  • Примеры реализации Pub-Sub: Azure Topics, EventHub, ZeroMQ, microServiceBus, etc
    0
    Я имел в виду, что для ZeroMQ не надо устанавливать брокерную/сервисную часть. По написанию кода издателя и подписчика ZeroMQ также прост, как и RabbitMQ и EventHub, согласен полностью.
    Т.е.если у вас уже RabbitMQ или EventHub уже настроен, то они ничем не сложнее чем ZeroMQ.
    Спасибо за уточнение!