• Формальные грамматики на службе мобильного клиента

      В повседневной жизни мы пользуемся готовыми интерпретаторами и компиляторами — и редко кому придёт в голову написать их самостоятельно. Во-первых, это же сложно, во-вторых — зачем.

      В Surf мы написали собственный интерпретатор и используем его на клиенте мобильного приложения — хотя изначально, казалось бы, это вообще слабо относится к мобильной разработке. На самом деле интерпретаторы и компиляторы — инструменты для решения задач, которые могут встретиться где угодно. Поэтому понимать, как это работает, и уметь писать свои — полезно.

      Сегодня на примере перевода масок из одного в формата в другой познакомимся с основами построения интерпретаторов и посмотрим, как использовать формальные грамматики, абстрактное синтаксическое дерево, правила перевода — в том числе для того, чтобы решать задачи бизнеса.


      Читать дальше →
    • Неоморфизм и его проблемы

        Неоморфизм — это свежий (относительно skeuo/flat/material) тренд в дизайне, который по сути представляет из себя реинкарнацию похороненного скевоморфизма. Так как у этого стиля нет чётко задокументированных гайдлайнов, как например у material, его различные применения вызывают немало споров среди дизайнеров. В этой статье мы разберём его суть и обсудим резко набравшие актуальность из-за Big Sur проблемы.

        Читать далее
      • Трассировка сервисов в мобильной транспортной сети. Как мы пришли к графовой БД Neo4j

        Часть 1. Начало


        1.1 Введение и постановка задачи


        В компании МТС мы централизованно занимаемся контролем качества сетей передачи данных или, проще – транспортной сети (не путать с логистической транспортной сетью), далее по тексту – ТС. И, в рамках нашей деятельности, нам постоянно приходиться решать две основные задачи:

        1. Обнаружена деградация клиентских (по отношению к ТС) сервисов – нужно определить путь их проключения через ТС, и выяснить, является ли причиной деградации сервисов какой-либо участок ТС. Далее, будем называть это Прямой задачей.
        2. Обнаружена деградация качества транспортного канала или последовательности каналов – нужно определить, какие сервисы зависят от данного канала/каналов, чтобы определить влияние. Далее, будем называть это Обратной задачей.

        Под сервисами ТС понимается любое проключение клиентского оборудования. Это могут базовые станции (БС), В2В клиенты (использующие ТС МТС для организации доступа в сеть Интернет и/или наложенных сетей VPN), клиенты фиксированного доступа (т.н. ШПД), и т.д. и т.п.

        В нашем распоряжении – две централизованные информационные системы:
        Система Performance Monitoring Данные о параметрах и топологии сети
        Метрики, КПЭ ТС Параметры конфигурации, L2/L3 каналы

        Любая транспортная сеть по своей сути является ориентированным графом $G=(V,E)$, в котором каждое ребро $(u,v) in E$ имеет неотрицательную пропускную способность. Потому с самого начала поиск решения указанных задач выполнялся в рамках теории графов.

        Сначала вопрос сопоставления показателей качества ТС и сервисов – с топологией ТС решался путем буквального объединения и представления данных топологии и качества в виде сетевого графа.
        Читать дальше →
      • Картирование цифровых прав, часть I. Право на публикацию цифровых произведений

          TL;DR: Эксперты делятся видением проблем в России, связанными с цифровым правом на использование, создание и публикацию цифровых произведений.

          Этой статьей Теплица социальных технологий и РосКомСвобода открывают серию публикаций о картировании технологических вызовов и возможных решений в преддверии хакатона по цифровому гражданству и цифровым правам demhack.ru, который пройдет 12-13 сентября 2020 г. В преддверие хакатона, организаторы провели пять круглых столов по изучению проблемного поля цифровых прав для того, чтобы поделиться сконцентрированным знанием с участниками будущими участниками хакатона о наблюдаемых проблемах и возможных технологических решениях.

          В этом обзоре пойдет речь о праве на использование, создание и публикацию цифровых произведений. Текст ниже, разумеется, не исчерпывает проблемного поля, но дает представление о тех проблемах, которые пришли в головы экспертам в первую очередь.
          Читать дальше →
          • +11
          • 1.2k
          • 2
        • Нам надо создать веб с чистого листа

          • Translation
          image


          Эволюция веба на протяжении последнего десятилетия отражает развитие американской экономики. Все ключевые показатели движутся на графиках «вверх и вправо», стабильный поток фундаментальных прорывов обеспечивает ощущение «прогресса», но в действительности удобство работы и влияние технологий на людей стагнирует или даже регрессирует.

          Этот кризис влияет на платформы, творцов и потребителей.
          Читать дальше →
        • InterSystems IRIS – универсальная AI/ML-платформа реального времени

            Автор: Сергей Лукьянчиков, инженер-консультант InterSystems

            Вызовы AI/ML-вычислений реального времени


            Начнем с примеров из опыта Data Science-практики компании InterSystems:

            • «Нагруженный» портал покупателя подключен к онлайновой рекомендательной системе. Предстоит реструктуризация промо-акций в масштабе розничной сети (допустим, вместо «плоской» линейки промо-акций теперь будет применяться матрица «сегмент-тактика»). Что происходит с рекомендательными механизмами? Что происходит с подачей и актуализацией данных в рекомендательный механизм (объем входных данных возрос в 25000 раз)? Что происходит с выработкой рекомендаций (необходимость тысячекратного снижения порога фильтрации рекомендательных правил в связи с тысячекратным возрастанием их количества и «ассортимента»)?
            • Есть система мониторинга вероятности развития дефектов в узлах оборудования. К системе мониторинга была подключена АСУТП, передающая тысячи параметров технологического процесса ежесекундно. Что происходит с системой мониторинга, ранее работавшей на «ручных выборках» (способна ли она обеспечивать ежесекундный мониторинг вероятности)? Что будет происходить, если во входных данных появляется новый блок в несколько сотен колонок с показаниями датчиков, недавно заведенных в АСУТП (потребуется ли и как надолго останавливать систему мониторинга для включения в анализ данных от новых датчиков)?
            • Создан комплекс AI/ML-механизмов (рекомендательные, мониторинговые, прогностические), использующих результаты работы друг друга. Сколько человеко-часов требуется ежемесячно для адаптации работы этого комплекса к изменениям во входных данных? Каково общее «замедление» при поддержке комплексом принятия управленческих решений (частота возникновения в нем новой поддерживающей информации относительно частоты возникновения новых входных данных)?

            Читать дальше →
          • Кто такие шизоиды, где они обитают, и почему вам может быть полезно о них узнать


              Основные стереотипы о шизоидах в одной картинке

              Synopsis: шизоид — не диагноз, это тип характера. Существуют шизоиды, имеющие психические заболевания (как существуют истероиды, эпилептоиды, сварщики, мужчины и женщины, дети и бухгалтеры, имеющие диагнозы из области психиатрии), но далеко не каждый шизоид (мужчина, бухгалтер, сварщик и т.д.) — болен.

              Сам этот характер довольно тяжело описать одновременно коротко и корректно. Некоторые называют их «гиками», «интровертами», «чудаками», «ботаниками», «хикканами», «эксцентричными», «нердами», «компьютерными гениями»[1, стр. 231], и все эти характеристики в той или иной мере имеют отношение к, собственно, шизоидам, но ни одна из них не является определяющей.

              Проще всего шизоида описать через динамику его внутренних процессов, но такое описание займёт слишком много места, поэтому ограничимся простым (и неточным определением): для целей этой статьи шизоид — это человек, имеющий внутренний конфликт по поводу желания близости и потребности сохранить свою независимость, и решающий этот конфликт через отказ от контактов с внешним миром в пользу погружения в мир собственных фантазий и абстрактных построений.

              Большая часть литературы, посвящённой шизоидам, имеет клиническую направленность и описывает достаточно тяжёлые случаи шизоидизации, а в рамках этого текста я хотел бы рассказать о здоровых шизоидах, коих среди нас присутствует достаточно для того, чтобы их особенности имели значение в контексте трудовых отношений, управления и маркетинга.
              Читать дальше →
            • Юридические эксперименты в ИТ. Как кастомизировать закон под себя



                Похоже, власти прислушались к жалобам бизнеса на неудобные законы и приняли закон об экспериментальных правовых режимах в сфере цифровых инноваций (Федеральный закон от 31.07.2020 № 258-ФЗ). По сути государство говорит нам: «Вам не нравится действующее регулирование? Окей, придумайте свои законы, которые вас устроят. Мы на время сделаем их обязательными для вас и других желающих и посмотрим, как они работают. Если эксперимент пройдет хорошо, то сделаем из вашей идеи полноценный закон, обязательный для всех».

                Давайте рассмотрим, кому от нового закона станет удобнее и в чем его особенности.

                Поехали!
                Читать дальше →
              • Искусственный интеллект в области юриспруденции. Статья 3

                  Введение


                  Мы продолжаем цикл статей на тему юридического искусственного интеллекта, аспектов его разработки и перспектив практического применения на отечественном рынке. В предыдущих публикациях мы неоднократно говорили, что, по нашему мнению, разработка Legal AI может быть обеспечена с помощью создания и применения нового семантического блока, включающего в себя:


                  • инструменты лингвистического анализа текстов на естественном языке;
                  • структурированную модель юридических знаний (графы знаний и онтологии);
                  • предобученные нейронные сети.

                  В первой статье мы детально исследовали существующие инструменты процессинга русскоязычного текста. Во второй статье мы рассмотрели подходы к созданию продуктов на основе искусственного интеллекта, а также вопросы взаимодействия специалистов в области IT и юриспруденции. В настоящей статье мы предлагаем погрузиться в тему онтологий и ответить на следующие вопросы:


                  1. Какова роль онтологий в процессе создания искусственного интеллекта?
                  2. Почему существующие онтологии в области права неприменимы для Legal AI, несмотря на многолетние попытки зарубежных специалистов структурировать юридические знания?
                  3. Какими свойствами должны обладать онтологии для Legal AI, чтобы решать практические задачи?

                  Читать дальше →
                  • +10
                  • 2.3k
                  • 8
                • The Digital Banya: цифровая трансформация™ на примере… общественной бани

                    Однажды, дегустируя новое пиво, мы с моим знакомым поспорили о том, что такое цифровая трансформация. Мой знакомый утверждал, что эта цифровая трансформация — просто пустое слово, под которое удобно выделять деньги. Мол, приходят CDTO (Chief Digital Transformation Officer, не смейтесь, это действительно так называется), берут огромные деньги, внедряют пару систем цифровой документации и какое-нибудь новшество на производстве, и все, мы вам трансформировали, давайте, растите.



                    Мое же мнение, что пять факапов это не приговор, и что сама цифровая трансформация — это закономерная ступень развития любого бизнеса в любой отрасти, и если ваша компания хочет выжить на долгосрочном периоде, ей придется рано или поздно через это пройти. Разница только в том, что те, кто сделает это сейчас — соберут все сливки, а те, кто сделает это позже, когда подгорать начнем — окажутся в команде догоняющих.

                    — И что, спрашивает мой знакомый, прям любого бизнеса?
                    — Да, любого-любого, отвечаю я.
                    — А, ммм… даже общественной бани?
                    Читать дальше →
                  • Облом, или как провалился любимый ИТ-проект

                      “Его пример другим наука”

                      Предисловие


                      Это грустная история о неуспехе проекта, который я считал потенциально успешным на все 100 процентов. И почему все кончилось обломом, я до сих пор толком не понимаю.
                      Читать дальше →
                    • Security Week 30: bc1qxy2kgdygjrsqtzq2n0yrf2493p833kkf…

                        На прошлой неделе нашлись критические баги в корпоративном ПО SAP, Adobe Creative Cloud, а также серьезная уязвимость в DNS-сервере Windows. Но все эти важные события ушли на второй план после взлома нескольких десятков аккаунтов в Twitter. С одной стороны, злоумышленники получили доступ к учетным записям Джеффа Безоса, Илона Маска, Билла Гейтса, кандидата в президента США Джо Байдена и других — скорее всего, с помощью социального инжиниринга, то есть ничего особо интересного не произошло. С другой стороны, этот случай показал, насколько соцсети уязвимы и насколько серьезную роль они играют.


                        Взлом Twitter произошел во второй половине дня (поздно вечером по московскому времени) в среду, 15 июня. Сразу несколько популярных аккаунтов начали распространять криптоскам — предложение выслать деньги на биткойн-кошелек c обещанием вернуть удвоенную сумму. С этим типом мошенничества пользователи Twitter знакомы уже пару лет; для распространения обычно использовались фейковые аккаунты, очень похожие на микроблог того же Илона Маска. Только в этот раз сообщения отправлялись с учетных записей реальных людей.
                        Читать дальше →
                      • Игры от Илона Маска для детей 8-14 лет (играем всем Хабром в комментах)

                          image

                          Илон Маск сделал школу Ad Astra «для своих», а недавно команда этой школы стартовала онлайн-школу за $7500 (занятия онлайн раз в неделю). Там я нашел несколько игр, которые показались мне очень интересными.

                          image

                          А давайте всем Хабром поиграем? Пишите свои ответы в опросах и комментах.

                          Подписывайтесь на канал @MetaLearning, где я делюсь своими самыми полезными находками про образование и роль ИТ/игр в образовании (а так же мыслями на эту тему Антона Макаренко, Сеймура Пейперта, Пола Грэма, Джозефа Ликлайдера, Алана Кея)

                          Игра 1: A4A


                          image

                          Вам предложены 101 произведение современного и авангардного искусства. Если бы вам пришлось собрать коллекцию, какие 15 произведений искусства вы бы выбрали?

                          Пожалуйста, ответьте на следующие вопросы:

                          1. Представьте список произведений искусства, которые вы бы включили в вашу коллекцию. В вашей коллекции должна быть по меньшей мере одна работа, принадлежащая к одной из следующих категорий: ОПЫТ, одна СКУЛЬПТУРА, ФЛАГ, один объект ЦИФРОВОГО ИСКУССТВА и один объект БОЛЬШОГО ФОРМАТА.

                          image

                          2. Объясните, почему были выбраны именно эти 15 произведений искусства.

                          3. Спроектируйте галерею или покажите, как вы будете выставлять это искусство для посетителей. Вы можете использовать цифровые инструменты (Minecraft, SketchUp, TinkerCad, Fusion 360 и т.д.) или создать модель и сфотографировать ее.

                          image

                          Смотрите все 101 произведения искусств тут.

                          Читать дальше →
                        • Как создавать и изменять интерактивные PDF-формы, или новый скилл ABBYY FineReader PDF

                            Мы регулярно обучаем ABBYY FineReader PDF новым навыкам. Две недели назад мы рассказали на Хабре, как научили ABBYY FineReader PDF редактировать целые абзацы. Этот пост — о еще одном продвижении нашего продукта на пути к совершенству: программа теперь умеет создавать и редактировать интерактивные PDF-формы.

                            Раньше ABBYY FineReader PDF мог только заполнять такие формы – заявления на отпуск или визу, резюме, согласие на обработку персональных данных, исследования, опросы и т.д. Но что если компании нужно создать в формате PDF анкету, разработать шаблон документа или отредактировать в готовом бланке несколько полей, чтобы затем отправить его сотрудникам или клиентам? Теперь все это можно сделать в одной программе. О том, как это работает, для чего и кому может понадобиться такая функциональность, мы сегодня и расскажем. Поехали!
                            Читать дальше →
                          • ABBYY NeoML: как мы делали библиотеку машинного обучения и зачем она нужна


                              Привет, Хабр! Меня зовут Стас, и я отвечаю за направление Common Libraries в компании ABBYY. Недавно мы выложили на GitHub созданную нами библиотеку для машинного обучения NeoML.


                              NeoML — это кроссплатформенная C++ библиотека, позволяющая организовать полный цикл разработки ML-моделей. Основной фокус в ней сделан на простом и эффективном запуске готовых моделей на различных платформах. Даже если эти модели созданы другими фреймворками.


                              Вы спросите: зачем нужна еще одна библиотека машинного обучения?


                              Ниже я отвечу на этот вопрос, расскажу, как мы создавали нашу библиотеку, с какими сложностями столкнулись и что в итоге получилось. И в конце приведу результаты сравнительных замеров производительности.

                              Читать дальше →
                            • Больше разработчиков должны знать это о базах данных

                              • Translation
                              Прим. перев.: Jaana Dogan — опытный инженер из Google, которая в данный момент занимается вопросами наблюдаемости production-сервисов компании, написанных на Go. В этой статье, снискавшей большую популярность у англоязычной аудитории, она в 17 пунктах собрала важные технические детали, касающиеся СУБД (а иногда — распределённых систем в целом), которые полезно учитывать разработчикам крупных/требовательных приложений.



                              Подавляющее большинство компьютерных систем отслеживают свое состояние и, соответственно, нуждаются в некой системе хранения данных. Я накапливала знания о базах данных в течение длительного времени, попутно совершая ошибки при проектировании, приводившие к потере данных и перебоям в работе. В системах, обрабатывающих большие объемы информации, базы данных лежат в сердце системной архитектуры и выступают ключевым элементом при выборе оптимального решения. Несмотря на то, что работе БД уделяется пристальное внимание, проблемы, которые пытаются предусмотреть разработчики приложений, часто оказываются лишь верхушкой айсберга. В этой серии статей я делюсь некоторыми идеями, которые будут полезны для разработчиков, не специализирующихся в этой области.
                              Читать дальше →
                            • Системы класса Incident Response Platform: применение и основные функции

                                Друзья, в предыдущей публикации мы проанализировали международные документы по управлению рисками информационной безопасности, а в более ранних статьях рассмотрели основы информационной безопасности, обсудили законодательство в области защиты персональных данных и критической информационной инфраструктуры. В этой статье мы переходим в практическую плоскость и поговорим о системах IRP, призванных упростить и автоматизировать процедуры реагирования на инциденты ИБ. Начнем!

                                image
                                Читать дальше →
                              • К чему может привести ослабление уровня изоляции транзакций в базах данных

                                  Всем привет. На связи Владислав Родин. В настоящее время я являюсь руководителем курса «Архитектор высоких нагрузок» в OTUS, а также преподаю на курсах, посвященных архитектуре ПО.

                                  Помимо преподавания, как вы могли заметить, я занимаюсь написанием авторского материала для блога OTUS на хабре и сегодняшнюю статью хочу приурочить к запуску курса «PostgreSQL», на который прямо сейчас открыт набор.




                                  Введение


                                  В прошлый раз мы с вами поговорили про то, что транзакции в базах данных служат для решения двух задач: обеспечения отказоустойчивости и доступа к данным в конкурентной среде. Для полноценного выполнения этих задач транзакция должна обладать свойствами ACID. Сегодня мы подробно поговорим про букву I (isolation) в данной аббревиатуре.
                                  Читать дальше →
                                • Платформы управления данными: от периферии до облака

                                    Сегодня для большинства компаний и организаций данные – это один из стратегических активов. И с расширением возможностей аналитики, ценность собираемых и накапливаемых компаниями данных постоянно увеличивается. При этом часто говорят о взрывном, экспоненциальном росте объемов генерируемых корпоративных данных. Отмечается, что 90% всех данных были созданы за последние два года. 

                                    Читать дальше →
                                  • Переход от монолитного Data Lake к распределённой Data Mesh

                                    Привет, Хабр! Представляю вашему вниманию перевод статьи «How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh» автора Zhamak Dehghani (Жамак Дегани)(все изображения взяты из этой же статьи).

                                    Все крупные компании сейчас пытаются строить огромные централизованные хранилища данных. Или же ещё более огромные кластерные Data Lakes (как правило, на хадупе). Но мне не известно ни одного примера успешного построения такой платформы данных. Везде это боль и страдание как для тех, кто строит платформу данных, так и для пользователей. В статье ниже автор (Жамак Дегани) предлагает совершенно новый подход к построению платформы данных. Это архитектура платформы данных четвертого поколения, которая называется Data Mesh. Оригинальная статья на английском весьма объёмна и откровенно тяжело читается. Перевод так же получился немаленьким и текст не очень прост: длинные предложения, суховатая лексика. Я не стал переформулировать мысли автора, дабы сохранить точность формулировок. Но я крайне рекомендую таки продраться через этот непростой текст и ознакомиться со статьёй. Для тех, кто занимается данными, это будет очень полезно и весьма интересно.

                                    Евгений Черный

                                    Немало компаний инвестируют в следующее поколение Data Lake с надеждой упростить доступ к данным в масштабе всей компании и предоставить бизнесу инсайты и возможность принимать качественные решения автоматически. Но текущие подходы к построению платформ данных имеют схожие проблемы, которые не позволяют достигнуть поставленных целей. Чтобы решить эти проблемы нам необходимо отказаться от парадигмы централизованного Data Lake (или его предшественника – хранилища данных). И перейти к парадигме, основанной на современной распределённой архитектуре: рассматривать бизнес-домены как приоритет первого уровня, применять платформенное мышление для создания инфраструктуры с возможностью самообслуживания и воспринимать данные как продукт.

                                    image
                                    Читать дальше →