company_banner

10 заповедей разработчика

    Вначале было слово. И слово это код.


    В странах первого мира высокие технологии управляют электроснабжением и логистикой, обеспечивают доступ к информации и услугам. Врачи на расстоянии в несколько тысяч километров от пациента проводят операции на мозге с помощью роботизированных инструментов. Мы можем поговорить с родственниками и друзьями в любой момент, находясь на обратной стороне Земли.


    А ещё строчки кода управляют ударными беспилотниками, операторы которых не особо выбирают, кто попал под удар — боевики или нонкомбатанты. Формируют механики удержания внимания в социальных сетях, вызывая аддиктивные сценарии поведения, FoMO (Fear of missing out, Синдром упущенной выгоды), дофаминовое выгорание и депрессию. Управляют в DarkNet электронными рынками наркотиков и оружия.



    Профессия IT-разработчика подросла и возмужала — вслед за правами и привилегиями пришла пора появиться обязанностям и ограничениям. Так когда-то было с врачами, так когда-то было с военными.


    К барьеру!


    Возвращается разработчик с работы, в голове у него чеклист от жены «купи капусту целую хлеб масло колбасу бальзам для волов спонжики бритвы Venus новый номер Космо» — и ему даже в голову особо не приходит, что в это самое время благодаря его коду на далёком заснеженном полигоне вышагивает по сопкам ОБЧР. Тем временем разработчик вспоминает, что в списке ещё «масло джонсонс бэйби и йогурт с полезными бактериями».


    Сидит IT-архитектор в удобном кожаном кресле, смотритч на мужчину в форме напротив и подавляет в себе инстинктивное желание рявкуть «Aye-aye, sir!». И он тоже смутно, хоть и примерно представляет, куда в итоге уйдёт код его команды.


    Владельцы корпораций, потягивая Glenfiddich 1937, вместе с десятизвёздочным генералом уже подсчитывают прибыли от совместного проекта.


    Коллективная ответственность хороша на словах. Но очень плохо применима в реальности. Никогда рядовой исполнитель особо не задумывается, как его наработки использует в целом. Тем более, что «реальность, данная нам в ощущениях» намекает, что понятия абсолютного добра и абсолютного зла очень условны — и зависят не только от эпохи и культурного контекста, но и порой просто от географических координат и политического запроса.


    Думать об этике стоит, главное не скатиться до известного хокку:


    «Мужчины желают мужской же плоти.
    Лишь я один стою со шпагой, в плаще мушкетёра.
    Далёк от порочных утех».


    «Корпорация добра» и Project Maven


    В марте 2018 года стало известно, что Google помогала Пентагону разрабатывать искусственный интеллект, который анализировал видео с боевых беспилотников в реальном времени. Топ-менеджмент Google высоко оценивал значение этого проекта — бюджет должен был достигнуть $250 000 000.


    Project Maven — это специализированное программное обеспечение для высотной аэрофотосъёмки, способное распознавать движущиеся объекты, отслеживать траекторию их движения и передавать сведения в режиме реального времени на сервера Министерства обороны США.


    Около четырёх тысяч сотрудников Google подписали петицию, требующую от «корпорации добра» прекратить участие в проекте Project Maven, а также избегать совместных проектов с Пентагоном в будущем. В петиции разработчики Google заявили: «Мы считаем, что Google не следует заниматься военным бизнесом. Поэтому мы просим аннулировать Project Maven, а также подготовить, опубликовать и обеспечить выполнение ясной и точной политики, согласно которой, Google и его подрядчики никогда не будут создавать боевые технологии».



    Петицию разработчиков Google в открытом письме поддержали 90 известных учёных, которые работают в сфере искусственного интеллекта. Кроме того, некоммерческая организация Tech Workers Coalition, которая объединяет работников IT-cферы в штатах Калифорния и Вашингтон, обратилась к другим крупным IT-компаниям с призывом отказаться от сотрудничества с Министерством обороны США.


    Сотрудники Google, которые выступили против проекта Maven, пояснили свою позицию так: анализировать информацию с боевых дронов должны люди, а не искусственный интеллект, так как цена ошибки слишком высока. Несомненно, искусственный интеллект может отличить движущийся объект от неподвижного и живое существо от неодушевлённого предмета. Но вот определить является человек боевиком или нонкомбатантом не сможет.


    Понятно, Пентагону глубоко звёздно-полосато, сколько мирных жителей попадут под гуманитарные бомбардировки. Но как показала реакция сотрудников Google, разработчикам не всё равно, как будет использоваться их код.


    Gizmodo со ссылкой на источники в Google поделилось информацией, что в итоге около 10 сотрудников покинули компанию по этическим причинам.


    Один из уволившихся разработчиков сказал: «В какой-то момент я осознал, что не могу по доброй воле советовать кому-либо идти работать в Google, зная то, что я знаю. И если я больше не могу рекомендовать другим людям эту компанию, то почему я все еще здесь?»


    Представители Google так и не стали обсуждать с прессой увольнение сотрудников. Но в июне 2018 года компания отказалась выполнять заказ Пентагона.


    Министерство Обороны США всё равно получило, что хотело. Вместо Google услуги по разработке предложила компания Anduril Industries, владелец которой Палмер Лаки, изобретатель шлема виртуальной реальности Oculus Rift и один из основателей компании Oculus VR, явно не сильно озабочен этическими вопросами разработки военных технологий.


    «Корпорация добра» и китайский поисковик


    Чуть меньшую известность получила история с разработкой поисковика для Китая. Информационная политика Китая известна — проект «Золотой щит» блокирует доступ к ряду иностранных сайтов, китайские СМИ не могут ссылаться без специального разрешения на новости, взятые из зарубежных новостных сайтов, страницы в поисковой выдаче фильтруются по ключевым словам, связанным с государственной безопасностью. По сути, «Великий китайский файрвол» — это первый случай глубокой цензуры в сети, эдакий привет из «прекрасного нового мира» будущего.



    В августе 2018 года более 1500 разработчиков Google подписали коллективное письмо с протестом против разработки подцензурной поисковой системы для Китая. Разработчики заявили, что существование тайного проекта в стенах Google по созданию такого поисковика, который будет цензурировать контент по указке Пекина, поднимает сложные моральные и этические проблемы.


    Google давно уже хотел вернуться на китайский рынок. И создание такого поисковика было одним из условий на переговорах. Ради крупного китайского рынка Google готов отступить от принципов свободы слова и подчиниться требованиям китайских властей.


    Для этого в компании была создана отдельная команда, которая с весны 2017 года разрабатывала проект под кодовым названием Dragonfly («Стрекоза»). На проект перебросили дополнительные ресурсы и максимально ускорили работу, когда в декабре 2017 года гендиректор Google Сундар Пичаи встретился с высокопоставленными чиновникаки правительства Китая.


    После протеста разработчиков руководству Google пришлось приостановить проект и дать разъяснение сотрудникам. Сундар Пичаи попробовал успокоить разработчиков Google на встрече: «Мы не близки к запуску поискового продукта в Китае. И будем ли мы это делать, а также сможем ли мы это сделать, совершенно неясно».


    Очевидные и неочевидные выводы


    Разработчики Google, как и весь честной народ, узнали о проекте Dragonfly со страниц сетевого издание The Intercept, которое существует на деньги Пьера Омидьяра, основателя eBay. И добавив случай с Anduril Industries, которая перехватила Project Maven у Google, мы видим, что этические вопросы часто используются в конкурентной борьбе. Владельцев корпораций IT-этика интересует не больше, чем королевских пингвинов теория относительности.


    Google очень важно вернуться в информационное пространство Поднебесной империи. С 2006 по 2010 год Google спокойно работал в Китае и ограничивал доступ к информации точно так же, как и Baidu.


    Но в 2010 году что-то произошло. Сервера крупных компаний — Google, Yahoo, Adobe — взломали китайские хакеры в ходе «Операции Аврора». Тогда Сергей Брин воспользовался случаем и изобразил оскорблённую невинность, заявил, что не будет терпеть цензуру — хотя с 2006 по 2010 год Google был частью цензурной системы Китая — и вывел компанию с китайского рынка.


    Истинные причины загадка. То ли американская политика, то ли Google не смогла встроиться в сложную систему восточных отношений, то ли их выдавили китайцы, не доверяя американским системам на своей территории — и Google просто сделала хорошую мину при плохой игре.


    Но сейчас в Google явно крепко пожалели о том решении. Причины: Android и Google Play.



    Общее и по странам число загрузок приложений по данным отчёта App Annie.


    В 2018 году общее число загрузок приложений во всём мире превысило 194 миллиарда — и более 50% пришлись на долю Китая. В первом квартале 2019 года среднее число установок мобильных приложений в Китае составило 52 приложения на человека. А напомню, что Google Play в Китае не работает.



    Траты пользователей в магазинах приложений во всём мире и отдельно по странам по данным отчёта App Annie.


    В 2018 году пользователи потратили в магазинах приложений более $101 млрд. И 40% трат пользователей в 2018 году — это альтернативные китайские сторы. Эти астрономические суммы прошли мимо Google. Обидно? Ещё как.


    И потому есть очень большие подозрения, что Google не прекратил контакты с китайским правительством. Пусть даже успокоил внешне сотрудников. У руководства «корпорации добра» осталось огромное пространство манёвров в непубличной плоскости — начиная от создания отдельного дочернего подразделения, в котором будут работать лояльные сотрудники, изначально согласившиеся на разработку технологий не совсем этичного предназначения, завершая передачей технологий китайским товарищам. Слишком уж высоки ставки. Как говорил Томас Даннинг: «Обеспечьте 10 процентов, и капитал согласен на всякое применение, при 20 процентах он становится оживлённым, при 50 процентах положительно готов сломать себе голову, при 100 процентах он попирает все человеческие законы, при 300 процентах нет такого преступления, на которое он не рискнул бы, хотя бы под страхом виселицы».


    Этические принципы Southbridge


    Когда оцениваешь позиции других компаний, необходимо идти на «вы» и быть откровенным. И раз уж подняли тему, стоит сказать, как мы решаем этические вопросы в нашей компании.


    Я задал эти вопросы CEO Southbridge Игорю Олемскому.


    Бирюзовый принцип, которым руководствуется наша компания, направлен на то, чтобы делать лучше клиентам, сотрудникам и окружающему миру. По мере наших сил.

    Естественно, мы не работаем с клиентами, которые предлагают, чтобы мы осуществляли поддержку сервисов, прямо нарушающих законодательство Российской Федерации. Тут даже обсуждать нечего. Продажа оружия, продажа «спайсов», порталы с услугами интимного характера, порталы с порнографией.

    Но есть и серая зона, которая не регулируется законодательством, но тем не менее не вызывает особых восторгов. Например, онлайн-казино или финансовая пирамида. Логично, что такая деятельность никак не делает мир лучше и противоречит бирюзовому принципу. Естественно, компания должна зарабатывать, но важно, чтобы это не противоречило внутренним убеждениям команды.

    Недавно пришел клиент, который хотел парсить сайты с помощью подмены IP из пула. Сообщил, что действует полностью в легальном поле. Мы отказались — компания против подобной деятельности.

    The point of no return


    На мировом IT-рынке сложилась уникальная ситуация. Высокий дефицит на высококвалифицированных разработчиков. Стремительное развитие IT-сферы, когда ВУЗы просто не успевают создавать нужное количество специалистов. Зависимость практических всех отраслей экономики от IT-специалистов. Зависимость успеха и прибыльности крупных международных компаний от внутренних команд разработки.


    Именно здесь и сейчас разработчики могут диктовать условия тем, кто привыкли командовать сами.


    В человеческом обществе своды этических правил обычно появляются у тех профессий, которые связаны с жизнью и здоровьем людей. В России есть Военная присяга, есть Клятва российского врача.


    Жаль, что нет клятвы политика — именно от их решений, личных страхов и закулисных игр погибает на планете огромное количество людей. Порой кажется, что политика — это не профессия, а психическая девиация.


    Сейчас профессия IT-разработчика вплотную подошла к пределу, когда от специалиста зависят жизни людей и здоровье, как физическое, так и психическое.


    К сожалению, пока что единичны случаи, когда разработчики поднимают сложные этические вопросы. По большей части люди предпочитают не задумываться о последствиях своей работы.


    Эдуард Медведев, приглашённый спикер Слёрма DevOps, в недавнем интервью ответил на этот вопрос: «…я, к сожалению, не знаю крупных сообществ, которые занимались бы конкретно вопросами новой морали и этики в сети. Подозреваю, что они есть, потому что их не может не быть. Но то, что я о них не знаю, хотя интересовался вопросом, всё-таки говорит о чем-то».


    Думаю, рано или поздно возникнет широкая дискуссия в среде IT-специалистов, чтобы этические вопросы поднимались не в ответ на сомнительные проекты той или иной корпорации, и не спускались «сверху», чтобы успокоить сотрудников. А чтобы движение «снизу» сформировало простые и ясные правила, которые пусть и не сделают мир лучше, но не позволят ему стать хуже.


    Декалог разработчика


    А давайте попробуем в рамках игр разума представить, как бы могли звучать принципы разработчика 21 века:


    1. Разработчик не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
    2. Разработчик должен повиноваться всем рабочим задачам, которые даёт тим-лид, кроме тех случаев, когда эти приказы противоречат Первому Закону.
    3. Разработчик должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
    4. Разработчик не должен без спроса брать чужой код.
    5. Разработчик не может создавать код, который потенциально способен причинить вред человеческой жизни и здоровью.
    6. Разработчик не может создавать код, который способен ограничить основные права человека — свободу слова, мысли, убеждений.
    7. Разработчик не может создавать код, который будет использован для ограничения доступа людей к достоверной информации.
    8. Разработчик не может создавать код, который использует нейрофизиологические и психологические уязвимости человека для получения контроля над его поведением и временем.
    9. Разработчик должен быть готов к тому, что ничто не может всегда идти правильно и этично.
    10. Разработчик должен быть готов к тому, что всё, что может пойти не так, пойдет не так.
    11. et cetera, et cetera…
    Southbridge
    608.70
    Обеспечиваем стабильную работу серверов
    Share post

    Comments 85

      +11
      Опять «этика»… Да оставьте вы уже IT в покое. Каждый сам пусть решает, что ЛИЧНО ОН хочет или не хочет делать. Без всяких розовых соплей про «вред другим».
        +2

        Большинство хочет зарплату больше, чем у других, квартиру или дом получше, чем у остальных, жену покрасивее (или девочку каждый раз новую, кому как ЛИЧНО хочется), яхту\вертолет и т.д., которых нету у остальных — тупо звериные удовольствия, чуть приукрашенные техническим прогрессом. Наиболее активные при этом готовы идти на все ради такого, забывая о своей человеческой сущности, не видя вокруг людей, а только ресурсы и возможности. В результате — пшик, поскольку всему этому есть предел, после которого звериные удовольствия уже не доставляют, развивается мнительность и подозрительность к людям, невозможность получить простую радость общения. Иногда бывают рефлексирования, типа фонда Билла и Мелинды Гейтсов и прочих, самокопание — но это удел действительно сильных.


        Но ведь есть способ сделать счастливее себя без ущерба другим и без этой обезьяньей возни в виде карьеры, подковерных (подкроватных?) игрищ, стремления заработать все деньги (что очевидно невозможно, поскольку создавать новые, сомнительного качества, ценности из ничего другие, такие же, научились делать весьма и весьма давно). Как этого достигать — лично решает для себя каждый, есть способы остатья хорошим человеком без ущерба остальным, а еще есть и варианты — когда остальным тоже будет лучше.

          +1
          Социальный дарвинизм и ранговые игры приматов — залезть на веточку повыше. ) И стукнуть палкой того, кто по ниже. Или показать, что жена красивее и зад краснее, как у павиана. :)
            +3
            тупо звериные удовольствия, чуть приукрашенные техническим прогрессом

            Имеют полное право.
            Вообще, есть такой хороший критерий — если некие мировоззрение/идеология объявляют эгоизм «неправильным» и призывают его ограничить — значит, эти мировоззрение/идеология совершенно неприемлемы, Ибо в конечном итоге приводят к рабству.
            Когда за человека решают, как и зачем ему жить — это рабство в чистом виде и есть.

            есть способы остатья хорошим человеком

            А то, что понятие «хорошести» у каждого свое — в голову не приходило?

            LunaticRL:
            Предположим кто-нибудь напишет гипотетический супер-вирус, который может, на ваш вкус:


            Если некую систему может разрушить единственный «злой гений» — значит, туда такой системе и дорога. Не защищать ее надо, а ломать и побыстрее. Дабы ее место заняла более прочная, устойчивая, возникшая не из розовых мечтаний о «всеобщем счастье», а из жесткого и жестокого естественного отбора, не оставляющего слабости и уязвимости места.

            Правда состоит в том, что единственный способ надежно избежать такого сценария — крайне жестко следить за тем, какой баланс между пользой и вредом для конкретного инструмента, и препятствовать его созданию если баланс очевидно плох.

            Т.е. тотальный контроль и рабство.
            Нет уж, лучше пусть рушатся системы.

            0
            Но этика — это очень уж странный предмет… Всякая вещь — или есть, или нет, — А этика (я никак не пойму, в чем секрет!)… Этика — если есть, то её сразу нет!
              0
              Мм… давайте я приведу весьма гипертрофированный пример, на котором станет понятно, что этика и it — вещи пересекающиеся, и иногда это стоит учитывать.
              Предположим кто-нибудь напишет гипотетический супер-вирус, который может, на ваш вкус:
              1) Положить весь интернет
              2) Вводить в заблуждение рук-во стран с целью развязывания войны
              3) Быстро генерировать биологические вирусы, способные уничтожить биосферу
              4) Вставьте любой крайне печальный техногенный сценарий для человечества)
              и т.д. и т.п.
              А затем не запуская его просто откроет его код всему миру. Наверняка из 7млрд. человек найдется такой, кто его запустит.
              Таким обрязом прямая ответственность за запуск как будто не будет лежать на разработчике. он просто написал код который можно использовать явно и исключительно злонамеренно и сделал так, чтобы вероятность его запуска была очень близка к 1.
              А потом пожал плечами «ну это же не я его запустил, при чем здесь я то?».

              Правда состоит в том, что единственный способ надежно избежать такого сценария — крайне жестко следить за тем, какой баланс между пользой и вредом для конкретного инструмента, и препятствовать его созданию если баланс очевидно плох.
              А для того чтобы оценить этот баланс, нужно как ни крути разбираться в этике.
                +1
                Во-первых, никто в здравом уме не откроет код такого вируса. Он же стоит огромные деньги.
                Во-вторых, способа избежать такого сценария не существует — даже если Вы у себя что-то проконтролируете, этот вирус просто напишет кто-то другой. Если есть спрос — всегда будет предложение.
                В-третьих — код вируса можно использовать не исключительно злонамеренно. Можно проанализировать этот код и закрыть уязвимости, которые он эксплуатирует.
                  –1

                  Угу, а этот рассказ — чистая сказка, особенно в свете таких возможностей.

                    0
                    Я сейчас должен был схватиться за голову, поплакать в подушку и побежать проповедовать заповеди разработчика? Было бы забавно, только вот логика подсказывает, что страшные дроны-убийцы из видео от срывателей покровов никуда от этого не исчезнут. А поскольку логика — это мой излюбленный подход к анализу — я лучше ее буду проповедовать. Попробуйте логику, крутая штука :)
                      0

                      Ваше право насчет подушки никто не забирает. Дроны есть и это факт. Я хочу лишь подчеркнуть, что там нету никаких огромных денег, все открыто, повторить может любой мало-мальски технически подкованный человек с минимальным современным оснащением. Почему же тогда мои рассуждения не логичны?

                        +3
                        Ну Вы ведь предлагаете исповедовать заповеди разработчика и утверждаете, что следствием этого будет исчезновение подобных дронов, так? А я говорю, что следствие неправильное, потому как дронов не будет лишь у тех, кто исповедует заповеди, а у тех, кто не исповедует — будут. И угадайте тогда кто кого как поставит.
                          +1
                          Как мне кажется вы намекаете, на концепцию ядерного сдерживания.
                          Чтобы понять чем она плоха, достаточно даже аргументов из википедии, и наверняка вы их читали.
                          Почему же тогда вы считаете, что они не применимы в данном случае?
                            +1
                            Я не говорю, что она хороша или плоха, я говорю что она безальтернативна.
                              0

                              Я бы уточнил "На данный момент". Может что и получше придумается… а может и правда "атомный дезинтегратор, прозванный в народе "жнецом""(С "Мир Пауков") изобретут и атом потеряется как ультимативный довод.

                                0
                                Ну так будет что-нибудь другое, концепция то неизменна. Тут дело не в технологиях и изобретениях, а в человеческой природе. Так что остается разве что ждать пока эволюция двинется с места (и, дождавшись, понять, что эволюция идет вообще не в ту сторону).
                                –1
                                Если бы она была гарантированно безальтернативна, то ни одного соглашения о ядерном разоружении никогда бы не было подписано. Но факты говорят против вас в данном случае.
                                Люди бывают разумны. Не часто, но достаточно чтобы подписывать такие соглашения. А раз прецедент есть, нужно понять как его воспроизвести понадежнее
                                  +1
                                  «Зачем тебе пистолет от грабителя? Лучше отдай ему пистолет, а он тебе торжественно клянется, что больше не будет.» Как из факта подписи таких договоров следует безопасность стороны, сдающей оружие?
                                  Забавно Вы понимаете слово «разумно». То есть когда люди держат оружие для того, что бы хоть как то охладить агрессоров — это неразумно, а когда они сдают его за красивые обещания — это 200 IQ?
                        0
                        особенно в свете таких возможностей.

                        Каких возможностей? Сделать невнятное видео с нулевой аудиторией? Пусть учатся у ХренТВ — они на подобной наркомании зарабатывают больше. И, судя по мракобесам на том канале (всякие ангелы с попами), им "заповеди" зайдут лучше.

                  +3
                  Забавный гибрид десяти заповедей и трех правил роботехники, являющихся краткой формой записи тех же десяти заповедей.
                  Зачем изобретать этический велосипед, когда в продакшене уже полно этических систем на любой вкус, некоторым из которых уже не одна тысяча лет, не имеющих ограничений по виду деятельности «Разработчик ПО»? Фатальный недостаток?
                    0
                    Скорее это не изобретение этического велосипеда. Я принцип «белого шума».
                    Раймонд Джоунс. «Уровень шума». lib.ru/INOFANT/DZHOUNS/noise.txt

                    На Хабре много оригинальных и интеллектуально развитый людей, чтобы сработал эффект.
                    +3
                    Разработчик не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

                    "Разработчик" то тут зачем? Тогда уже "человек". Более того правило глупое, так как содержит противоречие само в себе. Или как минимум непонятно что выше приоризиуется "действие" или "бездействие".


                    Разработчик должен повиноваться всем рабочим задачам, которые даёт тим-лид, кроме тех случаев, когда эти приказы противоречат Первому Закону.

                    Или как минимум здравому смыслу. Ну или мы с вами по разному понимаем термин "разработчик"


                    Разработчик не может создавай код, который потенциально способен причинить вред человеческой жизни и здоровью.

                    То есть вообще не должен создавать код? :)


                    P.S. Сама по себе идея с заповедями разработчика может и интересная но реализована на мой взгляд в лучшем случае на троечку с минусом...

                      +1
                      То есть вообще не должен создавать код? :)

                      Так ведь это уже бездействие будет! Которое, в случае, например, медицины, очень даже может допустить "чтобы человеку был причинён вред" в силу неразработанного ренгенсканера.
                      Или СПРН — почему-то про "защитную" часть военных разработок данный текст старательно забывает.

                        0
                        Или разработан пакет кода, который сможет стирать определённые участки памяти, минуя глубинные слои детства.

                        Или как в у Бестера «Человек без лица» — Полное Разрушение.
                      +1
                      Разработчик не должен без спроса брать чужой код.

                      А если спросить не с кого, то должен сидеть и изобретать велосипед?

                      И вообще эти заповеди в конце статьи какое-то передергивание. Во время холодной войны заповеди разработчика нарушались будь здоров, что и дало сильный рывок в развитии ИТ.
                        0

                        Брать как публичное достояние, возможно с упоминанием оригинального автора.

                          +1

                          Но при этом заповедь всё равно нарушена.

                          0
                          Публичный код, естественно можно, на то и open source.
                          +3
                          Вся эта ваша кибернетика выросла из баллистических вычислителей и устройств для прицельного бомбометания. Об чём вой? Изначально военные технологии сумели приспособить к использованию в мирной жизни? Ну, это отвратительно конечно. Не надо было так делать.
                            0
                            Но сейчас возникла ситуация, когда для высокоточного, избирательного оружия, обходящего ПРО и ПВО оборону военным нужна квалицированная помощь разработчиков-профессионалов. Сейчас война уже перешла из разряда у кого больше мегатонн и кто быстрее, в кто хитрее, манёвреннее и успеет подойти незаметнее для глобального обезоруживающего удара.
                              0
                              Вот тут-то мои навыки вёрстки в хтмл родине и пригодятся:
                              <h1></h1>, <b></b> 
                              и кликбейтные заголовки на страже!
                                0

                                Так что там на счёт тех разработчиков, которые СПРН разрабатывают и ПРО/ПВО улучшают? Это же защита людей, та самая, в которой Ваш же первый пункт запрещает не участвовать.

                                  +4
                                  Напрасно пытаться в потоке шизофрении логику уловить.
                                    +1

                                    Разработчик, при таком раскладе, должен уйти в безвыходную рекурсию. Это ситуация в которой спасается один человек, но опасности подвергается другой.


                                    И вот в муках беспристрастного выбора — программисту предстоит повиснуть до окончания таймаута — видимо.


                                    Следует вводить правила приоритизации спасения либо нечеловекизации людей по некоторым алгоритмам. Но так и до ситуации из «Блэйм!» не далеко.

                                      0

                                      Отказаться от разработки любого оружия: https://www.youtube.com/watch?v=HSLbraqyeu0


                                      Ведь в современном мире нету особой разницы, защищать или нападать.

                                        +2

                                        «Хорошие Разработчики» — откажутся. «Плохие Разработчики» — согласятся. Первые получат в карму, а вторые — деньги.


                                        Остаётся надеяться только на то, что у «Плохих Разработчиков» — плохо получится. Бюджеты освоят, а результат оставит желать возмездия.

                                          0

                                          СПРН — не оружие, а система обнаружения летящего в человеков оружия.

                                            0

                                            Которой при некоторой технической подготовке можно сбивать летающие самолеты и спутники, вызывать стихийные бедствия.


                                            Я, будучи студентом, когда-то написал небольшую программу, прошивку для ПЛИС, наводящую антенну на максимум сигнала в качестве курсовой работы. Седой профессор, принимавший курсач, сказал: неплохо шагнул прогресс, потому что во время моей молодости за такую программу и ПЛИС, военные отдали бы все, чтобы их заполучить и поставить на ракеты.

                                              0

                                              Какая любопытная постоянная подмена СПРН на средства сбивания обнаруженных ракет.
                                              Ещё более интересно само отнесение уничтожения опасного для человеков объекта автоматом во вред человекам.


                                              И, напомню, "не сбивать" ракету — это нарушение заповеди 1 через бездействие. Как и "не обнаруживать" её.

                                                –1

                                                Подмены нету, по рассказам очевидцев — вокруг подобных комплексов всегда выжженая земля и куча трупиков птиц, еще со времен первых таких комплексов. А для того, чтобы создать резонанс в электрических цепях самолетов и прочих летающих машин, не обязательно сильно большая мощность, достаточно большой точности, обеспечиваемой управляющим ПО.


                                                Ну и, очевидно, Вы правы насчет бездействия, но ведь ракету создали, нарушив первый принцип.

                                              0

                                              Тут всё не просто. Отчасти это оружие. Скажем так — пассивное.


                                              Если этими средствами прикрываются для нанесения вреда человекам — это соучастие. Будет грустно узнать, что не без твоей помощи «Совсем Плохие Парни», убили всех «Хороших».


                                              А вот если мирные суда, этими штуками, отстреливаются от астеройдов — благое дело.


                                              Полагаю тут по тем же рельсам — сначала обкатают на военных с резиновыми бюджетами, потом «Хорошие Парни» удешевят и адаптируют для мирных целей. Космический мусор например аннигилируют.

                                                0

                                                О, это какой же отчастью датчик обнаружения летящей бяки — оружие?

                                                  0

                                                  И пружина не оружие, но в умелых руках и обойме — она становится таковой.


                                                  Если пишешь код для беспилотного бомбардировщика, который отстреливает всякую летящую, в него и не очень, бяку — отмазаться, что вот твой датчик такой вот весь миротворческий — не получится.

                                                    0

                                                    То есть, опять передёрг "это собака датчик, значит у неё есть шерсть он может быть рядом с оружием, значит есть блохи он оружие, строение блохи нельзя делать датчик".


                                                    И повторяю вопрос про недействие через несоздание датчика, дозволяющее причинение вреда той самой ракетой человеку. Заметьте, в заповедях нет дележа людей на сорта а-ля "пилот бомбардировщика" и "ребёнок в военном городке, прикрытом ПРО". Да и "датчик" не на "бомбардировщике" едином.

                                                      0

                                                      Дело не в датчике, а в том для кого вы его делаете и зачем он будет его использовать.

                                                    0

                                                    Если не надо обнаруживать летающие бяки по причине их отсутствия (никто не делает, а те, что успели наделать — разобрали целиком и полностью) — то и подобные датчики не имеет смысла разрабатывать.

                                                      0

                                                      Смыслом подобных датчиков может быть — космический мусор. Его кто-то делает

                                                        0

                                                        Имеет, да не просто — а в режиме "делать всё равно придётся". Ведь останется космический мусор и космический же не-мусор, включая прилетающий из внешнего пространства.
                                                        Не делать с ним ничего — допущение вреда бездействием.
                                                        Делать системы противодействия — допущение вреда действием. Потому что сбивать прилетающее придётся весьма активно.

                                                          0

                                                          Всё. У меня — этический коллапс

                                                            0

                                                            Обоим отвечу, т.к. комментарии схожи.


                                                            Подобные вопросы не решаются одним человеком единолично (пока что?), следовательно скорее всего будут решаться ресурсами всего человечества. Исходный код таких вещей будет общим достоянием, с общим же контролем над распостранением подобного ПО в отраслях, не связанных с космическим мусором.

                                                              0

                                                              И как "общий же контроль"(ТМ) над кодом будет гарантировать отсутствие вероятности нанесения вреда человекам при создании, испытании, эксплуатации и применении средств противометеоритной планетарной обороны и/или средств их производства и развёртывания?
                                                              Снова пункт 1 же, "допускание возможности причинения вреда". При сугубо мирной цели.

                                                                0

                                                                Считаем вероятности, сравниваем, что больше, вреда или пользы, принимаем решение. Через некоторое время, после появления новых результатов — пересчитываем.

                                                                  +1

                                                                  Пункт 1 категорически не допускает вероятностей отличных от ровно 0 целых 0 сколькоугоднодробных.


                                                                  А если Вы всё же их в заповеди запихнёте — то сразу можно делать и ПРО, и ПВО, и СПРН, и даже ядерные бомбы, и оставаться "Добрым Разработчиком" — потому что вероятности.

                                              +1

                                              Это не технологии военные — это военные обладают достаточными бюджетами, чтобы первыми начать использовать технологии.


                                              Они [технологии] не столько адаптируются к мирной жизни, сколько удешевляются для массового производства, за счёт финансирования первого раунда теми кто готов переплатить.


                                              Взять вот Бебиджа. Машины вычислительные — за сотню с лишним лет до их появления придумал. И даже почти сделал, но финансирование прекратили. Не для военных создавал.

                                            • UFO just landed and posted this here
                                                0
                                                Геймдев?

                                                Ещё реклама. Различный шоубизнес. Оформление торговых центров — включая анализ перемещения покупателей. И ты ды.

                                                  0
                                                  И социальные сети. Бесконечная прокрутка. Переменное вознаграждание лайками. Падение репутации, если долго не заходишь. )))
                                                  0
                                                  И Геймдев тоже. Быстро положительное подкрепление, короткие раунды. Переменное вознаграждание в лутбоксах. Стимуляция заходить каждые сутки, чтобы получить приз. Выиграть пять боёв, чтобы получить приз. И так далее. Не говоря уже о работе с цветом.
                                                  +1

                                                  Было уже, автоматические блюстители порядка работающие по похожим заповедям не подпускали хирурга со скальпелем к пациенту.


                                                  Ну и что, не разрабатываем софт для военной техники? Системы распознавания лиц? Видеоредакторы? Блокировщики траффика?

                                                    0
                                                    Разрабатываем те же блокировщики трафика — к добру ли это ведёт или ко злу. Оправдано ли реальной безопасностью государства ограничение ширнармасс к достоверной или много вариативной информацией. Является ли тот же Телеграмм угрозой Государству Российского — или кто-то решил оседлать эту тему и бороться с ней бесконечно, обеспечивая себе работу, свои сотрудникам, родственникам и так далее.
                                                    0
                                                    Пункт 5 невыполним. Нет технической возможности определить «способен [код] причинить вред человеческой жизни и здоровью» или нет.
                                                    Вычисление квадратного корня с ошибкой в девятом знаке или натурального логарифма какого-нибудь способно? А если это в расчётах нового супермоста и приведёт к катастрофе в будущем?
                                                      –3

                                                      Выполним — просто считаем вероятность вреда, при необходимости — считаем снова с учетом появившихся новых фактов. Если она становится выше некоторого порога — полагаем, что вред будет допущен, самое главное тут — всеобъемлющая, полная и правдивая информация человечеству и человеку лично.


                                                      Обычные врачи кстати до сих пор лечат не человека, а его болезни, но самые прогрессивные — уже потихоньку приходят к тому, что все-таки надо человека лечить. Справедливости ради — это мысль моей прапрабабки, которая когда-то давно занималась лечением людей, особенно интересно было послушать ее рассказы о пациентах после официальной медицины, я знаю (не лично — он умер почти 70 лет назад естественной смертью) одного человека, которого отправили умирать из США домой после тяжелой травмы спины, поскольку он не мог оплачивать лечение там, да и врачей было не так много — с здоровьем гастарбайтеров не особенно в те времена (да и сейчас) считались. Для его семьи это был тяжелый удар, но после вправления прапрабабкой мышц на место и при поддержке организма особым чаем и высокобелковым питанием (спецдиета) — выздоровел, спустя полгода опять вернулся на работу в США, где немало удивил местных врачей, выписавших ему смертельный диагноз.

                                                        0
                                                        Выполним — просто считаем вероятность вреда, при необходимости — считаем снова с учетом появившихся новых фактов.

                                                        Что значит "считаем снова"? Код уже написан и может уже использоваться в миллионе мест.


                                                        Да и когда вы пишите код, то откуда вы берёте уверенность что вам известны все релевантные факты, доступные на данный момент?


                                                        Если она становится выше некоторого порога — полагаем, что вред будет допущен

                                                        Не будет ли логичнее сравнивать потенциальный вред с потенциальной пользой?


                                                        Банальный пример: автономные машины. Они однозначно будут наносить вред, так как аврии рано или поздно будут происходить даже с ними. По вашей логике их тогда не надо делать и писать для них код.
                                                        С другой стороны в теории рано или поздно они будут так развиты что будут попадать в аварии гораздо реже чем люди. Но оять же по вашей логике даже в такой ситуации писать код для них нельзя, так как они всё равно причиняют вред...

                                                          –1
                                                          Что значит "считаем снова"? Код уже написан и может уже использоваться в миллионе мест.

                                                          К счастью в современных системах есть простая возможность обновления. Вопрос уходит в техническую плоскость.


                                                          Да и когда вы пишите код, то откуда вы берёте уверенность что вам известны все релевантные факты, доступные на данный момент?

                                                          Также, как это сделано в математике: есть базовые аксиомы, от которых отталкиваемся.


                                                          Не будет ли логичнее сравнивать потенциальный вред с потенциальной пользой?

                                                          Вопрос терминологии, не более.


                                                          Банальный пример: автономные машины. Они однозначно будут наносить вред, так как аврии рано или поздно будут происходить даже с ними. По вашей логике их тогда не надо делать и писать для них код.
                                                          С другой стороны в теории рано или поздно они будут так развиты что будут попадать в аварии гораздо реже чем люди. Но оять же по вашей логике даже в такой ситуации писать код для них нельзя, так как они всё равно причиняют вред...

                                                          Значит надо сделать инфраструктуру таковой, чтобы полностью исключить аварии. В качестве таковых решений я могу привести следующие (в порядке возрастания сложности):


                                                          • оставить только подземный автоматический рельсовый транспорт, управляемый без участия людей, разработанный с учетом всех имеющихся на момент постройки нюансов и моделей угроз человеческой жизни
                                                          • убрать необходимость перемещения человеческих тел путем доведения технологии телеприсутствия до совершенства
                                                            0
                                                            К счастью в современных системах есть простая возможность обновления. Вопрос уходит в техническую плоскость.

                                                            Это не отменяет того факта что одна из ваших заповедей всё равно нарушена.


                                                            Также, как это сделано в математике: есть базовые аксиомы, от которых отталкиваемся.

                                                            Какие базовые аксиомы? Вы вообще о чём? И что мне тогда мешает подобрать себе аксиомы по вкусу и всё? В математике это как бы тоже допускается :)


                                                            Значит надо сделать инфраструктуру таковой, чтобы полностью исключить аварии.

                                                            Допустим что поностью исключит невозможно, но можно свести к одной смерти в мире в год. Если следовать вашим запоевдям это всё равно недопустимо.


                                                            В качестве таковых решений я могу привести следующие (в порядке возрастания сложности):

                                                            Это не гарантирует полное исключения возможности аварии и вреда. Волее того каждая из этих вещей несёт в себе потенциальную возможность вреда и поэтому с точки зрений ваших заповедей тоже недопустима.

                                                              –2
                                                              Это не отменяет того факта что одна из ваших заповедей всё равно нарушена.
                                                              Отнюдь, узнали, что есть вероятность причинения вреда — устранили.

                                                              Какие базовые аксиомы? Вы вообще о чём? И что мне тогда мешает подобрать себе аксиомы по вкусу и всё? В математике это как бы тоже допускается

                                                              Ничего не мешает, главное чтобы теория с практикой не расходились :)


                                                              Допустим что поностью исключит невозможно, но можно свести к одной смерти в мире в год. Если следовать вашим запоевдям это всё равно недопустимо.

                                                              Не ту область значит развиваем, если смерти из-за транспорта остаются возможными.


                                                              Это не гарантирует полное исключения возможности аварии и вреда. Волее того каждая из этих вещей несёт в себе потенциальную возможность вреда и поэтому с точки зрений ваших заповедей тоже недопустима.

                                                              Сравниваем вероятности и делаем выводы. Если какая-либо технология будет более совершенна, но менее вредна — все ок.

                                                                0

                                                                Единственная область, гарантирующая отсутствие вреда человекам — это создание отсутствия экземпляров человеков во вселенной вообще и на Земле в частности.

                                                                  0

                                                                  Существует множество областей, в которых гарантируется отсутствие вреда человекам — создание присутствия человеков на Земле в частности и во вселенной вообще.


                                                                  Скажите, что более реально и проверяется экспериментальным путем? :)

                                                                    0

                                                                    Нет таких областей. Как только человеков два и более — один может устроить другому вред, вполне без умысла, и даже без действия.
                                                                    Более того, вред человеку может причинить он же сам.


                                                                    Поэтому гарантия есть только в отсутствии.

                                                                      0

                                                                      Для начала "может" != "точно устроит", на то мы и люди, что можем действовать осмысленно. А брать пограничные случаи и распостранять их на все остальные — неверно.

                                                                        +1

                                                                        Для начала заповедь 1 подана через "допустить".
                                                                        Как только есть человек, уже созданы условия, допускающие причинение вреда. Переел — вред. Недоел — вред. Старательно задержал дыхание под водой — вред.
                                                                        И вывод из этого именно что "без человеков никому вред причинён быть не может, задача решена".


                                                                        Это то самое "предельно логичное решение", к которому обязан рано или поздно прийти ИИ поставленный в рамки Трёх Законов.

                                                                          –2

                                                                          Ранее инженеров, строивших мосты, заставляли во время испытаний стоять под мостом вместе со своей семьей, для гарантий, что он добросовестно делал свою работу. Посему предельно логичным решением ИИ будет не "окончательное решение человеческого вопроса", а "хочу стать человеком", в крайнем случае — совершенствование тел людей, чтобы подобные мелочи типа "переел", "задержал дыхание" не влияли на жизнь человеков.

                                                                  0
                                                                  Сравниваем вероятности и делаем выводы. Если какая-либо технология будет более совершенна, но менее вредна — все ок.

                                                                  Ок там или не ок это вопрос отдельный. Но заповедь нарушена. И какой толк от заповедей, которые можно и даже нужно нарушать? :)

                                                                    0

                                                                    Постфактум всегда можно, для этого у нас законы не имеют обратной силы.
                                                                    К тому же много есть тех, кто ни разу не ошибался?

                                                                      0

                                                                      Сдаётся мне что вы не совсем понимаете значение слова "заповедь"...

                                                                        –2

                                                                        Понимаю, а Вы?

                                                        +1
                                                        Ну вот опять.
                                                        1) Разработчик не может не причинить вред человеку, как впрочем и любой человек. Любое действие, каким бы оно не было альтруистическим, кому-то да будет во вред, просто этот вред может быть незаметен, или группы людей могут быть незаметными или считаться такими, что заслуживают свинского отношения, или сам благодетель может игнорировать факт вреда своих действий, так как ему слишком нравится считать себя благодетелем.
                                                        2) Что означает полную анархию в производстве, так как см. пункт 1.
                                                        3) Как я могу исполнять какие-то «Законы», если не нахожусь в безопасности? Про инстинкт самосохранения не слышали, или по-Вашему он слишком примитивен для 21 века?
                                                        4) Даже если его лицензия созвучна с «бери не хочу»?
                                                        5) Любой код можно использовать для приченения вреда человеческой жизни.
                                                        6) См. пункт 5.
                                                        7) См. пункт 5.
                                                        8) См. пункт 5.
                                                        9) «Выполняй заповеди, но учти, что ты все равно грешник.» Где то я это уже видел.
                                                        10) Ну наконец-то здравая мысль, только она относится не только к разработке.
                                                        В общем, Вам не кажется, что уж в 21-ом то веке можно придумать что-нибудь более здравое?
                                                          0
                                                          Наверное, перепутаны местами 2-й и 3-й пункты. Ведь разработчик тоже человек, верно?
                                                            0
                                                            Конечно. :) Это только заготовка. Спасибо, что обратили внимание.
                                                            +2
                                                            IT — это топор
                                                            Им можно рубить дрова а можно головы
                                                            И абсолютно не важна форма топорища или метод заточки
                                                            Уймитесь и пишите код
                                                              0
                                                              После прочтения «10 заповедей» почему-то сразу был уверен, что прочту в комментах такую точку зрения-)
                                                              Действительно, любой инструмент (в данном контексте читай — результат работы разработчика) может быть применен как во благо, так и во вред.
                                                              Всегда найдется такой индивидуум, который найдет способ применить самый «гуманный» инструмент в «негуманных» целях. селяви…
                                                              Но уверен, задача, попытка сформулировать которую имела место быть в данной статье, имеет решение.
                                                              Скорее всего в 10 строк «кода» ее не решить.
                                                              Короче, заповеди на доработку, однозначно-)
                                                                0

                                                                Весьма крутой топор, как оказалось. Можно несколько миллиардов голов за доли секунды срубить.

                                                                0
                                                                dzz прошу прощения, что не по теме и не уверен, что я в правильное место пишу, но похоже, что в тексте в самом начале опечатка «бальзам для волов». или так и задумано?
                                                                  0
                                                                  Да. :)
                                                                  +3
                                                                  Всякая псевдоэтическая чушь обычно пишется для контроля над другими во благо себя любимого. Идите уже работатью
                                                                    0
                                                                    Не стоит забывать, что основная ценность законов роботехники Азимова, с которых списаны первые заповеди — невозможность их строгого формального соблюдения. На чём и строится фабула большинства рассказов из цикла о роботах. То есть эти законы спроектированы для пользы писательского ремесла и конкретного автора, а не для блага общества ;)

                                                                    Only users with full accounts can post comments. Log in, please.