• Как проверить навыки программирования на Python? Задачи от Яндекса


      Хакатон в Школе бэкенд-разработки

      В 2019 году нам потребовалось автоматизированно проверить умение писать Python-код у сотен разработчиков. Так мы отбирали будущих студентов для Школы бэкенд-разработки. Это не то же самое, что предложить решить задачу на листе бумаги, как на собеседовании. С другой стороны, мы также не могли переиспользовать условия задач, уже подготовленные для наших соревнований по программированию. Дело в том, что соревнования с целью определить лучших из лучших — это одно, а отбор специалистов с небольшим опытом в школу — совсем другое. Нам требовались задачи, по решению которых было бы видно, обладает ли разработчик базовыми навыками написания кода и умением грамотно использовать память и время. Вот какие условия мы составили.
      Читать дальше →
    • 4 релиза Maltego. Принципы работы и возможности

        При просмотре профилей пользователей соцсетей, невольно задаешься вопросом, а сколько информации лежит в открытых источниках? Понятно, что много. Но как это посчитать? И у кого еще, кроме спецслужб и корпораций уровня Google или Microsoft, есть ресурсы и механизмы, чтобы это систематизировать? Создатели ПО Maltego уверяют — у любого. В этой статье я разберу практические примеры, пробегусь по функционалу и принципам работы этого инструмента.



        Рассматривать мы будем именно коммерческий релиз. Потому что Free версия — это хорошо, но посмотреть возможности, которые можно получить только за немалую копеечку от сторонних компаний, вроде Social Links, гораздо интереснее.

        Сразу скажу: статья будет, скорее всего, не одна. По мере получения доступа к различным дополнительным плюшкам коммерческих релизов Maltego постараюсь писать про то, что конкретно каждая опция расширяет, и нужна ли она вообще.

        Итак, дамы и господа, приступим.
        Читать дальше →
      • Как упростить жизнь с помощью закона Парето

        • Translation


        Не все задачи одинаково полезны


        О законе Парето я узнал на занятиях по экономике.

        Этот закон утверждает, что 20% усилий дают 80% результата.

        Преподаватель дал нам примеры, которые помогли разобраться, что имеется в виду:

        1. Всего 20% богатейших людей контролируют 80% мирового дохода.
        2. На 20% пациентов приходятся 80% расходов на здравоохранение.
        3. В эпидемиологии 20% инфицированных — причина 80% случаев заражения.
        4. Среди преступников 20% ответственны за 80% преступлений.
        5. Около 80% продаж компании приходятся на 20% клиентов.

        Меня впечатлило, что такая простая формулировка может нести в себе такой глубокий смысл.

        Впервые я увидел этот принцип в действии в первые же несколько месяцев на работе. Заметив, что мне тяжело дается расстановка приоритетов в отношении времени и внимания, мой менеджер предложил сосредоточиться на пяти самых крупных торговых партнерах (всего я отвечал за 35) и временно отложить остальных — эти пять партнеров обеспечивали около 75–80% моих продаж.

        С тех пор прошло много времени. Я проанализировал множество случаев из своей жизни, в которых этот закон работает — например:

        1. Лишь несколько выполняемых на работе задач оказывают максимальное влияние на продуктивность.
        2. Большую часть уходящих на еду денег я трачу в нескольких конкретных ресторанах.
        3. Анализируя временны́е затраты, я вижу, что бо́льшая часть времени уходит на несколько конкретных занятий. (Например, на просмотр комедийных шоу на Ютубе и Нетфликсе.)
        4. Я общаюсь немного, но из уделяемого общению времени 80% приходятся на 20% людей.
        5. У меня есть 5-6 костюмов, но в большинстве случаев я ношу один-два.

        Переведено в Alconost
        Читать дальше →
        • +7
        • 8.7k
        • 6
      • Будущее мобайла — не приложения, а браузеры

        • Translation


        В дискуссиях о будущем мобайла постоянно звучит тезис о том, что «в конце концов останутся только мобильные приложения под iOS или Android». Старший менеджер по продукту в Intercom Хью Даркин решил с этим поспорить. Он считает: у многих, кто говорит об этом, есть личная заинтересованность в выживании нативных мобильных приложений.

        Статья переведена компанией-локализатором Alconost

        Заявления о том, что будущее принадлежит нативным мобильным приложениям, игнорируют тот факт, что браузеры и веб быстро становятся мобильной операционной системой будущего, а нативные приложения медленно вымирают.
        Читать дальше →
      • Минцифра Татарстана: в открытом доступе оказался «небольшой» объем данных пользователей госуслуг



          По информации издания «РБК Татарстан», в Министерстве цифрового развития госусправления, информационных технологий и связи Республики Татарстан (Минцифра Татарстана) прокомментировали ситуацию с утечкой персональных данных c сервера региональных госуслуг Татарстана. По словам специалистов Минцифры Татарстана, в результате атаки на портал госуслуг (именно так они называют эту утечку данных) «в открытом доступе оказались не 500 ГБ информации, а в 30 раз меньше, то есть 15-16 ГБ».
          Читать дальше →
        • Поисковик Google по датасетам вышел из беты



            Для машинного обучения и научных исследований требуется много данных. В помощь разработчикам и исследователям, Наташа Ной с коллегами из исследовательского подразделения Google Research в сентябре 2018 года выпустили специализированную поисковую систему Dataset Search. 23 января 2020 года поисковик вышел из беты, с новыми инструментами для лучшей фильтрации поиска и доступом почти к 25 миллионам наборов данных.

            Датасеты публикуют в открытом доступе многие учреждения: университеты, государственные организации и лаборатории. Но зачастую их трудно найти с помощью традиционного поиска. Поисковик Dataset Search обрабатывает теги метаданных в формате Schema, тут наборы данных самой разной тематики: от лыжных травм до популяции пингвинов.
            Читать дальше →
          • Хватит всё подряд называть ИИ

              Хорошая новость в том, что я обнаружил много проблем. Плохая новость в том, что вы одна из них.

              Большинство менеджеров и маркетологов называют искусственным интеллектом всё подряд: пылесосы, игрушечных роботов-трансформеров и даже подбор мобильных тарифов. Это в тренде и хорошо продаётся, только одна проблема — даже учёные не рискуют говорить, что создали ИИ.

              Решили разобраться в определениях: можем ли мы вообще говорить об искусственном интеллекте, чем он отличается от машинного обучения и справедливо ли презрительно поднимать брови, когда мы видим очередную рекламу с ИИ.
              Читать дальше →
            • Чтобы пацанам было не стыдно показать

                Я стар и уже глуп, а у вас всё впереди, уважаемый программист. Но позвольте дать вам один совет, который наверняка поможет в вашей карьере – если, конечно, вы планируете остаться программистом.

                Советы типа «писать красивый код», «хорошо комментировать свои доработки», «изучать современные фреймворки» — очень полезные, но, увы, второстепенные. Они идут прицепом к главному качеству программиста, которое надо в себе развивать.

                Вот это главное качество: пытливый ум.
                Читать дальше →
              • Битва двух якодзун, или Cassandra vs HBase. Опыт команды Сбербанка

                  Это даже не шутка, похоже, что именно эта картинка наиболее точно отражает суть этих БД, и в конце будет понятно почему:



                  Согласно DB-Engines Ranking, две самых популярных NoSQL колоночных базы — это Cassandra (далее CS) и HBase (HB).



                  Волею судеб наша команда управления загрузки данных в Сбербанке уже давно и плотно работает с HB. За это время мы достаточно хорошо изучили её сильные и слабые стороны и научились её готовить. Однако наличие альтернативы в виде CS все время заставляло немного терзать себя сомнениями: а правильный ли выбор мы сделали? Тем более, что результаты сравнения, выполненного DataStax, говорили, что CS легко побеждает HB практически с разгромным счетом. С другой стороны, DataStax — заинтересованное лицо, и верить на слово тут не стоит. Также смущало достаточно малое количество информации об условиях тестирования, поэтому мы решили выяснить самостоятельно, кто же является королем BigData NoSql, и полученные результаты оказались весьма интересны.
                  Читать дальше →
                • Всё, что вы хотели знать о МАС адресе

                    Всем известно, что это шесть байт, обычно отображаемых в шестнадцатеричном формате, присвоены сетевой карте на заводе, и на первый взгляд случайны. Некоторые знают, что первые три байта адреса – это идентификатор производителя, а остальные три байта им назначаются. Известно также, что можно поставить себе произвольный адрес. Многие слышали и про "рандомные адреса" в Wi-Fi.


                    Разберемся, что это такое.


                    МАС адрес (media access control address) – уникальный идентификатор, назначенный сетевому адаптеру, применяется в сетях стандартов IEEE 802, в основном Ethernet, Wi-Fi и Bluetooth. Официально он называется «идентификатором типа EUI-48». Из названия очевидно, что адрес имеет длину в 48 бит, т.е. 6 байт. Общепринятого стандарта на написание адреса нет (в противоположность IPv4 адресу, где октеты всегда разделяют точками).Обычно он записывается как шесть шестнадцатеричных чисел, разделенных двоеточием: 00:AB:CD:EF:11:22, хотя некоторые производители оборудования предпочитают запись вида 00-AB-CD-EF-11-22 и даже 00ab.cdef.1122.

                    Читать дальше →
                  • 10 признаков того, что хороший программист из вас не получится

                    Привет, Хабр! Представляю вашему вниманию перевод статьи «10 Signs You Will Suck at Programming» автора Jonathan Bluks.



                    Очень часто на Reddit или Quora я вижу вопросы вида «Как понять, смогу ли я стать успешным программистом?» (На самом деле, эта статья является расширенным продолжением моего недавнего ответа на Quora.) Когда кто-то задумывается о смене карьеры или интересуется разработкой и хочет знать, что для этого требуется, неизбежно возникает этот самый вопрос.

                    Вообще, я думаю, что это главный барьер в умах людей, которые не получали фундаментального образования по программированию. Думать, что программист из вас так себе, совершенно естественно, и это мешает вам взяться за новое дело. Это как мечтать стать актером, но сомневаться, что вы вообще умеете играть.

                    Будучи преподавателем на курсе «Full-stack Web-development», я работал со многими программистами-новичками. Хорошая новость в том, что мне редко встречались студенты, которые вообще не могли научиться программировать. Я считаю, что умение программировать — такой же базовый навык, как умение читать, писать и считать. Это под силу любому, так как это одна из способностей человека, но этому действительно надо учиться.

                    За два года преподавания, я наблюдал мучения студентов в процессе обучения и видел у них несколько схожих проблем. Если вы взглянете на их список и почувствуете, что это все про вас, можете быть уверены — хороший программист из вас точно не получится и, возможно, вам стоит заняться чем-то другим. Однако, если вы останетесь верны своей цели стать разработчиком, вы сможете преодолеть все препятствия.

                    Этот список поможет вам понять, сможете ли вы стать хорошим программистом, а также что делать, если вы решите это изменить.
                    Читать дальше →
                  • Тематические карты


                    Развитие картографических сервисов в Интернет подстигнуло интерес разработчиков к созданию своих гео-информационных служб, в том числе основанных на краудсорсинге. Используя готовую подложку (основу), т.е. данные в виде спутниковых снимков и карт, относительно легко повысить наглядность данных в собственной системе и расширить функциональность.

                    Важным моментом является способ отображения данных для того, что бы картина явления, за которым происходит слежение, была доступной для понимания. Организаторы не всегда адекватно используют средства отображения из-за технических ограничений или других проблем.

                    По сути, интеграция с картографическими сервисами приводит к созданию тематической карты. О том, что это такое и о наиболее популярных способах построения тематических карт будет рассказано ниже. Так же в тексте приведены англоязычные термины, с помощью которых можно будет найти дополнительную информацию.
                    Читать дальше →
                  • 5 чуваков в вашей компании, без которых CRM не взлетит

                    • Translation
                    Вообще мы не очень-то любим переводы статей про CRM, потому что их бизнес ментальность и наша бизнес ментальность — это сущности из разных вселенных. У них фокус на человека и роль человека в развитии компании, у нас в России, увы, фокус на заработать больше, а заплатить меньше (опционально — отсидеть быстрее). Поэтому и взгляды на бизнес ПО, и само бизнес ПО заметно отличаются. Но в этот раз нам попалась классная статья, которая при определённой натяжке вполне применима к российским реалиям. Сперва мы хотели сделать перевод в стиле Гоблина, но поняли, что бан на Хабре тоже, знаете, сомнительная история, поэтому перевели со своими комментариями. Ребята, это реально тема. Ищите таких чуваков в команде и внедряйте CRM — скучно не будет.



                    Пятый тем временем убеждает босса, что срочно нужно внедрить CRM, потому что:

                    — в декабре у всех реальные скидки
                    — в декабре можно закрыть бюджет и потратить остатки средств
                    — в январе и феврале работаем на расслабоне, можно обучиться CRM-системе
                    — к старту горячего делового сезона будем автоматизированы до зубов
                    — да у нас корпоратив дороже лицензий CRM, босс, имей совесть!

                    Читать дальше →
                    • +26
                    • 12.1k
                    • 6
                  • 52 датасета для тренировочных проектов

                    • Translation
                    1. Mall Customers Dataset — данные посетителей магазина: id, пол, возраст, доход, рейтинг трат. (Вариант применения: Customer Segmentation Project with Machine Learning)
                    2. Iris Dataset — датасет для новичков, содержащий размеры чашелистиков и лепестков для различных цветков.
                    3. MNIST Dataset — датасет рукописных цифр. 60 000 тренировочных изображений и 10 000 тестовых изображений.
                    4. The Boston Housing Dataset — популярный датасет для распознавания паттернов. Содержит информацию о домах в Бостоне: количество квартир, стоимость аренды, индекс преступлений.
                    5. Fake News Detection Dataset — содержит 7796 записей с разметкой новостей: правда или ложь. (Вариант применения с исходником на Python: Fake News Detection Python Project )
                    6. Wine quality dataset — содержит информацию о вине: 4898 записей с 14 параметрами.

                    Читать дальше →
                    • +30
                    • 10.7k
                    • 8
                  • Google Поиск на базе ИИ с технологией BERT теперь работает на русском языке

                      Поисковый запрос на русском языке, обработанный с применением технологии BERT, наиболее точно отвечает на запрос пользователя.

                      В официальном блоге Google Россия появилась информация, что теперь Google понимает поисковые запросы лучше, чем когда-либо. Таким образом, с 9 декабря 2019 года технология предварительного обучения анализу текста на естественном языке BERT (Bidirectional Encoder Representations from Transformers) теперь стала использоваться в поисковой выдаче Google Поиск и для запросов на русском языке.
                      Читать дальше →
                    • Функциональное программирование — это не то, что нам рассказывают

                        Функциональное программирование — это очень забавная парадигма. С одной стороны, про неё все знают, и все любят пользоваться всякими паттерн матчингами и лямбдами, с другой на чистом ФП языке обычно мало кто пишет. Поэтому понимание о том, что же это такое восходит больше к мифам и городским легендам, которые весьма далеко ушли от истины, а у людей складывается мнение, что "ФП подходит для всяких оторванных от жизни программок расчетов фракталов, а для настоящих задач есть зарекомендовавший себя в бою проверенный временем ООП".



                        Хотя люди обычно признают удобства ФП фич, ведь намного приятнее писать:


                        int Factorial(int n)
                        {
                            Log.Info($"Computing factorial of {n}");
                            return Enumerable.Range(1, n).Aggregate((x, y) => x * y);
                        }

                        чем ужасные императивные программы вроде


                        int Factorial(int n)
                        {
                            int result = 1;
                            for (int i = 2; i <= n; i++)
                            {
                                result *= i;
                            }
                            return result;
                        }

                        Так ведь? С одной стороны да. А с другой именно вторая программа в отличие от первой является функциональной.


                        Как же так, разве не наоборот? Красивый флюент интерфейс, трансформация данных и лямбды это функционально, а грязные циклы которые мутируют локальные переменные — наследие прошлого? Так вот, оказывается, что нет.

                        Читать дальше →
                      • Рынок труда аналитиков и Data Scientists

                          Data Science — сфера не новая. Обработкой данных занимаются уже более 50 лет, что не мешает сфере оставаться на пике популярности: аналитики данных и Data Scientist сегодня очень востребованы среди работодателей. Редакция Нетологии решила расспросить у экспертов рынка — агентства New.HR, которое специализируется на направлении Data Science, и ведущих IT-компаний — о реальном положении дел в области работы с данными.

                          Сколько получают специалисты разного уровня? Как повысить свою ценность в глазах работодателя? Где компании ищут себе сотрудников? На что HR смотрят в первую очередь при выборе кандидата?

                          Читать дальше →
                          • +12
                          • 15.9k
                          • 2
                        • Как стать более востребованным специалистом в сфере Data Science в 2019

                            Заголовок этой статьи может показаться немного странным. И вправду: если вы работаете в сфере Data Science в 2019, вы уже востребованы. Спрос на специалистов в этой области неуклонно растет: на момент написания этой статьи, на LinkedIn размещено 144,527 вакансий с ключевым словом «Data Science».

                            Тем не менее, следить за последними новостями и трендами в индустрии однозначно стоит. Чтобы помочь вам в этом, мы с командой CV Compiler проанализировали несколько сотен вакансий в сфере Data Science за июнь 2019 и определили, какие навыки ожидают от кандидатов работодатели чаще всего.
                            Читать дальше →
                            • +6
                            • 11.7k
                            • 6
                          • Работоспособный NDA с сотрудниками компании

                              В жизни, как правило, преуспевает больше других тот, кто располагает большей информацией (с) Бенджамин Дизраэли

                              Приветствую, уважаемые читатели!

                              Сегодня я расскажу Вам об NDA с сотрудниками IT компаний, проблемах связанных с его работоспособностью, и об их решениях.
                              Эта статья написана в большинстве своем для руководителей и owner-ов IT компаний, а также для юристов, которые там работают.

                              Считаю, что и сотрудникам компаний будет не вредно ознакомиться с контентом статьи. Так как им, возможно, в будущем придется подписать такой контракт.
                              Читать дальше →