Pull to refresh
273
33.4
ITSumma @ITSumma

Аккаунт компании

Send message

Как собрать платформу обработки данных «своими руками»?

Reading time5 min
Views11K


Большое количество российских компаний столкнулись с ограничениями в области ПО. Они теперь не имеют возможности использовать многие важные инструменты для работы с данными. Но, как говорится, одна дверь закрылась — другая открылась. Альтернатива зарубежным решениям есть: платформу обработки данных можно создать своими силами. Расскажем, как мы в ITSumma это сделали, какие компоненты использовали, с какими ограничениями столкнулись и зачем вообще всё это нужно.

Предыстория (очень короткая)


Один заказчик, который заинтересовался нашими компетенциям в построении инфраструктур, предложил крупный интеграционный проект. Архитекторы клиента придумали сложную и большую платформу, которая включала в себя машинное обучение, обработку данных и управлялась с помощью Kubernetes. Нам поставили задачу реализовать проект платформы, настроить связность элементов, построить и запустить инфраструктуру в эксплуатацию.

В итоге всё прошло хорошо и заказчик доволен. А у нас возникла идея скомпоновать свою платформу — такую, чтобы она была доступной не только большому бизнесу, но и компаниям среднего и малого масштаба. То есть сделать так, чтобы можно было получать большие возможности и не платить при этом огромные деньги.
Читать дальше →
Total votes 30: ↑30 and ↓0+30
Comments5

Наняли админов? Разобрались с DevOps? Время подумать об SRE

Reading time5 min
Views8.6K

ИТ-индустрии нашего региона потребовалось некоторое время, чтобы осознать принципиальную разницу между DevOps и системным администратором, хотя путаница в вакансиях и описаниях продолжалась вплоть до конца десятых годов, а в отдельных случаях, мы уверены, девопсов принимают за сисадминов и по сей день. Однако развитие IT-сектора как в России, так и в целом по миру привело к следующему витку специализации сотрудников. И если DevOps возникли из-за необходимости увязать между собой разработку серверную часть и наладить пути доставки обновлений и коммуникацию между командами, то SRE — уже следующая ступень эволюции, с новыми требованиями по глубине скиллов и их комплекту.
Читать дальше →
Total votes 22: ↑20 and ↓2+24
Comments3

Возвращаем RSS к жизни

Reading time6 min
Views32K

RSS-агрегатор NetNewsWire

Мы уже обсуждали, насколько важен и удобен RSS для профессиональной работы с источниками в интернете. Это единственный способ собрать огромный массив данных с тысяч сайтов, соцсетей, блогов, твиттер-аккаунтов, торрент-трекеров и др.

Вся информация накапливается в личном агрегаторе, доступна в удобное время, в том числе офлайн. Никогда ничего не теряется. Это особенно актуально сейчас, в условиях информационной блокады, периодических отключений интернета и угрозы полного шатдауна.
Читать дальше →
Total votes 63: ↑62 and ↓1+75
Comments73

Почему каждый сайт пытается продвинуть своё нативное приложение?

Reading time7 min
Views35K


Странная вещь: вот сайты (теперь не все, но всё ещё многие) отлично работают в браузере. Но только заходишь со смартфона, начинается цирк. Всплывающее окно — хотите открыть ссылку в приложении? В каком? У меня нет никакого приложения! Если случайно нажать «Да», то начнётся скачивание — и нативное приложение таки будет установлено.

Только для того, чтобы открыть одну страничку, которую могли давно показать в браузере.

Спрашивается, зачем? Зачем устанавливать на смартфон отдельное нативное приложение для каждого сайта? Очевидно, что маркетологи впаривают их не просто так. Похоже, это очень выгодное дело.
Читать дальше →
Total votes 75: ↑74 and ↓1+97
Comments68

Научный прогресс ускорится, если ИИ начнёт анализировать данные в автономном режиме

Reading time9 min
Views6.2K


Научно-технический прогресс — это магистраль, которая ведёт в фантастическое будущее с неизведанными возможностями. Но с какой скоростью мы помчимся по этой магистрали — зависит только от нас. Мы можем вообще развернуться и двинуть в обратном направлении, как сделала европейская цивилизация 1500 лет назад.

Что мы видим сейчас в традиционных социальных иерархиях? Борьба за статус, власть, деньги, карму — всё это побочные эффекты нашей биологической природы. К сожалению, личное эго и предубеждения присущи и самым рациональным людям: инженерам и исследователям. Иногда такое ЧСВ мешает научному прогрессу.
Читать дальше →
Total votes 29: ↑24 and ↓5+28
Comments30

КВЧ-радары изменят нашу жизнь. Военная технология идёт в смартфоны

Reading time5 min
Views30K

Слева направо: эволюция датчиков КВЧ-излучения со встроенным радаром, источник: Google AI

Миллиметровые волны (ММВ) или крайне высокие частоты (КВЧ) — диапазон радиоволн с длиной волны от 10 мм до 1 мм, что соответствует частоте от 30 ГГц до 300 ГГц. Они используются в военных и полицейских радарах, сканерах безопасности, КВЧ-терапии для лечения многих болезней, астрономических инструментах.

Но сейчас наступает эпоха, когда радары миллиметрового излучения (mmWave, 60 ГГц) созрели для широкого коммерческого применения. Скоро их разрешат встраивать в обычные смартфоны. Это открывает кардинально новые возможности по использованию портативных гаджетов: распознавание жестов в автомобилях, дистанционный мониторинг сна, отслеживание перемещения всех людей в офисе и многое другое.
Читать дальше →
Total votes 39: ↑38 and ↓1+51
Comments71

Некоторые разработчики никогда не пройдут собеседование

Reading time6 min
Views95K

В нормальном состоянии префронтальная кора свободно осуществляет высокоуровневое мышление. При стрессе выделяется большое количество нейромедиаторов, которые активируют сети, связанные с миндалевидным телом (эмоции), блокируя префронтальную кору

Миша отличный программист. Для него сложная задача — как личный вызов. Он затихает, молча бродит с отсутствующим взглядом несколько дней… Пока его не прорвёт. Тут словно огонь загорается в глазах, парень светится как маньяк, и даже влюблённая девушка не вытянет его из кода поздним вечером. Реально гений.

Но есть проблема. Мишу трудно понять. Видно, что в голове куча мыслей и абстрактных концепций. Но выразить словами толком не получается. Все предложения словно кубики из разных конструкторов, которые никак не скрепляются в единое целое.
Читать дальше →
Total votes 82: ↑76 and ↓6+91
Comments231

Архитектура системы обработки данных: как выбрать между on-premise, on-cloud и гибридным вариантом?

Reading time4 min
Views3.9K


С усложнением бизнес-задач в компаниях усложняются и требования к корпоративной системе аналитики. С одной стороны, она должна быть удобной, как для обычных пользователей, так и для техперсонала. А с другой — безопасной и функциональной. Получится ли в этом случае быть одновременно и умным, и красивым? Попробуем разобраться.

В современных реалиях используются, в основном, 2 подхода к организации корпоративных информационных систем — это on-premise решения и on-cloud продукты. Рассмотрим каждый из них по отдельности и увидим, что получается, если объединить их.
Читать дальше →
Total votes 14: ↑13 and ↓1+13
Comments1

Как захостить сайт на 500 лет?

Reading time7 min
Views13K


Предположим, вы хотите опубликовать информацию для будущих поколений. Для потомков, которые будут жить через 500-1000 лет. Казалось бы, недолгий срок по меркам человеческой цивилизации. Но как надёжнее всего передать им информацию? В каком формате, на каком носителе? Где захостить этот сайт, в конце концов? Как оптимисты мы полагаем, что Интернет не исчезнет в техногенном фоллауте, население Земли не утратит способность читать, и это будут представители нашего вида.
Читать дальше →
Total votes 27: ↑26 and ↓1+33
Comments62

Абсолютный обман. Фейковые приложения для Android и iOS — почему в них верят

Reading time5 min
Views20K

После длительного обучения на конкретной кошке приложение MeowTalk распознаёт 13 фраз конкретно этого экземпляра. Учёные предполагают, что у котов нет общевидового языка

Микроскоп, показывающий микробов через камеру смартфона. Ультразвук от комаров через стандартный динамик. Детектор лжи по голосу собеседника. Переводчики собак и кошек на человеческий язык. И так далее, список бесконечный. Фейковые приложения Google Play — это чудесная смесь из креатива, жадности, невежества и будущего, которое ещё недостаточно распространилось.

Жадные до денег, но креативные разработчики цинично обманывают невежественных пользователей, продавая пустышку под видом конфеты. Бывают и более продвинутые случаи, когда разработчик действительно пытается создать нечто выдающееся, применив машинное обучение.
Читать дальше →
Total votes 42: ↑42 and ↓0+42
Comments42

Какой софт использует ЦРУ и АНБ для дата-майнинга

Reading time6 min
Views16K


После утечки данных от Сноудена стало понятно, что АНБ собирает данные на всех граждан до совершения преступлений, а не на конкретных подозреваемых после преступления.

Аналогичную практику сбора разведданных на всех граждан до совершения преступления начали практиковать и в других странах, в том числе России. Речь идёт о длительном хранении интернет-трафика, сведений о перемещении, звонков, записей видеонаблюдения и т.д. Это очень удобно, ведь в случае необходимости найдутся улики практически на любого человека.

Разумеется, для быстрого поиска в таком огромном массиве данных требуется специальный софт.
Читать дальше →
Total votes 31: ↑31 and ↓0+31
Comments8

CalyxOS: лучший способ очистить Android от следов Google

Reading time5 min
Views63K

Android Open Source Project — свободный проект. Однако в него очень глубоко проникла корпорация Google. К сожалению, всё больше API и библиотек Android теперь доступны только на смартфонах с предустановленными приложениями Google Apps (GApps). Таким способом Google эффективно привязывает сторонние приложения к своей закрытой экосистеме. В результате ряд популярных опенсорсных приложений уже не могут работать без библиотек Google.

По сути, Android представляет собой особый вид опенсорса типа «смотри, но не трогай», по модели Shared Source. Неудивительно, что набирают силу опенсорсные проекты, которые ставят целью полностью удалить Google из мобильной ОС. Один из последних примеров — прошивка CalyxOS, ориентированная на безопасность и приватность.
Читать дальше →
Total votes 47: ↑45 and ↓2+55
Comments95

Москва по развитию цифровых услуг опередила все города мира?

Reading time7 min
Views13K


Месяц назад большой резонанс среди российских пользователей фейсбука вызвала заметка Ивана Замесина (сооснователь и CEO компании Focus Calendar) о том, что Москва и Санкт-Петербург стали мировыми лидерами по качеству цифровых продуктов и услуг. В первую очередь имеются в виду финтех, телеком, веб-сервисы и т. д. По словам Замесина, этот факт признают многие знакомые, которые «живут на несколько стран»:

«Необанки в приложениях для нас привычная реальность. Быстрый мобильный интернет стоит $10/мес. В Москве, Питере и миллионниках продукты приезжают за 15-20 минут… Няни, уборщицы, доставка, химчистка, ремонт, любые специалисты любой компетентности — всё оцифровано, качественно и в любой бюджет. — пишет Иван, выражая комплименты российской ИТ-отрасли и отечественным инженерам. — Возьмите похожие по концентрации людей города-страны: Сингапур, Голландию, Нью-Йорк, Лос-Анджелес. Там уровень сервисов и продуктов уровня Сызрани [nothing personal]».

Что ж, давайте проверим, насколько справедливы эти тезисы. Посмотрим объективные рейтинги по некоторым пунктам.
Читать дальше →
Total votes 33: ↑26 and ↓7+33
Comments51

Выходим из тюрьмы Apple. Установка произвольных приложений на iOS без джейлбрейка

Reading time5 min
Views182K


App Store — не единственный способ установки приложений для iOS. Раньше люди специально делали джейлбрейк, чтобы установить каталог Cydia. Но в последнее время появилось несколько сторонних каталогов, которые работают вообще без джейлбрейка. Удивительно, но Apple пока не ставит им палки в колёса.

Эти каталоги приносят реальную пользу, ведь здесь независимые разработчики свободно распространяют свои программы без комиссий и цензуры. Apple не может произвольно отзывать со смартфонов такие приложения. А люди получают более широкий выбор программ, включая эмуляторы Linux, независимость от производителя и реальное право владения.
Total votes 45: ↑45 and ↓0+45
Comments61

Как симулировать плохую сеть под Linux, macOS и Windows

Reading time3 min
Views22K

Clumsy 0.2

Все распределённые системы — базы данных, мобильные приложения, корпративные SaaS и так далее — следует разрабатывать с учётом сбоев. Например, компания Stripe во время тестов убивала случайные инстансы — и смотрела, что произойдёт. Компания Netflix рандомно уничтожала инстансы прямо в продакшне с помощью программы Chaos Monkey (проект Simian Army).

Симуляция сбоев — необходимое средство тестирования. Проблема в том, что ситуации не делятся только на чёрное и белое, Есть огромная «серая» зона, где сбои явно не выражены, а проявляются в плохих условиях сети: ненадёжное соединение, узкий канал, потери пакетов, высокая задержка, дубликаты пакетов и так далее.
Читать дальше →
Total votes 45: ↑45 and ↓0+45
Comments6

npm audit работает неправильно — это настоящий театр безопасности

Reading time12 min
Views25K
Безопасность важна. Никто не хочет выступать против безопасности. Поэтому все замалчивают проблему с npm audit. Но кто-то должен сказать.

Думаю, придётся мне.

npm audit работает принципиально неправильно. Проверка по умолчанию на каждый npm install — поспешный, непродуманный и неадекватный подход.

Слышали историю про мальчика, который часто кричал «Волк!»? Спойлер: в результате волк съел овец. Если мы не хотим такого итога, нам нужны лучшие инструменты.

На сегодняшний день npm audit — это пятно на всей экосистеме npm. Надо было исправить его с самого начала, но лучше поздно, чем никогда.
Читать дальше →
Total votes 26: ↑22 and ↓4+25
Comments6

Как SparkFun поймала патентного тролля

Reading time8 min
Views25K

Как работает машина юридического вымогательства



Иллюстрация из судебного иска Altair Logix против SparkFun

SparkFun любит писать о разных юридических проблемах, с которыми приходится разбираться, будь то угрозы от Sparc International, вынужденная утилизация 4000 мультиметров из-за «неправильного» цвета или поддельные микросхемы. К сожалению, теперь пришло время поговорить о патентных троллях.

Поскольку некоторые мои зарубежные друзья при упоминании этой фразы улыбаются, то нужно пояснить: здесь ничего весёлого. Патентный тролль — это компания, специально созданная для покупки прав на несколько патентов и последующего судебного преследования всех, с кого можно получить деньги.
Читать дальше →
Total votes 67: ↑59 and ↓8+70
Comments34

Формат JPEG XL будет полным по Тьюрингу без ограничения 1024*1024 пикселей

Reading time4 min
Views15K

В формате JPEG XL это изображение занимает 59 байт

Оказывается, полным по Тьюрингу может быть не только язык программирования, но и графический формат. В частности, таким потенциально является формат JPEG XL, если отменить в нём ограничение на максимальный размер группы обрабатываемых пикселей.
Читать дальше →
Total votes 37: ↑35 and ↓2+44
Comments67

ASML задержит сканеры следующего поколения — и это очень хорошо для неё

Reading time5 min
Views10K

Будущий сканер ASML с высокой числовой апертурой 0,55 (high-NA EUV) стоимостью примерно $300 млн. Источник: презентация ASML

Голландская компания ASML — монополист на рынке оборудования для фотолитографии в глубоком ультрафиолете (EUV) с запасом технологического лидерства на несколько лет перед конкурентами. Поэтому задержка следующего поколения сканеров не отразится на прибыли компании, считают источники Seeking Alpha. Даже наоборот, ASML заработает ещё больше на продаже оборудования текущего поколения.

Некоторые эксперты считают, что в нынешней ситуации вообще не до апгрейдов. Дефицит такой сильный, что некоторые производители, наоборот, возобновляют производство микросхем предыдущего поколения, ранее снятые с производства.
Читать дальше →
Total votes 17: ↑14 and ↓3+17
Comments7

Википедия купается в деньгах — зачем молить о пожертвованиях?

Reading time5 min
Views30K
Проект гораздо богаче, чем кажется.



Некоммерческая организация Wikimedia Foundation (WMF), которая владеет Википедией и другими сайтами UGC, вот-вот достигнет десятилетней цели: собрать $100 млн в долгосрочном резерве Wikimedia Endowment. Это произойдёт на пять лет раньше, чем планировалось. Объём чистых активов (net assets) составляет около $200 млн по состоянию на июнь прошлого года. Сейчас уже около $300 млн. Доходы непрерывно растут. Согласно внутренним документам, за первые девять месяцев текущего финансового года фонд собрал пожертвований на $142 млн — и уже побил рекорд прошлого года.

Эта информация может удивить доноров и пользователей по всему миру, которые видели баннеры для сбора средств в Википедии. Их показывают в разное время в разных странах. В прошлом году их впервые начали крутить в Индии. В настоящее время эти баннеры показывают жителям охваченной пандемией Латинской Америки. Они создают впечатление, что WMF с огромным трудом поддерживает Википедию в рабочем состоянии… Послания жалобные: «В этот четверг Википедия действительно нуждается в вас. Это уже десятое обращение, которое мы вам показали. 98% наших читателей не жертвуют, они отворачиваются… Мы просим вас, пожалуйста, не надо скроллить от нас» (We ask you, humbly, don’t scroll away)».
Total votes 56: ↑50 and ↓6+65
Comments153

Information

Rating
Does not participate
Location
Россия
Works in
Registered
Activity