Тестирование IT-систем *

Тестируем все и вся

ilyubin 30 ноя 2021 в 10:18

Автоматическое тестирование аналитики в браузере

9 мин

9.7K

Блог компании Ozon TechТестирование IT-систем*Google ChromeТестирование веб-сервисов*TypeScript*

Представьте себе такую ситуацию. Вы запилили мегакрутую фичу на странице сайта и через месяц решили оценить её эффективность. Начинаете считать — и понимаете, что своим релизом вы сломали метрики на странице: случайно удалили код, отправляющий важные события аналитики, или забыли покрыть новую фичу событиями. Знакомо?

События — это действия пользователей на сайте, которые можно отслеживать: клики на кнопки, переходы и просмотры страниц. Когда пользователь совершает целевое действие, в систему аналитики отправляется событие. В итоге мы получаем отчёт о поведении пользователей на конкретной странице сайта.

Если события приходят некорректно, отчёт будет недостоверным.

Тестирование всех событий продуктовой аналитики перед каждым релизом обычно отнимает много времени. В этой статье я расскажу, как автоматизировать этот процесс.

Читать дальше →

+58

deNULL 25 сен 2021 в 18:17

Что же не так с любыми электронными голосованиями?

7 мин

44K

Криптография*Тестирование IT-систем*Data Mining*Открытые данные*Статистика в IT

Данная публикация написана по мотивам поста «Что же не так с ДЭГ в Москве?». Его автор описывает, как можно выгрузить и расшифровать данные по электронному голосованию, а также приводит целый список замечаний к его текущей системе.

Статья хорошая, её выводы и замечания я полностью поддерживаю, но мне захотелось дополнить её в обеих частях. Первая — с анализом того, как в процессе голосования менялись отданные за различных кандидатов голоса (и обнаруженные в этом аномалии); вторая — моя позиция о фундаментальных недостатках любого электронного голосования, которые неустранимы на практике (особенно в современной России).

UPD: Добавил также графики по партийным спискам + отметил некоторые странности в соотношении выданных/полученных транзакций в самом начале (возможно, это объяснимо техническими проблемами).

+183

422

Peter_Zhizhin 22 сен 2021 в 15:10

Что же не так с ДЭГ в Москве?

18 мин

100K

Тестирование IT-систем*

Что же не так с ДЭГ в Москве

Последние три дня я занимался тем, что анализировал результаты ДЭГ в Москве по одномандатным округам в Госдуму. У меня есть некоторые результаты, которыми я бы хотел поделиться с общественностью. Однако основная цель этого поста — поделиться накопленными знаниями, чтобы кто-то ещё мог взглянуть на те данные, что лежат в блокчейне и перепроверить результаты.

Где лежат результаты и как их проверять

Часть исходного кода системы лежит в репозитории github.com/moscow-technologies/blockchain-voting_2021. Там лежит исходный код той части, которая про блокчейн, транзакции и тд, а также какой-то код фронтенда, написанный на JS. Отдельно отмечу некоторый забавный факт, что вместо общего репозитория со всем кодом там лежит несколько .tar.gz архивов, внутри которых уже есть код. В репозитории всего 4 коммита, сам код публиковали только 2 раза: 22 августа и 6 сентября. Никакой истории разработки у нас нет. Чтобы не приходилось распаковывать эти архивы — я залил распакованный репозиторий к себе на Github, можете читать код из браузера, если кому лень загружать и распаковывать самостоятельно: github.com/PeterZhizhin/blockchain-voting_2021_extracted

На сайте observer.mos.ru/all можно скачать дампы системы электронного голосования по одномандатным выборам, внутри которого будет лежать база с транзакциями, результаты расшифровки голосов и блоки в блокчейне. По кнопке “Скачать SQL дамп” загружается gz архив, внутри которого лежит один .sql файл.

Чтобы загрузить этот файл вам необходимо поднять у себя PostgreSQL базу. Я сделал это как-то вот так:

Читать дальше →

+376

321

zhovner 28 июн 2021 в 16:06

Как выглядит тестирование электроники Flipper Zero

6 мин

22K

Блог компании Flipper Devices Inc.Тестирование IT-систем*Производство и разработка электроники*

^{Flipper Zero — проект карманного мультитула для хакеров в формфакторе тамагочи, который мы разрабатываем. Предыдущие посты [1],[2],[3],[4],[5],[6],[7],[8],[9],[10],[11],[12],[13],[14],[15],[16]}

Электронику и корпуса для Flipper Zero производят на разных заводах в Китае. Сегодня мы перемещаемся на фабрику, где производят электронику, и посмотрим, как выглядит автоматическое электронное тестирование отдельных плат Флиппера.

На больших объемах производства электроники всегда есть брак. Какой-то процент плат может тупо не работать, на других может быть маленький едва заметный дефект, вроде ухудшенных характеристик приема-передачи. Важно, чтобы бракованные Флипперы не уехали пользователям. Для этого на производстве все компоненты проходят два этапа тестирования: электрическое тестирование каждой платы по отдельности и потом тестирование всего устройства в сборе.

В статье мы разберем первый этап — автоматическое электронное тестирование отдельных плат Flipper Zero.

+92

host_m 27 июн 2021 в 14:03

Исследование: становилась ли Windows 10 медленнее с каждым feature update?

6 мин

42K

Блог компании VDSina.ruТестирование IT-систем*Софт

Перевод

Одной из основных причин того, что некоторые люди избегают обновления своих ПК, стало то, что «обновления тормозят систему». Особенно это актуально для Windows 10 с её схемой Software as a Service, при которой ОС дважды в год получает «feature update». Но так ли это на самом деле?

Сегодня мы выясним, насколько менялась производительность Windows 10 со временем, проведя бенчмарки десяти аспектов работы с ОС:

Время установки
Время загрузки/перезагрузки
Запуск приложений Win32
Запуск приложений UWP
Windows Search
Производительность GDI
Нагрузочные испытания GDI
Быстрое сканирование Windows Defender
Производительность ввода-вывода
Выключение

Но для начала небольшое пояснение: хотя я стремился к максимально объективному сравнению метрик производительности, в моих измерениях могут быть погрешности. В этом эксперименте я использовал в качестве гипервизора для каждой сборки Hyper-V с 4 ГБ ОЗУ, 4 ядрами и 32 ГБ накопителя.

Каждая версия устанавливалась на чистую систему.

Итак, давайте приступим!

+77

BIanF 24 июн 2021 в 09:36

Тинькофф, Я вас люблю и ненавижу…

15 мин

58K

Тестирование IT-систем*Usability*Аналитика мобильных приложений*Законодательство в ITIT-компании

В 21 веке, кто-то боится экосистем, кто-то их ненавидит, кто-то боготворит. Каждому предстоит самому делать выбор готов ли он жертвовать безопасностью ради удобства, складывая все яйца в одну корзину. Я пользуюсь Тинькофф уже несколько лет. Начал со счёта для ИП, как андроид разработчик, попробовал многие сервисы для физических лиц... И хотел бы рассказать о том, как банк сам не даёт себя любить. Ну серьёзно, в доме 31 градус - работать просто невозможно, почему бы не осчастливить Хабр очередным личным опытом?

Читать без соблюдения банковской тайны

+92

175

Molechka 19 мар 2021 в 10:54

Почему вам не дают подробный фидбек после собеседования

8 мин

79K

Тестирование IT-систем*Тестирование веб-сервисов*

Зашла вчера в чат тестировщиков и вижу знакомый диалог:

— Мне в фирме 1 обещали фидбек через пару дней. В итоге неделя прошла, сам им пишу, а меня игнорят...

— Ага, я вот тоже собеседование в фирме 2 прошел, мне обещали ответ дать. А прислали просто отписку! «Вы нам не подходите», и всё.

+67

326

host_m 30 дек 2020 в 12:17

Мы отрендерили миллион страниц, чтобы понять, из-за чего тормозит веб

9 мин

34K

Блог компании VDSina.ruВысокая производительность*Тестирование IT-систем*Анализ и проектирование систем*Тестирование веб-сервисов*

Перевод

Мы отрендерили 1 миллион самых популярных страниц веба, фиксируя все мыслимые метрики производительности, записывая все ошибки и замечая все запрошенные URL. Похоже, таким образом мы создали первый в мире набор данных, связывающий производительность, ошибки и использование библиотек в сети. В этой статье мы проанализируем, что наши данные могут сообщить о создании высокопроизводительных веб-сайтов.

Посещён 1 миллион страниц
Записано по 65 метрик каждой страницы
Запрошен 21 миллион URL
Зафиксировано 383 тысячи ошибок
Сохранено 88 миллионов глобальных переменных

Можно ли превзойти наш анализ? Мы опубликовали наш набор данных на Kaggle, поэтому вы можете обработать данные самостоятельно.

Зачем рендерить миллион веб-страниц?

Сегодня распространено мнение о том, что веб почему-то стал более медленным и забагованным, чем 15 лет назад. Из-за постоянно растущей кучи JavaScript, фреймворков, веб-шрифтов и полифилов, мы съели все преимущества, которые даёт нам увеличение возможностей компьютеров, сетей и протоколов. По крайней мере, так утверждает молва. Мы хотели проверить, правда ли это на самом деле, а также найти общие факторы, которые становятся причиной торможения и поломок сайтов в 2020 году.

Общий план был простым: написать скрипт для веб-браузера, заставить его рендерить корневую страницу миллиона самых популярных доменов и зафиксировать все мыслимые метрики: время рендеринга, количество запросов, перерисовку, ошибки JavaScript, используемые библиотеки и т.п. Имея на руках все эти данные, мы могли бы начать задаваться вопросами о том, как один фактор корреллирует с другим. Какие факторы сильнее всего влияют на замедление рендеринга? Какие библиотеки увеличивают время до момента возможности взаимодействия со страницей (time-to-interactive)? Какие ошибки встречаются наиболее часто, и что их вызывает?

Читать дальше →

+56

oldadmin 3 авг 2020 в 12:16

Так ли безопасен ваш iPhone? Обзор уязвимостей и тайных ходов в iOS

6 мин

43K

Блог компании RUVDS.comИнформационная безопасность*Тестирование IT-систем*Разработка под iOS*Лайфхаки для гиков

Пользовательские данные не являются разменной монетой. Компания Apple потратила значительные усилия для того, чтобы заслужить себе репутацию, стойко отбиваясь от ФБР и прочих представителей силовых структур, ищущих возможность произвольного сбора данных владельцев iPhone.

В 2016 г. Apple отказалась ослабить защиту iOS для того, чтобы ФБР могла разблокировать iPhone стрелка из Сан-Бернардино. Завладев смартфоном Сайеда Фарука и промахнувшись десять раз с набором четырехзначного PIN кода, правоохранители тем самым заблокировали смартфон. Тогда в ФБР потребовали, чтобы Apple создала специальную ОС, в которой возможно подобрать код безопасности методом перебора…

Читать дальше →

+50

m1rko 15 июл 2020 в 12:53

Ты добавил всего две строчки. Почему на это ушло два дня?

3 мин

63K

Тестирование IT-систем*Программирование*Проектирование и рефакторинг*

Перевод

На первый взгляд вопрос кажется разумным, но он делает некоторые ужасные предположения:

строки кода = усилие
строки кода = значение
все строки кода равны

Ничто из этого не является истинным.

Почему исправление, которое кажется таким простым, заняло два дня?

Читать дальше →

+147

225

AloneCoder 25 июн 2020 в 19:38

Если вы используете моки, то вы хоть что-то тестируете?

6 мин

16K

Блог компании VKТестирование IT-систем*PHP*Проектирование и рефакторинг*Тестирование веб-сервисов*

Перевод

Было ли у вас ощущение, что ради тестирования вы делаете код труднее для чтения? Допустим, у вас есть код, который ещё не тестировался. У него есть ряд побочных эффектов, и вас просят сначала прогнать тесты. Вы начинаете следовать советам вроде передачи глобальных переменных в виде параметров или извлечения проблемных побочных эффектов, чтобы сделать вместо них заглушки в тестах.

Но чем дальше вы заходите, тем больше чувствуете себя не в своей тарелке. У вас скапливается куча заглушек для состояний и данных, которые позволяют писать быстрые и надёжные модульные тесты. В результате создаётся ощущение, что вы создали совершенно другой класс, который неточно воспроизводит реальный код.

Вы останавливаетесь и задумываетесь: «Допустимо ли менять сигнатуры кода ради тестирования? Тестирую ли я реальный код или совершенно другой класс, в котором не происходит то, что нужно?» Перед вами может возникнуть дилемма. Вы уверены, что стоит и дальше придерживаться этого подхода? Или это потеря времени?

Вопрос на миллион: для устаревшего кода нужно писать модульные тесты или интеграционные?

Читать дальше →

+51

Molechka 11 мая 2020 в 18:09

Основные linux-команды для новичка

14 мин

776K

Тестирование IT-систем*

Linux — это операционная система. Как винда (windows), только более защищенная. В винде легко подхватить вирус, в линуксе это практически невозможно. А еще линукс бесплатный, и ты сам себе хозяин: никаких тебе неотключаемых автообновлений системы!

Правда, разобраться в нем немного посложнее… Потому что большинство операций выполняется в командной строке. И если вы видите в вакансии «знание linux» — от вас ожидают как раз умение выполнять простейшие операции — перейти в другую директорию, скопировать файл, создать папочку… В этой статье я расскажу про типовые операции, которые стоит уметь делать новичку. Ну и плюс пара полезняшек для тестировщиков.

Я дам кратенькое описание основных команд с примерами (примеры я все проверяла на cent os, red hat based системе) + ссылки на статьи, где можно почитать подробнее. Если же хочется копнуть еще глубже, то см раздел «Книги и видео по теме». А еще комментарии к статье, там много полезного написали)

Читать дальше →

+50

170

EditorF_A_C_C_T 17 апр 2020 в 10:36

Однажды на пентесте, или Как все сломать при помощи уролога и Роскомнадзора

18 мин

22K

Блог компании F.A.C.C.T.Информационная безопасность*Тестирование IT-систем*IT-инфраструктура*Тестирование веб-сервисов*

Эта статья написана по мотивам очень удачного пентеста, который пару лет назад провели специалисты Group-IB: случилась история, претендующая на экранизацию в Болливуде. Сейчас, наверное, последует реакция читателя: «О, очередная пиар-статья, опять эти рисуются, какие они хорошие, еще не забудьте купить пентест». Ну с одной стороны, так и есть. Однако есть еще ряд мотивов, почему появилась эта статья. Хотелось показать, чем именно занимаются пентестеры, насколько эта работа может быть интересной и нетривиальной, какие забавные обстоятельства могут складываться на проектах и самое главное — показать живой материал с реальными примерами.

Читать дальше →

+65

belchonokstar 14 апр 2020 в 11:01

Как мы импортозаместили аутсорсинг тестирования. Пошаговая инструкция

9 мин

Блог компании ГК ЛАНИТТестирование IT-систем*Тестирование веб-сервисов*Управление проектами*Управление персоналом*

Когда в 2014 году курс доллара взлетел, а страна взяла курс на импортозамещение, мне пришлось заниматься заменой старой команды внешних тестировщиков, оплачиваемой в долларах, на новую, оплачиваемую в рублях. В этой статье я подробно расскажу, как мы организовали этот процесс перехода, с какими сложностями столкнулись, как их решали и какой экономический эффект получили.

Читать дальше →

+71

zapolnoch 30 мар 2020 в 21:23

Property-based тестирование для JavaScript и UI: необычный подход к автоматизированным тестам

11 мин

9.1K

Блог компании VKТестирование IT-систем*JavaScript*Node.JS*

Falcon Heavy Demo Mission

Писать тесты скучно. А то, что скучно делать, постоянно откладывается. Меня зовут Назим Гафаров, я разработчик интерфейсов в Mail.ru Cloud Solutions, и в этой статье покажу вам другой, немного странный подход к автоматизированному тестированию.

Читать дальше →

+57

belchonokstar 17 мар 2020 в 11:00

Чему нас научило тестирование государственной информационной системы

27 мин

13K

Блог компании ГК ЛАНИТТестирование IT-систем*Тестирование веб-сервисов*

Всем привет!

Я руковожу сектором тестирования в отделе системного анализа и тестирования департамента корпоративных систем ЛАНИТ. В этой сфере я уже 14 лет. В 2009 году я впервые столкнулась с тестированием государственной информационной системы. И для ЛАНИТ, и для заказчика — это был огромный и значимый проект. Он более девяти лет находится в промышленной эксплуатации.

Источник

Читать дальше →

+65

mva 27 фев 2020 в 21:06

DPI: Deep Packet INJECTION, или конспирологическая теория о заговоре между RTK и MRG

6 мин

26K

Блог компании РосКомСвободаИнформационная безопасность*Тестирование IT-систем*Сетевые технологии*

Привет, Хабр!

Это снова я, тот, кто отвечает за IT-составляющую РосКомСвободы! Ты, наверное, меня помнишь по посту о самопроизвольной активации камеры при открытии страницы с embedded-youtube-видео.

На этот раз у меня история из личной жизни и, на мой взгляд, расследование немного поинтереснее.

Возможно, оно даже имеет запах теории заговора (между Ростелеком'ом (CC: Rostelecom ROSTELECOM-CENTER) и Mail.Ru Group).

КДПВ

Читать дальше →

+89

azakharenko 30 янв 2020 в 12:21

Имитируем сетевые проблемы в Linux

15 мин

31K

Тестирование IT-систем**nix*Сетевые технологии*

Всем привет, меня зовут Саша, я руковожу тестированием бэкенда. У нас, как и у многих, реализована сервис-ориентированная архитектура. С одной стороны, это упрощает работу, т.к. каждый сервис проще тестировать по отдельности, но с другой — появляется необходимость тестировать взаимодействие сервисов между собой, которое часто происходит по сети.

В этой статье я расскажу о двух утилитах, с помощью которых можно проверить базовые сценарии, описывающие работу приложения при наличии проблем с сетью.

Читать дальше →

+66

Anrad 23 дек 2019 в 11:03

Как сделать базовый тест-класс для Selenium тестов и выполнить инициализацию через JUnit RuleChain

8 мин

8.4K

Блог компании ГК ЛАНИТТестирование IT-систем*

Этой статьей мы продолжаем серию публикаций о том, как мы автоматизировали в одном из крупных проектов ЛАНИТ процесс ручного тестирования (далее – автотесты) большой информационной системы (далее – Системы) и что у нас из этого вышло.

Как эффективно организовать иерархию классов? Как распределить пакеты по проектному дереву? Как сделать так, чтобы забыть о мердж-конфликтах при команде в 10 человек? Эти вопросы всегда стоят при старте новой разработки и на них никогда не хватает времени.

Источник

В этой статье мы описываем структуру классов и организацию кода, которая позволила нам небольшими силами разработать более полутора тысяч end-2-end UI тестов на базе Junit и Selenium для крупной системы федерального значения. Более того, мы ее успешно поддерживаем и постоянно дорабатываем существующие сценарии.

Здесь вы сможете найти практическое описание структуры иерархии базовых классов автотестов, разбиения проекта по функциональной модели java-packages и шаблоны-образцы реальных классов.

Статья будет полезна всем разработчикам, которые разрабатывают автотесты на базе Selenium.

Читать дальше →

+58

Anrad 3 дек 2019 в 12:01

Автоматизация End-2-End тестирования комплексной информационной системы. Часть 2. Техническая

16 мин

12K

Блог компании ГК ЛАНИТТестирование IT-систем*

Технотекст 2020

Этой статьей мы продолжаем серию публикаций о том, как мы автоматизировали в одном из крупных проектов ЛАНИТ автопроцесс ручного тестирования (далее – автотесты) большой информационной системы (далее – Системы) и что у нас из этого вышло.

Вторая часть публикации ориентирована в первую очередь на лидеров групп автоматизации UI end-2-end тестирования и ведущих тест-автоматизаторов. Здесь они найдут конкретные рецепты по архитектурной организации кода и развертывания, которая поддерживает массо-параллельную разработку больших групп тестов в условиях постоянной изменчивости тестовых спецификаций. В этой части приведен полный состав необходимых для UI-тестов функций с некоторыми деталями реализации, а также есть перечень сюрпризов, с которыми вы можете столкнуться.

Вот здесь вы найдете Часть 1. (Зачем нам была нужна автоматизация. Организация процесса разработки и управления. Организация использования)

Источник

Читать дальше →

+55

3 4 ...

8 9

Тестирование IT-систем *

Автоматическое тестирование аналитики в браузере

Что же не так с любыми электронными голосованиями?

Что же не так с ДЭГ в Москве?

Что же не так с ДЭГ в Москве

Где лежат результаты и как их проверять

Как выглядит тестирование электроники Flipper Zero

Истории

Исследование: становилась ли Windows 10 медленнее с каждым feature update?

Тинькофф, Я вас люблю и ненавижу…

Почему вам не дают подробный фидбек после собеседования

Мы отрендерили миллион страниц, чтобы понять, из-за чего тормозит веб

Зачем рендерить миллион веб-страниц?

Так ли безопасен ваш iPhone? Обзор уязвимостей и тайных ходов в iOS

Ты добавил всего две строчки. Почему на это ушло два дня?

Если вы используете моки, то вы хоть что-то тестируете?

Основные linux-команды для новичка

Однажды на пентесте, или Как все сломать при помощи уролога и Роскомнадзора

Ближайшие события

Как мы импортозаместили аутсорсинг тестирования. Пошаговая инструкция

Property-based тестирование для JavaScript и UI: необычный подход к автоматизированным тестам

Чему нас научило тестирование государственной информационной системы

DPI: Deep Packet INJECTION, или конспирологическая теория о заговоре между RTK и MRG

Имитируем сетевые проблемы в Linux

Как сделать базовый тест-класс для Selenium тестов и выполнить инициализацию через JUnit RuleChain

Автоматизация End-2-End тестирования комплексной информационной системы. Часть 2. Техническая

Вклад авторов

Работа