Функциональное тестирование: зачем и как его проводить

Функциональное тестирование… Или, как я люблю его называть, «а оно точно работает так, как задумано?» В мире разработки ПО это примерно как технический осмотр для автомобиля — вроде бы занудная процедура, но пропустишь — и привет, неожиданные «сюрпризы» на продакшене.

По сути, это процесс проверки того, что программный продукт действительно делает то, что должен (а не то, что ему вздумается). Представьте, что вы купили робота-пылесоса, а он вместо уборки решил устроить вечеринку с вашими носками — вот такие казусы и призвано предотвратить функциональное тестирование.

Что же конкретно проверяется? Всё, что связано с функциональностью продукта: работа API (те самые штуки, которые позволяют программам общаться между собой), пользовательский интерфейс (чтобы кнопка «Отправить» действительно что-то отправляла, а не запускала ядерные ракеты), базы данных (куда деваются все эти бесконечные данные) и прочие радости современного софта. И да, всё это должно соответствовать требованиям заказчика — тем самым, которые обычно начинаются со слов «было бы здорово, если бы…»

Отличия функционального и нефункционального тестирования

Знаете, это как разница между вопросами «работает ли эта штука вообще?» и «насколько хорошо она работает?». Или, если хотите более житейский пример — между «едет ли машина» и «насколько комфортно в ней ехать».

Давайте разложим по полочкам (и да, я обожаю списки — они помогают структурировать хаос):

При функциональном тестировании:

• Проверяем, что система делает то, что обещала в требованиях (а не то, что ей заблагорассудится)
• Работаем с конкретными тест-кейсами — этакими пошаговыми инструкциями для проверки функций
• Обычно справляемся подручными средствами, без привлечения специальной артиллерии

При нефункциональном тестировании:

• Смотрим, КАК система себя ведет (например, не впадает ли в депрессию под нагрузкой)
• Пишем тест-кейсы… хотя нет, тут всё сложнее — попробуйте описать, насколько удобно должно быть пользователю
• Без специальных инструментов — никуда (да-да, придется разориться на профессиональный софт)

Диаграмма Венн наглядно демонстрирует различия и пересечения между функциональным и нефункциональным тестированием

И знаете что? Большинство разработчиков почему-то любят сосредотачиваться на функциональном тестировании, как будто скорость работы приложения — это что-то вроде необязательного десерта. Спойлер: это не так.

Основные этапы функционального тестирования

Как и в любом приличном квесте, здесь есть свои уровни, которые нужно пройти. И нет, пропустить их не получится — это вам не игра с чит-кодами.

1. Подготовка и анализ (или «что же мы вообще собираемся тестировать?»). Начинаем с изучения требований заказчика — тех самых, где написано «хочу чтобы было красиво» и «чтобы работало как у Apple, только лучше». Задача тестировщика — превратить эти поэтические метафоры в что-то осязаемое. И да, в идеальном мире это делается до начала разработки (спойлер: мы не в идеальном мире).
2. Написание тест-кейсов (или «инструкция по поиску проблем»). На этом этапе тестировщик, вооружившись терпением и чашкой кофе, составляет пошаговые сценарии проверки. Что-то вроде: «нажать сюда, ввести это, проверить, что не взорвалось».
3. Подготовка тестовых данных (или «давайте притворимся реальными пользователями»). Здесь мы собираем данные, максимально приближенные к боевым условиям. Потому что тестировать на «test1», «test2» — это, конечно, весело, но не особо полезно.
4. Собственно тестирование (или «поиск приключений»). Запускаем подготовленные тесты и внимательно следим за результатами. Спойлер: они почти никогда не совпадают с ожиданиями с первого раза.
5. Составление отчетов (или «дорогой дневник, сегодня я нашел 15 багов…»). Финальный аккорд — документирование всего найденного. И помните: баг, который не записан в баг-трекере, как бы не существует (этакий кот Шрёдингера в мире тестирования).

А теперь представьте, что все эти этапы нужно повторять каждый раз, когда разработчики что-то меняют. Весело, правда? (Нет).

Виды тестирования, применяемые при функциональном тестировании

О, это моя любимая часть! Представьте, что вы собираете конструктор LEGO — сначала проверяете каждую деталь, потом смотрите, как они стыкуются между собой, и наконец оцениваете готовую модель целиком. Примерно так же работает и функциональное тестирование.

Модульное тестирование

Это как проверка каждого кубика LEGO по отдельности. Разработчики (да-да, именно они, а не тестировщики) берут самые маленькие части кода и проверяют, работают ли они сами по себе. Представьте, что вы тестируете функцию калькулятора — сначала убеждаетесь, что 2+2=4, а не «ERROR 404: math not found». И делать это нужно на самых ранних этапах, пока баги еще не расплодились, как кролики весной.

Интеграционное тестирование

А вот теперь берем наши проверенные кубики и пытаемся собрать из них что-то осмысленное. Интеграционное тестирование проверяет, как модули работают вместе — потому что иногда два прекрасно работающих по отдельности модуля при встрече ведут себя как кошка с собакой. Особенно весело, когда модули писали разные разработчики, каждый со своим представлением о прекрасном.

Системное тестирование

Это уже финальная сборка нашего LEGO-замка. Проверяем всю систему целиком, как будто мы реальные пользователи (только более въедливые и с чек-листом наперевес). Здесь уже смотрим, соответствует ли всё тем самым требованиям, которые заказчик написал в начале проекта и успел три раза поменять по ходу разработки.

Регрессионное тестирование

А вот это моя любимая часть! Представьте: вы починили скрипящую дверь, а на следующий день обнаружили, что перестал работать звонок. Знакомо? В мире софта это называется регрессией. После каждого изменения в коде (даже самого крошечного) нужно проверить, не сломалось ли что-то из того, что раньше работало. Потому что, как говорил мой первый тимлид: «В разработке ПО нет такого понятия как ‘мы просто поменяли одну строчку кода'». И знаете что? Он был чертовски прав.

Популярные инструменты для функционального тестирования

Знаете, выбор инструментов для тестирования похож на выбор оружия в RPG — у каждого свои характеристики, бонусы и области применения. Давайте пройдемся по самым интересным (и да, некоторые из них действительно стоят как космический корабль):

• Selenium (для тех, кто любит классику) Этакий дедушка автоматизации веб-тестирования. Работает со всеми популярными браузерами, понимает кучу языков программирования и вообще очень демократичен. Правда, иногда бывает капризным, как старый автомобиль — то xpath не найдет, то элемент не прогрузится. Являясь опенсорсным проектом с открытым исходным кодом, он доступен для бесплатного использования.
• TestComplete — это профессиональный инструмент автоматизации, предлагающий комплексное решение для тестирования различных типов приложений. Умеет тестировать десктопные, мобильные и веб-приложения, обладает широким набором функций и может быть особенно полезен для компаний с высокими требованиями к качеству ПО. Интерфейс может показаться сложным для новичков, но предоставляет все необходимые инструменты для профессионального тестирования.
• Postman — популярный инструмент для работы с API, позволяющий отправлять запросы, собирать коллекции и создавать автоматизированные тесты. Предлагает бесплатный план с базовым функционалом для индивидуальных разработчиков, а также платные планы с расширенными возможностями для команд и предприятий.
• JMeter (для нагрузочного тестирования) Мощный инструмент с открытым исходным кодом для тестирования производительности различных типов приложений и сервисов — от веб-сайтов и баз данных до FTP-серверов и веб-сервисов. Выглядит устрашающе, но на самом деле довольно дружелюбен (если вы знаете, что делаете, конечно)..
• TestRail — это профессиональная система управления тестированием, которая позволяет эффективно организовывать и отслеживать процесс тестирования. Предлагает широкие возможности для управления тест-кейсами и интеграцию с различными баг-трекерами. Доступна по модели подписки с разными планами, подстраивающимися под масштаб и потребности команды.

Помните: инструмент — это как молоток. Важно не то, какой он крутой, а то, умеете ли вы им пользоваться (и не попадать себе по пальцам).

Рекомендации для новичков в функциональном тестировании

Итак, вы решили стать тестировщиком? Поздравляю, вы выбрали прекрасную профессию для тех, кто любит ломать чужие творения (легально, конечно же). Вот несколько советов от человека, который набил немало шишек на этом поприще:

1. Начните с малого (но не с Selenium!). Серьезно, я видел слишком много джунов, которые пытались начать с автоматизации, не разобравшись в основах ручного тестирования. Это как учиться водить Ferrari, не освоив велосипед. Начните с простого исследовательского тестирования — просто покликайте по интерфейсу и запишите, что сломалось.
2. Полюбите документацию (да-да, я знаю, это сложно). Тест-кейсы — это ваши друзья. Пишите их так, чтобы их мог понять даже ваш кот. И помните: «очевидные» шаги очевидны только для вас — для других они могут быть темным лесом.
3. Научитесь «думать как пользователь». Только не как обычный пользователь, а как самый криворукий пользователь в мире. Поверьте, если что-то можно сломать — кто-то обязательно это сломает. Ваша задача — сломать первым.
4. Заведите дружбу с разработчиками. Да, я знаю, что иногда хочется просто кинуть в них баг-репортом и убежать. Но помните: хороший тестировщик не тот, кто нашел больше багов, а тот, кто помог сделать продукт лучше. И без взаимопонимания с разработчиками тут никак.
5. Учитесь постоянно. Технологии меняются быстрее, чем погода в Петербурге. Сегодня вы эксперт в Chrome DevTools, а завтра появляется какой-нибудь новый супер-пупер инструмент. Будьте готовы учиться всегда.

И самое главное — не бойтесь ошибаться. В конце концов, если бы не ошибки, нам, тестировщикам, нечего было бы искать!

P.S. И да, чуть не забыл: заведите привычку пить кофе. Много кофе. Поверьте, он вам понадобится.

Кстати, если вы всерьёз решили освоить профессию тестировщика, важно получить структурированные знания и практику под руководством опытных специалистов. На сегодняшний день существует множество образовательных программ разной длительности и уровня сложности — от базовых курсов для новичков до продвинутых программ по автоматизации тестирования. Подобрать подходящий курс по тестированию с актуальными отзывами и рейтингами можно на специализированном агрегаторе курсов.