Testowanie powstającego produktu powinno być postrzegane jako główne narzędzie kontroli kosztów i ryzyka podczas planowania projektu. Dziś wiele firm szuka informacji na temat wymogów procedury testowej.
Dlatego przedstawiamy przykład procedury testowej z Harcerskiego Biura Konstrukcyjnego:
1. Cel procedury
Celem procedury jest zobiektywizowanie procesu testowania produktów w Harcerskim Biurze Konstrukcyjnym.
2. Zakres stosowania procedury
Procedura dotyczy procesu testowania wszystkich produktów ubiegających się o Certyfikat Jakości Orlich Piór. Procedura odnosi się do środowisk – uczestników programu Harcerskie Biuro Konstrukcyjne „Orle Pióra”.
3. Zakres odpowiedzialności
Za prawidłową realizację procedury odpowiada kierownik testów.
4. Sposób postępowania
4.1. Zebranie i ocena wymagań
W pierwszej fazie, zespół kierownika testów musi zapoznać się z wymaganiami jakie były stawiane projektowi. Wymagania muszą zostać poddane ocenie, czy są kompletne, zrozumiałe i wymierne (na przykład „nie mniej niż dwa kilogramy” jest wymierne, zaś „fajny” jest mniej wymierne).
Jeśli wymagania zostają przyjęte przez zespół testowy – wówczas możliwe jest zbudowanie Tabeli Wymagań Testowych (zał. A do procedury).
4.2. Siatka ocen
4.2.1. Siatka binarna
Jest to ocena która odpowiada na pytanie „tak czy nie”. Tego rodzaju siatkę zakłada się do wymagań typu: „ma być podwieszka”, albo „musi mieć zaczep do…”, czy „ma być nie większy niż…”. Jest to ocena obiektywna.
4.2.2. Siatka stopniowa
Jest to ocena która w skali 1 do 5 określa jakąś cechę badanego sprzętu. Ocena 3 jest to ocena określająca, że badany produkt jest ‘poprawny’ w kontekście tej cechy. Ocena 5 oznacza, że produkt jest wybitnie dobry (dalece przekracza oczekiwania). Ocena 1 oznacza, że dana cecha jest całkowicie nieakceptowalna. Jest to ocena stosunkowo obiektywna.
4.2.3. Ocena statystyczna
Jest to ocena, będąca próbą obiektywizacji cech subiektywnych. Opisuje się nią cechy typu „ładny”, „estetyczny” etc. Ocenę przeprowadza się w taki sposób, że dany produkt (cechę produktu) prezentuje się grupie osób i zbiera ich oceny (pytanie np.: „czy kupiłbyś ten produkt – zdecydowanie tak, raczej tak, zdecydowanie nie , raczej nie”). Oceny dokonuje się na podstawie liczby za i przeciw, wg przyjętych kryteriów sukcesu.
4.2.4. Ocena opisowa
Jest to całkowicie subiektywna ocena, opisująca daną cechę.
4.3. Zaprojektowanie zestawu testów do każdego wymagania (test / ocena)
Gotowa Tabela Wymagań Testowych wraz z wpisanymi wymaganiami i siatką ocen jest podstawą do stworzenia zestawu testów.
Kształt każdego testu jest dostosowany do rodzaju wymagania i siatki ocen, jest projektowany tak, aby wykonanie czynności testowych dało jasną, mieszczącą się w siatce ocen odpowiedź na pytanie testowe.
4.4. Ustalenie kryteriów sukcesu testów
Aby świadomie przygotować rekomendację, należy zawczasu przygotować kryteria sukcesu testu: ustalić mianowicie na jakie niezgodności z wymaganiami możemy się zgodzić, a na jakie nie. Na przykład, jeśli oceniamy śpiwór, możemy się zgodzić na ocenę estetyki określoną na „50%” lub więcej (siatka statystyczna), ale oceny jego zdolności izolacyjnych i łatwości spakowania muszą być minimum 4.
Kryteria sukcesu pozostają tajne dla osób bezpośrednio przeprowadzających test i wypełniających siatkę ocen, aby uniknąć „naciągania” wyników.
4.5. Przeprowadzenie testów
Testy są przeprowadzane przez co najmniej dwie grupy testujące. Obie grupy otrzymują dokładnie ten sam zestaw produktów prototypowych (na przykład po dwa śpiwory) i identyczne Tabele Wymagań Testowych.
4.6. Ocena wyników testów
Testy są przeprowadzane całkowicie niezależnie – w czasie ich trwania zespoły nie komunikują się ze sobą. Dopiero po zakończeniu testów i przekazaniu wypełnionych Tabel Wymagań Testowych do kierownika testów, dokonywana jest ocena wg kryteriów sukcesu i produkt otrzymuje (lub nie) Certyfikat Jakości Orlich Piór.
4.7. Rekomendacja
Wynikiem testu jest zawsze rekomendacja, którą przygotowuje kierownik testów. Rekomendacja jest to dokument, który zostaje przekazany do dostawcy prototypu i zawiera listę odkrytych usterek i niezgodności z wymaganiami.
Każda niezgodność lub usterka może stanowić o konieczności dokonania ponownego testu sprawdzającego sposób wdrożenia rekomendowanych zmian przez dostawcę. Dotyczyć to powinno tylko dużych niezgodności, lub rekomendacji których wdrożenie może spowodować zaistnienie nowej niezgodności w innym obszarze (na przykład zmiana geometrii namiotu w celu podniesienia wysokości przedsionka, może spowodować spadek jego odporności na wiatr).
Rekomendacje dotyczące drobnych niezgodności nie są już ponownie testowane, ale podlegają jedynie prostej ocenie kierownika testów, który na podstawie oceny produktu po wdrożeniu zmian może wnioskować przyznanie Certyfikatu Jakości Orlich Piór.
5. Dokumentacja
Na tym etapie nie rozwoju programu nie definiujemy obowiązującego standardu dokumentacji, standard taki zostanie jednak wprowadzony w kolejnych wersjach procedury w miarę potrzeb.