Weryfikacja a walidacja w sprzęcie: jaka jest różnica?

Czasami projekt sprzętowy może wyglądać na stanowisku testowym całkowicie poprawnie: MCU pracuje stabilnie z częstotliwością 160 MHz, czujniki komunikują się przez I²C, a zasilanie utrzymuje 12 V przy pełnym obciążeniu. Ale produkt, który spełnia wszystkie wymagania, nadal może okazać się niewystarczający, gdy trafi do użytkownika.

Weryfikacja i walidacja (V&V) pomagają wypełnić lukę między spełnieniem wymagań a zaspokojeniem rzeczywistych potrzeb. Niektóre zespoły sprzętowe mylą te dwa pojęcia. Zespoły, które traktują V&V jako jeden etap albo pomijają jeden z nich, bo prototyp wydaje się działać, mogą wykryć problemy zbyt późno: podczas audytu albo dopiero wtedy, gdy produkt znajdzie się w użyciu.

W tym artykule wyjaśniamy, czym są weryfikacja i walidacja w rozwoju sprzętu oraz czym się różnią. Omawiamy także, jak V&V łączą się z wymaganiami poprzez model V, jak stworzyć plan V&V i jak unikać typowych błędów.

Najważniejsze wnioski

• Weryfikacja sprawdza, czy sprzęt spełnia zdefiniowane wymagania techniczne. 
• Walidacja sprawdza, czy kompletny produkt spełnia potrzeby, do których został zaprojektowany.
• V&V należy rozpocząć wcześnie i powiązać wymagania z planowanymi działaniami, kryteriami akceptacji, wynikami oraz dokumentacją potwierdzającą na każdym etapie rozwoju sprzętu.

Czym jest weryfikacja?

Weryfikacja to proces sprawdzania, czy sprzęt odpowiada zdefiniowanym wymaganiom i specyfikacjom inżynierskim. Odpowiada na pytanie: czy budujemy produkt poprawnie?

Celem weryfikacji jest zastąpienie założeń dowodami. Zamiast zakładać, że układ działa, zespół porównuje projekt lub fizyczny prototyp z określonymi wymaganiami i gromadzi dowody pokazujące, czy są one spełnione.

Weryfikacja może obejmować działania takie jak:

• Przegląd wymagań: Sprawdzenie, czy wymagania są jasne, spójne, osiągalne, identyfikowalne i weryfikowalne.
• Przegląd projektu: Porównanie schematów, projektów PCB, rysunków mechanicznych i interfejsów z określonymi wymaganiami oraz regułami projektowymi.
• Analiza i symulacja: Wykorzystanie obliczeń lub modeli do sprawdzenia parametrów takich jak margines termiczny, integralność sygnału, czasy, czy pobór mocy.
• Inspekcja: Sprawdzenie fizycznego sprzętu, wymiarów, montażu, komponentów lub połączeń względem dokumentacji projektowej.
• Testy i pomiary: Pomiar parametrów sprzętu i porównanie wyników z wymaganymi limitami lub oczekiwanym zachowaniem projektu.

Czym jest walidacja?

Walidacja to proces sprawdzania, czy sprzęt rzeczywiście działa zgodnie z zamierzonym zastosowaniem, dla przewidzianych użytkowników i w docelowym środowisku pracy. Odpowiada na pytanie: czy budujemy właściwy produkt?

Głównym celem walidacji jest dostarczenie dowodów, że produkt rzeczywiście rozwiązuje problem, do którego został zaprojektowany. Projekt może spełniać każde wymaganie techniczne, a mimo to nie spełnić oczekiwań, jeśli nie działa zgodnie z założeniami w rzeczywistych warunkach pracy. Walidacja daje pewność, że kompletny system nadaje się do zadania, które interesariusze faktycznie potrzebują zrealizować.

Walidacja może obejmować działania takie jak:

• Walidacja wymagań: Sprawdzenie, czy wymagania odzwierciedlają potrzeby interesariuszy oraz warunki, z jakimi produkt zetknie się podczas użytkowania.
• Testy na poziomie systemu: Ocena kompletnego produktu w celu potwierdzenia, że wszystkie elementy współdziałają zgodnie z założeniami.
• Testy przypadków użycia: Sprawdzenie, czy produkt potrafi realizować zadania i scenariusze, do których został zaprojektowany.
• Testy środowiskowe: Ocena produktu w realistycznych warunkach temperatury, wilgotności, drgań, obciążenia lub innych warunków pracy.
• Testy terenowe: Eksploatacja sprzętu w docelowym środowisku w celu wykrycia problemów, które mogą nie ujawnić się w laboratorium.
• Ocena użytkowników: Umożliwienie reprezentatywnym użytkownikom pracy z produktem i sprawdzenie, czy wspiera on ich rzeczywisty sposób pracy oraz potrzeby.

Weryfikacja i walidacja w procesie rozwoju sprzętu.

Różnica między weryfikacją a walidacją

V&V często wykorzystują te same narzędzia inżynierskie, takie jak testy, pomiary, inspekcje i analizy. Różnica polega na tym, co próbujesz udowodnić wynikiem.

Na przykład test w komorze termicznej może zweryfikować, że produkt działa w określonym zakresie od −20 °C do 60 °C. Walidacja pyta, czy ten zakres odpowiada rzeczywistej potrzebie. Jeśli produkt jest instalowany w obudowie wystawionej na słońce, która osiąga 75 °C, może przejść weryfikację, a mimo to zawieść w użyciu. Ta sama komora może wspierać walidację, gdy test jest prowadzony z profilem temperatury, z jakim kompletny produkt ma się spotkać w rzeczywistych warunkach pracy.

Weryfikacja zwykle daje bardziej bezpośredni wynik zaliczenia lub niezaliczenia względem określonego wymagania i może być stosowana do pojedynczych wymagań, projektów lub elementów sprzętowych. Walidacja patrzy szerzej na zintegrowany system i na to, czy jego ogólne zachowanie jest akceptowalne dla zamierzonego zastosowania.

W procesie opartym na wymaganiach weryfikacja buduje zbiór dowodów potwierdzających, że poszczególne wymagania techniczne zostały spełnione. Walidacja następnie sprawdza, czy kompletny produkt spełnia potrzeby interesariuszy w rzeczywistych warunkach pracy, i może wykazać, że dane wymaganie było niekompletne albo błędne.

Jak V&V wpisują się w model V

Model V pokazuje, jak organizować V&V w projekcie rozwoju sprzętu.

Model V przedstawia cykl życia systemu w kształcie litery V. Lewa strona zaczyna się od potrzeb i oczekiwań interesariuszy, przekształca je w wymagania systemowe i podsystemowe, a następnie doprecyzowuje je do architektury i szczegółowego projektu. Dół litery V to implementacja. Prawa strona prowadzi z powrotem w górę przez integrację, z testami na poziomie komponentu, podsystemu i kompletnego produktu.

Model V procesu inżynierii systemów.

Każdy poziom po lewej stronie jest powiązany z poziomem testów po prawej stronie, a te powiązania tworzą identyfikowalność. Każde wymaganie łączy się z działaniem V&V i dowodami, które je sprawdzają, a zespoły planują to działanie jeszcze wtedy, gdy projekt jest wciąż opracowywany. 

Na przykład wymaganie, że napięcie wejściowe 12 V musi pozostawać w granicach ±5% przy pełnym obciążeniu, można sprawdzić na kilku poziomach: przez ocenę parametrów komponentów względem schematu, symulację zasilania płytki oraz pomiar gotowego zmontowanego produktu.

W tej strukturze V&V pełnią różne role:

• Weryfikacja potwierdza na każdym poziomie, że to, co zbudowano, odpowiada odpowiednim wymaganiom i projektowi z lewej strony. Przeglądy, analizy i symulacje zaczynają się po lewej stronie, a testy i pomiary prowadzone są po prawej.
• Walidacja sprawdza zgodność z potrzebami interesariuszy z górnej lewej części modelu. Zaczyna się od walidacji wymagań względem tych potrzeb i wraca w górnej prawej części jako kontrola na poziomie systemu: czy kompletny produkt spełnia potrzeby interesariuszy i zamierzone zastosowanie?

Jak stworzyć plan V&V

Zanim sprzęt osiągnie fazę testów, zespół powinien już wiedzieć, co należy sprawdzić, z którymi wymaganiami jest to powiązane, jak będzie oceniany wynik oraz jakie dowody trzeba zgromadzić. Plan V&V zbiera te decyzje w jednym dokumencie.

Plan V&V zwykle obejmuje sześć decyzji:

• Określenie zakresu: Ustalenie, którego produktu, podsystemów lub funkcji sprzętowych dotyczy plan, co pozostaje poza jego zakresem oraz gdzie w pierwszej kolejności skierować wysiłek V&V w oparciu o ryzyko.
• Powiązanie działań V&V z wymaganiami: Połączenie wymagań technicznych z działaniami weryfikacyjnymi, a potrzeb interesariuszy z działaniami walidacyjnymi. Dzięki temu każde z nich ma jasną ścieżkę do dowodów.
• Wybór metod: Ustalenie, jak każde wymaganie będzie weryfikowane — przez inspekcję, analizę, demonstrację, testy lub inną odpowiednią metodę — oraz jak każda potrzeba interesariuszy będzie walidowana — przez testy przypadków użycia, testy środowiskowe, ocenę użytkowników lub testy terenowe.
• Określenie warunków i kryteriów akceptacji: Wskazanie konfiguracji sprzętu, warunków pracy, wyposażenia oraz mierzalnego wyniku, który decyduje o zaliczeniu lub niezaliczeniu danego działania.
• Zaplanowanie, kto co robi i kiedy: Przypisanie odpowiedzialności, wymaganych zasobów i terminów oraz dopasowanie każdego działania do odpowiedniego etapu rozwoju sprzętu, takiego jak budowy prototypowe, EVT, DVT lub PVT.
• Ustalenie sposobu rejestrowania wyników i dowodów: Zdefiniowanie, jak każdy wynik jest zapisywany i łączony z dokumentacją potwierdzającą, oraz które działania trzeba powtórzyć po zmianach w projekcie.

Typowe błędy i jak ich unikać

Podczas gdy błąd oprogramowania często można naprawić aktualizacją, problem w projekcie sprzętu najłatwiej usunąć, zanim płytki zostaną wyprodukowane. Wiele z tych problemów ma początek w sposobie formułowania wymagań oraz planowania V&V.

Poniższa tabela przedstawia typowe pułapki związane z V&V oraz dobre praktyki, które pomagają ich uniknąć.

Korzyści z V&V

Zmiany sprzętowe wprowadzane na późnym etapie rozwoju zwykle kosztują więcej niż zmiany w oprogramowaniu. Ponowne wykonanie płytki, zmiana oprzyrządowania lub nieudana seria certyfikacyjna pochłaniają realny czas i budżet, a sprzęt w już dostarczonym urządzeniu trudno poprawić. Dlatego właśnie weryfikacja i walidacja mają szczególne znaczenie w rozwoju sprzętu. Stosowane łącznie dają zespołom cztery główne korzyści:

• Wcześniejsze wykrywanie problemów: Przeglądy, symulacje i wczesne prototypy ujawniają luki w wymaganiach, błędy projektowe i przeoczenia. Na tym etapie poprawka zwykle sprowadza się do zmiany specyfikacji lub schematu.
• Dowody dla każdego wymagania: Weryfikacja łączy każde wymaganie z wynikiem, dzięki czemu zespół może wykazać, co zostało sprawdzone, w jaki sposób i z jakim rezultatem. Taka dokumentacja wspiera również zgodność, a w przypadku sprzętu regulowanego, takiego jak urządzenia medyczne, jest zwykle wymagana jako część nadzoru projektowego.
• Dopasowanie do rzeczywistego użytkowania: Walidacja sprawdza kompletny produkt w odniesieniu do jego środowiska pracy, użytkowników i wykonywanych zadań. Obejmuje to problemy, które kontrola wymaganie po wymaganiu może przeoczyć, takie jak dryft czujnika lub odblaski na wyświetlaczu w świetle słonecznym.
• Dane wejściowe do kolejnego cyklu: Zmierzony margines i ustalenia dotyczące awarii stanowią podstawę do zmian projektowych, przyszłych rewizji i kolejnych generacji produktu. Pokazują także, które wymagania należy zaostrzyć lub złagodzić.

Narzędzia programowe do zarządzania weryfikacją i walidacją

Rozwój sprzętu obejmuje wiele wymagań i wyników testów, a ich ręczne śledzenie w całym projekcie może być trudne. Zespoły często kończą z mieszanką rozproszonych plików i niepołączonych narzędzi, takich jak:

• Arkusze kalkulacyjne i dokumenty: Praktyczne w małych projektach z ograniczoną liczbą wymagań i przypadków testowych. Gdy zakres V&V się rozszerza, utrzymanie identyfikowalności i gotowości do audytu może wymagać ręcznej pracy, a zapisy mogą przestać być ze sobą spójne.
• Systemy śledzenia zgłoszeń (np. Jira, GitHub): Narzędzia te można dostosować do organizowania prac V&V i łączenia powiązanych elementów za pomocą linków, pól lub tagów. Jednak utrzymanie identyfikowalności wymagań i pełnego pokrycia V&V zwykle wymaga dodatkowej konfiguracji i niestandardowych wtyczek.
• Dedykowane narzędzia do zarządzania wymaganiami: Zostały stworzone do strukturyzowania wymagań i zapewniania identyfikowalności. Jednak w zależności od narzędzia planowanie testów i gromadzenie dowodów mogą wymagać oddzielnych modułów lub integracji z zewnętrznymi narzędziami testowymi. 

Dla zespołów, które chcą planować i śledzić działania V&V wraz z wymaganiami we wspólnej przestrzeni roboczej, Requirements Portal łączy wymagania z planami weryfikacji, przebiegami testów, materiałem dowodowym i historią zmian. Dzięki temu zespoły mogą zobaczyć, co zostało już zweryfikowane, a co nadal wymaga uwagi.

Podsumowanie i kolejne kroki

Krótko mówiąc, weryfikacja potwierdza, że sprzęt spełnia specyfikację, a walidacja dowodzi, że rzeczywiście działa dla użytkownika. Aby to było skuteczne, V&V nie może być końcową listą kontrolną. Musi być wbudowane w proces rozwoju produktu od pierwszego dnia.

Jeśli chcesz lepiej zrozumieć ramy V&V, warto sięgnąć po następujące materiały:

• NASA Systems Engineering Handbook zawiera praktyczne wskazówki dotyczące planowania i realizacji V&V dla sprzętu klasy kosmicznej.
• Guide to the Systems Engineering Body of Knowledge (SEBoK) przedstawia szersze, systemowe spojrzenie na V&V.
• INCOSE V&V Across Product Lifecycle omawia V&V na różnych etapach cyklu życia produktu, model V, metody V&V, przypadki testowe oraz kryteria powodzenia.

Jeśli chcesz przejść od teorii do praktyki, wypróbuj Requirements Portal, aby powiązać przypadki testowe z wymaganiami i projektami elektronicznymi, śledzić pokrycie oraz gromadzić materiał dowodowy prac inżynierskich.

Często zadawane pytania

Czy weryfikacja to to samo co walidacja?

Nie. Weryfikacja sprawdza sprzęt względem zdefiniowanych wymagań. Walidacja sprawdza, czy wymagania i produkt odpowiadają potrzebom interesariuszy w rzeczywistym użytkowaniu.

Co jest pierwsze: weryfikacja czy walidacja?

Obie należy zaplanować wcześnie i żadna z nich nie jest pojedynczym etapem. Weryfikacja zaczyna się od przeglądów, analiz i symulacji w miarę rozwoju projektu. Walidacja zaczyna się od sprawdzenia wymagań względem potrzeb interesariuszy i zyskuje na znaczeniu, gdy zintegrowany produkt nabiera ostatecznego kształtu.

Jakie są typowe metody V&V?

Typowe metody V&V obejmują przeglądy, inspekcje, analizy, symulacje, demonstracje i testy. Ta sama metoda może wspierać zarówno weryfikację, jak i walidację, w zależności od tego, czy sprawdza zdefiniowane wymaganie, czy ocenia produkt w kontekście jego zamierzonego zastosowania.