Regresné testy pred vydaním
Automatické overenie kľúčových postupov pri každej zmene kódu.
TESTOVANIE · VÝVOJOVÉ TÍMY
Automatizované testy, ktoré tím skutočne používa a ktorým verí.
Vývojový tím vydáva často a ručné testovanie nestíha. Navrhujeme a stavíme automatizované testy podľa rizík, nie podľa počtu: najprv to, čo sa nikdy nesmie pokaziť. Testy zapojíme do priebežnej integrácie (CI), aby sa spúšťali pri každej zmene, a postaráme sa, aby boli stabilné a udržiavateľné, pretože nestabilné testy tím rýchlo prestane brať vážne.
Pre koho
Tímy s webovou alebo mobilnou aplikáciou či API, ktoré vydávajú pravidelne a chcú menej regresií.
Ako začať
Mapa rizík a výber niekoľkých kľúčových scenárov, ktoré sa automatizujú ako prvé.
Výstup
Spustené testy v CI, prehľad výsledkov a dokumentácia na údržbu.
SITUÁCIA
Kedy sa táto služba hodí
Automatizované testovanie sa oplatí tam, kde sa testy opakujú často a ich výsledok možno jednoznačne vyhodnotiť. Neoplatí sa automatizovať všetko. Testy, ktoré sa často menia alebo sa spúšťajú raz za čas, stoja viac na údržbe, než ušetria. Preto začíname otázkou, čo by pre vás znamenala chyba na danom mieste.
Druhým problémom býva stabilita. Test, ktorý občas náhodne zlyhá, učí tím výsledky prehliadať, a potom príde aj na skutočnú chybu. Dobre navrhnuté testy majú jasné dáta, predvídateľné prostredie a zrozumiteľnú správu o tom, čo zlyhalo a prečo.
Poznáte to podľa toho, že
- Pred každým vydaním sa dlho testuje ručne a rovnaké scenáre sa opakujú.
- Po vydaní sa objavujú chyby v miestach, ktoré predtým fungovali.
- Existujúce testy sú nestabilné a tím ich ignoruje.
- Nikto presne nevie, čo je a čo nie je pokryté testami.
PRÍSTUP
Ako postupujeme
Spoločne s vami zostavíme mapu rizík: ktoré funkcie sú pre biznis kľúčové, kde sa chyby objavovali v minulosti a čo sa najčastejšie mení. Z toho vyberieme malú sadu scenárov, ktoré sa automatizujú ako prvé, a určíme úroveň testu (jednotkový, integračný, rozhranie alebo koncový scenár), ktorá dáva najlepší pomer prínosu a údržby.
Testy zapojíme do CI tak, aby sa spúšťali pri zmenách a výsledok bol vidieť v nástrojoch, ktoré tím už používa. Riešime testovacie dáta, prostredia a stabilitu a dokumentujeme, ako testy rozširovať. Ak testy už existujú, najprv ich zhodnotíme a opravíme to, čo bráni ich využitiu.
ILUSTRATÍVNY PRÍKLAD
Tím vydáva aplikáciu raz týždenne a pred vydaním ručne prechádza niekoľko hlavných postupov. Kľúčové scenáre, napríklad prihlásenie a vytvorenie objednávky, sa automatizujú a spúšťajú pri každej zmene. Chyba sa objaví v priebehu minút po zmene, nie pri ručnom testovaní tesne pred vydaním.
VÝSTUPY A VHODNOSŤ
Čo dostanete
- Mapa rizík a plán testovaniaČo sa testuje, na akej úrovni a v akom poradí.
- Automatizované testyStabilné testy kľúčových scenárov vo zvolenom nástroji.
- Zapojenie do CISpúšťanie testov pri zmenách a prehľadné zobrazenie výsledkov.
- Testovacie dáta a prostrediePredvídateľné podmienky, aby boli výsledky opakovateľné.
- Dokumentácia a odovzdanieAko testy spúšťať, rozširovať a udržiavať.
Kedy to dáva zmysel
- Vydávate opakovane a regresie vás stoja čas alebo dôveru používateľov.
- Aplikácia má stabilné kľúčové postupy, ktoré sa dajú opísať.
- Tím je ochotný testy ďalej udržiavať, alebo ho k tomu vedieme.
- Existujúce testy sú nestabilné alebo nedostatočné.
POSTUP
Od zadania k odovzdaniu
- 01
Mapa rizík
Určíme, čo sa nikdy nesmie pokaziť, a vyberieme prvé scenáre.
- 02
Tvorba a stabilizácia
Postavíme testy, zapojíme ich do CI a overíme ich stabilitu.
- 03
Odovzdanie tímu
Zdokumentujeme postup údržby a odovzdáme znalosti tímu.
TYPICKÉ ZADANIA
S čím sa na nás firmy obracajú
Popisy nižšie sú typy zadaní, nie referencie konkrétnych klientov.
Testy API a integrácií
Kontrola, že rozhrania a napojenia na iné systémy fungujú podľa dohody.
Revízia existujúcich testov
Zhodnotenie, oprava alebo vyradenie nestabilných a zbytočných testov.
Testovanie AI funkcií
Skúšobné sady a kritériá na kontrolu kvality odpovedí AI v aplikácii.
HRANICE A ROZHODNUTIA
Úprimné limity
Automatizácia testov nenahrádza celé testovanie: prieskumné testovanie, použiteľnosť a nové funkcie potrebujú človeka. Hodnota rastie s tým, ako často sa testy spúšťajú a ako sú stabilné. Ak je aplikácia silne nestabilná alebo sa zásadne mení, odporučíme začať menšou sadou alebo najprv stabilizovať základy.
ČASTO KLADENÉ OTÁZKY
Časté otázky: Automatizované testovanie pre vývojové tímy
Čo automatizovať ako prvé?
Scenáre, ktorých chyba by mala najväčší dopad a ktoré sa často opakujú: prihlásenie, objednávka, platba alebo iné kľúčové postupy. Konkrétne poradie určíme podľa rizík vášho produktu.
Aký nástroj použijete?
Volíme podľa technológie vašej aplikácie a schopností tímu. Uprednostňujeme nástroje, ktoré tím dokáže ďalej udržiavať, pred tými, ktoré sú práve módne.
Čo s nestabilnými testami, ktoré už máme?
Najprv ich zhodnotíme: ktoré opraviť, ktoré prepísať a ktoré vyradiť. Nestabilný test, ktorému nikto neverí, je horší než žiadny.
Zapojíte testy do nášho CI?
Áno, testy navrhujeme tak, aby bežali pri zmenách a výsledky boli vidieť tam, kde tím pracuje. Konkrétny nástroj, napríklad GitHub Actions alebo GitLab CI, overíme pri úvodnej analýze.
Dá sa otestovať aj funkcia postavená na AI?
Áno, ale inak. Odpovede jazykového modelu nie sú vždy rovnaké, takže namiesto presnej zhody používame skúšobné sady a kritériá kvality. Postup prispôsobíme vášmu prípadu.
Koľko testov je dosť?
Počet nie je merítkom. Dôležité je, aby kľúčové riziká boli pokryté stabilnými testami, ktoré tím udržuje. Rozsah odporučíme po analýze rizík.
ĎALŠÍ KROK
Poďme prebrať vaše zadanie.
Opíšte situáciu, ktorú riešite. Spoločne určíme vhodný rozsah a ďalší krok.