Canary testing is een vorm van software testen waarbij nieuwe functies of versies van softwaresystemen worden getest door ze aan echte gebruikers aan te bieden.
Een kleine groep gebruikers van de software krijgt de nieuwe versie aangeboden, vaak zonder dat dit zelf door te hebben.
Doordat de nieuwe code slechts aan een kleine groep gebruikers wordt aangeboden, blijft de impact van eventuele bugs en problemen in de code klein. Bovendien kunnen veranderingen in de code snel teruggedraaid worden indien deze problemen opleveren.
Waar komt de naam Canary Testing eigenlijk vandaan?
Vroeger liepen mijnwerkers grote risico’s door onzichtbare giftige gassen in de mijn. De oplossing die zij hiervoor bedachten was om een kanarie in een kooitje mee de mijn in te nemen.
Kanaries zijn gevoeliger voor giftige gassen dan mensen. Als de mijnwerkers zagen dat de kanarie van zijn stokje ging, dan wisten ze dat ze snel moesten maken dat ze wegkomen.
Bij canary testing wordt een kleine groep gebruikers van de software “gebruikt” om te kijken of nieuwe veranderingen en toevoegingen aan de code problemen opleveren. Deze gebruikers weten zelf vaak niet dat ze gebruikt worden voor software testing, net als de kanaries vroeger in de mijn dat niet wisten.
Canary testen uitvoeren
Net zoals andere manieren van software testing, kent het uitvoeren van een canary test een systematische aanpak:
- De developers bepalen een subgroep van de alle gebruikers welke de nieuwe code aangeboden zal krijgen. Deze groep moet klein zijn om te voorkomen dat bugs tot grote problemen kunnen leiden. Tegelijkertijd moet de groep groot genoeg zijn om zinvolle bevindingen te kunnen opleveren.
- Een testomgeving wordt opgezet voor de nieuwe code. De load balancer van het systeem wordt ingesteld om de verzoeken van de testgroep door te verwijzen naar deze testomgeving.
- De canary test begint en de verzoeken van de testgroep worden doorverwezen naar de testomgeving. Dit wordt nauwlettend in de gaten gehouden om te controleren of de nieuwe code werkt naar behoren.
- Als de nieuwe code voldoet aan de vereiste criteria, dan kan deze uitgerold worden naar alle gebruikers. Als er veel bugs blijken te zitten in de nieuwe code, dan worden de gebruikers in de testgroep weer doorverwezen naar de oude versie van de software
- De developers verhelpen de gevonden bugs en de nieuwe software wordt uitgerod naar alle gebruikers.
Voordelen van Canary testen
Omdat bij canary testing slechts een kleine groep gebruikers de nieuwe code uitprobeert, kunnen eventuele bugs slechts voor beperkte problemen zorgen. Als daarentegen alle gebruikers de nieuwe code aangeboden krijgen waarin een grote bug blijkt te zitten, dan kan deze bug een enorme impact hebben.
Nog een voordeel van canary testen is dat de nieuwe code in een live-omgeving wordt getest door echte gebruikers. Echte gebruikers verschillen soms van developers of testers in de manier waarop ze software gebruiken.
Door de nieuwe code uit te rollen naar een select groepje echte gebruikers en de prestaties van de code nauwlettend in de gaten te houden, kunnen belangrijke en relevante bugs snel gespot worden.
De uitdagingen
Naast de voordelen kent canary testen ook een aantal uitdagingen. Zo is het lastig om deze manier van software testen toe te passen voor mobiele applicaties.
Daarnaast kan het ingewikkeld zijn om canary testen te gebruiken wanneer er meerdere verschillende versies en functionaliteiten worden uitgerold.
Er moeten dan meerdere testomgevingen tegelijkertijd opgezet en gemonitord worden, wat een complexe situatie kan opleveren.
