Testautomatisering og kontinuerlig deploy - del 2/3 med Kent Tøllefsen

I dagens episode fortsetter vi praten med Kent Erik Tøllefsen som har jobbet 11 år + med testautomatisering og hvordan dette kan - MÅ - samspille med kontinuerlig testing og deploy - og hvilke gevinster dette kan ha på flere ting: kvalitet på løsningene, motivasjon, behov for full støtte fra organisasjonen rundt seg, m.m.

send oss en melding til testpodden@webstep.no med navn, kontaktinfo og hvilken episode du hørte på sist , så er du med i trekningen av dagens episodepremie :-)

Transcript

Utskrift 

00:00:00 Vert: Torbjørn Laukvik 

Da er vi tilbake igjen til en full episode. Det episoden 2 i vår føljetong med Kent Tøllefsen, Det var deploy når man vil. Det er da vår gjest fra websteps som er  

Kent  

Kent ja.  

Vi har 

 
Jan Mjelde   

og Torbjørn Laukvik her, og vi er test podden. 

00:00:23 Vert: Torbjørn Laukvik 

Og vi snakker om test, og nå snakker vi litt om. 

00:00:26 Vert: Torbjørn Laukvik 

Hva er de praktiske, eller hva er det som - ikke praktisk, eller hva er problemene med å få til og deploy når man vil gitt at man har fått hele virksomheten hele forretningen med på at vi skal kunne gjøre det her teste alle med på en endring vi har kommet til at. 

00:00:48 Vert: Torbjørn Laukvik 

Du sitter i Suppa og gjør dette. Hva er det et typisk problem man har – utfordring man har rundt dette Kent? 

00:00:54 Vert: Jan Mjelde 

Utfordring mener. 

00:00:56 Vert: Jan Mjelde 

Ja. 

00:01:00 Gjest: Kent Tøllefsen 

Ja det er jo. Man kan jo gjerne bestemme seg for at man ønsker å gjøre dette her da ja, men ja. Det store spørsmålet er jo gjerne hvordan man gjør det. Hvordan starter man? 

00:01:13 Vert: Jan Mjelde 

For det er mange som har bestemt seg. 

00:01:14 Vert: Jan Mjelde 

For å gjøre. 

00:01:14 Gjest: Kent Tøllefsen 

Dette her ja, og da ofte så skjer det kanskje ikke så veldig mye. 

00:01:19 Gjest: Kent Tøllefsen 

Så. 

00:01:21 Gjest: Kent Tøllefsen 

Det som jeg opplever som? 

00:01:24 Gjest: Kent Tøllefsen 

Erfaringsmessig har fungert veldig bra da det er at man gjerne oppretter et testsenter, for eksempel som da. 

00:01:32 Gjest: Kent Tøllefsen 

Har en teststrategi som man ønsker å følge. 

00:01:36 Vert: Torbjørn Laukvik 

Ikke så alle. 

00:01:36 Vert: Jan Mjelde 

Men det er mange som har et testsenter. 

00:01:38 Vert: Jan Mjelde 

Men men hva? 

00:01:38 Vert: Jan Mjelde 

Hva legger du gjorde testsenter? Ja, for det er litt viktig. 

00:01:42 Gjest: Kent Tøllefsen 

Ja altså. 

00:01:42 Vert: Jan Mjelde 

Hva drev testsenteret da du snakker om? 

00:01:45 Gjest: Kent Tøllefsen 

Med testsenteret der de utarb. 

00:01:48 Gjest: Kent Tøllefsen 

Da tester strategi som. 

00:01:52 Gjest: Kent Tøllefsen 

Alle skulle følge. 

00:01:54 Vert: Torbjørn Laukvik 

Var stor den da. Hva var? Hva var poenget med den det var. 

00:01:57 Gjest: Kent Tøllefsen 

Strategien, ja det var jo det, at man skulle få til denne automatiseringen da ja og god testdekning på på alle nivåer i denne testpyramiden. 

00:02:07 Vert: Jan Mjelde 

Det var hovedinnholdet. Var det et sånn bare sånn nysgjerrige? 

00:02:08 Gjest: Kent Tøllefsen 

Det er. 

00:02:09 

Og og må. 

00:02:09 Gjest: Kent Tøllefsen 

Var det sånn ale? Der er jo da å liksom måtte avvikle denne manuelle teste perioden og få til hyppige releaser og deployer når de. 

00:02:19 Vert: Jan Mjelde 

Ønsket da er litt nysgjerrig, er det et kjempelangt. 

00:02:23 Vert: Jan Mjelde 

Test strategidokument på liksom en av 40 sider eller var det et sånt kort konsist? Operasjonelle prosent? 

00:02:27 Gjest: Kent Tøllefsen 

Det var et relativt konsist og dokument. Ja. 

00:02:32 Vert: Torbjørn Laukvik 

Viktig tror ikke sant? Det å sette mange ganger skriver man 40 sider, så leser man halv side som har noe å si resten. 

00:02:38 Vert: Torbjørn Laukvik 

Er bare svar da. 

00:02:38 Vert: Jan Mjelde 

Havner det i skuffet. 

00:02:39 Gjest: Kent Tøllefsen 

Det var veldig lett for alle å forholde seg til, så det er jo hvert fall ikke noe som sto i veien for at man skulle kunne sette i gang med dette her. 

00:02:49 Vert: Jan Mjelde 

Kanskje det var også et suksesskriterie at den var korte og kan si så forståelig for de fleste. 

00:02:52 Gjest: Kent Tøllefsen 

Det vil jeg tro for hvis du får en blokk på 40 50 sider så. 

00:02:57 Gjest: Kent Tøllefsen 

Ja, hva vet du? Hva som skjer skjer. 

00:03:00 Gjest: Kent Tøllefsen 

Med det ja. 

00:03:02 Gjest: Kent Tøllefsen 

Nei nei da så så ja, d testsenter og og gjerne også ha fokus på at man har. 

00:03:05 Vert: Jan Mjelde 

Center ja. 

00:03:11 

Et et. 

00:03:12 Gjest: Kent Tøllefsen 

Team da OK eller flere i dette testsenteret, som faktisk består av utviklet testutvikler som kan satte av utviklerressurser rett og slett. 

00:03:23 Gjest: Kent Tøllefsen 

Som er jo teste utviklere i. 

00:03:25 Gjest: Kent Tøllefsen 

Praksis så er det. 

00:03:26 Gjest: Kent Tøllefsen 

Vanlige java backen frontendutvikler rett og slett. 

00:03:29 Vert: Torbjørn Laukvik 

Det er ikke vår java selvfølgelig. Du snakker om generelt sett utvikler som kan. 

00:03:33 Gjest: Kent Tøllefsen 

Det kan være andre språk, og selvfølgelig nå bruker de også kotlin blant annet da, og det kan være hva som helst egentlig. 

00:03:42 Gjest: Kent Tøllefsen 

Men man må ha man må ha noen som på en måte backer dette her da ja, man må investere i det. 

00:03:49 Vert: Jan Mjelde 

Og det er vel kanskje viktig, for jeg har også vært litt borte i sånn tilsvarende. 

00:03:53 Vert: Jan Mjelde 

Utvikle testutvikler, ikke sant? Og det er hvert fall min erfaring at det er jo det er jo forskjell på de. Det er jo noen som som bare er så som jobb og litt sånn som når du først kommer inn som en testutvikler er dette var dritkjedelig, og dette gidder jeg ikke drive med, og så er det de som faktisk ser hvor spennende og interessant det er, ikke sant? Det er jo kanskje viktigere å få den siste kategorien når man ja altså med ressurser. 

00:04:14 

For. 

00:04:15 Gjest: Kent Tøllefsen 

Du trenger ikke å ha nødvendigvis veldig mye test erfaring når du kommer. 

00:04:20 Gjest: Kent Tøllefsen 

Inn i den rollen? Nei, men. 

00:04:21 Gjest: Kent Tøllefsen 

Noen synes det er gøy, men når du jobber litt med det, så vil du mest sannsynligvis synes det er gøy. Noen passer kanskje ikke, for de vil bare jobbe veldig isolert med andre. Synes det er veldig spennende, og du setter da inn i mer. 

00:04:36 Gjest: Kent Tøllefsen 

I andre test begreper og se litt bredere enn du du vanligvis gjør da hvis et som en utvikler, ikke sant? En typisk testutvikler vil gjerne ha ha forgreininger inn i hele prosjektet, så du vet hva som skjer, og da er det ganske mye morsommere å utvikle og få. 

00:04:41 Vert: Jan Mjelde 

Sammen utvikler. 

00:04:43 Vert: Jan Mjelde 

Ja. 

00:04:52 Vert: Jan Mjelde 

Det overblikket da kan du se hva mer av forretningsforståelse og egentlig overblikk over hele organisasjonen, ikke bare den lille snutten du sitter og jobber med. 

00:05:00 Gjest: Kent Tøllefsen 

Ja ikke nødvendigvis hele organisasjonen, men i. 

00:05:02 Gjest: Kent Tøllefsen 

Hvert fall. 

00:05:02 Gjest: Kent Tøllefsen 

Mer eller eller kortere 2 3 team som. 

00:05:05 Gjest: Kent Tøllefsen 

Du samarbeider med altså. 

00:05:08 Vert: Torbjørn Laukvik 

Stille og du nevnte også at det var i forrige episode så nevnte litt om. 

00:05:14 Vert: Torbjørn Laukvik 

Kunne bygge miljøet som jeg ville, og de gjør det man trenger å ondemand nesten for å kunne kjøre og teste i er det typisk, men den oppgave som det her testutvikler sette opp da er. 

00:05:29 Gjest: Kent Tøllefsen 

Det kan være, men ikke nødvendigvis man har. 

00:05:33 Gjest: Kent Tøllefsen 

For eksempel egne ressurser for det i testsenteret, eller så samarbeider man veldig tett. 

00:05:37 Gjest: Kent Tøllefsen 

Med et med med. 

00:05:37 Vert: Jan Mjelde 

All. 

00:05:39 Gjest: Kent Tøllefsen 

Miljøteam da som er knyttet til organisasjonen som også er med. 

00:05:43 Vert: Jan Mjelde 

På det man har, sier du, men det du egentlig sier er at man er egentlig litt avhengig av. 

00:05:47 Vert: Jan Mjelde 

At man har. 

00:05:48 Vert: Jan Mjelde 

Supportapparat rundt seg i organisasjonen som faktisk kan hjelpe. 

00:05:52 Vert: Jan Mjelde 

Det å fullbyrde og ha miljøer opp og alt mulig sånn at for en ting er automatisk tester. Men hvis de blir røde fordi at miljøet er nede, så hjelper ikke det nå. 

00:06:01 Gjest: Kent Tøllefsen 

Ikke sant? I miljø og infrastruktur er veldig viktig her, og man bør ha hvert fall et. 

00:06:08 Gjest: Kent Tøllefsen 

2 3 miljøer som jeg kan kjøre disse testene i, ikke bare ett. 

00:06:13 Vert: Jan Mjelde 

For jeg ønsker jo å avhenge av størrelse på organisasjon, selvfølgelig, men. 

00:06:15 Gjest: Kent Tøllefsen 

Selvfølge. 

00:06:16 Vert: Jan Mjelde 

Ja. 

00:06:17 Gjest: Kent Tøllefsen 

Jeg har en tendens til å snakke om litt større organisasjoner, men ja, du ønsker jo å fange feilen din som tid som mulig. Hvis du kan kjøre en regresjonstest smitte som dekker alt veldig tidlig, så vil det jo ta feilene dine før du hele tatt nesten committer ikke. 

00:06:25 Vert: Torbjørn Laukvik 

Ja for det virkelig? 

00:06:36 Vert: Jan Mjelde 

Sant. 

00:06:36 Vert: Jan Mjelde 

Og poenget er selvfølgelig at et fullverdig med miljø, som mange kanskje har i forbinder med dansemiljø. Man trenger ikke det for å kjøre disse lavnivå. De som er lavest i testpyramiden, ikke sant? Da trenger man kanskje bare et et lavverdig utviklingsmiljø for å kjøre de testene, og jo flere sånne miljøer har jo me. 

00:06:53 Vert: Jan Mjelde 

Mer fullverdig og komplett pestsmitte kan man ha oppover i testbinding satt og derfor behovet for den miljøet ikke. 

00:07:00 Gjest: Kent Tøllefsen 

Sant ja altså det er bare å se på laveste nivået i testpyramiden. Du trenger jo ikke miljøet neste datavasking før du bare kjører det på jenkins er bambu eller hvilken bygge bygge server du måtte ha ja der har du jo. 

00:07:05 Vert: Jan Mjelde 

Er ikke den gang så. 

00:07:14 Gjest: Kent Tøllefsen 

Første første dekningen din og da da da går det bare på kvaliteten på testene din der. 

00:07:20 Gjest: Kent Tøllefsen 

Rett og slett. 

00:07:20 

Ikke sant? 

00:07:22 Vert: Torbjørn Laukvik 

Hvorvidt det er hva som er at når du sier du nevner team hele tiden, men det kan være en person noe som har ansvaret for byggepress noen ansvaret for det ene. Det må ikke være kjempestore team der det er bare ansvarliggjøre en rolle som hjelper deg eller du selv med dette, ikke sant? 

00:07:40 Vert: Jan Mjelde 

Identifisere de behovene som som er der da og. 

00:07:42 Vert: Jan Mjelde 

Ja ja. 

00:07:43 Vert: Torbjørn Laukvik 

Og så nevnte du litt sånn at det må hvis noe går feil, eller. 

00:07:48 Vert: Torbjørn Laukvik 

Noe galt, så må være litt sånn sporbart, eller du må nå må bry må bry seg om at Nordlys er. 

00:07:53 Gjest: Kent Tøllefsen 

Rødt ja, for det er det som kan være en sånn typisk utfordring. Det gjelder vel forsåvidt ikke bare høynivå endre tjenester og så videre. Det gjelder jo på flere nivåer, men hvis tester ligger og. 

00:08:09 Gjest: Kent Tøllefsen 

Noe. 

00:08:10 Vert: Torbjørn Laukvik 

Så feil nå. 

00:08:10 Gjest: Kent Tøllefsen 

Så så feil og feiler da og ingen tar tak i det så blir det bare liggende. Så blir det ingen som om det og så er det egentlig. 

00:08:16 

Ja. 

00:08:18 Gjest: Kent Tøllefsen 

Ikke verdt noen. 

00:08:18 Gjest: Kent Tøllefsen 

Ting og det kan skyldes mange ting. Det kan skyldes at det er ustabilitet i miljøene. Det kan skyldes at det er endringer i testkø koden eller koden under test da som ikke har blitt. 

00:08:30 Gjest: Kent Tøllefsen 

Kanskje flagget og sånt man får gjort endringer, for man må jo oppdatere test testene også, ikke sant? Så det er viktig med en god dialog og kommunikasjon der da, og det hvor større altså på små små prosjekter. Så kan det være enklere på større prosjekter igjen, ikke sant? Og det her går jo, det henger litt sammen. 

00:08:48 Gjest: Kent Tøllefsen 

Ja og og og få med seg utviklingsteam eller personer som dette er, påvirker da til å å. 

00:08:59 Gjest: Kent Tøllefsen 

Blir med på å se på dette her sammen med testsenteret flash testutvikler på test utviklingsteam for eksempel. 

00:09:07 Vert: Torbjørn Laukvik 

Er jo opplevd det at typisk når man har får med deg veldig ofte en funksjonell enn den test som jeg har gjort det, så får man noen feil som ligger og lyser feil i 3 måneder, så er det ingen som. 

00:09:18 Vert: Torbjørn Laukvik 

Etterhvert blir man litt sånn blasert. Ja ja. 10 av 40 tester feiler fordi du har en grunnleggende et sted som bare ikke gidder å løse og da vil tiltroen til testene. Ja falle fordi du ser alltid at det er alltid feil under 10 eller 11. Ingen som. 

00:09:35 Vert: Jan Mjelde 

Bryr seg det er jo litt sånn broken windows. 

00:09:38 Vert: Jan Mjelde 

Syndrom er det ikke det så noe er ødelagt, men det er da er det litt sånn med i forhold til disse. 

00:09:44 Vert: Jan Mjelde 

Warnings og errors og sånn, ikke sant? Hvor hvor alvorlig skal man ta dette når man kjører disse testene? Ikke sant? Altså, hvis man skal noe verdier av de, så skal de kjøre grønt feile de helt goings helt grønt eller man må endre på veil dama som går langs. 

00:09:56 Gjest: Kent Tøllefsen 

Regner de feiler de så, så så skal man finne ut av hvorfor det feiler uavhengig av hva det er for noe, for den skal være grønn hvis den skal gi noe verdi, og særlig hvis de som brusk skal bruke det tiltenkt å bruke det skal faktisk bry seg om. 

00:10:12 Vert: Jan Mjelde 

Det da, og hvis de kjører systematisk gult for eksempel, så må man heller finne ut. 

00:10:17 Vert: Jan Mjelde 

Hvorfor blir de gule og endre på? 

00:10:19 Vert: Jan Mjelde 

Nesten for å få de grønne. Ja, sånn ja. 

00:10:21 Gjest: Kent Tøllefsen 

Det krever litt oppfølging, etter hvert fall for landet dette her og få stabilisert så så bra stabilisert om det måtte være test eller kode eller miljøer så. 

00:10:33 Gjest: Kent Tøllefsen 

Kan det fungere veldig bra da. 

00:10:35 Vert: Jan Mjelde 

Mot den grønn hverdag. 

00:10:37 Gjest: Kent Tøllefsen 

Tenker du det er å gjøre? 

00:10:37 Vert: Torbjørn Laukvik 

Grønn hverdag og. 

00:10:39 Vert: Torbjørn Laukvik 

Vær så viktig, vi går en grønn fremtid i møte. 

00:10:42 Gjest: Kent Tøllefsen 

Vi har jo sånn eksempel på. Det er jo at. 

00:10:45 Gjest: Kent Tøllefsen 

Der var tidligere, så hadde vi jo et akseptansetest miljø hvor det var satt opp en smittet da. 

00:10:53 Gjest: Kent Tøllefsen 

Det automatiserte evnetester, og man kunne produsere når man ville, men ikke uten at de alle de var. 

00:11:02 Gjest: Kent Tøllefsen 

Grønne ja ikke. 

00:11:02 Gjest: Kent Tøllefsen 

Sant det var ikke de grønne, ingen presenting var de grønne. 

00:11:05 Gjest: Kent Tøllefsen 

Greit kjøp på såpass så lett så lett. 

00:11:10 Vert: Jan Mjelde 

Så lav terskel eller ja vel det er vel. Det er vel egentlig lav terskel men men men. 

00:11:11 Vert: Torbjørn Laukvik 

Hva heter det? 

00:11:14 Vert: Jan Mjelde 

Da sier litt om hvor? 

00:11:16 Vert: Jan Mjelde 

Hvor ønskelig det kan være å nå dit fordi at da kan man deploye endringer og forbedringer veldig fort. 

00:11:25 Gjest: Kent Tøllefsen 

Og da har man jo stolt på at de lavere test nivåene har vært godt dekkende da de er dekket godt nok til at vi tør å produksjonssette så lenge disse som vi kalte det er regresjons tester på. 

00:11:38 Gjest: Kent Tøllefsen 

På høy nivå eller enheter? 

00:11:40 Gjest: Kent Tøllefsen 

Nivå hva grønne da er det? 

00:11:41 Vert: Jan Mjelde 

Bare å kjøre ut hva slags testdekning er vi snakker om da på disse nivåene, altså liksom hadde noe prosentsats. Tallet er 100 % testdekning eller hundreogtjue prosent eller ja, egentlig per nivå. 

00:11:51 Gjest: Kent Tøllefsen 

Det spørs hvilket nivå du snakker om da. 

00:11:56 Gjest: Kent Tøllefsen 

Ja, det er litt variabelt, kanskje 80 % på enhetstest. 

00:12:00 

Da. 

00:12:01 

Her. 

00:12:01 Gjest: Kent Tøllefsen 

Og så må du skille mellom barns covers så langt covers, så du må vurdere littegrann der ja. 

00:12:06 

Men det er. 

00:12:06 Vert: Jan Mjelde 

Skal deres linkage. Da mener vi. 

00:12:08 Gjest: Kent Tøllefsen 

Selvfølgelig. Ja det det har du dekket alle linjene. Det som ikke er alt altså dekke alle linjene i en kode. Det er ikke alt de gir ikke. 

00:12:15 Gjest: Kent Tøllefsen 

Alltid like mye. 

00:12:15 Gjest: Kent Tøllefsen 

Verdi nei mens en branch covers det da dekker du jo kan du si variasjoner av for eksempel i felt tester og så. 

00:12:16 Vert: Torbjørn Laukvik 

Ja. 

00:12:17 Vert: Torbjørn Laukvik 

Det gjør det. 

00:12:24 Gjest: Kent Tøllefsen 

Videre. 

00:12:25 Vert: Torbjørn Laukvik 

OK, er det sånn ja litt i studien at alle forskjellige p alle mulige veier er dekket du. 

00:12:33 Gjest: Kent Tøllefsen 

Da ja er det variasjoner av. 

00:12:34 Vert: Torbjørn Laukvik 

At vi grener. 

00:12:37 Gjest: Kent Tøllefsen 

Veier koden din går da, så da får du en type brensel codger. 

00:12:39 Vert: Jan Mjelde 

Man har det synes jeg. 

00:12:41 Vert: Jan Mjelde 

Så man bare har et litt sånn mer bevisst forhold til hva testdekning også er, ikke? 

00:12:45 Gjest: Kent Tøllefsen 

Sant så bestilling er ikke testdekning hvor har du jo du får jo du får jo du kan jo bruke noe korturer eller andre verktøy til å se på da hvilken type testdekning du? 

00:12:45 Vert: Jan Mjelde 

Ser jeg det? 

00:12:45 Vert: Jan Mjelde 

Ja nei nei. 

00:12:54 Gjest: Kent Tøllefsen 

Ser på for det. 

00:12:55 Vert: Jan Mjelde 

Finnes det verktøy som da analyserer? 

00:12:58 Vert: Jan Mjelde 

Ja fjerner dine, og så ser hvor mange tester du har som treffer i hver av de. 

00:13:00 

Det kan du. 

00:13:02 Gjest: Kent Tøllefsen 

Valgene i bommen din eller hva du bruker, det er jo en. 

00:13:05 Vert: Torbjørn Laukvik 

Dere på bønda, mener du? 

00:13:10 Gjest: Kent Tøllefsen 

Da skal det promineo java da det gjør vi oppsett av avhengigheter å plugins som brukes i forbindelse med byggeprosessen. 

00:13:13 Vert: Torbjørn Laukvik 

Var skikkelig gøy, ja. 

00:13:16 Vert: Jan Mjelde 

Typisk eksempel på et sånt verktøy som kan gjøre det så du var. 

00:13:19 Gjest: Kent Tøllefsen 

Kobber turer for eksempel kobber turer. 

00:13:20 Vert: Jan Mjelde 

Ja, det kjenner vi til alderdom men. 

00:13:22 Vert: Torbjørn Laukvik 

Nei allerede om det gjør. 

00:13:24 Vert: Torbjørn Laukvik 

Det nå? Det er litt. 

00:13:24 Vert: Torbjørn Laukvik 

Ja det er flere. 

00:13:25 Vert: Jan Mjelde 

Har du hørt om? 

00:13:26 Gjest: Kent Tøllefsen 

Verktøy ja. 

00:13:26 Gjest: Kent Tøllefsen 

Så da kan du da da genererer den bare. 

00:13:31 Gjest: Kent Tøllefsen 

Med en site, og så får du. 

00:13:32 Gjest: Kent Tøllefsen 

En html fil klikke? 

00:13:33 Gjest: Kent Tøllefsen 

På den så ser du får du opp en tabell og så ser. 

00:13:36 Vert: Jan Mjelde 

Du testdekning på de forskjellige, men det er da bare for enhetstester, eller er dette et? 

00:13:40 Vert: Jan Mjelde 

Verktøy, som også. 

00:13:40 Gjest: Kent Tøllefsen 

Kan brukes på, for det er det eneste testnivå. 

00:13:41 Vert: Jan Mjelde 

Flere tester kun eneste ja, så man må ha en typisk en et verktøy per. Ja per nivå står vi. 

00:13:46 Gjest: Kent Tøllefsen 

Ja, men det som er at når du kommer litt lenger opp til pyramiden, så tester du. 

00:13:51 Gjest: Kent Tøllefsen 

På alle variasjoner det skal være testet. Det skal være dekket lenger ned III. 

00:13:57 Gjest: Kent Tøllefsen 

Kan du si pyramiden din da med koden hvor dere har mer koden nært, så skal du ha høy delstrekning, teste variasjoner av ting ja, når du kommer opp på for eksempel ende tjenestenivå, så kjører du kanskje bare grønne løp smakstester vi vi har jobbet med. Flere ting er tester med automatisk robusthetstesting og ytelsestesting på på endel nivå som også funker ganske bra. Ganske kult egentlig. 

00:13:58 Vert: Jan Mjelde 

Hvis man hva som. 

00:14:19 Gjest: Kent Tøllefsen 

Så men du du ønsker ikke å kjøre variasjoner alt mulig på toppnivå. 

00:14:26 Vert: Jan Mjelde 

Og og der har vi kanskje også litt. 

00:14:30 Vert: Jan Mjelde 

Kanskje distinksjonen mellom sånn litt sånn gammeldags fallert automatisk testing man liksom ser man da skal man sette i gang med automatisk tester og så man man kan teste så mange varianter på høy nivå. Men det du forstår deg rett det du sier at hvis man klarer å å gjennomføre dette her godt nok med bra nok testdekning på. 

00:14:53 Vert: Jan Mjelde 

Bransjenivå på en est nivå, så så slipp så slipper man retter man sparer seg for veldig mye. 

00:15:02 Vert: Jan Mjelde 

Variant testing på høyere nivå, ikke sant? Og det er den testingen som som krever veldig mye mer ofte manuelle ressurser av av altså de krever høyverdige av miljøet hvor man har tilkobling og interaksjoner og tilstøtende systemer og databaser og alt mulig rart så sånn. Og det er jo kanskje da vi snakket om kostnader i forrige episode, ikke sant? Her har vi snakk om en har en besparelse, ikke sant? Og det og og og. 

00:15:25 Vert: Jan Mjelde 

Årsaken til det er så så nær utvikling. 

00:15:31 Vert: Jan Mjelde 

Tester man, ikke sant? Og jo nærmere utvikling. Man klarer å teste, jo mindre av den der høynivå avanserte testingen trenger man, og det er jo kjempeinteressant som vi håper vi kommer litt mer inn. 

00:15:41 Gjest: Kent Tøllefsen 

På vi hadde nettopp for på høynivå, så ønsker du ikke å teste alt mulig rart. Det er alt for komplekst. Kompleksiteten øker hvor høyere opp du kommer i testpyramiden. 

00:15:52 Gjest: Kent Tøllefsen 

Du involverer mange systemer, kanskje felleskomponenter og så videre som du tøffer innom III en i et sånt. 

00:16:01 Gjest: Kent Tøllefsen 

Testløp. 

00:16:02 Gjest: Kent Tøllefsen 

Så du ønsker ikke å kjøre komplekse tester? 

00:16:04 Vert: Jan Mjelde 

Der nei, men hvis en grunn til at man har lyst til å kjøre komplekse tester på høy. 

00:16:08 Vert: Jan Mjelde 

Nå er jo. 

00:16:09 Vert: Jan Mjelde 

Type sånn der negative tester man må liksom sjekke at man ikke får lov til å gjøre skade ting og sånn, men hvis man. 

00:16:14 Vert: Jan Mjelde 

Gjør det godt. 

00:16:16 Vert: Jan Mjelde 

Arbeid på enhetsnivå, så har man jo allerede i utga forhåpentligvis eliminert veldig mange i måtene man kan liksom forårsake skade da på høyere nivå, ikke sant? Og og derfor kan man. 

00:16:25 Gjest: Kent Tøllefsen 

Helt riktig, helt riktig. 

00:16:28 Vert: Jan Mjelde 

Slippe unna da tar jeg den anførselstegn da derfor kan man slet. 

00:16:31 Vert: Jan Mjelde 

Unna med bare happy case scenario, ikke sant? Hvor man faktisk bekrefter at dette er det vi ønsker å gjøre. Vi får gjort det jack grønne, ikke sant? 

00:16:40 Gjest: Kent Tøllefsen 

Riktig og du, men du kan altså ingen regel uten unntak som er ja vi har hatt på det negative huser og vi har hatt litt mer komplekse. 

00:16:45 Vert: Jan Mjelde 

Om jeg trives på magen skje. 

00:16:53 Gjest: Kent Tøllefsen 

Tester også som har testet litt variasjoner, men det var for å understøtte at det var så vanskelig. 

00:16:57 Gjest: Kent Tøllefsen 

Å gjøre andre plasser, altså det eneste stedet det man klarte å gjøre. Det var faktisk på på litt sånn høynivå høynivå da. 

00:17:08 Vert: Torbjørn Laukvik 

Men da, d for å gjøre det her. 

00:17:09 Gjest: Kent Tøllefsen 

Og så der har man muligheten også da. 

00:17:11 Vert: Torbjørn Laukvik 

Men de testene der ja, da er det typisk i etablert testverktøy, gatlin eller sopp eller posen. Eller er det noen andre ting dere har brukt for å kjøre testteori for en som praktisk? 

00:17:26 Gjest: Kent Tøllefsen 

Det har et litt forskjellig. Du kan bruke forskjellige verktøy. 

00:17:29 Gjest: Kent Tøllefsen 

Det som jeg jobbet veldig mye med. Det er jo de egenutviklede testverktøy OK til denne organisasjonen, så lager egne verktøy. Vi lagde egne såkalte test klienter der OK som var spisset inn mot de forskjellige domenene. Alle var utviklet over samme lest altså nå endte opp før, men tjuetretti stykke sånne små små testsenter som var basert på så. 

00:17:51 Gjest: Kent Tøllefsen 

Med kodebase og så videre og. 

00:17:55 Gjest: Kent Tøllefsen 

Og det er veldig gjenkjennbar. Mange går inn i virksomheten din og kjenne seg igjen, men de får bare justert i forhold til domenet. De skal teste før de har ganske mange domener. Typiske en litt. 

00:18:03 Gjest: Kent Tøllefsen 

Større organisasjon for eksempel da? Ja, det høres veldig kompleks ut. 

00:18:05 

Ja. 

00:18:06 Gjest: Kent Tøllefsen 

Ja det er ikke så komplekst når du finner. Vi hadde janitz som motor i bunn ja på disse stedene, så bygger du noe oppå der da og der her. Simula kom inn i bildet da for de hadde noen id. 

00:18:17 Gjest: Kent Tøllefsen 

Per hvordan dette kunne gjøres, og vi adopterte de og prøvd ut det som. 

00:18:21 Gjest: Kent Tøllefsen 

Det startet. 

00:18:22 Vert: Jan Mjelde 

Vi hadde en ide om hvordan man kan faktisk operasjonelle er det? 

00:18:24 Gjest: Kent Tøllefsen 

Ja, det var simula for fredssenter som hadde liksom grundig den her da ja, og vi benytter den sammen med simula, og det viste seg at fungerer veldig bra. Ellers så brukte man jo også påsken. Man cucumber varme opp ja gatling for å kjøre ordentlig, liksom trykktester da ytelse, ikke sant? 

00:18:46 Gjest: Kent Tøllefsen 

Selenium ble brukt, egner seg ikke så veldig bra til automatisering på enivå, OK? 

00:18:51 Vert: Torbjørn Laukvik 

Det er også. 

00:18:52 

Og. 

00:18:53 Vert: Torbjørn Laukvik 

Så du de ofte blir det brukt, så det er liksom cellenes grunn metode. 

00:18:55 Gjest: Kent Tøllefsen 

Ja, men kanskje ikke inn i den inn i den konteksten som vi. 

00:19:00 Gjest: Kent Tøllefsen 

Ønsket å bruke det da? 

00:19:01 Vert: Torbjørn Laukvik 

Ja. 

00:19:03 Gjest: Kent Tøllefsen 

Så men det som jeg jobbet veldig mye med det. Det er eget utviklet verktøy for dette. 

00:19:07 Vert: Jan Mjelde 

Her da så at man vet hva man? 

00:19:08 Vert: Torbjørn Laukvik 

Det er liksom noe som det er fortsatt i. 

00:19:10 Vert: Torbjørn Laukvik 

Bruk i. 

00:19:11 Vert: Torbjørn Laukvik 

Verst teste hvem tester test applikasjonen liksom? 

00:19:14 Gjest: Kent Tøllefsen 

Ja det er jo godt spørsmål. 

00:19:17 Vert: Jan Mjelde 

Men det er jo fordelen med å utvikle selv ut fra at hvis før da man vet hva man trenger. 

00:19:22 Vert: Jan Mjelde 

Å få gjort. 

00:19:23 Vert: Jan Mjelde 

Og så lager man et verktøy som gjør det man trenger. 

00:19:26 Vert: Jan Mjelde 

Og hvis man trenger noe annet, så kan man gjøre justeringer på det verktøyet selv. Versus hvis man har et verktøy sant hvor mange ganger har liksom brukt eller verktøy? Altså nei, men det støtter ikke den protokollen eller de gjør ikke ditt eller datt, og så plutselig så er man liksom så plutselig så får man et hull av en testdekningen, ikke sant? Så det høres ut som en. 

00:19:43 Vert: Jan Mjelde 

En fornuftig strategi, men det krever jo at man har både folk som både kan og vil og og har mandat og. 

00:19:51 Gjest: Kent Tøllefsen 

Absolutt og jeg mener jo at hvis man har litt sånn komplekse. 

00:19:55 Gjest: Kent Tøllefsen 

Domener og så videre, så er det nesten nødvendighet da for å klare en del. 

00:20:01 Vert: Jan Mjelde 

Av man har kanskje noe valg? 

00:20:03 Vert: Jan Mjelde 

Hvis man er viss. 

00:20:03 Gjest: Kent Tøllefsen 

Nei hvis. 

00:20:04 Gjest: Kent Tøllefsen 

Størrelse, hvis man skal på en måte få til noe sånt fordi du dersom du sier du det. Det er ofte vanskelig å finne noen verktøy som bare har alt det du. 

00:20:13 Gjest: Kent Tøllefsen 

Trenger da og som som. 

00:20:15 Gjest: Kent Tøllefsen 

Tester et mer komplekst domene. 

00:20:17 Gjest: Kent Tøllefsen 

Ja, ikke sant, så det er det som. 

00:20:22 Gjest: Kent Tøllefsen 

Er garantert er et av suksesskriteriene der jeg jobbet. 

00:20:27 Vert: Torbjørn Laukvik 

Tidlig det er. Det er jo åpenbart for en det for en stor virksomhet, så er jo det selvfølgelig kanskje ikke selvfølgelig, men kan levere pengene å gå for mindre små oppstarter, så er jo ikke det, tenker jeg. 

00:20:41 Gjest: Kent Tøllefsen 

Nødvendig? Nei, det tror jeg det vil være altfor stor kost nytte, så der kan man finne andre verktøy som kanskje det hakker mange av de behovene. Og kanskje har litt enklere testcasene og scenarier de skal gjennom da. 

00:20:44 Gjest: Kent Tøllefsen 

Det er. 

00:20:55 Vert: Jan Mjelde 

Kanskje bonusspørsmål som vi må ta på slutten da må. 

00:20:58 Vert: Jan Mjelde 

Jeg få til. 

00:20:58 Vert: Torbjørn Laukvik 

Da tar det nå før vi nærmer. 

00:21:00 Vert: Torbjørn Laukvik 

Oss slutten på. 

00:21:00 Vert: Jan Mjelde 

Og gjør vi det? Ja. 

00:21:01 Vert: Torbjørn Laukvik 

Episoden. 

00:21:03 Vert: Jan Mjelde 

Det er jo det er jo så typisk II disse tider. 

00:21:07 Vert: Jan Mjelde 

For. 

00:21:09 Vert: Jan Mjelde 

Ledende spørsmål, men kunne ikke bare å i fikse dette for oss? Han kunne bare bedt om å om å gjøre dette å lage testverktøy og. 

00:21:15 Gjest: Kent Tøllefsen 

Fikse og sånn jo det kan. Vi kan spørre kjøttkamp t ja, se hva vi kommer opp med AI er tenkt litt rundt der egentlig fordi a er jo kommet veldig nå, eller at det er masse med AI bildegenereringen og promt der, og det er ikke. 

00:21:20 Vert: Torbjørn Laukvik 

Vi helt bra. 

00:21:29 Gjest: Kent Tøllefsen 

Så bare det å lage et bilde som AI vil at du skal lage. Det er bare bare bare det å skrive. 

00:21:34 Vert: Jan Mjelde 

Nei. 

00:21:35 Gjest: Kent Tøllefsen 

Et enkelt punkt. 

00:21:36 Gjest: Kent Tøllefsen 

Der det er jo utfordrende nok. 

00:21:38 Gjest: Kent Tøllefsen 

I seg selv. 

00:21:38 

Ja. 

00:21:39 Gjest: Kent Tøllefsen 

Og av kjøp t og a er veldig fin for å spørre om ting. Hvis du vet akkurat hva du skal spørre om du. 

00:21:44 Gjest: Kent Tøllefsen 

Kan få litt sånn god kodehjelp og sånne ting hva du skal ha. 

00:21:45 Vert: Jan Mjelde 

Ja, hvis du vet hva du skal ha med, hvis du må. 

00:21:47 Vert: Jan Mjelde 

Være kreativ på å finne ut hva du skal ha, så. 

00:21:48 Gjest: Kent Tøllefsen 

Ja og be jeg kan ikke se for meg at du kan be lage noe sånn som dette her, men jeg kan se for meg at man kanskje kunne brukt det som. 

00:21:56 Gjest: Kent Tøllefsen 

En del av for eksempel generering av data, har gitt at du gir den gode forutsetninger da, ikke sant? Test altså. 

00:22:03 Vert: Jan Mjelde 

OK så fint. 

00:22:05 Gjest: Kent Tøllefsen 

Ja som en del av det kanskje ja, så kunne du kanskje hjelpe deg til å sette opp variasjoner, finne caser som du kanskje aldri hadde oppdaget. Men da må du på en måte bruke det som en del av det, kanskje ikke? Det kan ikke. Jeg kan ikke se for meg at det skal kunne erstatte noe som er. 

00:22:09 Vert: Torbjørn Laukvik 

Interessant. 

00:22:11 Vert: Torbjørn Laukvik 

Hvilke? 

00:22:14 Vert: Torbjørn Laukvik 

Ja ja. 

00:22:23 Gjest: Kent Tøllefsen 

Kan du kan du si spesifikt for for for. 

00:22:28 Gjest: Kent Tøllefsen 

Det er den et domene. 

00:22:30 Vert: Jan Mjelde 

Da men en forbedret utgave av det prosjektet ditt 2 0 kunne hatt med litt AI mix så kunne. 

00:22:31 Gjest: Kent Tøllefsen 

Vil du? 

00:22:37 Gjest: Kent Tøllefsen 

Ja kanskje i forhold til det også randomisere data genererer litt sånn fordi ja, det bør jo. Kanskje en kan være en annen annen tak, men ja. 

00:22:47 Vert: Jan Mjelde 

Men det var egentlig det svaret. Jeg trodde at liksom ai er kjempebra. Det er dødskult og du kan gjøre masse greier, ikke sant? 

00:22:55 Vert: Jan Mjelde 

Det er en begrensning på, hvor hvor komplekse liksom sammenhengende som de klarer å sette seg inn, i hvert fall foreløpig da. Og det er jo der. Jeg tror kanskje sånn litt beroligende for de som er redd, så da jeg skal ta og bare liksom få alle disse systemene. Det snakkes sammen og forstå hvordan de liksom interagerer, er jo dritvanskelig, og det er ikke noe som. 

00:23:17 Vert: Jan Mjelde 

For det er matrisen i en sånn. Har du vært i et prosjekt av middels størrelse eller større, så skjønner du at det det vil ikke skje med det første. Det er ikke sånn på disse Hollywood filmene hvor alle logger seg inn på alle mulige databaser og sletter identiteter og. 

00:23:31 Vert: Jan Mjelde 

Sånn. 

00:23:32 Vert: Torbjørn Laukvik 

Da tenker jeg for å kutte litt sånn ned her. Ved nå har vi snakket litt om rent praktisk hva som. 

00:23:38 Vert: Torbjørn Laukvik 

Hvert fall delvis praktisk hva som gjøres. 

00:23:42 

Kjøl. 

00:23:44 Vert: Torbjørn Laukvik 

Hvordan vil dere oppsummere hva jeg har snakket om her nå? Vi har snakket litt. 

00:23:47 Vert: Torbjørn Laukvik 

Om miljø. 

00:23:49 Vert: Torbjørn Laukvik 

Hvor vi kunne bygge miljøer? 

00:23:52 Vert: Torbjørn Laukvik 

Vi har snakket litt om testsenter testsenter. Vi har snakket om at folk må bry seg om om testen, ikke sant? At det ligger galt så må man følge. 

00:24:01 Vert: Torbjørn Laukvik 

Med. 

00:24:02 Vert: Torbjørn Laukvik 

Og og vi har snakket om at historie organisasjoner trenger kanskje en spesifikt selvlagede applikasjoner for å teste det her? 

00:24:11 Gjest: Kent Tøllefsen 

Det er en. 

00:24:12 Gjest: Kent Tøllefsen 

Mulighet for å for å ja det bør i hvert fall være vurde. 

00:24:13 Vert: Jan Mjelde 

Ja, man må i hvert fall. 

00:24:14 Gjest: Kent Tøllefsen 

Vurdere det. 

00:24:16 Gjest: Kent Tøllefsen 

Ja. 

00:24:17 Vert: Jan Mjelde 

For det er jo ofte. Det er vel kanskje også slik at veldig mange organisasjoner går for disse her verktøyene for da er. 

00:24:23 Vert: Jan Mjelde 

Liksom fordi de er. 

00:24:24 Vert: Jan Mjelde 

Allerede på litt sånn sparebluss. Det skal ikke koste for mye. Man skal ikke bruke for mye penger. 

00:24:29 Vert: Jan Mjelde 

Hvis man mener alvor, så bør man vurdere egne verktøy? 

00:24:32 Vert: Torbjørn Laukvik 

Ja ja og det er bare den that bombshell som du sier i Top Gear. 

00:24:39 

What? 

00:24:40 Vert: Jan Mjelde 

On that bombshell? 

00:24:40 Vert: Torbjørn Laukvik 

Derfor er det ikke? 

00:24:44 Vert: Torbjørn Laukvik 

Men sånn kan vi ende dagens samtale om deploy? 

00:24:47 Vert: Torbjørn Laukvik 

Denne om deploy og. 

00:24:48 Vert: Torbjørn Laukvik 

Logg test vi har lært mye, og det er viktig å å ha en god pyramidisk støtte om kvalitet for å kunne slette kodet ut ved behov. 

00:25:02 Vert: Jan Mjelde 

Du sa pyramidisk, men du mener selvfølgelig testpyramiden? 

00:25:05 Vert: Torbjørn Laukvik 

Ja tak i testament rett test fra. 

00:25:07 Vert: Jan Mjelde 

Når ikke noen har gitt seg? 

00:25:08 Vert: Torbjørn Laukvik 

Å gjøre? Jo, det er masse Stein oppå hverandre med test på test flott og når vi klarer det så er vi. 

00:25:18 Vert: Torbjørn Laukvik 

God nok støtte til å gjøre hva vi vil, ikke sant? Jeg tenker det er strålende for Dagens samtale. Jeg har vært Torbjørn Laukvik. 

00:25:28 Vert: Jan Mjelde 

Jeg har vært Jan Mjelde. 

00:25:30 Gjest: Kent Tøllefsen 

Har vært Kent Tøllefsen. 

00:25:31 Vert: Torbjørn Laukvik 

Yes så det her var testpodden live i opptak fra websteps kontoret på Sankt Olavsplass. Det var en glede å prate for dere og håper dere har en fortsatt god dag. Hei hei.