Validacionestamosconstruyendoelproductocorrecto Veri cacionestamosconstruyendoelproductocorrectamenteEnestesentidolaveri cacionconsisteencorroborarqueelprogramarespetasuespeci cacionmientr ID: 337640
Download Pdf The PPT/PDF document "Introduction al testing de software" is the property of its rightful owner. Permission is granted to download and print the materials on this web site for personal, non-commercial use only, and to display it on your personal computer provided you do not modify the materials and that you retain all copyright notices contained in the materials. By downloading content from our website, you accept the terms of this agreement.
IntroduccionalTestingdeSoftwareMaximilianoCristiaIngenieradeSoftwareFacultaddeCienciasExactas,IngenierayAgrimensuraUniversidadNacionaldeRosario2015ResumenEnesteapuntedeclaseseintroducenbrevementelosconceptosbasicosdetestingdesoftwarenecesariosparacomprenderlastecnicasdetestingqueseense~nanmasadelante.Indice1.Vericacionyvalidacion12.Deniciondetestingyvocabulariobasico23.Elprocesodetesting44.Testingdedistintosaspectosdeunsoftware65.Lasdosmetodologasclasicasdetesting6LasbasesAprogramiscorrectifitbehavesaccordingtoitsspe-cication.{ProgramcorrectnessdenitionProgramtestingcanbeaverye ectivewaytoshowthepresenceofbugs,butitishopelesslyinadequateforshowingtheirabsence.{EdsgerDijkstraBewareofbugsintheabovecode;Ihaveonlyproveditcorrect,nottriedit.{DonaldKnuthUnprogramaescorrectosivericasuespecicacion.{DeniciondecorrecciondeunprogramaEltestingdeprogramaspuedeserunaformamuyefectivademostrarlapresenciadeerrores,peroesdesesperanzadoramenteinadecuadoparamostrarsuausencia.{EdsgerDijkstraEsteatentoaloserroresenelcodigomostradomasarriba;yosolodemostrequeescorrecto,peronoloejecute.{DonaldKnuth1.VericacionyvalidacionEltestingdesoftwareperteneceaunaactividadoetapadelprocesodeproducciondesoftwaredenominadaVericacionyValidacion{usualmenteabreviadacomoV&V.V&Veselnombregenericodadoalasactividadesdecomprobacionqueaseguranqueelsoftwarerespetasuespecicacionysatisfacelasnecesidadesdesususuarios.Elsistemadebeservericadoy1 validadoencadaetapadelprocesodedesarrolloutilizandolosdocumentos(descripciones)producidasdurantelasetapasanteriores[Som95].EnrigornosoloelcodigodebesersometidoaactividadesdeV&Vsinotambientodoslossubproductosgeneradosduranteeldesarrollodelsoftware[GJM91].Porejemplo,enotroscaptuloshemosestudiadocomovericarunmodeloformalutilizandounasistentedepruebas.Otroejemploeslavericaciondelaarquitecturayeldise~no.Enefecto,estossubproductosdebenservericadosdeformataldequeexistamayorconanzaenquecumplenconlosrequerimientosdelcliente{enparticularelequipodedesarrollodebeasegurarsedequelaarquitecturapodraincorporarloscambiosprevistosabajocostoyqueestahabilitaotraspropiedadesquehayasolicitadoelclientetalescomoseguridad,portabilidad,etc.;paramasdetallessobrelavericaciondearquitecturassepuedeconsultar[BCK03,captulo11].Tareassemejantesdebenllevarseacaboparalosotrossubproductosdeldesarrollo.Sibienestosterminosensuusocotidianopuedenllegarasersinonimos,enIngenieradeSoftwaretienensignicadosdiferentesycadaunotieneunadenicionmasomenosprecisa. Validacion:�estamosconstruyendoelproductocorrecto? Vericacion:�estamosconstruyendoelproductocorrectamente?Enestesentido,lavericacionconsisteencorroborarqueelprogramarespetasuespecicacion,mientrasquevalidacionsignicacorroborarqueelprogramasatisfacelasexpectativasdelusuario[Som95].Enotraspalabras,lavericacionesunaactividaddesarrolladaporingenierosteniendoencuentaunmodelodelprogramayelprogramaens,entantoquelavalidacionladeberealizarelusuarioteniendoencuentaloqueelesperadelprogramayelprogramaens.ExistenvariastecnicasdentrodelmarcodelaV&Vdesdelasmasinformales(prototipacionderequerimientos,revisionderequerimientos,etc.),pasandoporlassemiformales(eltestingeslamasconocidaperociertastecnicasdeanalisisestaticodecodigoseusanfrecuentemente),hastalapruebaformaldeprogramas,elcalculoderenamiento,etc.Aunqueeltestingsepuedeaplicartantoenvericacioncomoenvalidacion,enestecursonosconcentraremoscasiexclusivamenteeneltestingdeprogramascomopartedelavericacion.Esdecirquenoestudiaremosotrastecnicasdevericacion,noestudiaremostecnicasdevalidacionynoestudiaremoslaV&Vdeotrasdescripcionesmasalladelprograma.2.DeniciondetestingyvocabulariobasicoProgramtestingcanbeaverye ectivewaytoshowthepresenceofbugs,butitishopelesslyinadequateforshowingtheirabsence.E.W.DijkstraEltestingesunaactividaddesarrolladaparaevaluarlacalidaddelproducto,yparamejorar-loalidenticardefectosyproblemas.Eltestingdesoftwareconsisteenlavericaciondinamicadelcomportamientodeunprogramasobreunconjuntonitodecasosdeprueba,apropiadamen-teseleccionadosapartirdeldominiodeejecucionqueusualmenteesinnito,enrelacionconelcomportamientoesperado[DBA+01,UL06].Laspalabrasresaltadasenelparrafoanteriorcorrespondenalascaractersticasfundamentalesdeltesting.Esunatecnicadinamicaenelsentidodequeelprogramasevericaponiendoloenejecuciondelaformamasparecidaposibleacomoejecutaracuandoesteenproduccion{estosecontraponealastecnicasestaticaslascualessebasanenanalizarelcodigofuente.Elprogramasepruebaejecutandosolounospocoscasosdepruebadadoqueporlogeneralesfsica,economicaotecnicamenteimposibleejecutarloparatodoslosvaloresdeentradaposibles{deaqulafrase2 deDijkstra.Siunodeloscasosdepruebadetectaunerror1elprogramaesincorrecto,perosiningunodeloscasosdepruebaseleccionadosencuentraunerrornopodemosdecirqueelprogramaescorrecto(perfecto).Esoscasosdepruebasonelegidossiguiendoalgunareglaocriteriodeseleccion.Sedeterminasiuncasodepruebahadetectadounerroronocomparandolasalidaproducidaconlasalidaesperadaparalaentradacorrespondiente{lasalidaesperadadeberaestardocumentadaenlaespecicaciondelprograma.Laslimitacionesantesmencionadasnoimpidenqueeltestingsebaseentecnicasconsistentes,sistematicasyrigurosas(eincluso,comoveremosmasadelante,formales).Sinembargo,enlapracticaindustrial,comoocurreconotrasareasdeIngenieradeSoftware,usualmenteseconsiderasolounapartemnimadedichastecnicastornandoaunaactividadrazonablementeecazyecienteenalgofutilydeescasoimpacto.Aunqueenlaindustriadesoftwareeltestingeslatecnicapredominante{enaquelloscasosminoritariosenqueserealizaunaactividadseriadeV&V{,enelambienteacademicoseestudianmuchasotrastecnicas.Veamosalgunosconceptosbasicosdetesting.Testearunprogramasignicaejecutarlobajocon-dicionescontroladastalesquepermitanobservarsusalidaoresultados.Eltestingseestructuraencasosdepruebaocasosdetest;loscasosdepruebasereunenenconjuntosdeprueba.Desdeelpuntodevistadeltestingseveaunprograma(osubrutina)comounafuncionquevadelproductocartesianodesusentradasenelproductocartesianodesussalidas.Esdecir:P:ID!ODdondeIDsellamadominiodeentradadelprogramayODeseldominiodesalida.Normalmentelosdominiosdeentradaysalidasonconjuntosdetuplastipadascuyoscamposidenticanacadaunadelasvariablesdeentradaosalidadelprograma,esdecir:IDb=[x1:X1;:::;xn:Xn]ODb=[y1:Y1;:::;ym:Ym]Deestaforma,uncasodepruebaesunelemento,x,deldominiodeentrada(esdecirx2ID)ytestearPconxessimplementecalcularP(x).Enelmismosentido,unconjuntodeprueba,porejemploT,esunconjuntodecasosdepruebadenidoporextensionytestearPconTescalcularP(x)paracadax2T.Esmuyimportantenotarquexesunvalorconstante,nounavariable;esdecir,siporejemploIDb=[num:N]entoncesuncasodepruebaes5,otropuedeser1000,etc.,peronon�24.Tambienesimportanteremarcarquex1;:::;xnsonlasentradasconqueseprogramoelprograma(estoincluyearchivos,parametrosrecibidos,datosledosdesdeelentorno,etc.)ynoentradasabstrac-tasogeneralesquenoestanrepresentadasexplcitamenteenelcodigo.Delamismaforma,y1;:::;ymsonlassalidasexplcitasoimplcitasdelprograma(estoincluyesalidasporcualquierdispositivo,parametroovalorderetorno,einclusoerrorestalescomonoterminacion,Segmentationfault,etc.).Deacuerdoaladenicionclasicadecorreccion,unprogramaescorrectosivericasuespeci-cacion2.Entonces,alconsiderarsecomotecnicadevericacioneltesting,unprogramaescorrectosiningunodeloscasosdepruebaseleccionadosdetectaunerror.Precisamente,lapresenciadeunerrorodefectosedemuestracuandoP(x)nosatisfacelaespecicacionparaalgunxenID.Unafallaeselsntomamaniestodelapresenciadeunerror3[GJM91].Esdecirqueunerrorpermaneceraocultohastaqueocurraunafallacausadaporaquel.Porejemplo,silacondiciondeunasentencia 1Enelareadetestingsedistingueconciertaprecisionlosterminoserrorodefecto,fallayfalta,aunqueporelmomentonosotroslosconsideraremossinonimos.2Estadenicionseformalizarahastaciertopuntoenseccionesposteriores.3Fallaesnuestratraduccionparafailure.3 ifesx�0cuandodeberahabersidox�1,entonceshayunerrorenelprograma,quesemani-festara(falla)cuandosetesteeelprogramaconxiguala1{siporfortunaestecasodepruebaesseleccionado{porqueentalcasoapareceraciertomensajeenlapantallaqueparaesevalordexnodeberahaberaparecido.Enestesentidoeltestingtratadeincrementarlaprobabilidaddequeloserroresenunprogramacausenfallas,alseleccionarcasosdepruebaapropiados.Finalmente,unafaltaesunestadointermedioincorrectoalcualsellegadurantelaejecuciondeunprograma{porejemploseinvocaaunasubrutinacuandosedeberahaberinvocadoaotra,oseasignaunvaloraunavariablecuandosedeberahaberasignadootro4[GJM91].3.ElprocesodetestingEscasiimposible,exceptoparalosprogramasmaspeque~nos,testearunsoftwarecomosifueraunaunicaentidadmonoltica.Comohemosvistoenloscaptulossobrearquitecturaydise~no,losgrandessistemasdesoftwareestancompuestosdesubsistemas,modulosysubrutinas.Sesugiere,porlotanto,queelprocesodetestingesteguiadopordichaestructura,comomuestralaFigura1.Masaun,sielprocesosugeridosecombinaadecuadamenteconelprocesodedesarrollo,comomuestralaFigura3,entoncessehabilitalaposibilidaddeirdetectandoerroresdeimplementacionlomastempranamenteposible{loqueasuvezreduceelcostodedesarrollo. Figura1:Elprocesogeneraldetesting(fuente[Som95]).ComosugierelaFigura1,unsistemacomplejosueletestearseenvariasetapasqueporlogeneralseejecutansiguiendounaestrategiabottom-up,aunqueelprocesogeneralesiterativo.Sedebevolveralasfasesanteriorescadavezqueseencuentraunerrorenlafasequeestasiendoejecutada.Porejemplo,siseencuentraunerrorduranteeltestingdeunsubsistemaparticular,unavezqueaquelhayasidoreparadosedeberantestearlaunidaddondeestabaelerroryluegoelmoduloalcualpertenecelaunidadreparada.Engeneral,unavezdetectadounerrorsesigueelprocesogracadoenlaFigura2.DeaququealasiteracionesdelprocesodelaFigura1selasllamere-testing.Dadoquenohayunadenicionprecisadesubsistemaeinclusodeunidad,elprocesodetestingsugeridodebeserconsideradocomounaguaquedebeseradaptadaacadacasoespecco.Eltestingdeaceptacionmencionadoenlagurapertenecealavalidaciondeunsistema(ynoalavericacion) 4Faltaesnuestratraduccionparafault.4 Figura2:Elprocesodedebugging(fuente[Som95]). Figura3:Coordinacionentreelprocesodetestingyelprocesodedesarrollo(adaptadode[Som95]).dadoqueeselusuarioelqueusaelsistemaenunentornomasomenosrealconelndecomprobarsiesunaimplementacionrazonabledelosrequerimientos.Enestecursonosconcentraremoseneltestingdeunidaddadoqueeslabaseparaelrestodelproceso.Enlapracticaindustrialusualmenteseentiendequeeltestingesunaactividadqueserealizaunavezquelosprogramadoreshanterminadodecodicar;engeneralessinonimodetestingdeaceptacion.Entendidodeestaformaeltestingseconvierteenunaactividadcostosaeinecientedesdevariospuntosdevista: Lostestersestaranociososdurantelamayorpartedelproyectoyestaransobrecargadosdetrabajocuandoesteestepornalizar. Loserrorestiendenaserdetectadosmuytarde. Sedescubreungrannumerodeerrorescuandoelpresupuestoseestaterminando. Loserrorestiendenaserdetectadosporlosusuariosynoporelpersonaldedesarrollo{loqueimplicaundesprestigioparaelgrupodedesarrollo.Porlotanto,sesugiereunprocesodetestingmejorimbricadoconelprocesogeneraldedesarrollo,comosemuestraenlaFigura3.Encuantoelequipodedesarrollocuentaconundocumentoderequerimientosmasomenosestable,lostesterspuedencomenzaradenircasosdepruebaparaeltestingdeaceptacion,dadoqueestesebasaenvalidarlosrequerimientos.Delamismaforma,tanprontocomosehadenidolaarquitecturaoeldise~nodelsistema,lostesterspuedenusardichadocumentacionparacalcularcasosdepruebaparaeltestingdesubsistemasydelsistema.Inclusoteniendoundise~nomasomenosdetallado{descriptoconladocumentacionquehemosanalizadoencaptulosanteriores{yunaespecicacion(formaloinformal)decadaunidad,esperfectamente5 posiblecalcularcasosdepruebadeunidadmientraslosprogramadoreshacensutrabajo.Deestaformasereducenotablementeelimpactodealgunosdelosproblemasenumeradosmasarriba.AunquelaliteraturadeIngenieradeSoftwareproponeunayotravezestetipodeprocesos,ennuestraopinionlastecnicasyherramientasconcretasdisponiblesactualmenteaunestanmuylejoscomoparahacerdeltestingunaactividadrentableparalamayoradelosequiposdedesarrollo.Masaun,estamosconvencidosdequelallaveparahabilitarestosprocesosradicaencontarconlaposibilidaddeautomatizareltestingdeunidaddealgunaformatalquelostesterspuedancomenzaracalcularloscasosdepruebadesdelasfasesinicialesdelproyecto.Analizaremosunapropuestaenestesentidoencaptulosposteriores.4.TestingdedistintosaspectosdeunsoftwareHastaaquhemostratadodemaneraimplcitaqueesloquesevericaenunsoftware.Porotrolado,hemosdenidoqueunprogramaescorrectosivericasuespecicacion.Pero,�quedescribelaespecicaciondeunsoftware?Encaptulosanterioresalhablardeespecicacionhacamosreferenciaunicamentealafunciondelsoftware,esdeciralasoperacionesqueelsistemadeberealizar,elordenenquedeberealizarlas,etc.Sinembargo,laespecicaciondeunsoftware,enterminosmasgenerales,incluye{odeberaincluir{otrosaspectos(orequerimientosnofuncionales)masalladelafuncionalidad.Porejemplo,suelenespecicarserequisitosdeseguridad,desempe~no,toleranciaafallas,usabilidad,etc.Porlotanto,aldecirqueunprogramaescorrectosivericasuespecicacionenrealidadestamosincluyendotodosesosaspectosademasdelafuncionalidad.Enconsecuenciaaltestearunprogramadeberamosseleccionarcasosdepruebaconelobjetivodetesteartodosesosaspectosynosololafuncionalidad.Esdecirnosolodeberamosintentarresponderpreguntastalescomo�\Elsistemapermitecargarunatransaccionsoloenlascondicionesespecicadas?",sinotambienotrascomo�\Elsistemapermitecargarhasta10.000transaccionesporminuto?",�\Elsistemapermitequesololosusuariosautorizadoscarguentransacciones?",etc.Claramentetodoestoesposiblesielequipodedesarrollocuentaconlasespecicacionescorres-pondientes.Eltestingdealgunosdeestosaspectosnofuncionalessehaespecializadoenalgunamedidadandolugaraareasmasespeccasconsuspropiasmetodologa,tecnicasyherramientas.Elcasomasreconocidoes,talvez,eltestingdeseguridadelcualintentaencontrarerroresquepermitanausuariosnoautorizadosutilizaromodicardatosoprogramas.Eltestingdeesteaspectosehaespecializadotantoquelostestersdeseguridadsonprofesionalesconunapreparacionmuyespeccapararealizarestatarea.Apesardetodasestasconsideracionesenestecaptulosoloabordaremoseltestingdelafuncio-nalidaddeunsoftware.Paramayoresdetallessobreeltestingderequisitosnofuncionalespuedenconsultarse,entreotros,[PJR08,captulo11]y[P 01,secciones9.3,9.6y9.9].5.LasdosmetodologasclasicasdetestingTradicionalmenteeltestingdesoftwaresehadivididoendosestrategiasbasicasquesesuponesondeaplicacionuniversal. Testingestructuralodecajablanca.Testearunsoftwaresiguiendoestaestrategiaimplicaquesetieneencuentalaestructuradelcodigofuentedelprogramaparaseleccionarcasosdeprueba{esdecir,eltestingestaguiadofundamentalmenteporlaexistenciadesentenciastipoif,case,while,etc.Enmuchasocasionesseponetantoenfasisenlaestructuradelcodigoqueseignoralaespecicaciondelprograma[GJM91],convirtiendoaltestingenunatareauntantodesprolijaeinconsistente.6 Comoloscasosdepruebasecalculandeacuerdoalaestructuradelcodigo,noesposiblegenerarlossinohastaqueelprogramahasidoterminado.Peoraun,sidebidoaerroresocambiosenlasestructurasdedatosoalgoritmos{aunsinquehayacambiadolaespecicacion{,puedesernecesariovolveracalculartodosloscasos.Porestasrazonespreferimoslaotraestrategiadetesting,aunqueestudiaremoseltestingestructuralconciertodetalle.Sinembargoesinteresanteremarcarlaracionalidaddetrasdeestaestrategia:nosepuedeencontrarunerrorsinoseejecutalalneadecodigodondeseencuentraeseerror{aunqueejecutarunalneadecodigoconalgunoscasosdepruebanogarantizaencontrarunposibleerror;pienseenunaasignaciondelaformax=1/y.Porconsiguienteesimportanteseleccionarcasosdepruebaqueejecutenalmenosunaveztodaslaslneasdelprograma,locualselograanalizandolaestructuradelcodigo.Sedicequeeltestingestructuralpruebaloqueelprogramahaceynoloquesesuponequedebehacer. Testingbasadoenmodelosodecajanegra5.Testearunapiezadesoftwarecomounacajanegrasignicaejecutarelsoftwaresinconsiderarningundetallesobrecomofueimplementado.Estaestrategiasebasaenseleccionarloscasosdepruebaanalizandolaespecicacionomodelodelprograma,enlugardesuimplementacion[GJM91].Algunosautores[UL06]consideranqueeltestingbasadoenmodelos(MBT)eslaautoma-tizaciondeltestingdecajanegra.ParalograrestaautomatizacionelMBTrequierequelosmodelosseanformalesdadoqueestaeslaunicaformaquepermiterealizarmultiplesanalisismecanicossobreeltextodelosmodelos.Porelcontrario,eltestingdecajanegratradicionalcalculaloscasosdepruebapartiendodeldocumentoderequerimientos.ComoenelMBTloscasosdepruebasecalculanpartiendodelmodelo,esposiblecomenzara\testear"casidesdeelcomienzodelproyecto{almenosmuchoantesdequesehayaterminadodeprogramarlaprimeraunidad.Porotraparte,peroporlamismarazon,loscasosdepruebacalculadoscontecnicasdeMBTsonmuchomasresistentesaloscambiosenlaimplementacionqueaquelloscalculadoscontecnicasdetestingestructural.Masaun,elMBTes,efectivamente,automatizableengranmedidacomodemostraremosmasadelantealutilizarunaherramientaparataln.LagrandesventajadelMBTradicaensumismadenicion:serequieredeunmodeloformaldelsoftware,cosaquesolounporcentajenmodelaindustriaescapazderealizar.DebidoalenfasisquelehemosdadoalosmetodosformalesydebidoalasventajasquepresentaelMBTesqueestudiaremosconmuchodetalleunatecnicaespeccadeestaestrategiadetesting.Sedicequeeltestingbasadoenmodelospruebaloqueelprogramasesuponequedebehacer,ynoloqueelprogramahace.Creemosqueesmuyimportanteremarcarqueestasestrategiasnosonopuestassinocomplemen-tarias.EnnuestraopinioneltestingdeberaestarguiadofundamentalmenteportecnicasdeMBTperocomplementadasconherramientasdeanalisisdecubrimientodesentenciasdeformatalqueloscasosgeneradosmedianteMBTcubranalmenostodaslaslneasdecodigo. 5Enedicionesanterioresdeestecursoyalgunosautores(porejemplo[GJM91])utilizantambienelnombretestingfuncional.Luegodeconsultarotrosautorescreemosquedichonombrenoesdeltodocorrectopuestoquedalaideadequeestaestrategiasolosepuedeaplicarcuandosetestealafuncionalidaddeunprograma.Porestemotivonoutilizaremosmasestenombrecomosinonimodetestingbasadoenmodelosodecajanegra.Deaquenmaselterminotestingfuncionalloutilizaremosparadesignareltestingdelafuncionalidaddelprograma(encontraposicionaltestingdelosaspectosnofuncionales;cf.seccion4).7 Enresumen,enloscaptulosquesiguenharemoshincapiecasiexclusivamenteeneltestingfun-cionalmediantetecnicasdeMBTparatestingdeunidad,aunqueintroduciremosalgunoscriteriosdetestingestructural(tambienparatestingdeunidad).Claramenteestoessolounafraccionmnimadetodoestetemaperoennuestraopinioneslabasesobrelacualsepuedeconstruirelrestodelmarcoteorico-practicodeltesting.Referencias[BCK03]LenBass,PaulClements,andRickKazman.Softwarearchitectureinpractice(secondedition).PearsonEducation,Boston,2003.[DBA+01]R.Dupuis,P.Bourque,A.Abran,J.W.Moore,andL.L.Tripp.TheSWEBOKProject:Guidetothesoftwareengineeringbodyofknowledge,May2001.StoneManTrialVersion1.00,http://www.swebok.org/[01/12/2003].[GJM91]CarloGhezzi,MehdiJazayeri,andDinoMandrioli.Fundamentalsofsofwareengineering.PrenticeHall,UpperSaddleRiver,NewJersey,1991.[P 01]ShariLawrenceP eeger.SoftwareEngineering:TheoryandPractice.PrenticeHallPTR,UpperSaddleRiver,NJ,USA,2001.[PJR08]AlanPage,KenJohnston,andBjRollison.HowWeTestSoftwareatMicrosoft.MicrosoftPress,2008.[Som95]IanSommerville.Softwareengineering(5thed.).AddisonWesleyLongmanPublishingCo.,Inc.,RedwoodCity,CA,USA,1995.[UL06]MarkUttingandBrunoLegeard.PracticalModel-BasedTesting:AToolsApproach.MorganKaufmannPublishersInc.,SanFrancisco,CA,USA,2006.8