iOS Teste/Specificatii TDD/BDD și Integrare & Testarea de Acceptare

tl;dr

La Pivot am scris Cedru pentru că vom folosi și dragoste Rspec pe Ruby proiecte. Cedar e't menit să înlocuiască sau de a concura cu OCUnit; it's menirea de a aduce posibilitatea de a BDD-stil de testare pentru a Objective C, doar ca Rspec pionier BDD-stil de testare în Ruby, dar nu't eliminate de Testare::Unitatea. Alegerea uneia sau alteia este în mare măsură o chestiune de preferințe de stil. În unele cazuri am proiectat Cedru pentru a depăși unele deficiențe în modul în care OCUnit lucrează pentru noi. Mai exact, am vrut să fie capabil de a utiliza depanatorul în teste, pentru a rula teste de la linia de comandă și în CI construiește, și de a lua utile text de ieșire a rezultatelor testelor. Aceste lucruri pot fi mai mult sau mai puțin util pentru tine. Răspuns lung

Decide între două framework-uri de testare cum ar fi de Cedru și OCUnit (de exemplu) se reduce la două lucruri: stilul preferat, și ușurința de utilizare. Am'll începe cu stil, pentru ca's pur și simplu o chestiune de opinie și de preferință; ușurința de utilizare tinde să fie un set de compromisuri. Stil considerente transcend ce tehnologie sau limba utilizată. xUnit-stil de unitate de testare a fost în jur de mult mai mult decât BDD-stil de testare, dar acesta din urmă a câștigat rapid în popularitate, în mare parte datorită Rspec. Principalul avantaj al xUnit stil de testare este simplitatea sa, și a fost adoptat pe scară largă (printre dezvoltatorii care scrie teste unitare); aproape orice limbă ai putea lua în considerare scrierea de cod în a o xUnit stil cadru disponibil. BDD-stil cadrele tind să aibă două diferențe majore în comparație cu xUnit-stil: cum te structura testului (sau specificatii), și sintaxa pentru a-ți scrie afirmații. Pentru mine, structurale diferență este principalul diferențiator. xUnit teste sunt unidimensional, cu o singură metodă de configurare pentru toate testele într-o anumită clasa de test. Clasele care am testat, cu toate acestea, nu't unul-dimensional; de multe ori avem nevoie pentru a testa acțiuni în mai multe diferite, potențial conflictuale, contexte. De exemplu, ia în considerare un simplu ShoppingCart clasa, cu o addItem: metoda (pentru scopuri de acest răspuns I'll folosi Obiectiv C sintaxă). Comportamentul de această metodă pot diferi atunci când coșul este gol, comparativ cu atunci când coșul conține alte elemente; aceasta poate diferi dacă utilizatorul a introdus un cod de reducere; aceasta poate diferi dacă elementul specificat poate't fi expediate prin selectat metoda de transport maritim; etc. Deoarece aceste condiții se intersectează unul cu altul va termina cu un geometric număr tot mai mare de contexte posibile; în xUnit stil de testare acest lucru duce adesea la o mulțime de metode cu nume ca testAddItemWhenCartIsEmptyAndNoDiscountcodeandshippingmethodapplies. Structura de BDD-stil cadrele vă permite să organizați aceste condiții individual, care-I face mai ușor de a face sigur că acoperă toate cazurile, precum și mai ușor de a găsi, a modifica sau a adăuga condiții individuale. Ca un exemplu, folosind Cedru sintaxa, metoda de mai sus va arăta astfel:

describe(@"ShoppingCart", ^{
    describe(@"addItem:", ^{
        describe(@"when the cart is empty", ^{
            describe(@"with no discount code", ^{
                describe(@"when the shipping method applies to the item", ^{
                    it(@"should add the item to the cart", ^{
                        ...
                    });

                    it(@"should add the full price of the item to the overall price", ^{
                        ...
                    });
                });

                describe(@"when the shipping method does not apply to the item", ^{
                    ...
                });
            });

            describe(@"with a discount code", ^{
                ...
            });
        });

        describe(@"when the cart contains other items, ^{
            ...
        });
    });
});

În unele cazuri,'ll găsi contexte în care conțin aceleași seturi de afirmații, pe care le puteți USCA folosind comună exemplu contexte. Cea de-a doua principala diferență între BDD-stil cadre și xUnit stil cadre, afirmarea (sau "meciuri") sintaxa, face pur și simplu stilul de specificatii ceva mai frumos; unii oameni chiar le place, altora nu't. Asta duce la întrebarea de ușurința de utilizare. În acest caz, fiecare cadru are argumentele sale pro și contra:

• OCUnit a fost în jur de mult mai mult de Cedru, și este integrat direct în Xcode. Acest lucru înseamnă că's simplu de a face un nou test țintă, și de cele mai multe ori, obtinerea rezultatelor de până și să fie difuzate "pur și simplu funcționează." Pe de altă parte, am constatat că, în unele cazuri, cum ar fi rularea pe un dispozitiv iOS, obtinerea OCUnit teste de la lucru era aproape imposibil. Înființarea de Cedru specificatii nevoie de ceva mai mult de lucru decât OCUnit teste, deoarece veți obține o bibliotecă și link-ul împotriva singur (n-o sarcină trivială în Xcode). Am're de lucru pentru a face mai ușor de configurare, precum și orice sugestii sunt mai mult decât binevenite.
• OCUnit ruleaza testele ca parte a construi. Acest lucru înseamnă că don't nevoie pentru a rula un executabil pentru a face teste; dacă testele eșuează, construi dvs. nu reușește. Acest lucru face ca procesul de teste cu un pas mai simplu, și ieșire de test merge direct în contul dvs. de a construi fereastra de ieșire, care îl face ușor pentru a vedea. Noi am ales să avem Cedru specificatii construi într-un executabil care se execută separat pentru câteva motive:
• Am vrut să fie capabil de a utiliza depanatorul. Fugi de Cedru specificatii la fel ca tine ar rula orice alt executabil, astfel încât să puteți folosi debugger în același mod.
• Am vrut ușor consola de logare în teste. Puteți utiliza NSLog() în OCUnit teste, dar cea de ieșire trece în a construi fereastră în care trebuie să se desfășoare construi pas, în scopul de a-l citesc.
• Am vrut ușor de citit test de raportare, atât pe linie de comandă și în Xcode. OCUnit rezultatele apar frumos în a construi fereastră în Xcode, dar clădirea din linia de comandă (sau ca parte a unei IC proces) rezultatele la testul de ieșire amestecate cu o mulțime și o mulțime de alte construi ieșire. Separat construi și rula faze de Cedru separă de ieșire astfel încât ieșire de test este ușor de a găsi. Implicit Cedru test runner exemplare stilul standard de imprimare "." pentru fiecare spec, "F" pentru faptul că nu specificatii, etc. Cedar are, de asemenea, capacitatea de a utiliza personalizat reporter obiecte, astfel încât să puteți avea rezultate de ieșire în orice mod doriți, cu un pic de efort.
• OCUnit este oficial cadru unitate de testare pentru Objective C, și este susținută de Apple. Apple are resurse nelimitate, așa că dacă vrei ceva făcut-o va face. Și, la urma urmei, acest lucru este Apple's sandbox am're de joc în. Reversul medaliei, cu toate acestea, este faptul că Apple primește pe ordinea de un trilion de sprijin cereri și rapoarte de bug-uri în fiecare zi. Ei're deosebit de bună despre manipulare-le pe toate, dar acestea nu pot fi în măsură să se ocupe de problemele pe care le raporta imediat, sau la toate. Cedar este mult mai nouă și mai puțin coapte decât OCUnit, dar dacă aveți întrebări sau probleme sau sugestii, trimite un mesaj la Cedar lista de corespondență ([email protected]) și ne-am'll face tot ce putem pentru a vă ajuta. De asemenea, nu ezitați să furculiță codul de pe Github (github.com/pivotal/cedar) și se adaugă orice crezi că lipsește. Ne facem framework-uri de testare open source pentru un motiv.
• Execută OCUnit teste pe dispozitive iOS, poate fi dificil. Sincer, nu am't încercat acest lucru de ceva timp, așa că poate au devenit mai ușor, dar ultima dată când am încercat eu pur și simplu n't obține OCUnit teste pentru orice UIKit funcționalitate pentru a lucra. Când am scris Cedru ne-am asigurat că vom putea testa UIKit-cod dependente, atât pe simulator și pe dispozitive. În cele din urmă, am scris de Cedru pentru unitate de testare, ceea ce înseamnă că'nu e chiar comparabil cu proiecte, cum ar fi UISpec. L's a trecut ceva timp de când am încercat, folosind UISpec, dar am înțeles că pentru a fi axat în principal pe programatic de conducere UI pe un dispozitiv iOS. În mod special am decis să nu încercați să aveți Cedru sprijine aceste tipuri de specificatii, deoarece Apple a fost (la timp) să anunțe UIAutomation.

Am'm de gând să aibă de a arunca Frank în testele de acceptare se amestecă. Aceasta este o destul de nou plus dar a lucrat excelent pentru mine până acum. De asemenea, acesta este, de fapt, a fi lucrat în mod activ, spre deosebire de icuke și altele.

Pentru test driven development, îmi place să folosesc GHUnit, este o briza de a crea, și de lucrări de mare pentru depanare prea.

Lista Mare!

Am găsit o altă soluție interesantă pentru UI testare aplicații iOS.

Dovlecei Cadru

Ea se bazează pe UIAutomation`. Cadrul permite să scrie ecran centrice scenarii în Castravete ca stil. Scenariile pot fi executate în Simulator și pe dispozitivul de la o consola (este CI prietenos).

Afirmațiile sunt screenshot bazează. Sunete inflexibil, dar devine frumos raport HTML, evidențiate cu ecran comparație și vă poate oferi măști care definesc regiunile doriți să aveți pixel exactă afirmația.

Fiecare ecran trebuie să fie descrise în CoffeScript și instrumentul de sine este scris în ruby. Este un fel de polyglott coșmar, dar instrumentul oferă o abstracție frumos pentru UIAutomation și când ecranele sunt descrise este ușor de gestionat, chiar și pentru QA persoană.

Eu as alege iCuke pentru teste de acceptare și de Cedru pentru teste unitare. UIAutomation este un pas în direcția cea bună pentru Apple, dar instrumentele nevoie de un suport mai bun pentru integrare continuă; rulează automat UIAutomation teste cu Instrumente nu este în prezent posibilă, de exemplu.

GHUnit este bun pentru teste unitare; pentru testele de integrare, am'am folosit UISpec cu un oarecare succes (github furculita aici: https://github.com/drync/UISpec), dar aștept cu nerăbdare să încerc iCuke, deoarece ea promite a fi un ușor de configurare, și puteți utiliza șine de testare bunătate, ca RSpec și Castravete.

Eu folosesc în prezent specta pentru rspec ca setari si's partenere (ca mai sus) expecta care are tone's a minunat de potrivire opțiuni.

Mie îmi plac OCDSpec2 dar am'm părtinitoare, am scris OCDSpec și să contribuie la cel de-al doilea.

L's foarte repede chiar și pe iOS, în parte pentru că-l's a construit de la sol în sus, mai degrabă decât să fie pus pe partea de sus a OCUnit. Acesta are o RSpec/Jasmine sintaxa fel de bine.

https://github.com/ericmeyer/ocdspec2