Szoftvercégeknek

Mérnöki mesterség, amely lépést tart az AI-jal.

A fejlesztőik hónapról hónapra több AI által írt kódot élesítenek. Vajon közben jobb lesz-e az ítélőképességük, vagy felületesebbek lesznek? Felmérjük a kód mögötti ítélőképességet, a csapattal gyakoroljuk, és egyszerre egy jól körülhatárolt problémán alkalmazzuk. Az árról minden alkalommal előre, írásban megállapodunk.

Egy rövid beszélgetés azzal a mérnökkel, aki a munkát végzi. A végére tudni fogják, melyik termékünk illik a csapatukhoz, vagy hogy egyelőre egyik sem.

Képzeljenek el egy code review-t egy év múlva. A kód nagy részét AI írta. A fejlesztőik úgy olvassák, ahogy egy szenior egy junior pull requestjét: tudják, mit fogadjanak el, milyen módosításokat kérjenek, és miért. Ez az a csapat, amelyik profitált az AI-átállásból. A másik csapat ugyan gyorsabban halad, de hanyagabbá válik, és a code review futólagos átnézéssé és rábólintássá silányul. A különbség az ítélőképesség, és az, hogy a csapat tudatosan építi, méri és gyakorolja-e.

Attila Fejér

Honnan erednek a módszereink?

Fejér Attila vagyok, a Craftosphere alapítója. 2013 óta több mint 400 fejlesztőcsapatot coacholtam. Ezek közül a legnagyobb program egy Fortune 100-as pénzügyi cégnél futott: a csapatok munkáját DORA segítségével elemezték, és a mutatók mérhetően javultak. Tagja vagyok annak a csapatnak is, amely az nWave-et, a nyílt forráskódú, AI-támogatott szoftverfejlesztési keretrendszert fejleszti, és a megbízásainkban mi is ezt használjuk. A mérnöki ítélőképesség mércéje az AI korában még nem létezik. Ezért dolgozom egy ilyen mércén, amibe az ügyfél hozzájárulásával minden megbízás tapasztalata beépül.

Hogyan dolgozunk egy fejlesztőcsapattal?

Nagy vonalakban minden megbízás ugyanúgy zajlik.

  1. 1

    Kezdő beszélgetés.

    Egy rövid beszélgetés arról, hol tart a csapatuk az AI által írt kóddal. A végén javaslatot kapnak: melyik termékünk illik Önökhöz, vagy hogy egyelőre egyik sem.

  2. 2

    Írásos felmérés.

    A Scorecard-felmérés két-négy hét interjúkkal, a kódbázis és a code review-k elemzésével. Megkapják a megállapításokat és a három leghatásosabb lépést. 2,8 millió forinttól.

  3. 3

    Gyakorlati alkalmazás.

    A Judgment Dojo program hétről hétre építi fel az új szokásokat. A Precision Sprint során egy konkrét, jól körülhatárolt problémát oldunk meg a csapatukkal együtt.

  4. 4

    Az eredmény az Önöké.

    A jelentések, a playbookok, a döntési feljegyzések és az előtte-utána mért számok az Önöké.

Mire számíthatnak?

Minden termékünknek rögzített feladata, fix ára és előre meghatározott eredményei vannak. Nem ajánlunk havidíjas megbízást vagy végeláthatatlan tanácsadást. Ahol a munka megkívánja, a kódjukkal és a code review folyamatukkal dolgozunk, nem diasorokkal. Ahol AI is részt vesz a munkában, ezt transzparensen kommunikáljuk a döntésekkel együtt, amelyektől az eredmény megbízható lett. Mielőtt belelátnánk az Önök cégébe, titoktartási szerződést írunk alá, a kód csak olvasható másolatán dolgozunk, amelyet a végén törlünk, és a csapatot értékeljük, nem az egyes embereket. Ha a csapatuk még nem áll készen egyik termékre sem, ezt már az első beszélgetésen megmondjuk, és ez semmibe sem kerül.

Nem zsákbamacska

Tanulságok egy Fortune 100-as programból

Háromszáz csapat váltott a Scrumról az extreme programming (XP) irányába, egyszerre néhány csapattal: két hét tantermi képzés, majd hat hét a csapat mellett. Hat hónap után nagyjából 10%-kal javult az átfutási idő (lead time) és a hibás változtatások aránya (change failure rate). Milyen változások bizonyultak tartósnak, mi nem, és mit jelent ez az AI által írt kódra nézve.

Az esettanulmány elolvasása

Nem kell vakon hinniük

A megállapításokat még a végleges jelentés előtt látják, a gyakorlatok és a playbookok az Önöké, az előtte-utána számok pedig a saját csapatukból származnak. Minden lépésnél bizonyítékot kapnak, nem csak a szavunkat.

A mérnök a háttérben

Az alapítónk 2010 óta fejleszt szoftvert, 2013 óta coachol fejlesztőcsapatokat, eddig több mint 400-at. Ugyanazokat az elvárásokat támasztjuk a saját munkánkkal szemben, amelyeket a fejlesztőcsapatoknak tanítunk.

Az árak nem szállnak el

Az árat még a kezdés előtt írásban rögzítjük. A megbízás minden változását előre egyeztetjük és beárazzuk, és semmi sem kerül pénzbe az Önök jóváhagyása nélkül.

További történetek fejlesztőcsapatoknak

Egy rendszer. Két szabvány. Egy nyitva hagyott kérdés.

DORA

Azt méri, milyen gyorsan és megbízhatóan jutnak élesbe a változtatások: telepítési gyakoriság (deployment frequency), átfutási idő (lead time for changes), a sikertelen telepítés utáni helyreállítás ideje (failed deployment recovery time), a hibás változtatások aránya (change failure rate).

SPACE

A fejlesztői termelékenységet méri: elégedettség (satisfaction), teljesítmény (performance), aktivitás (activity), kommunikáció és együttműködés (communication and collaboration), hatékonyság (efficiency and flow).

CODA

A Comprehension and Ownership Depth Assessment, amely még fejlesztés alatt áll. A hipotézisünk az, hogy a kettő mögött álló mérnöki ítélőképesség is mérhető, az az ítélőképesség, amelyet az AI-eszközök sürgetővé tesznek. A Comprehension Ratio mutatónak (el tudják-e magyarázni és módosítani a fejlesztők a kódot, amelyet élesítenek) például nincs megfelelője a SPACE-ben.

A SPACE még azelőtt készült, hogy az LLM-alapú kódolóeszközök elterjedtek volna. Akkor még nem volt ennyire fontos, hogy a fejlesztők értik-e, amit élesbe állítanak. Most az. Ha a hipotézis beigazolódik, a CODA mindkettőt kiegészíti az ítélőképesség rétegével, és minden Scorecard-jelentésben hivatkozunk a SPACE-re és a DORA-ra is.

Amit a fejlesztői vezetők kérdezni szoktak

A leggyakoribb kérdések.

Fejlesztőcsapatoknak: a termékeink

Az Engineering Quality Scorecard a Craftosphere két-négy hetes felmérése az Önök fejlesztőcsapatairól: interjúk, a kódbázis és a code review-k elemzése a CODA (Comprehension and Ownership Depth Assessment) négy dimenziója mentén (Decision Velocity, Decision Confidence, Comprehension Ratio és Review Depth). Az eredmény egy írásos jelentés a megállapításokkal és egy rangsorolt cselekvési terv. 2,8 millió forinttól. További részletek a Scorecardról.

A Judgment Dojo heti rendszerességű gyakorlóprogram azoknak a fejlesztőcsapatoknak, amelyek tudatosan szeretnék fejleszteni az ítélőképességüket. 6–12 fős csapatok 8–16 héten át hetente találkoznak, négy témakör egyikében: AI Code Judgment, Architectural Thinking, Refactoring Judgment, illetve TDD and Quality Practices. Csapatonként 2,8 millió forinttól. További részletek a Dojo-ról.

A Precision Sprint egy négy-nyolc hetes megbízás: a Craftosphere egy szenior mérnöke együtt dolgozik a csapattal egy konkrét, jól körülhatárolt problémán, például az AI által írt kód review-gyakorlatának kialakításán, a minőségi kultúra átalakításán vagy az architekturális döntések megszilárdításán. Rögzített feladat, fix ár, kézzelfogható eredmény. 7 millió forinttól. További részletek a Sprintről.

Egy rövid beszélgetéssel. Elmondják, hol tart a csapatuk az AI által írt kóddal, mi pedig megmondjuk, melyik termékünk illik Önökhöz, vagy hogy egyelőre egyik sem Önöknek való. A beszélgetés ingyenes, és utána nem bombázzuk Önöket e-mailekkel.

Elsősorban medior és szenior fejlesztőknek (jellemzően 5–15 év tapasztalattal), akik naponta használnak AI-alapú kódolóeszközöket, de meg akarják őrizni és tovább akarják fejleszteni azokat a döntési készségeket, amelyeket az AI nem tud kiváltani. Csapatvezetőknek és staff szintű mérnököknek is szól, akiknek minőségi elvárásokat kell felállítaniuk olyan csapatokban, ahol a kód egyre nagyobb részét AI írja.

A Craftosphere Engineering Quality Scorecard a csapat méretétől függően két-négy hétig tart. Az eredmény egy írásos jelentés a négy CODA-dimenzió mentén és egy rangsorolt cselekvési terv. Egy Judgment Dojo vagy Precision Sprint után egy újabb Scorecard méri a változást.

Fejlesztőcsapatoknak: CODA

A CODA (Comprehension and Ownership Depth Assessment) egy keretrendszer, amelyet a Craftosphere fejleszt a mérnöki ítélőképesség mérésére. Négy dimenziója két, egymást ellensúlyozó párt alkot:

  • Speed vs. Depth (gyorsaság és alaposság): Decision Velocity (milyen gyorsan jut el a csapat az architekturális döntésekig) és Decision Confidence (mennyire állják ki a döntések az idő próbáját).
  • Output vs. Ownership (mennyi kód készül, és mennyire érzik a sajátjuknak): Comprehension Ratio (el tudják-e magyarázni és módosítani a fejlesztők a kódot, amelyet élesítenek) és Review Depth (mennyire alaposan nézik át az AI által írt kódot).

Ha valaki egy pár egyik tagját mesterségesen javítja, a másik láthatóan romlik. Ugyanez az elv teszi hatékonnyá a DORA-mutatókat is. A CODA még fejlesztés alatt áll. Jelenleg minden Scorecard kvalitatív szempontrendszerét adja.

A DORA, a SPACE és a CODA három különböző szinten mér. A DORA azt, milyen gyorsan és megbízhatóan jutnak élesbe a változtatások, a SPACE a fejlesztői termelékenységet, a CODA pedig a kettő mögött álló mérnöki ítélőképességet, amelynek mérését az AI-alapú kódolóeszközök sürgetővé teszik. A CODA a DORA és a SPACE kiegészítése, nem helyettesítője, és minden Scorecard-jelentésben mindkettőre hivatkozunk.

Fejlesztőcsapatoknak: a kódjuk és az embereik

Igen. Mielőtt bármit látnánk, aláírjuk az Önök titoktartási szerződését, vagy ha Önöknek úgy kényelmesebb, a miénket. Abban az is szerepel, kik láthatják a kódot a részünkről.

Csak olvasási jogosultsággal. A kódbázis egy másolatán dolgozunk, mert a felméréshez és annak AI-támogatott részeihez a teljes kódbázisnak kéznél kell lennie. A megbízás végén a másolatot töröljük. Soha semmit nem töltünk fel a repositoryjukba, és írási jogra sincs szükségünk.

Felmérés és Sprint közben igen, a Craftosphere saját fiókjain keresztül, és csak akkor, ha az adott megbízásban írásban hozzájárulnak, az eszközök megnevezésével. Elmondjuk, melyik modell mihez fért hozzá. Ha nem járulnak hozzá, AI-eszközök nélkül dolgozunk, ami tovább tart.

Nem. A Scorecard a csapatok gyakorlatait értékeli, nem az egyes embereket. Senki nem kap egyéni pontszámot, és személyes adat nem jut el a vezetéshez. A fejlesztőkkel azért készítünk interjút, hogy megértsük, hogyan dolgoznak a csapatok, nem azért, hogy minősítsük őket.

A jegyzeteinket és a megállapításokat, hogy egy későbbi Scorecard mérni tudja a változást. Ha kérik, ezeket is töröljük. Ha írásban hozzájárulnak, anonimizált adatokat is megőrzünk a CODA-hoz kapcsolódó kutatáshoz, de semmi olyat, amiből a cégük vagy a munkatársaik azonosíthatók. Hozzájárulás nélkül kutatási célra semmit nem őrzünk meg.

Hozzák a kódbázist. Javaslattal távoznak.

Egy rövid beszélgetés arról, hol tart a csapatuk az AI által írt kóddal. A végén javaslatot kapnak, akkor is, ha az a javaslat, hogy „még ne”.

Nincs hírlevél, és nem bombázzuk Önöket e-mailekkel.