Kako postavljati metrike?

Ovo je prvo objavljeno na mojoj listi za slanje The Looking Glass. Svakog tjedna odgovaram na pitanje čitatelja.

Fotografirao Di_Chap

Kako postavljati metrike?

P: Kakvu bi ulogu trebali mjeriti metri za dizajnere? Kako biste trebali postaviti metrike i kako ih koristiti?

Često čujem zabludu da su mjerni podaci domena upravitelja proizvoda i znanstvenika podataka, hladni i tvrdi brojevi koji se koriste za praćenje poslovanja koji ne mogu istinski izmjeriti ljudsko iskustvo korištenja proizvoda. Kao rezultat toga, čuo sam da su neki dizajneri oprezno pazili na metrike kao na alat, vjerujući da je razvoj „vođen podacima“ sličan kratkoročnom razmišljanju i bezumnim mikrooptimizacijama, poput promjene veličine i boje tipki, a ne osnaživanja dizajneri zamišljaju sjajan proizvod.

Ne mislim da je ovo zdrava perspektiva, a dizajneri koji odvoje vrijeme kako bi pomogli definirati i razumjeti metrike svog tima daleko su bolje opremljeni za postizanje utjecaja od dizajnera koji ne razmišljaju o njima.

Na visokoj su razini mjerni podaci jednostavno mjerljivo mjerilo vašeg ponašanja. Ovo je dobra stvar za jasnoću i opipljivost - svi u timu znaju gdje stoje i što je "dobro". Kada se ljudi žale što se previše temelje na mjernim podacima, mislim da je glavni uzrok kad se previše naglašava na vrijednosti brojeva. Jednostavno „pomicanje igle na brojevima za rast ili angažman“ prilično je okrenuto prema unutra i nije strašno nadahnjujuće. Može se osjećati kao da ste usredotočeni na vrijednost koju primate kao tvrtka, umjesto na vrijednost koju stvarate za druge.

Zato sam pronašao najbolji način za odabir mjernih podataka nije započeti s brojevima, već započeti s izravnim iskazom o tome kako bi u ljudskom smislu izgledao uspješan ishod. Drugim riječima, kako će se poboljšati život ljudi ako vaši napori budu uspješni? Ovo bi trebala biti izjava koja daje aspiraciju koja bilježi suštinu promjene koju pokušavate u svijetu izvršiti. Nakon što se složite sa ovom izjavom, odaberite jednu metriku (ili malu grupu mjernih podataka) i vremenski okvir za mjerenje idete li prema postizanju cilja. To neće biti savršeno, ali spuštanje izjave na nešto mjerljivo omogućuje ekipama da operacionaliziraju protiv njega.

Na Facebooku smo nedavno koristili ovaj proces prilikom ažuriranja svoje izjave o misiji kako bismo se fokusirali ne samo na povezivanje svijeta, već i na zbližavanje svijeta. Započeli smo s izričajem na običnom jeziku gdje bi se, ako su naši napori uspješni, svi na svijetu našli i sudjelovali u zajednicama koje su za njih imale značaj, i na mreži i u fizičkom svijetu. Tada smo postavili cilj da pomognemo milijardi ljudi da se pridruže "značajnim skupinama" - grupama na Facebooku s kojima često komuniciraju. Započinjući s izjavom, a zatim koristeći je da odaberemo svoje mjerne podatke o uspjehu, imamo bolju sliku o ljudima kojima se služimo i bolji okvir za naše timove o kojima mogu razmišljati kada je u pitanju izrada alata za pomoć ljudima pokrenuti i rasti zajednice.

Imajte na umu da smo mogli odabrati druge mjerne podatke koje bismo mogli pogledati - poput, možda, broja postova i komentara u grupama ili koliko grupa je netko dio. Postoje različiti načini kako prevesti svoju izjavu misije u metriku, a zdravo je povremeno preispitati da li se odabrani metrički prikaz dobro usklađuje s vašom stvarnom misijom. Kad se vaša misija i vaše metrike ne poklapaju, to je recept za napetost, jer vas brojevi mogu natjerati da radite stvari koje tehnički mogu odgovarati onome kako ste definirali "uspjeh", ali ne shvaćate ono što je zapravo važno.

Sada kada imate metrike, kako ćete ih koristiti? Mjerne vrijednosti daju jasnoću fokusa i trebale bi služiti kao odgovor na pitanje "zašto" iza svake stvari koju radite. Omogućuju vam postavljanje ciljeva na mjesečnoj ili godišnjoj osnovi te podržavaju postavljanje prioriteta i pravljenje kompromisa. Kada su resursi ograničeni, smjer koji će vjerovatnije utjecati na vaš mjerni podatak trebao bi imati prednost nad drugim poslom i postat će korisna leća kroz koje možete pregledati sve faze vašeg procesa, uključujući kritike dizajna, korisničko istraživanje i istraživanje proizvoda. Budući da je mjerni podatak izveden iz vaše misije, uvijek biste trebali biti u mogućnosti povezati poboljšanja s metrikom za sveobuhvatni cilj. To će vam dobro poslužiti za započinjanje prezentacija dizajna s vašim ciljem (navedenim u ljudima), kako mjerite napredak prema tom cilju i kako vaš rad vodi boljem ishodu protiv tog cilja.

Nekoliko drugih pravila o razmišljanju o mjernim podacima:

Izbjegavajte da postoji ogroman popis mjernih podataka za rublje. Možete mjeriti sve što želite i trebali biste. Što više razumijete što ljudi zapravo rade u vašem proizvodu, to ćete bolje moći stvoriti pravo iskustvo. Međutim, prilikom postavljanja cilja najviše razine za vođenje rada vašeg tima, idealno bi bilo raditi oko metrike s jednim ključem (ili u najmanju ruku malu šaku) koja najbolje prati vašu misiju. Što više metričkih ciljeva imate, to je složenije imati na umu svaki od njih i praviti kompromise protiv njih. Iako se može činiti bolnim, donošenje ove izričite odluke unaprijed može vam uštedjeti mnoge glavobolje kasnije raspravljanja o tome koji je posao važniji.

Razmislite o praćenju kontra mjernih podataka. Sigurno je mnogo upozorenja na gornju ideju postavljanja cilja oko jedne metrike. Značajno je to što ćete možda trebati protumjeriju kako biste uravnotežili kratkoročne i dugoročne kompromise. Na primjer, ako je vaš mjerni podatak angažiran, mjeren "povećanim vremenom provedenim po korisniku", preporučujemo da uvrstite protumetriju kako nećete smanjiti broj angažiranih korisnika. Cilj je i dalje isti primarni mjerni podatak (vrijeme provedeno po korisniku), ali protumetrijski vam omogućuje da imate na umu da su sustavi složeni i sprečava vas da pretjerano optimizirate za podskupinu svoje publike na štetu stvaranja šire privlačna iskustva.

Izbjegavajte mjerne podatke. Mnogo je digitalne tinte proliveno u ovu temu, pa ću vas zadržati u ovom kratkom: Ako jedna metrika doista ne bilježi vrijednost koju stvarate za ljude na tekući način, to nije prava metrika. Mjerne ispraznosti koje zvuče fluff i zabavno (poput "broja registriranih korisnika", koji je često puno veći od dnevnih aktivnih) zapravo mogu učiniti više štete nego koristi, jer vas mogu uspavati kada mislite da radite dobar posao kada ste svi Bavite se publikom. Mjerne vrijednosti za koje je manje vjerojatno da će biti uzaludne su zadržavanje, prihod, svakodnevna upotreba i značajne radnje.

Izbjegavajte subjektivne mjere. Koliko je god moguće, pokušajte shvatiti na koji ćete način kvantificirati vrijednost koju stvarate. Naravno, volite postići stvari poput „ljudi vole naš proizvod“, ali ako pokušavate izmjeriti mišljenje, razmislite o neto promotivnom rezultatu ili drugim načinima kako da brojčano shvatite gdje trenutno stojite (ili kako se odnosite s relativnom cijenom na tržište) i postavi cilj za promjenu koju se nadaš izvršiti na način koji će biti mjerljiv. Ako pogledate nekoliko anegdotskih priča ili e-mailova kupaca, nije rigorozan način donošenja zaključaka ako je vaša stvarna korisnička baza raznolika.

Izbjegavanje postavljanja metrika nakon činjenica. Pokušaj odlučivanja jeste li bili uspješni ili ne nakon što je vaš proizvod već na tržištu nema puno smisla. Mi ljudi skloni ćemo vidjeti najoptimističniju verziju činjenica. Cijela ideja razvoja informiranih podataka je da želite izbjeći pristranost. Trebali biste znati ulazeći u svoj posao koji je vaš cilj i kako ćete mjeriti ako ste ga postigli.

Razmislite o postavljanju ciljeva 50. postotka. Vaši bi ciljevi trebali idealno istegnuti svoj tim. Želite pronaći pravu ravnotežu između odabira cilja koji je toliko težak da se čini da je malo vjerojatno da ćete postići, ili jednog tako lakog da ćete ga moći postići efikasnim ne radeći ništa. Jedan od načina da se to opiše je razmišljanje o vašim ciljevima kao 50-im postotnim ciljevima - tj. Postoji 50% šanse da dođete do odabranog metričkog cilja. To znači da, ako postižete ciljeve polovinu vremena, radite dobar posao. Ako uvijek postižete ili premašujete svoje ciljeve, vjerovatno niste postavili dovoljno prikaze. A ako ne postignete svoj cilj, trebali biste iskreno razgovarati je li cilj pogrešan ili je proboj bio nešto u strategiji ili izvršenju tima. U svakom slučaju, postavljanje pravih mjernih podataka dobro je umijeće i vaš će tim s vremenom trebao raditi na poboljšanju. Ako je potrebno, moglo bi vam biti korisno istražiti što su i slučajevi od 90. i 10. postotka, tj. Za vašu metriku, uz cilj 50p, za što ste sigurni 90% (slučaj 90p), i ono što je mahnito ambiciozni „ako sve pođe dobro“ broj u koji ste sigurni samo 10% (slučaj 10 p).

Nemoj se zamarati semantikom. Koja je razlika između ciljeva, mjernih podataka, mjera, pokretača, ciljeva itd.? Ponekad ljudi koriste različite riječi za upućivanje na različite stvari kada razgovaraju o mjernim podacima. Ne brinem se koje riječi upotrebljavate, sve dok se definicije slažete sa svojim timom.

Na kraju, ne postoji nijedan idealan način za vaš tim da odabere i koristi mjerne podatke, jer će to jako ovisiti o faktorima specifičnim za vaš tim, proizvod i tržište. Glavna poruka je jednostavno da metrike trebaju biti prihvaćene i igrati kritičnu ulogu u ulozi dizajnera proizvoda. Ovo je tema koja mi je postala prilično draga, jer uvijek sam iznova vidio kako dizajneri koji dobro koriste mjerne podatke mogu biti nevjerojatno uspješni. Ako vas zanima, evo još nekih srodnih članaka o kojima sam napisao na ovu temu:

  • Metrike prema iskustvu
  • Agonija i ekstaza zgrade s podacima
  • Metrike, priča
  • Kvaliteta nije zamjena
  • Porez novog
  • Dva načina gradnje

Da biste postavili pitanje ili pratili svaki tjedan, s više pitanja i pitanja poput ovog, pretplatite se na popis e-pošte The Looking Glass.