Snaga za ljude: kako jedna nepoznata skupina istraživača drži ključ korištenja AI za rješavanje stvarnih ljudskih problema

U posljednjih nekoliko godina, niz spektakularnih rezultata istraživanja privukao je pažnju svijeta na strojno učenje. Uzbuđenje zbog AI-ja nije bilo tako bijelo vruće od početka posljednje AI zime. No, unatoč eksploziji interesa, većina ljudi obraća pažnju na pogrešna istraživanja. I u tom procesu im nedostaje rad malog skupa istraživača koji tiho grade temelje koji će nam trebati da iskoristimo strojno učenje da bismo riješili stvarne ljudske probleme.

Trenutni val uzbuđenja putem AI započeo je s probojnim uspjehom Hintona i drugih s dubokim konvolucijskim neuronskim mrežama o klasifikaciji slika. Na polju koje tipično napreduje za jedan postotni bod, njihovi rezultati uništili su prethodno stanje tehnike. Hintonovi sunarodnici poput Yoshua Bengio, Yann LeCun, Andrew Ng i drugi brzo su slijedili, koristeći srodne tehnike za postavljanje novih mjerila u prepoznavanju govora, prepoznavanju lica i brojnim drugim istraživačkim problemima. Svijet istraživača strojnog učenja brzo je postao svjestan (a potom i duboko opsjednut) ovim novim paketom pristupa koji su bili okupljeni pod zastavom Dubokog učenja.

A tada, kako je Deep Learning dobio veću podršku velikih kompanija poput Googlea i Facebooka, počeo je stvarati dostignuća koja su bila čitljiva - i izuzetno impresivna - za širu javnost. AlphaGo je ostvario povijesne pobjede protiv vodećih svjetskih Go igrača. IBM Watson dominirao je ljudskim igračima u Jeopardyju na mrežnoj TV. Manji napori poput prijenosa neuralnog stila i dubokog sna stvorili su impresivne vizualne meme koji se šire društvenim medijima.

Sav taj uspjeh upalio je neprekidno plamen pažnje tiska i špekulacija koji su ga privlačili rukovoditelji, prvi tehnolozi i dizajneri u širokom rasponu poduzeća. Ulagački kapitalisti počinju razgovarati o ulaganju u AI Prvi svijet. Polovina početnika želi upotrijebiti ove napredne napredne aI za izradu konverzacijskih korisničkih sučelja za svoje web i mobilne aplikacije, a druga polovica ih želi upotrijebiti za poboljšanje svojih proizvoda Internet of Things. Nedavno sam govorio na konferenciji koju je organizirao The Economist u Hong Kongu i jedno od glavnih pitanja bilo je o utjecaju AI na marketing.

Ali sada za mrlju hladne vode: iako su AI sustavi postigli brzi napredak, oni nigdje nisu u mogućnosti da autonomno riješe bilo koji značajan ljudski problem. Ono što su postali moćni su alati koji bi mogli dovesti do radikalno bolje tehnologije ako ih i samo ako ih uspješno iskoristimo za ljudsku upotrebu.

Ono što sprečava AI da se upotrebljava u tisućama tvrtki širom svijeta nije novi algoritam učenja. Nije potrebno više programera koji se bave matematikom stohastičkog gradijenta i unatrag širenjem. Čak nije ni potrebna pristupačnija knjižnica softvera. Ono što je potrebno za široko prihvaćanje AI-a je razumijevanje kako izraditi sučelja koja snagu ovih sustava stavljaju u ruke svojih ljudskih korisnika. Potrebna je nova hibridna dizajnerska disciplina, ona čiji praktičari dovoljno dobro razumiju AI sustave da bi znali što nude za interakciju i razumjeli ljude dovoljno dobro da znaju kako ih mogu koristiti, zloupotrebljavati i zloupotrebljavati.

Pogledajte povijest. Nisu neki napredak u vrhunskoj matematici ili tehnici programiranja proizveli "ubojitu aplikaciju" za osobno računalo. Bila je veza Dan Bricklina između mogućnosti programiranja i radnih metoda stvarnih ljudi koja je proizvela VisiCalc, prvu „elektroničku proračunsku tablicu“.

A skriven ispod spektakla uspjeha dubokog učenja, čitavo polje istraživanja tiho je odrastalo i posvećeno upravo ovom problemu oblikovanja ljudske interakcije sa sustavima strojnog učenja. Interaktivno strojno učenje, kao što je poznato ovo malo, ali uzbudljivo polje, živi na sjecištu istraživanja korisničkog iskustva i strojnog učenja. I gotovo svi koji ovo čitaju - gotovo svi koji se pitaju kako uključiti AI u vlastiti poslovni ili kreativni alat ili softverski proizvod ili dizajnersku praksu - bilo bi bolje proučiti ovo područje nego možda bilo koji drugi dio AI krajolika.

Kako ponavljajuće neuronske mreže nadmašuju revolucionarne neuronske mreže samo da bi ih nadmašile učenjem dubokog ojačanja koje zauzvrat obrubljuje neizbježna Sljedeća stvar u ovom nevjerojatno brzom pokretnom polju, specifičnosti svakog datog algoritma koji pri nekim ima naziv najbolje performanse metrika ili referentna vrijednost ostat će na važnosti. Ono što će ostati važno jesu principi dizajniranja sustava koji omogućuju ljudima da koriste te sustave učenja da bi radili ono do čega im je važno.

Upravo su ti principi predmet interaktivnog strojnog učenja. A ako ste dizajner, menadžer ili programer koji radi na korištenju AI da bi napravio nešto za ljudsku upotrebu, to su principi koje ćete morati savladati.

Da bih vam pomogao da započnete, mislio sam da bih sažeo nekoliko rezultata na terenu i pružio linkove do nekih od svojih najzanimljivijih istraživanja. Prije nekoliko godina imao sam sreću pohađati tečaj MIT Media Lab o interaktivnom strojnom učenju koji je predavao Brad Knox, jedan od najzanimljivijih praktičara na tom području. Gotovo sve ono što ću ovdje opisati naučio sam od Knoxa ili proučavanjem čitanja koje mu je dodijeljeno. (U stvari, ono što slijedi je prije svega laserski sažetak Knoxovog rada, Moć ljudima: Uloga ljudi u interaktivnom strojnom učenju, napisano s Saleema Amershi, Mayom Cakmak i Toddom Kuleszom - sve to među vodećim svjetlima IML-a.)

Još jedna napomena: za razliku od zidnih jednadžbi koje čine većinu radova strojnog učenja, IML literatura duboko je privlačna i uglavnom prijateljski nastrojena prema ne-stručnjacima. Potičem vas da zaronite u originalne radove gdje god vas određena tema izazove zanimanjem. Ovdje sam prikupio veze do svih radova u Knoxovom nastavnom planu.

Koristite aktivno učenje kako biste dobili najviše pomoći od ljudi

Osnovni zadatak većine sustava strojnog učenja je generaliziranje iz uzoraka podataka koje su stvorili ljudi. Proces učenja započinje tako što ljudi stvaraju hrpu označenih podataka: slike označene predmetima koje prikazuju, slike lica s imenima ljudi, snimke govora s preciznim transkriptom itd. Zatim slijedi trening. Algoritam strojnog učenja obrađuje sve podatke koji su obilježeni čovjekom. Na kraju treninga algoritam učenja proizvodi klasifikator, u osnovi mali samostalni program koji može pružiti pravi odgovor za nove unose koji nisu bili dio podataka o obuci s ljudskim oznakama. Taj klasifikator je ono što onda implementirate u svijet da pogodite dob svojih korisnika, prepoznate lica njihovih prijatelja ili prepisuju njihov govor dok razgovaraju na njihov telefon.

Nedostatak resursa u ovoj jednadžbi je ljudski rad koji je potreban za označavanje podataka o treningu.

Mnogi impresivni rezultati Deep Learninga dolaze iz domena u kojima su dostupne ogromne količine označenih podataka jer ih je podijelilo milijarda korisnika društvene mreže ili pretraživali s cijelog interneta. Međutim, ako niste Facebook ili Google, vjerojatno ćete naći označene podatke relevantne za vaš problem malo oskudnijima, pogotovo ako radite u nekoj novoj vertikali koja ima svoj žargon ili ponašanje ili izvore podataka. Otuda ćete trebati od korisnika dobiti naljepnice. To podrazumijeva izgradnju nekakvog sučelja koje im pokazuje primjere tekstova ili slika ili drugih ulaza koje želite klasificirati i dobivaju ih da pošalju ispravne oznake.

Ali, opet, ljudski rad - pogotovo kada dolazi od vaših korisnika - je oskudni resurs. Stoga ćete samo tražiti od svojih korisnika da označe podatke koji će najviše poboljšati rezultate vašeg sustava. Aktivno učenje naziv je za polje strojnog učenja koje proučava upravo ovaj problem: kako pronaći uzorke za koje bi ljudska oznaka pomogla sustavu da se najviše poboljša. Istraživači su otkrili niz algoritamskih pristupa ovom problemu. Uključuju tehnike pronalaska uzorka o kojem sustav ima najveću nesigurnost, otkrivanje uzoraka za koje bi etiketa uzrokovala najveću promjenu u rezultatima sustava, odabir uzoraka za koje sustav očekuje da će njegova predviđanja imati najveću pogrešku i druge , Izvrsna anketa Burr Settlesa o aktivnom učenju daje sjajan uvod u to polje.

Kao konkretan primjer ovih ideja, evo videozapisa koji pokazuje sustav prepoznavanja geste rukom koji sam sagradio i koji koristi principe aktivnog učenja da zahtijeva naljepnice od korisnika kada vidi gestu za koju ne može jasno predvidjeti (pojedinosti o ovom radu ovdje) :

Ne tretirajte korisnika kao "Oracle"

Istraživači aktivnog učenja pokazali su uspjeh u proizvodnji klasifikatora više točnosti s manje označenih uzoraka. Aktivno učenje je odličan način da izvučete najviše učenja iz posla na etiketiranju koje vaši korisnici obavljaju.

Međutim, iz perspektive dizajna interakcije, Aktivno učenje ima velike nedostatke: sustav učenja odgovoran je za interakciju, a ne za ljudskog korisnika. Istraživači aktivnog učenja odnose se na čovjeka koji označava uzorke koje je odabrao kao "proročice". Pa, istraživači interaktivnog strojnog učenja pokazali su da ljudi ne vole tretirati ih kao orake.

Ljudi ne vole kada im robot govori. Mnogo više uživaju u interakcijama i spremni su potrošiti više vremena uvježbavajući robota ako je on zadužen za interakciju.

U radu iz 2010. godine, Dizajnirajući interakcije za aktivne učenike robota, Cakmak i suradnici proučavali su percepciju korisnika pasivnih i aktivnih pristupa učenju robota da prepoznaje oblike. Jedna je opcija postavila robota na čelo. Pomoću aktivnog učenja trebalo bi odrediti oblik koji je htio sljedeće označiti. Tada bi ukazivao na oblik, a korisnik bi pružio odgovor. Druga je opcija stavila korisnike na odgovornost, omogućavajući im da odaberu primjere za prikaz robota.

Kad je robot bio zadužen za interakciju, odabirom uzorka koji želi biti označen u stilu Aktivno učenje, korisnici su pronašli niz robota kao neuravnotežen i neugodan. Korisnici su također izvijestili o lošem razumijevanju stanja učenja robota, što ih čini lošim učiteljima.

U softverskom kontekstu, Guillory i Blimes pronašli su slične osjećaje dok su pokušavali primijeniti aktivno učenje na Netflixovom sučelju za ocjenu filmova.

Odaberite algoritme za njihovu sposobnost objašnjenja rezultata klasifikacije

Zamislite da imate trajan zdravstveni problem koji vam treba dijagnosticirati. Na raspolaganju imate dva AI sustava koja možete koristiti. Sustav A ima 90% -tnu stopu točnosti, najbolje dostupne. Uzima u vašu medicinsku povijest, sve pretrage i ostale podatke i daje dijagnozu. Ne možete mu postavljati pitanja niti otkriti kako je došlo do te dijagnoze. Vratite samo latinsko ime za svoje stanje i vezu na wikipediji. Sustav B ima stopu točnosti od 85%, što je znatno manje nego sustav A. Sustav B uzima sve vaše medicinske podatke i također se vraća s dijagnozom. Ali za razliku od sustava A, on vam također govori kako je došao do te dijagnoze. Vaš krvni tlak je iznad određenog praga, vi ste iznad određene dobi, imate tri od pet faktora iz obiteljske povijesti itd.

Koji biste od ova dva sustava odabrali?

Postoji marketinška klišeja što je polovica proračuna za oglašavanje izgubljena, ali nitko ne zna koju polovinu. Istraživači strojnog učenja imaju srodnu klišeju: lako je stvoriti sustav koji može biti pravi 80% vremena, što je teško otkriti koji je 80% u pravu. Korisnici više vjeruju sustavima učenja kada mogu razumjeti kako donose svoje odluke. I bolje će ispraviti i poboljšati ove sustave kada mogu vidjeti unutrašnjost svog rada.

Dakle, ako želimo izgraditi sustave u koje vjeruju korisnici i u koje se možemo brzo poboljšati, trebali bismo odabrati algoritme ne samo za to koliko često daju pravi odgovor, već i zbog toga što kuke pružaju za objašnjenje njihovog unutarnjeg rada.

Neki algoritmi strojnog učenja pružaju više tih vrsta privola nego drugi. Na primjer, neuronske mreže koje trenutno na tako mnogo problema guraju najmoderniju tehniku ​​pružaju posebno malo kuka za takva objašnjenja. Oni su u osnovi velike crne kutije koje ispljuju odgovor (iako neki istraživači rade na ovom problemu). S druge strane, šume nasumičnih odluka pružaju nevjerojatno bogate prilike za objašnjenje klasifikacija i izgradnju interaktivnih kontrola obrazovnih sustava. Možete shvatiti koje su varijable bile najvažnije, pouzdanost sustava za svako predviđanje, blizina bilo koja dva uzorka itd.

Ne biste odabrali okvir baze podataka ili web poslužitelja ili javascripta jednostavno zbog njegovih referentnih vrijednosti. Pogledajte API i vidite koliko je podržao sučelje koje želite pružiti svojim korisnicima. Slično tome, kao projektanti sustava strojnog učenja trebali bismo očekivati ​​da imaju mogućnost pristupa unutarnjem stanju naših klasifikatora kako bi izgradili bogatija i interaktivnija sučelja za naše korisnike.

Pored vlastitog dizajnerskog rada na ovim sustavima, želimo osnažiti naše korisnike kako bi poboljšali i kontrolirali rezultate koje dobivaju. Todd Kulesza, iz Microsoftovog istraživanja, napravio je opsežan posao upravo na ovom problemu koji naziva Objašnjenje ispravljanjem. Kuleszin rad proizvodi sustave strojnog učenja koji objašnjavaju njihove rezultate klasifikacije. Sama ta objašnjenja tada djeluju kao sučelje putem kojeg korisnici mogu pružiti povratne informacije kako bi poboljšali i što je još važnije personalizirali rezultate. Njegov rad o uklanjanju pogrešaka klasifikacije naivnih Bayesova orijentacije krajnjeg korisnika pruža snažan i konkretan primjer ideje.

Osnaživanje korisnika za stvaranje vlastitih klasifikatora

U uobičajenoj praksi strojnog učenja, inženjeri grade klasifikatore, dizajneri ih integriraju u sučelja, a zatim korisnici komuniciraju sa njihovim rezultatima. Problem ovog obrasca je što razdvaja praksu strojnog učenja od znanja o problematičnoj domeni i sposobnosti procjene rezultata sustava. Inženjeri strojnog učenja ili znanstvenici s podacima mogu razumjeti dostupne algoritme i statističke testove koji se koriste za procjenu njihovih rezultata, ali oni uistinu ne razumiju ulazne podatke i ne mogu vidjeti probleme u rezultatima koji bi bili očigledni njihovim korisnicima.

U najboljem slučaju ovaj obrazac rezultira izuzetno sporim ciklusom ponavljanja. Strojni inženjeri učenja vraćaju se svojim korisnicima s svakom iteracijom sustava, polako učeći o domeni i čineći pojedina poboljšanja. U praksi, ovaj nezgrapni ciklus znači da se strojni sustavi učenja isporučuju s problemima koji su očigledni krajnjim korisnicima ili su jednostavno preskupi za izgradnju mnogih stvarnih problema.

Da bismo izbjegli ovaj obrazac, moramo staviti moć stvaranja klasifikatora izravno u ruke korisnika. Sada nijedan korisnik ne želi "stvoriti klasifikator". Dakle, da bismo im dali tu snagu potrebno je dizajnirati sučelja koja će im omogućiti da označe uzorke, odaberu značajke i izvrše sve ostale radnje na način koji se uklapa u njihove postojeće mentalne modele i tijekove rada.

Kad smislimo kako to učiniti, rezultati mogu biti izuzetno snažni.

Jedan od najimpresivnijih eksperimenata koji sam vidio u interaktivnom strojnom učenju je Saleema Amershi, rad na Facebook grupi poziva, ReGroup: Interaktivno strojno učenje za stvaranje grupe na zahtjev u društvenim mrežama.

Trenutačno iskustvo poziva na Facebook događaju ide ovako: kreirate novi događaj i idete pozvati prijatelje. Facebook vam predstavlja abecedni popis svih vaših stotina prijatelja s kvačicom za potvrdu svakog od njih. Ovaj popis gledate očajno, a zatim kliknite okvir da biste "pozvali sve". A stotine vaših prijatelja dobivaju pozivnice na događaje kojima nikada neće moći prisustvovati u gradu u kojem ne žive.

Sustav ReGroup koju su Amershi i njezin tim zajedno oplemenili na tome dramatično. Pokreće vas istim popisom imena s potvrdnim okvirima. Ali tada kad provjerite neko ime to tretira kao pozitivno označeni uzorak. I ona tretira sva imena koja ste preskočili kao negativno označene uzorke. Koristi ove podatke za obučavanje klasifikatora, tretiranje podataka profila i društvene veze kao značajke. Izračunava vjerojatnost da će svaki vaš prijatelj potvrditi potvrdni okvir pored njih i poredati najvjerojatnije one do vrha. Značajke koje određuju otkrivanje događaja relativno su jake i jednostavne - gdje ljudi žive, koje su vam društvene veze zajedničke, koliko ste ih davno oblikovali itd. - rezultati klasifikatora brzo postaju korisni.

Ovo je djelo nevjerojatno elegantno podudaranje između postojećih obrazaca interakcije s korisnicima i onoga što je potrebno za obuku klasifikatora.

Drugi sjajan primjer je CueFlik, ​​projekt Fogartyja i suradnika, koji poboljšava pretraživanje slika putem web mjesta, omogućavajući korisnicima stvaranje pravila koja automatski grupiraju fotografije po njihovim vizualnim kvalitetama. Na primjer (kao što je prikazano gore), korisnik može tražiti "stereo", a zatim odabrati samo "fotografije proizvoda" (one na čisto bijeloj pozadini). CueFlick uzima ove primjere i uči klasifikator koji može razlikovati fotografije proizvoda od prirodnih fotografija koje kasnije korisnici mogu odabrati da primijene na druga pretraživanja izvan početnog pretraživanja „stereo“, na primjer, na „automobile“ ili „telefone“.

Zaključak

Zamišljajući budućnost u obliku AI-ja, lako je pasti se na kulturne trope iz znanstveno-fantastičnih filmova i literature, pomisliti na Terminator ili 2001. ili na nju. Ali ove vizije odražavaju našu zabrinutost zbog tehnologije, spola ili prirode čovječanstva mnogo više od konkretnih stvarnosti sustava strojnog učenja kao što ih mi zapravo gradimo.

Umjesto da nedavne revolucionarne rezultate Deep Learninga posmatrate kao postupne korake prema tim uvijek odmarajućim fantastičnim fantazijama, zamislite ih kao snažne nove motore tisuću projekata poput ReGroup i CueFlik, ​​projekata koji nam pružaju neviđene mogućnosti razumijevanja i kontrole našeg svijeta. Strojno učenje ima potencijal biti moćan alat za osnaživanje čovjeka, dodirujući sve, od toga kako kupujemo, kako dijagnosticiramo bolest, tako i kako komuniciramo. Da bismo izgradili ovih sljedećih tisuću projekata na način koji iskorištava ovaj potencijal, moramo naučiti ne samo kako naučiti strojeve da uče, već i kako staviti rezultate tog učenja u ruke ljudi.