[bc123a]
> [tstih]
> Kdaj ste pa zadnjič pognali konvolucijsko nevronsko mrežo na npr. DGX-1? V nekaj letih bo klasifikacija na ravni človeka; segmentacija še kakšno leto pozneje.
To se seveda ne bo zgodilo, ker "na ravni cloveka" je zelo kompleksna zadeva. Pri tem ne kompleksnost nevronske mreze ne hardver ne igra odlocilne vloge, vec v nadaljevanju.

"Na ravni cloveka" ima nek kontekst. Npr. lahko receva, da nev. mreza igra sah nad ravnijo cloveka (in nad ravnijo algoritmov). Lahko receva, da hitrost predprocesiranja barvanja crnobelih filmov presega cloveka, kvaliteta pa (se) ne. Lahko receva, da GAN presega cloveka pri generiranju obrazov ljudi, ki ne obstajajo. Lahko receva, da nev. mreza presega cloveka pri prepoznavanju enojajcnih dvojckov.

In hardver seveda pri tem igra eno izmed odlocilnih vlog. Deep learning je na nevr. mrezah temeljeca stara tehnologija, ki se je vrnila v ospredje ravno zaradi napredka v nacinih ucenja, v hardveru, v ucnih primerih in v zadnjih dveh letih, GAN mrezah. Prvo je omogocilo presenetljivo boljse rezultate (npr. conv. network za vid in recurrent network za govor); drugo je omogocilo, da se spodobno kompleksne mreze lahko cesa naucijo v casu nasega zivljenja, tretje (internet, npr. ImageNet), da se imajo iz cesa uciti in cetrto, da se medsebojno izboljsujejo.

Zato bi razumel, da bi nekdo, ki je zadnjic delal z nevronskimi mrezami pred nekaj leti in potem prespal napredek zadnjih 3-5 let verjel, da so zanimiv teoreticen koncept, da pa so v praksi neizvedljive.

Da ne bova prevec fragmentirala debate, bom tule napisal par stvari, ki se mi zdijo bistvene.
1) Zakaj taksno fanaticno zaupanje v etiko ljudi, ki so s svojimi izjavami uspeli pumpati AI hype in na racun tega dobili dobre sluzbe? Slovenci z veliko skepso gledajo na domace akademike (vec kot upraviceno!), ampak a tuji akademiki so pa ovcke brez konflikta interesov?

Ker so rezultati konkretno teh tehnologij (deep learning) presenetljivo dobri. Prepoznavanje govora je dejansko ze cisto uporabno, nespecializiranih prevajalcev cez nekaj let ne bo vec, style transfer je zanimiva igracka, ki bi bila lahko uporabna, OCR je dozorel, error rate na ILSVRC pade cisto vsako leto, itn.

2) Verjemite da zelo dobro vem o cemer je govoril Karpathy in njegove izjave v tistem casu so bile neeticne (2015), ker niso bile podprte z rezultati. Je pa fajn uspel napumpati famo, saj so ga citirali vsi od CNN naprej.

Karpathy in Stanford sta odigrala precej kljucno, ce ze ne vodilne vloge pri solanju mladih matematikov in vzponu discipline ter njenem prodoru v gospodarstvo. Vodja razvoja avtonomnih vozil pri Tesli je poslal pred dvema tednoma, dotlej je bil odlicen predavatelj in raziskovalec na Stanfordu.

3) Zelo dobro poznam metode evaluacije, po katerih je znanstvena komuna prisla do tistih fascinantnih rezultatov, s katerimi vsi mahajo okrog. Po eni strani sem super vesel, da so gospodje akademiki (Karpathy pri Tesli, Urtasun pri Uberju, pri cemer nimam nic za reci cez Raqel Urtasun za razliko od Karpathya) dobili moznost, da pokazejo, da so eksperimenti res odrazali realisticne probeleme (hint: niso). Vecina stevilk se vedno izhaja iz ILSVRC tekmovanja, zal stran ne dela, da bi vam dal povezavo na evaluacijsko metodologijo. Ce jo poznate, lahko debatirava naprej o tem, kako realisticna je "top 5" evaluacija za prakticne primere (namig: nastala je zato, ker je ze zbirka podatkov slaba in nepopolno anotirana).

Ne morejo vsi lagati in biti neposteni (glej NASnet spodaj), stevilke so potrjene on N virov in v kontekstu tistega, kar se meri dobre.

research.googleblog....image.html

ImageNet ni popoln, je pa najvecja odprta raziskovalna baza te sorte, ki jo clovestvo premore.

In predvsem avtonomno vozilo ni le racunalniski vid. Ze z relativno preprostimi prijemi (npr. Bayes) se da zaznavanje izpopolnjevati na podlagi zanesljivosti vecih virov, ki so ti na voljo.

4) Tudi ce bi nevronske mreze imele 100% performanse v razpoznavanju in segmentaciji, je problem avtonomne vozje vecji, in najvecja nevarnost za to, da se vse sesuje v prah je ravno ignoriranje psiholoskih principov, ki vodijo clovesko razumevanje okolice.

Saj razpoznavanje in segmentacija tudi nista celotno podrocje avtonomne voznje, ampak le del.

Tisto cesar veliko akademikov, ki se pehajo za cim vecjimi procenti razpoznavanja ne razume, je, da pri avtonomni voznji gre za prehod med paradigmami: iz razumevanja, ki ga odlicno obvlada clovek, v hiper-senzoriko, ki je sedaj pac edina stvar, ki jo znamo namestiti na avtonomne avte. Clovek je precej fenomenalen stroj za voznjo: ce je trezen, naspan in psihicno pri sebi, rabi tocno dve "kameri" z medocesno razdaljo 10 centimetrov, pan-tilt mehanizem za obracanje glave in dve ogledali in lahko prevozi na 10tisoce kilometrov brez nesrece po lastni krivdi. Zakaj? Ker premore razumevanje okolice okrog sebe.

...in vsaj 18 let ucenja na neprimerno vecji nevronski mrezi. Ampak to ni tezava, ker nekatere stvari, ki jih clovek pocne niso tako kompleksne, da bi bila polna izraba kapacitet potrebna.

Ni lidarja in nevronske mreze, ki bi na 30 metrov uspela oceniti, ali je gruca otrok ki se igra z zogo pod nadzorom njihove mame v blizini, ali pa mama morda izgleda raztresena, in bo eden od otrok skocil na cesto.

V bistvu je. Opisano je dober problem za recurrent network, ki dobi prepoznane inpute in se mora odlociti, kaj se lahko zgodi.

Razumevanje, clovesko razumevanje okolice je bistven predpogoj za defenzivno voznjo, torej za predvidevanje, kateri od udelezencev v prometu bo naredil napako. Vprasam vas, zakaj ne damo 10 letnikom vozniskega izpita pod enakimi pogoji, kot ga damo 16 ali 18letnikom? Vidijo enako dobro, slisijo bolje, zakaj torej ne? Zgoraj imate odgovor. Razumevanje, ki je pri 10 letniku pac precej bolj primitivno kot pri 18 letniku.

Ta predpogoj se avtonomna vozila tudi trudijo izpolnjevati. Sicer sploh ne bi vozila.

Se enkrat, uspesnost prehoda iz dobrega razumevanja v hiper-senzoriko sploh ni done deal, in cela industrija avtonomnih avtov kar predpostavlja da je.

Ker ima dobre rezultate. Kaj pa naj drugega predpostavi? Da jih bo politika ustavila, kljub boljsim rezultatom od cloveskih voznikov, ker strah?

> Po moje bo za mnoge zelo velik problem ta prihajajoči preskok med algoritemskimi in naučenimi stroji. Za algoritemske bo morda še lahko kdo odgovoren. Za naučene pa ravno toliko, kot je odgovoren nekdo, ki da mulcu pri 18tih letih, s 30 urami vožnje izpit. Ta prenos kontrole na stroje bo strašen. To, da je treba stroju zaupati na podlagi tega, koliko se je učil; brez da bi razumeli zakaj deluje bo zelo težko. Ne glede na to, da bodo bistveno boljši vozniki od ljudi. Kljub milijnom prevoženih kilometrov Za vsako resno nesrečno avtonomnega vozila v zadnjih letih vemo vsi.
No, tu se lahko strinjava, jaz pravim, da glede na zgoraj opisano ni samoumevno da bo ta preskok uspel in da ga bodo ljudje sprejeli. Sploh ker industrija avtonomnih vozil ocitno ignorira vecino izkusenj, ki jih je recimo letalska industrija pridobivala 60 let - ne vem od kje, taksno zaupanje, da bo v nekaj letih uspelo avtomobilistom resiti vse te probleme, sploh ker ignorirajo znanje pridobljeno v sorodnih podrocjih.

Letalska industrija je imela do pred nekaj leti na voljo isto znanost, kot vse druge in ta znanost preprosto ni omogocala prijemov, ki se jih uporablja danes. Letala, ki jih razvijajo danes, *bodo* avtonomno pristajala.

Eno od spoznanj je to, da je v avtomatskem sistemu clovek najsibkejsi faktor, s cimer se letalska industrija ukvarja ze desetletja ("human factors"), recimo od prvega glass cockpita naprej, pa se vedno ni uspela resiti problemov (prevec pogosto se dogaja, da letalo leti na avtopilotu, oba pilota pa zadremata). To so zelo slabi obeti za Level 3 in Level 4 avtomobile.

Skoda, ker se ne da patentirati ideje, da se voznike pripne na senzorje in jih avto/letalo nadzira. To pa res ni tezko. Zaznalo bo pijane, neprespane, custveno razrvane in zaljubljene...skratka, vse nevarne.

Zelo hitro lahko pricakujemo vsaj v ZDA zahtevo po standardnih "crnih skrinjicah" v avtih z level 3 avtonomijo ali vec, NTSB v ZDA ne bo dolgo gledal tega, da so pri preiskavah odvisni od preiskovancev (ki, kot Tesla v nasprotju z zakonom in uveljavljenimi standardi preiskovanja letalskih nesrec, dajejo kar svoje zakljucke v javnost).

Saj jo ze vsi imajo...