[bc123a]
Predstavljaj si avtista, ki vozi avto. No, to je google avto. Glavni problem te avtomatike so drugacni "failure modes". Ti povozis otroka, ker te zaslepi sonce. Gres sedet, neka agencija za varstvo v prometu zacne razglabljat o tem, kaj narediti da bi bilo manj zaslepljenja voznikov, cez nekaj let pridejo na trg recimo sipe, ki imajo glede tega boljse karakteristike.

Googlov avto pa recimo povozi otroka zato, ker mu je iz neznanega razloga izgledal premalo otrok v neki verjetnostni funkciji, ki daje med 0 in 1 za cloveka, pri 0.8 se bremza, tale je pa bil 0.75.

Pozabljaš na audit trail. Analiza logov = analiza črnih skrinjic. Ljudje lažejo, samodejno generirani podatki ne. Iz avta boš prej iztisnil sledi o sistematičnih problemih kot iz ljudi. Preden se bo certificiralo samodejno vozeč avto, verjemi, da bo šel skozi ogromno kontrolnih točk in zahtev. Več kot pa jih je deležen človek.