Stephen Hawking is a great physicist but he’s dead wrong in a co-authored article in The Independent, darkly warning against the temptation “to dismiss the notion of highly intelligent machines as mere science fiction.” This, he says, “would be a mistake, and potentially our worst mistake in history.”
Artificial-intelligence (AI) research is now progressing rapidly. Recent landmarks such as self-driving cars, a computer winning at Jeopardy! and the digital personal assistants Siri, Google Now and Cortana are merely symptoms of an IT arms race fuelled by unprecedented investments and building on an increasingly mature theoretical foundation. Such achievements will probably pale against what the coming decades will bring.
The peril derives from the prospect that “machines with superhuman intelligence could repeatedly improve their design even further, triggering what Vernor Vinge called a ‘singularity'”:
One can imagine such technology outsmarting financial markets, out-inventing human researchers, out-manipulating human leaders, and developing weapons we cannot even understand. Whereas the short-term impact of AI depends on who controls it, the long-term impact depends on whether it can be controlled at all.
Stuart Russell — who co-wrote the definitive text on AI, Artificial Intelligence: A Modern Approach, with Peter Norvig, — is listed as an author of the piece, with Hawking and physicists Frank Wilczek and Max Tegmark (ugh). The physicists can be forgiven, but Russell should know better.
There is no “increasingly mature theoretical foundation” — or rather, there is one, with known limitations. The methods of Big Data, which I referred to yesterday, all show performance gains for well-defined problems, achieved by adding more and more input data — right up to saturation. “Model saturation,” as it’s called, is the eventual flattening of a machine learning curve into an asymptote or a straight line, where there’s no further learning, no matter how much more data you provide. Russell (one would hope) knows this, but the problem is not even mentioned in the piece, let alone explained. Instead, front and center is Hawking’s ill-defined worry about a future involving “super” intelligence. This is hype, at its best.
A learning model (here “model” means AI algorithm) might gain performance quickly up to, say, 70 percent accuracy on a particular task. Accuracy is called an F-measure, a harmonic mean between precision and recall. But it will then slow, and inevitably saturate. At that point, it’s done. In industry — say, at Google — it then goes from the training phase to “production,” where it’s used to generate results on new, previously unseen data.
For instance, if the model was trained for “learning” what music you like based on your music listening habits, it would be released on a music recommendation site to suggest new music samples for you. This is roughly how the music service Pandora works. More simply, if it was trained on, say, two groups of email data — one spam and one good — after saturation it would be released to label new, previously unseen emails as “Spam” or “Good” (or rather “Yes” or “No,” as the decision is binary). And on and on. Since Big Data makes empirical or learning methods more effective, learning methods have effectively dominated approaches to AI.
There is a confusion, then, at the heart of the vision that Stephen Hawking has somewhat oddly endorsed. Adding more data won’t help these learning problems — performance can even go down. This tells you something about the prospects for the continual “evolution” of smart machines.
But Hawking is a physicist. Let’s look at what the computer scientists say. Peter Norvig, Russell’s other half in their popular AI textbook, who is also Director of Research at Google, has admitted that progress on learning-based problems — “learning” is technically termed numerical optimization — like machine translation (or spam detection, or recommendation, or photo recognition) will likely slow in the coming years, not exponentially ramp-up. Norvig conceded in an article in The Atlantic last year:
“We could draw this curve: as we gain more data, how much better does our system get?” he says. “And the answer is, it’s still improving — but we are getting to the point where we get less benefit than we did in the past.”
This doesn’t sound like the imminent rise of the machines.
Facebook, meanwhile, has hired NYU computer scientist Yann LeCunn to head their new AI Lab. LeCunn spearheads a machine learning approach known as “Deep Learning.” ATMs already use LeCunn’s methods to automatically read checks. Facebook hopes his approach will help the company automatically read images in photos posted on the site, like pictures of married couples, or pets.
Futurist and entrepreneur Ray Kurzweil, currently Director of Engineering at Google, popularized the notion of a coming “singularity” discussed in the Independent article. He made his fortune designing and patenting speech-to-text synthesizers, and helped design Apple’s voice recognition system, Siri. Indeed, the examples mentioned in the article — self-driving cars, Google Now, Siri — were all made possible by the application of fairly well-known learning algorithms (for example, Hidden Markov Models for voice recognition) that have had new life breathed into them (so to speak) by the availability of massive datasets, the terabytes of text and image data on the Web.
This means, for one thing, that they have indeed out-performed older versions, and so progress in the last, say, ten years is apparent. It also means, as Norvig himself admitted, that the performance will inevitably slow down, as the underlying learning approaches must, as the models saturate. This completely known consequence of empirical or learning approaches on today’s Web no doubt prompted the peculiar, almost defeatist concession by Norvig and Russell, recounted in the Atlantic piece:
Perhaps, as Russell and Norvig politely acknowledge in the last chapter of their textbook, in taking its practical turn, AI has become too much like the man who tries to get to the moon by climbing a tree: “One can report steady progress, all the way to the top of the tree.”
An unfortunate product of hype about AI is the concession to what Kurzweil himself has called “Narrow” AI: the abandonment of the original goals of Artificial Intelligence to actually understand human thinking, focusing instead on big money applications that tell us little about the mind. While Kurzweil views this as a stepping stone toward the eventual Singularity, as all those “narrow” AI applications like recognizing a photo of a wedding picture “scale up” to genuine, real-time intelligence, a more direct and evidence-based conclusion is that AI is in a bubble, and as the Big Data methods saturate, excitement will crash and result in a hangover. That’s exactly what happened in the 1960s with early efforts on natural language understanding, and later in the 1980s with the failure of so-called expert systems.
AI is a tough racket; the human mind isn’t a computer program, it seems, though there’s never a dearth of people happy to promulgate this view.
Russell knows this. Norvig knows this. And Hawking, it appears, has his singularities mixed up. I love Dr. Hawking for his work on black holes and Hawking radiation. But for all his brilliance in astrophysics, the all-too-human complexities of a hype-driven field like AI have so far escaped him.
– See more at: http://www.evolutionnews.org/2014/05/in_an_apocalypt085311.html#sthash.EtPorCXR.dpuf
Stephen Hawking è un grande fisico, ma è morto sbagliato in un articolo co-autore di The Independent , avvertimento cupamente contro la tentazione “per respingere l’idea di macchine altamente intelligenti scienza come pura fantascienza.” Questo, dice, “sarebbe un errore, e potenzialmente il nostro errore più grave della storia.”
Di intelligenza artificiale (AI), la ricerca è ora progredendo rapidamente. Punti di riferimento recenti come le automobili auto-guida, un computer vincente a Jeopardy! e le assistenti personali digitali Siri, Google Now e Cortana sono solo i sintomi di una corsa agli armamenti IT alimentata da investimenti senza precedenti e costruzione su un sempre più maturo fondamento teorico. Questi risultati probabilmente pallido contro quello che i prossimi decenni porterà.
Il pericolo deriva dalla prospettiva che “le macchine con intelligenza sovrumana potevano ripetutamente migliorare il loro design ancora di più, innescando quello che Vernor Vinge chiamato un ‘singolarità'”:
Si può immaginare come la tecnologia più furbo dei mercati finanziari, out-inventare i ricercatori umani, out-manipolazione leader umane, e lo sviluppo di armi non possiamo nemmeno capire. Considerando che l’impatto a breve termine di AI dipende da chi la controlla, l’impatto a lungo termine dipende dal fatto che esso può essere controllato a tutti.
Stuart Russell – che ha co-scritto il testo definitivo su AI, Artificial Intelligence: A Modern Approach , con Peter Norvig, – è indicato come autore del pezzo, con Hawking e fisici Frank Wilczek e Max Tegmark (ugh). I fisici possono essere perdonati, ma Russell dovrebbero conoscere meglio.
Non c’è un “sempre più maturo fondamento teorico” – o meglio, ce n’è uno, con note limitazioni. I metodi di Big Data, cui ho fatto riferimento a ieri , tutti i guadagni mostra prestazioni per problemi ben definiti, realizzati con l’aggiunta di sempre più dati in ingresso – fino alla saturazione. “Saturazione Modello”, come si chiama, è l’eventuale appiattimento di una curva di apprendimento automatico in un asintoto o una linea retta, dove non c’è apprendimento ulteriore, non importa quanto più dati da Lei forniti.Russell (si spera) lo sa, ma il problema non è nemmeno citato nel pezzo, figuriamoci spiegato. Invece, davanti e al centro è la preoccupazione mal definita di Hawking di un futuro che coinvolge intelligenza “super”. Questo è hype, al suo meglio.
Un modello di apprendimento (qui “modello” si intende l’algoritmo AI) potrebbe ottenere prestazioni rapidamente, per esempio, la precisione il 70 per cento su un particolare compito. La precisione si chiama F-misura, una media armonica tra precisione e richiamo. Ma sarà poi rallentare, e inevitabilmente saturare. A quel punto, il gioco è fatto. Nel settore industriale – dicono, di Google – va quindi dalla fase di formazione di “produzione”, dove è utilizzato per generare i risultati in nuovi dati inediti.
Ad esempio, se il modello è stato addestrato per “imparare” che musica ti piace in base alle vostre abitudini di ascolto della musica, sarebbe stata rilasciata su un sito di raccomandazione musicale per suggerire nuovi campioni di musica per voi. Questo è più o meno come funziona il servizio di musica Pandora. Più semplicemente, se è stato addestrato, diciamo, due gruppi di dati di posta elettronica – un antispam e una buona – dopo la saturazione sarebbe stata rilasciata a etichettare nuove, e-mail inediti come “Spam” o “buono” (o meglio ” Sì “o” No “, come la decisione è binario). E così via. Dal Big Data rende metodi empirici o di apprendimento più efficaci, metodi di apprendimento hanno di fatto dominato approcci AI.
C’è una confusione, poi, nel cuore della visione che Stephen Hawking ha in qualche modo stranamente approvato. L’aggiunta di ulteriori dati non aiuterà questi problemi di apprendimento – le prestazioni possono anche andare giù. Questo ti dice qualcosa circa le prospettive per la continua “evoluzione” delle macchine intelligenti.
Ma Hawking è un fisico. Diamo un’occhiata a ciò che dicono gli scienziati informatici. Peter Norvig, altra metà di Russell nel loro famoso libro di testo AI, che è anche direttore della ricerca presso Google, ha ammesso che i progressi sui problemi-based learning – “apprendimento” viene tecnicamente definito ottimizzazione numerica – come la traduzione automatica (o il rilevamento dello spam, o la raccomandazione, o il riconoscimento fotografico) sarà probabilmente lenta nei prossimi anni, non in modo esponenziale rampa-up. Norvig ha ammesso in un articolo del The Atlantic lo scorso anno:
“Potremmo tracciare questa curva: come otteniamo più dati, quanto meglio fa il nostro sistema di ottenere?” dice. “E la risposta è, è ancora migliorare – ma ci sono sempre al punto in cui si ottiene un beneficio minore di quanto abbiamo fatto in passato.”
Questo non suona come l’aumento imminente delle macchine.
Facebook, nel frattempo, ha assunto scienziato informatico NYU Yann LeCunn per dirigere il loro nuovo laboratorio di intelligenza artificiale. LeCunn punte di lancia un approccio di apprendimento macchina nota come “Deep Learning”. ATM già usano metodi di LeCunn di leggere automaticamente i controlli. Facebook spera che il suo approccio aiuterà l’azienda a leggere automaticamente le immagini in foto pubblicate sul sito, come le immagini di coppie sposate, o animali domestici.
Futurista e imprenditore Ray Kurzweil, attualmente direttore della divisione Engineering di Google, reso popolare il concetto di “singolarità” coming discusso nel Independent articolo. Ha fatto la sua fortuna progettazione e brevettando speech-to-text sintetizzatori, e ha contribuito a progettare il sistema di riconoscimento vocale di Apple, Siri. Infatti, gli esempi citati nell’articolo – automobili auto-guida, Google Now, Siri – sono stati tutti resi possibili attraverso l’applicazione di algoritmi di apprendimento abbastanza noti (ad esempio, i modelli Hidden Markov per il riconoscimento vocale), che hanno avuto nuovo vita soffiò nelle loro (si fa per dire) dalla disponibilità di enormi set di dati, i terabyte di testo e immagine dei dati sul web.
Questo significa che, per dirne una, che hanno effettivamente fuori eseguito versioni precedenti, e quindi progredire negli ultimi, diciamo, dieci anni è evidente. Significa anche, come Norvig stesso ha ammesso, che le prestazioni saranno inevitabilmente rallenterà , come gli approcci di apprendimento sottostanti devono, come i modelli saturano. Questa conseguenza completamente noto di approcci empirici o di apprendimento sul Web di oggi senza dubbio spinto la peculiare concessione quasi disfattista da Norvig e Russell, raccontato nellaAtlantic pezzo:
Forse, come Russell e Norvig educatamente riconoscono nell’ultimo capitolo del loro libro di testo, nel prendere sua volta pratico, AI è diventata troppo come l’uomo che cerca di arrivare alla luna da arrampicarsi su un albero: “Si può riferire progressi costanti, tutti fino alla parte superiore della struttura. “
Una sfortunata prodotto di hype su AI è la concessione a ciò che Kurzweil stesso ha definito “Narrow” AI: l’abbandono degli obiettivi originali di Intelligenza Artificiale per capire realmente il pensiero umano, concentrandosi invece sulle applicazioni di grandi soldi che ci dicono poco sulla mente. Mentre Kurzweil vede questo come un trampolino di lancio verso l’eventuale singolarità, come tutte quelle “strette” applicazioni di intelligenza artificiale come riconoscere una foto di una foto di nozze “scalare” a vero e proprio, informazioni in tempo reale, una conclusione più diretto ed evidence-based è che l’AI è in una bolla, e come i metodi di Big Data saturano, l’eccitazione si blocca e il risultato in una sbornia. Questo è esattamente quello che è successo nel 1960 con i primi sforzi sulla comprensione del linguaggio naturale, e successivamente nel 1980 con il fallimento dei cosiddetti sistemi esperti.
AI è una racchetta difficile; la mente umana non è un programma per computer, a quanto pare, anche se non c’è mai una carenza di persone felici di promulgare questo punto di vista.
Russell lo sa. Norvig lo sa. E Hawking, a quanto pare, ha le sue singolarità confuso. Amo Hawking per il suo lavoro sui buchi neri e radiazione di Hawking. Ma per tutta la sua brillantezza in astrofisica, le complessità fin troppo umani di un campo montatura-driven come AI hanno finora gli sfuggiva.
Photo credit: NASA HQ / Flickr .
– See more at: http://www.evolutionnews.org/2014/05/in_an_apocalypt085311.html#sthash.dH3o30ei.dpuf
COMITATO ANTIEVOLUZIONISTA 