Eliezer Yudkowsky

Yudkowskys køddragt, 2006 (inden upload af hans bevidsthed ind i en kvantecomputer).
Forsigtigt korrekt
Mindre forkert
Ikon lesswrong.svg
Singularitet blues
Før Bruce Schneier går i seng, scanner han sin computer for uploadede eksemplarer af Eliezer Yudkowsky.

Eliezer Yudkowsky (f. 1979) er en AI forsker, blogger og eksponent for human rationalitet (specifikt hans Bayes -baseret version af det). Yudkowsky er medstifter og arbejder på Machine Intelligence Research Institute (tidligere Singularity Institute for Artificial Intelligence), en nonprofit organisation, der beskæftiger sig med konceptet kendt som singularitet .


Yudkowsky grundlagde også blogsamfundet Mindre forkert som søsterside og udløber af Overcoming Bias, hvor han begyndte sin bloggkarriere med GMU økonom Robin Hanson. At være en idealistisk fyr, der ønsker, at alle skal leve for evigt, har han også en altoverskridende interesse for kryonik , og er (sandsynligvis) sårbar over for hemlock. Som en selvbeskrevet selvlært , han har ingen formel træning i de emner, han skriver om.

Indhold

AI 'forskning'

Find det, du er bedst til; hvis den ting, du er bedst til, er at opfinde nye matematik (er) med kunstig intelligens, så kom arbejde for Singularity Institute. Hvis det, du er bedst til, er investeringsbankvirksomhed, skal du arbejde for Wall Street og overføre så mange penge som dit sind og tillade det til Singularity Institute, hvor [det] vil blive brugt af andre mennesker.
—Eliezer Yudkowsky om, hvordan man kan redde menneskeheden.

Yudkowsky mener, at han har identificeret et 'stort problem inden for AI-forskning', som ingen andre tidligere havde bemærket. Problemet er, at der ikke er nogen grund til at antage, at en AI vil gøre noget ved mennesker eller hvad vi bekymrer os om på nogen måde overhovedet, da det ikke vil have en million år som savanne abe eller en milliard års udvikling i sin makeup til at opbygge nogen moral eller modvilje mod at dræbe os. Han mener også, at AI er nært forestående. Som sådan arbejder du ud af, hvordan du opretter en Friendly AI (FAI) - en, der ikke dræber os, utilsigtet eller på anden måde - er det store problem, han har taget som sit eget at løse.

Problemscenariet er kendt som 'AI foom', som er en forkortelse for 'rekursivt selvforbedrende kunstig intelligens fremkaldt singularitet.' Det er baseret på de ideer, der:

  • På trods af glaciale fremskridt inden for AI indtil videre vil den AI-baserede singularitet snart finde sted.
  • AI'er vil gerne forbedre sig selv (og vi vil have dem til det).
  • Menneskelige niveau eller bedre AI kunne ikke fængsles eller trues med at få trukket deres stik, fordi de ville være i stand til at tale sig ud af situationen. Interessant nok hævder Yudkowsky at have testet denne idé ved at spille rollen som supersmart AI, hvor en mindre dødelig spiller fængsleren. Imidlertid - læseren bemærker måske begyndelsen på et mønster her - udskrifterne er aldrig blevet offentliggjort.
  • AI'er vil også på et eller andet tidspunkt være i stand til næsten at få ubegrænset kontrol over den fysiske verden igennem nanoteknologi .

Hans ven, fyr transhumanist , direktør for Future of Humanity instituttet ved University of Oxford, filosof og eksistentiel risiko teoretikeren Nick Bostrom har skrevet en erklæring om længden af ​​ovenstående ideer i sin bog fra 2014Superintelligens: Stier, farer, strategier. Bostroms centrale afhandling ser ud til at være 'du kan ikke bevise, at dette ikke vil ske, derfor skal du bekymre dig om det.' Bostrom krediterer Yudkowsky i afsnittet om anerkendelse og citerer fra ham i bogen.


Som det fremgår af dialogen mellem Luke Muehlhauser og Pei Wang, Yudkowsky (og dermed LessWrongs) opfattelse af kunstig generel intelligens (AGI) adskiller sig stærkt fra mainstream videnskabelig og praktisk forskningsforståelse af det. Yudkowsky mener, at en AGI vil være baseret på en eller anden form for beslutningsteori (skønt alle hans eksempler på beslutningsteorier er beregningsvenlige) og / eller implementere en eller anden form for Bayesian logik (som er blevet prøvet i ægte AI, men ikke skaleres).



Da disse begge er helt abstrakte matematisk funktioner, er der ingen grund til, at en AGI baseret på dem deler menneskelige værdier (ikke at du kan basere en AGI på dem). Ved denne ræsonnement ser Yudkowsky behovet for at bolte på en slags moralmodul, der på en eller anden måde vil være immun over for ændringer, selvom det 'foom'-scenarie, han frygter så meget, er baseret på AGI'er, der kanomskrive deres egen kode. (Bostrom påpeger i sin bog, at der er flere situationer, hvor en AI kan have et incitament til at ændre sine egne endelige mål.) Yudkowsky ser således behovet for at 'løse'. etik i en eller anden form, der kan være edb - skønt etik forbliver et åbent problem i filosofi efter tusinder af år. Imidlertid, Plade , Aristoteles og Side lige var ikke så kloge som Yudkowsky mener sig selv være .


Under alle omstændigheder er egentlig AI-forskning ikke baseret på implementering af ikke-implementerbare funktioner; det er baseret på at forsøge at gengive kendte eksempler pånaturligintelligens, især menneskelig intelligens , i al sin rodet herlighed; og det er baseret på læring.

Derudover identificerer nogle af Yudkowskys kritikere mere presserende trusler end uvenlighed: bevidst våbenisering af AI'er, kodningsfejl, mennesker selv, cyborgisering osv.


Yudkowsky / Hanson debatter

Økonom Robin Hanson , Yudkowskys daværende co-blogger, har ved flere lejligheder debatteret Yudkowsky om 'AI foom'. Hanson, der tidligere havde været AI-forsker i flere år, skrev en række blogindlæg med Yudkowsky i 2008 og debatterede ham personligt i 2011. Disse debatter blev senere samlet og offentliggjort som en e-bog. I 2014 efter at have læst Bostroms bogSuperintelligens, Hanson holdt fast ved sine våben: han skrev et andet blogindlæg med titlen 'Jeg får stadig ikke skum'. Han argumenterede:

'Intelligens' betyder bare en evne til at udføre mentale / beregningsopgaver, gennemsnit over mange opgaver. Jeg har altid fundet det plausibelt, at maskiner fortsætter med at udføre flere slags mentale opgaver bedre og til sidst være bedre til stort set alle sammen. Men hvad jeg har fundet det svært at acceptere, er en 'lokal eksplosion.' Det er her en enkelt maskine, bygget af et enkelt projekt, der kun bruger en lille brøkdel af verdens ressourcer, går på kort tid (f.eks. Uger) fra at være så svag, at den normalt bliver slået af et enkelt menneske med de sædvanlige værktøjer, til så kraftfuld, at den let overtager hele verden. Ja, smartere maskiner kan øge de samlede økonomiske vækstrater i høj grad, og ja sådan en vækst kan være ujævn. Men denne grad af ujævnheder synes usandsynligt ekstrem.

Det var straks efter denne debat, at Yudkowsky forlod Overcoming Bias (nu Hansons personlige blog) og flyttede sekvenserne til LessWrong.

De så stadig ikke øje til øje i 2016 efter den berømte Go-kamp mellem Googles Alpha Go-software og Lee Sedol. Hanson sagde, at han mente, at AI til generel anvendelse var analog med nationalstater, hvilket krævede mange arbejdere og udveksling af ideer, mens begrænset special-AI var analogt med produktteams i virksomheder, og gav et kriterium, hvormed hans teori i princippet kunne , testes - hvorpå Yudkowsky sagde, at han troede, at verden allerede ville være 'endt', før der var en chance for at bekræfte Hansons teori! Yudkowsky hævdede, at forskellige AI-laboratorier udførte deres egen AI-træning, og der var næsten ingen udveksling afforuddannetmoduler ellerspecialistkomponenter. (Imidlertid,generelAI-komponenter genbruges bredt mellem virksomheder.)

Yudkowsky havde tidligere meddelt sin tro på, at hvis (som faktisk skete) Alpha Go slog Go stormester, ville det betyde, at singulariteten var ved at komme tættere på trods af, at de tidligere lejligheder, hvor computere slog toprangerede mennesker ved et brætspil ( brikker og skak) efterlod stadig computere langt under intelligensen hos et menneskebarn.


Singularity Institute / MIRI

I 1998 afsluttede Eliezer Yudkowsky den første version af 'Coding a Transhuman AI', alternativt kendt som 'Notes on the Design of Self-Enhancing Intelligence'. Derefter brugte han et par måneder på at skrive designnotater til et nyt programmeringssprog ved navn Flare. Derefter skrev han 'Plan to Singularity' og præsenterede ideen om et Singularity Institute. I maj 2000, på mødet med Foresight Institute, fik ideen om at etablere instituttet støtte fra to andre. Nu blev Singularity Institute oprettet med et websted. Derefter skrev han en revideret version af 'Coding a Transhuman AI'. I 23. juli startede SI Flare-projektet under ledelse af en Dimitry Myshkin. Projektet blev annulleret i 2003. Eliezer Yudkowsky har lige fra starten lagt vægt på at skabe 'Friendly AI'. I 2001 skrev han et boglængdeværk 'Oprettelse af en venlig AI'.

I 2004 fik Eliezer Yudkowsky en 'større indsigt'. Det var en sammenhængende ekstrapoleret vilje (CEV). En person vil måske ikke altid have det, der er bedst for ham. Men Yudkowsky vil have sin AI til at gøre det, der virkelig er godt for folk. Men hvordan ville AI løse problemet? Han tror, ​​at for at finde det bedste for en person, ville AI scanne personens hjerne og gøre 'noget kompliceret' (Eliezers ord). For at sikre, at AI er venligt for alle mennesker, ville det gøre dette 'noget kompliceret'. til alle. Den store mængde computerkraft, der er nødvendig for at gøre dette, er selvfølgelig uforståeligt stor. Vi har heller ingen idé om, hvordan dette ser ud i virkeligheden, hvis det implementeres.

Indtil 2008 eller 2009 var Singularity Institute praktisk talt et enmands show. Alle dens publikationer bar navnet Eliezer Yudkowksy, og der var ingen anden fuldtidsansat hos SI. Ændring kom dog i 2008 med fremkomsten af Mindre forkert . Snart begyndte nye publikationer af nye forfattere som Carl Shulman, N Tarleton og efter nogen tid Luke Muelhauser at ankomme. Og dette blev normen, idet de fleste papirer blev skrevet af de nyindførte forskere.

Det nye fokus for forskning på SI blev beslutningsteori. I 2010 offentliggjorde Eliezer Yudkowsky Tidløs beslutningsteori.

En anden ting blev synlig på det tidspunkt. Samarbejdet med Nick Bostroms Future of Humanity Institute. Flere fælles artikler af SI-forskere og FHI-forskere som A. Sandberg, Stuart Armstrong osv. Dukkede op. En fællesartikel af Eliezer Yudkowsky og Nick Bostrom dukkede op i 2011. Bostroms bog Superintelligence fra 2014 henviser til Yudkowsky 15 gange. Der var også næsten 5 sider om Coherent Extrapolated Volition. I 2009 donerede Jeffery Epstein $ 50000 til SIAI.

Andre projekter

Fan fiktion

Åh gud. Fremtiden for den menneskelige art er i hænderne på en fyr, der skriver crossover fan-fiktion.
- Scott Alexander

For et lidt mere humoristisk, men stadig ret indsigtsfuldt blik på hans sind, kan du læse hans Harry Potter fan fiktion. Yudkowsky er faktisk ikke alt, hvad der investeres i Harry Potter-verset. Han ønskede at bruge fanficen som en platform til at undervise rationalitet til et bredere publikum, fordi han følte, at mangel på rationalitet fik folk til at afvise hans ideer om AI og transhumanisme. I historien a rationalist Harry (som han har ændret til en total Mary Sue-forfatteravatar) forsøger at få hovedet rundt magi mens han holdt foredrag om videnskab til sine ældste og publikum.

Det er en god læsning for fanfic (dog for de bedste resultater, skal du bare springe direkte fra kapitel 30 til kapitel 100) og er meget højt vurderet på FanFiction.net. Yudkowsky og hans fans mener, at det er materiale af Hugo-kvalitet; Yudkowsky bad sine fans om at spam 2016-nomineringen til bedste roman (fordi efter Triste hvalpe , spamming af Hugos vil helt sikkert overbevise folk om, at du er et geni snarere end en slags storslået pikhoved), selvom det ikke kom på listen. Nogle læsere var mindre imponeret og opgav temmelig tidligt på grund af 'Hariezers' arrogance og prædiken. Som Yudkowsky selv bemærker i et Facebook-indlæg:

Folk, der har denne [statusregulerende] følelse, efterlader vrede anmeldelser på kapitel 6 i HPMOR, hvor de klager over, hvor meget Harry ikke respekterer professor McGonagall, og de kan ikke læse denne historie.

Andre ikke-fans sidder fast for at skrive detaljeret kritik og tage fat på det didaktiske indhold. Det var også lidt sjovt, når nogen sendte til LessWrong en ret normal litterær analyse af hovedpersonen som narcissist, tilsyneladende uden at vide, i hvilken grad han var en selvindsats.

LessWrong kan have udviklet sig en lille smule lidt af en personlighedskult omkring Yudkowsky, med en liste over Eliezer Yudkowsky-fakta, men fanfiktionafham var tilsyneladende et stykke, produceret uden hans viden.

Arbital

Efter at have træt LessWrong og endelig afsluttet sin Harry Potter fanfic, var Yudkowskys næste projekt Arbital, en spændende ny konkurrent på uddannelsesmarkedet med en anden tilgang til at lære at Wikipedia . Han foreslog det først i marts 2015:

For det første har jeg designet en forsøgsefterfølger til Wikipedia og / eller Tumblr og / eller peer review, og en af ​​mine venner arbejder på fuld tid med at implementere det. Hvis dette projekt fungerer i de øvre percentiler af mulig succes (HPMOR-niveau 'gosh, der sikkert fungerede', hvilket ikke sker ofte med en tredjedel af tiden, jeg prøver noget), så kan det hjælpe med at adressere det centrale samfund direkte problemer (sagde han vagt med bevidst uklarhed).

Med $ 300.000 i finansiering blev udviklere ansat, hvor Yudkowsky tog en tilsynsrolle. Der var en række retningsændringer. Det gik live i begyndelsen af ​​2016 som LessWrong Sequences i en anden flaske; i slutningen af ​​2016 mærkede det sig selv som 'stedet for Crowdsourced, intuitive matematiske forklaringer', hvilket er et område, hvor det faktisk kunne have haft en chance for at slå de berygtede uigennemsigtige matematiske artikler på Wikipedia, medmindre de ikke kunne finde nok kyndige mennesker at skrive dem. Fra begyndelsen af ​​2017 var forsiden en Slashdot-aggregering for mennesker i MIRI-subkulturen; i slutningen af ​​marts indrømmede de endelig nederlag og forvandlede forsiden til en kommende-snart for en blog-platform.

En projektudvikler beklagede Yudkowskys ledelsesstil.

Også omkring det tidspunkt blev det klart for os, at tingene bare ikke gik godt. Det primære problem var, at vi helt stolede på Eliezer til at give vejledning til, hvilke funktioner der skal implementeres, og hvordan de skal implementeres. Ofte når vi forsøgte at gøre tingene på vores måde, blev vi tilsidesat. (Aldrig uden en anstændig grund, men jeg tror i mange af disse tilfælde begge sider havde fortjeneste. At gå med Eliezers synspunkt betød, at vi ofte endte med at blive blokeret for ham, fordi vi ikke kunne forudsige de næste trin.) Også siden Eliezer var den eneste person, der seriøst brugte produktet, var der ikke nok hurtig feedback til mange af funktionerne. Og da vi ikke var på kontoret hver dag, blev vi ofte blokeret.

Så vi besluttede at tage sagen i vores egne hænder. Vi tre ville beslutte, hvad vi skulle gøre, og vi talte lejlighedsvis med Eliezer for at få hans input til specifikke ting.

Præstationer

Hvorfor skal jeg følge din grundlægger, når han ikke er et ottende niveau noget uden for sin egen kult?
—Eliezer Yudkowsky
Yudkowsky.

Det er vigtigt at bemærke, at såvel som ingen uddannelse inden for hans påståede felt, Yudkowsky stort set ingen præstationer af nogen art til hans kredit ud over at få Peter Thiel at give ham penge. (Og videre til Ethereum-kryptokurrencyprogrammerere.)

Selv hans fans indrømmer 'Et tilbagevendende tema her synes at være' grandiose planer, efterladt ufærdige '.' Han hævder at være en dygtig computerprogrammerer, men har ingen anden tilgængelig kode end Flare, et ufærdigt computersprog til AI-programmering med XML-baseret syntaks. (Det skulle være det programmeringssprog, som SIAI ville kode Seed AI, men det blev annulleret i 2003). Han fandt det nødvendigt at ansætte professionelle programmører til at gennemføre sit Arbital-projekt (se ovenfor), som til sidst mislykkedes.

Yudkowsky er næsten fuldstændig upubliceret uden for sit eget fundament og sine blogs og afsluttede aldrig gymnasiet, langt mindre gjorde nogen egentlig AI-forskning. Ingen prøver af hans AI-kodning er blevet offentliggjort.

Hans papirer er generelt selvudgivet og havde i alt to henvisninger til JSTOR-arkiverede tidsskrifter (hverken med AI at gøre) fra 2015, hvoraf den ene var fra hans ven Nick Bostrom på det nært forbundne Future of Humanity Institute.

Hans faktiske, observerbare resultater i den virkelige verden er en populær fan-fiktion (som til hans kredit han faktisk sluttede, usædvanligt for genren), en pastiche erotisk lysroman, en stor bunke blogindlæg og en overraskende velfinansieret forskning organisation - der har produceret færre papirer i et og et halvt årti end en enkelt kandidatstuderende producerer i løbet af en fysik-ph.d., og sidstnævnte ville være anmeldt af ligeværdige .

Geni eller krumtap?

Om Yudkowsky betragter sig selv som et geni er uklart helt klart; han henviser til sig selv som et geni seks gange i sin 'selvbiografi'. Han hævder også at have 'tilfældigt vundet skrivetalentlotteriet'. Han synes, at de fleste ph.d.'er er ret almindelige sammenlignet med de mennesker, han hobnobs med:

Den virkelig slående kendsgerning om forskerne, der dukker op på AGI-konferencer, er, at de er så ... Jeg ved ikke, hvordan man ellers skal formulere det ...

...almindelig.

Ikke på det intellektuelle niveau af de store mainstream navne i kunstig intelligens. Ikke på niveau med John McCarthy eller Peter Norvig (som jeg begge har mødt).

Jeg er fristet til at sige, at en doktorgrad i AI ville være negativt nyttigt, men jeg er ikke en, der holder andres hensynsløse ungdom mod dem - bare fordi du erhvervede en doktorgrad i AI betyder det ikke, at du skal diskvalificeres permanent.

Men han indrømmer muligvis at være mindre smart end John Conway. Som en hjemmeundervisning person uden universitetsgrad, kan Yudkowsky ikke være i en ideel position til at estimere sin egen intelligens . At mange af hans tilhængere synes, at han er et geni, er en underdrivelse. Tilsvarende er nogle af hans tilhængere hånende over for almindelige forskere, bare se efter kommentarer om ' ikke smart uden for laboratoriet 'og' for en berømthedsforsker . ' Yudkowsky mener, at en doktorgrad i AI er et netto-negativt, når det kommer til Seed AI. Mens Yudkowsky ikke angriber Einstein , han tror faktisk videnskabelig metode kan ikke håndtere ting som Mange verdener Fortolkning såvel som hans syn på Bayes 'sætning. LessWrong har faktisk sin egen unikke jargon.

Bare for at læseren ikke får det fejlagtige indtryk, at Yudkowsky praler med sit intellekt uophørligt, her kan han prale af, hvor flink og god han er:

Jeg tog et par års indsats for at rydde op i de store følelser (egotilfredshed og så videre), hvorefter jeg var stort set helt altruistisk med hensyn til rå motivationer, selvom hvis du havde spurgt mig, ville jeg have sagt noget langs linjer af: 'Nå, selvfølgelig lærer jeg stadig ... der er sandsynligvis stadig alle disse uopdagede ting at rydde op ...'

Uenighed med Yudkowskys ideer tilskrives ofte 'diskriminerende skepsis.' Hvis du ikke tror, ​​at cryonics fungerer, er det fordi du har set Penn & Teller: Bullshit! . Det er bare ikke en mulighed for, at du ikke tror, ​​det fungerer, fordi det har fejlet test og er gjort usandsynligt af fakta .

Flere kontroversielle holdninger

Til trods for at blive betragtet som det smarteste tobenede væsen, der nogensinde har gået denne planet på LessWrong, støtter Yudkowsky (og som følge heraf meget af LessWrong-samfundet) positioner som Sandhed der faktisk er kontroversielle inden for deres respektive områder. Nedenfor er en delvis liste:

  • Transhumanisme er korrekt. Cryonics kan en dag arbejde. Singulariteten er nær!
  • Bayes 'sætning og den videnskabelige metode fører ikke altid til de samme konklusioner (og derfor er Bayes bedre end videnskab).
  • Bayesisk sandsynlighed kan anvendes uden forskel.
  • Resultater, der ikke kan beregnes, såsom Kolmogorov-kompleksitet, er fuldstændig et rimeligt grundlag for en hel epistemologi. Solomonoff, baby!
  • Mange verdener fortolkning (MWI) af kvantefysik er korrekt (en 'slam dunk') på trods af manglen på konsensus blandt kvantefysikere. Yudkowsky siger, at et flertal af teoretiske fysikere måske eller ikke deler hans synspunkt og tilføjer, at forsøg på meningsmålinger er i konflikt med dette punkt.
  • Evolutionær psykologi er veletableret videnskab.
  • Filosofi er et emne så let, at han kan 'genopfinde det i farten'.
  • Utilitarisme er en korrekt teori om moral. Især foreslår han en ramme, hvor et ekstremt, ekstremt stort antal mennesker, der oplever et støv i øjnene et øjeblik, kunne være værre end en mand, der blev tortureret i 50 år. Mere specifikt forsvarer Yudkowsky total utilitarisme i dette tankeeksperiment.

Selvom det ikke er meget klart, hvad hans aktuelle holdning er til dette, skrev han en kort sci-fi-historie hvor voldtage blev kort nævnt som lovlig. At karakteren, der bemærkede det, ikke så ud til at henvise til samtykkende sex på samme måde som vi gør i dag, forhindrede ikke en massiv reaktion i kommentarfeltet. Han svarede: 'Det faktum, at det er overtaget kommentarerne, er ikke så godt, som jeg håbede, men reaktionen var heller ikke så dårlig, som jeg frygtede.' Han beskrev den science fiction-verden, han havde i tankerne, som en 'Weirdtopia' snarere end en dystopi .