Exklusivt: OpenAI-forskare varnade styrelsen för AI-framsteg innan vd:n avsattes, säger källor

By | November 23, 2023

22 nov (Reuters) – Inför OpenAI-vd:n Sam Altmans fyra dagar långa exil skrev flera forskare ett brev till styrelsen där de varnade för en kraftfull upptäckt av artificiell intelligens som de sa kunde hota mänskligheten, sa de. Två personer som är bekanta med saken berättade för Reuters. .

Det tidigare orapporterade brevet och AI-algoritmen var viktiga utvecklingar innan styrelsen avsatte Altman, affischbarnet för generativ AI, sa de två källorna. Innan hans triumferande återkomst på tisdagskvällen hade mer än 700 anställda hotat att sluta och gå med i sponsorn Microsoft (MSFT.O) i solidaritet med sin sparkade ledare.

Källor citerade brevet som en faktor bland en längre lista över styrelseklagomål som ledde till Altmans sparken, inklusive oro för kommersialisering av framsteg innan man förstår konsekvenserna. Reuters kunde inte granska en kopia av brevet. Personalen som skrev brevet svarade inte på önskemål om kommentarer.

Efter att ha blivit kontaktad av Reuters, erkände OpenAI, som avböjde att kommentera, i ett internt meddelande till sin personal ett projekt kallat Q* och ett brev till styrelsen inför helgens händelser, sa en av personerna. En talesperson för OpenAI sa att meddelandet, skickat av verkställande direktören Mira Murati, gjorde personalen uppmärksam på vissa mediaberättelser utan att kommentera deras riktighet.

Vissa på OpenAI tror att Q* (uttalas Q-Star) kan vara ett genombrott i startupens strävan efter vad som kallas artificiell allmän intelligens (AGI), sa en av personerna till Reuters. OpenAI definierar AGI som autonoma system som överträffar människor i de flesta ekonomiskt värdefulla uppgifter.

Med tanke på de stora datorresurserna kunde den nya modellen lösa vissa matematiska problem, sa personen på villkor av anonymitet eftersom de inte var behöriga att tala på företagets vägnar. Även om de bara utförde matematik på nivån för grundskoleelever, gjorde forskarna mycket optimistiska om Q*s framtida framgångar att klara dessa tester, sa källan.

Reuters kunde inte självständigt verifiera Q*-kapaciteten som forskarna hävdade.

‘OKUNSKAPSSLÖJA’

Forskare anser att matematik är en frontlinje i utvecklingen av generativ AI. Idag är generativ AI bra på språkskrivning och översättning genom att statistiskt förutsäga nästa ord, och svaren på samma fråga kan variera kraftigt. Men att få förmågan att göra matematik (där det bara finns ett korrekt svar) innebär att AI skulle ha större resonemangsförmåga som skulle likna mänsklig intelligens. AI-forskare tror att detta kan gälla ny vetenskaplig forskning, till exempel.

Till skillnad från en miniräknare som kan lösa ett begränsat antal operationer kan AGI generalisera, lära sig och förstå.

I sitt brev till styrelsen påpekade forskarna förmågan och den potentiella faran med AI, sa källorna utan att specificera de exakta säkerhetsproblem som flaggats i brevet. Datavetare har länge diskuterat faran som mycket intelligenta maskiner utgör, om de till exempel kunde bestämma sig för att förstörelsen av mänskligheten låg i deras intresse.

Forskare har också pekat på arbetet av ett team av “AI-forskare”, vars existens har bekräftats av flera källor. Gruppen, som bildades genom att kombinera tidigare “Code Gen” och “Math Gen”-team, undersökte hur man kan optimera befintliga AI-modeller för att förbättra sina resonemang och så småningom utföra vetenskapligt arbete, sa en av personerna.

Altman ledde ansträngningarna för att göra ChatGPT till en av de snabbast växande mjukvaruapplikationerna i historien och lockade de investeringar (och datorresurser) som krävs från Microsoft för att närma sig AGI.

Förutom att tillkännage en rad nya verktyg vid ett rally denna månad, skämtade Altman förra veckan vid ett toppmöte för världsledare i San Francisco om att han trodde att stora genombrott var i horisonten.

“Fyra gånger i OpenAIs historia, den senaste under de senaste två veckorna, har jag varit i rummet, när vi liksom förde okunnighetens slöja tillbaka och gränsen för upptäckt framåt, och “att kunna göra det “Det är mitt livs professionella ära”, sa han vid toppmötet om ekonomiskt samarbete i Asien och Stillahavsområdet.

En dag senare sparkade styrelsen Altman.

Anna Tong och Jeffrey Dastin i San Francisco och Krystal Hu i New York; Redigering av Kenneth Li och Lisa Shumaker

Våra standarder: Thomson Reuters Trust Principles.

Skaffa licensrättigheteröppna en ny flik

Anna Tong är Reuters-korrespondent baserad i San Francisco, där hon rapporterar om teknikindustrin. Hon började på Reuters 2023 efter att ha arbetat på San Francisco Standard som dataredigerare. Tong arbetade tidigare på tech startups som produktchef och på Google, där hon arbetade med användarinsikter och hjälpte till att driva ett callcenter. Tong tog examen från Harvard University. Kontakt:4152373211

Jeffrey Dastin är en Reuters-korrespondent baserad i San Francisco, där han rapporterar om teknikindustrin och artificiell intelligens. Han började på Reuters 2014 och skrev ursprungligen om flygbolag och resor från New York-kontoret. Dastin tog examen från Yale University med en examen i historia. Han var en del av ett team som undersökte Amazon.com-lobbying runt om i världen, för vilket han vann ett SOPA-pris 2022.

Krystal rapporterar om riskkapital och startups för Reuters. Täcker Silicon Valley och bortom genom linsen av pengar och karaktärer, med fokus på startups i tillväxtstadiet, teknologiinvesteringar och artificiell intelligens. Han har tidigare täckt fusioner och förvärv för Reuters, de senaste nyheterna om Trumps SPAC och Elon Musks Twitter-finansiering. Han rapporterade tidigare på Amazon för Yahoo Finance, och kongressens lagstiftare hänvisade till hans undersökning av företagets detaljhandelsmetoder. Krystal började en karriär inom journalistik och skrev om teknik och politik i Kina. Hon har en magisterexamen från New York University och njuter av en skopa Matcha-glass lika mycket som att ta en skopa på jobbet.

Leave a Reply

Your email address will not be published. Required fields are marked *