讓AGI造福全人類的愿景是個謊言？OpenAI核心人員再次離職
政策研究部門核心人員離職！
Rosie Campbell-OpenAI的政策研究員，也是原研究科學(xué)家、政策研究負(fù)責(zé)人Miles Brundage親密共事的伙伴。
再次呼吁人工智能企業(yè)重視AGI造福人類的愿景！
她在X上說到“這是我在OpenAI工作約3.5年后的最后一周。我先是從事API安全工作，然后轉(zhuǎn)到了政策研究部門，在那里我與@Miles_Brundage 緊密合作，共同研究人工智能治理、前沿政策問題以及通用人工智能（AGI）的準(zhǔn)備情況。”
全文翻譯：
大家好，在這里工作了將近三年半后，我即將離開OpenAI。
我一直深受確保安全和有益的通用人工智能（AGI）使命的驅(qū)動，而在Miles離職和AGI準(zhǔn)備團隊解散之后，我相信我可以更有效地在外部追求這一目標(biāo)。
在這里工作期間，我處理了一些前沿的政策問題，比如危險的能力評估、數(shù)字意識和治理代理系統(tǒng)，我很高興公司支持那些被忽視的、有點奇怪的政策研究，這些研究在認(rèn)真考慮變革性AI的可能性時變得重要。
有點讓我心碎的是，我看不到一個讓我繼續(xù)在內(nèi)部從事這種工作的地方。
與如此杰出的人們一起在這樣一個關(guān)鍵時刻從事改變世界的技術(shù)工作，這真是我的榮幸。
隨著成長，變化是不可避免的，但過去大約一年中的一些變化讓我感到不安，以及塑造我們文化的許多人的離去。
我真誠地希望，對我來說使這個地方如此特別的那些東西能夠被加強而不是削弱。
為此，冒著冒昧的風(fēng)險，我要留下我的建議：
記住我們的使命不僅僅是“構(gòu)建AGI”。為了確保它造福人類，還有很多事情要做。認(rèn)真考慮我們目前的安全方法可能不足以應(yīng)對我們認(rèn)為這十年可能會出現(xiàn)的、能力大得多的系統(tǒng)。
盡量說真話，即使這些話不方便或難以面對。
以適當(dāng)?shù)膰?yán)肅態(tài)度行事：我們正在構(gòu)建的不僅僅是另一個科技產(chǎn)品。
在這里我學(xué)到了很多，我非常感激能與你們一起經(jīng)歷這段瘋狂的旅程。我希望你們能保持聯(lián)系。
回顧10月-11月份，OpenAI兩位安全相關(guān)人員離職
Miles Brundage在2018年加入OpenAI，曾擔(dān)任研究科學(xué)家、政策研究負(fù)責(zé)人以及高級AGI顧問等重要職務(wù)，今年10月底離開OpenAI。
MilesBrundage在OpenAI的工作主要集中在確保OpenAI的產(chǎn)品能以安全、可靠的方式進行部署使用。
他領(lǐng)導(dǎo)了外部紅隊計劃Red teaming，測試OpenAI AI系統(tǒng)的安全性和魯棒性，并推動了“系統(tǒng)卡”報告的創(chuàng)建。
還積極參與了有關(guān)AI進展評估、AI安全監(jiān)管、AI經(jīng)濟影響以及有益AI應(yīng)用加速推進等方面的研究，并提出了“AI大戰(zhàn)略”概念。
他離開OpenAI時表示在非營利部門作為研究人員和倡導(dǎo)者將會產(chǎn)生更大的影響，他將擁有更多的自由發(fā)表能力。
Miles Brundage離職后曾發(fā)長文表示對于“世界有效管理人工智能、AGI能力的就緒狀態(tài)（包括監(jiān)管 OpenAI 和其他公司）”尤為重要，并且希望在此領(lǐng)域發(fā)揮自己更大作用。
Lilian Weng，11月15日離開OpenAI，曾擔(dān)任OpenAI的安全研究副總裁及后來的安全系統(tǒng)團隊負(fù)責(zé)人。
在OpenAI工作的7年的時間里，LilianWeng負(fù)責(zé)建立和領(lǐng)導(dǎo)安全系統(tǒng)團隊，專注于解決人工智能安全的關(guān)鍵問題，包括防止現(xiàn)有AI模型被不當(dāng)利用等挑戰(zhàn)。
她的離職被行業(yè)觀察者視為對OpenAI未來安全戰(zhàn)略的一個潛在考驗。
她曾提到，在GPT-4發(fā)布之后，她被指派了重新評估OpenAI安全系統(tǒng)的任務(wù)，但她選擇離職，以便有更多的時間撰寫技術(shù)博客，并可能在公司外部更有效地推進AI安全與倫理的研究工作。
她的這一決定也引發(fā)了業(yè)界對OpenAI內(nèi)部戰(zhàn)略方向和安全文化建設(shè)的廣泛討論。
而就在昨天（美東時間周五），與OpenAI法律訴訟糾葛不斷的馬斯克，也再一次提出了新要求。
馬斯克及其人工智能公司xAI的法律團隊向美國聯(lián)邦法院再次提交申請，請求法院發(fā)布初步禁令，以阻止OpenAI從一個非營利組織轉(zhuǎn)變?yōu)橥耆杂麨槟康牡钠髽I(yè)。
此外，他們還要求法院禁止OpenAI限制其投資者向包括xAI在內(nèi)的競爭對手提供資金支持
不難看出，似乎從業(yè)者們，對人工智能的安全擔(dān)憂叢叢，對商業(yè)與技術(shù)的難以平衡感到不安。
安全和有益的通用人工智能（AGI）？
所有的人工智能相關(guān)組織、企業(yè)、公司都在談AGI。
“會從用戶價值出發(fā)…… 會推動AGI……以普惠為使命……以人類進步，科技發(fā)展為愿景……”
所以，到底有多少企業(yè)除了技術(shù)追求之外，真正在直面問題：保障安全和有益的通用人工智能（AGI）發(fā)展”呢？
我們簡單來解釋一下為什么需要直面并堅持安全和有益的通用人工智能（AGI）。
首先，技術(shù)失控問題，AGI可能擁有超出人類控制的能力，將導(dǎo)致不可預(yù)測的風(fēng)險和后果。
第二人工智能的發(fā)展需要考慮倫理和道德問題，比如決策的透明度、偏見和歧視問題，以及對隱私的影響。
第三責(zé)任問題，人工智能系統(tǒng)的復(fù)雜性增加，到那時候再來確定誰對人工智能的行為和決策負(fù)責(zé)變得更加困難。
第四經(jīng)濟和社會影響，人工智能可能會對就業(yè)市場、社會結(jié)構(gòu)和經(jīng)濟產(chǎn)生深遠影響，包括職業(yè)的自動化和收入不平等的加劇。
第五政策和法規(guī)問題，需要制定和實施有效的政策和法規(guī)來管理人工智能的發(fā)展，以確保其對社會的積極影響。
第六人類福祉和可持續(xù)發(fā)展，核心目標(biāo)一定是確保人工智能的發(fā)展能夠提高人類的福祉，而不是僅僅追求技術(shù)進步。
第七……
OpenAI離職的人員越來越多，拋出的人工智能安全警示也越來越多。
作為在科技發(fā)展中扮演重要角色的企業(yè)，特別是在人工智能這樣的前沿領(lǐng)域，每一步的發(fā)展都需要格外謹(jǐn)慎。
最初的愿景是否還在？
科技的發(fā)展與給你所處世界帶來的風(fēng)險要如何平衡？
值得每一個人深思。
本文鏈接：http://www.albanygandhi.com/news-23-73312.html讓AGI造福全人類的愿景是個謊言？OpenAI核心人員再次離職
聲明：本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻，不代表本站觀點，本站不承擔(dān)任何法律責(zé)任。天上不會到餡餅，請大家謹(jǐn)防詐騙！若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。
