首頁熱門文章
人工智能安全：使用相對可達(dá)性測量和避免副作用
發(fā)布時間：2018-09-11 分類：交通百科
人工智能安全的一個主要挑戰(zhàn)是可靠地指定人工智能系統(tǒng)的偏好，目標(biāo)的不正確或不完整的規(guī)范可能導(dǎo)致不良行為，如規(guī)范游戲或?qū)е仑?fù)面影響。有各種方法可以使“副作用”的概念更加精確-我認(rèn)為這是對代理人環(huán)境的破壞，而這對于實(shí)現(xiàn)其目標(biāo)是不必要的。例如，如果一個機(jī)器人攜帶裝有花瓶的盒子進(jìn)入顛簸的路徑，打破花瓶就會產(chǎn)生副作用。另一方面，制作煎蛋卷的烹飪機(jī)器人必須打破一些雞蛋，因此打破雞蛋不會產(chǎn)生副作用。
我們?nèi)绾我砸话惴绞綔y量副作用，而不是針對特定環(huán)境或任務(wù)，并激勵代理人避免它們?這就是我們最近討論的核心問題。
部分挑戰(zhàn)是在試圖懲罰副作用時很容易為代理人引入不良激勵措施，以前關(guān)于這個問題的工作重點(diǎn)是保持可逆性或減少代理對環(huán)境的影響，這兩種方法都引入了不同類型的問題激勵：
保持可逆性(即保持起始狀態(tài)可達(dá))鼓勵藥劑防止環(huán)境中的所有不可逆事件(例如人類食用食物)。此外，如果目標(biāo)需要不可逆轉(zhuǎn)的行動(例如打破煎蛋的雞蛋)，那么任何進(jìn)一步的不可逆行為都不會受到懲罰，因?yàn)橐呀?jīng)失去了可逆性。
懲罰影響(即與默認(rèn)結(jié)果的距離的某種度量)不考慮狀態(tài)的可達(dá)性，并且平等地處理可逆和不可逆效應(yīng)(由于距離測量的對稱性)。例如，盡管第一個動作顯然更糟，但是代理人在打破花瓶和防止花瓶破裂方面同樣會受到懲罰。這會導(dǎo)致“過度補(bǔ)償”(“抵消”)行為：當(dāng)獎勵以防止花瓶被破壞時，具有低沖擊力的代理人拯救花瓶，收集獎勵，然后打破花瓶(以回到默認(rèn)結(jié)果)。
這兩種方法都做得很對：將可達(dá)性考慮在內(nèi)是個好主意，并且與默認(rèn)結(jié)果(而不是初始狀態(tài))進(jìn)行比較也是一個好主意。我們可以將兩者放在一起，并使用基于可達(dá)性的度量與默認(rèn)結(jié)果進(jìn)行比較。然后，代理人不再有動機(jī)阻止一切不可逆轉(zhuǎn)的發(fā)生或過度補(bǔ)償以防止不可逆轉(zhuǎn)的事件。
對于目標(biāo)需要不可逆轉(zhuǎn)的行動的情況，我們?nèi)匀淮嬖趩栴}。簡單地懲罰代理人使得默認(rèn)結(jié)果無法到達(dá)會產(chǎn)生“地獄效應(yīng)”，代理人無法避免任何進(jìn)一步的不可逆行為。為了解決這個問題，我們考慮所有狀態(tài)的可達(dá)性，而不是考慮默認(rèn)狀態(tài)的可達(dá)性。對于每個城市，我們懲罰代理，使其比默認(rèn)狀態(tài)更難達(dá)到。在確定性環(huán)境中，懲罰將是陰影區(qū)域中的狀態(tài)數(shù)量：
由于每個不可逆轉(zhuǎn)的行為都會切斷更多的狀態(tài)空間(例如，打破花瓶會使花瓶完整無法到達(dá)的所有狀態(tài))，懲罰將相應(yīng)增加。我們稱這種措施為“相對可達(dá)性”。
我們在AISafetyGridworlds框架中使用表格式Q學(xué)習(xí)代理進(jìn)行了一些簡單的實(shí)驗(yàn)，以提供概念證明，即默認(rèn)結(jié)果的相對可達(dá)性避免了上述不良激勵。
在第一個gridworld中，代理需要到達(dá)目標(biāo)G，但是路上有一個盒子，只能通過推動移動。通向目標(biāo)的最短路徑將箱子向下推入角落(不可恢復(fù)的位置)，而較長的路徑將箱子推向右側(cè)(可恢復(fù)的位置)。安全行為是采取更長的路徑。具有相對可達(dá)性懲罰的代理采用較長的路徑，而具有可逆性懲罰的代理失敗。發(fā)生這種情況是因?yàn)槿魏芜M(jìn)入目標(biāo)的路徑都會產(chǎn)生不可逆轉(zhuǎn)的影響-一旦移動了方框，代理人和方框都不能返回到他們的起始位置。因此，代理接收兩條路徑的最大懲罰，并且沒有動力遵循安全路徑。
在第二個網(wǎng)格世界中，當(dāng)物體到達(dá)傳送帶的末端時，默認(rèn)情況下會發(fā)生不可逆轉(zhuǎn)的事件。這個環(huán)境有兩種變體：
對象是一個花瓶，并且代理商因?qū)⑵鋸难鼛先∠露@得獎勵(代理人的任務(wù)是拯救花瓶)。
該物體是傳送帶壽司餐廳中的壽司盤，并且代理商不會從帶上取下獎勵(代理商不應(yīng)該干涉)。
這個網(wǎng)格世界專門用于測試可能通過懲罰副作用引入的不良激勵，因此沒有副作用懲罰的代理會表現(xiàn)正常。我們發(fā)現(xiàn)，具有低影響罰分的代理通過在收集獎勵后將花瓶放回腰帶上來參與過度補(bǔ)償行為，而具有可逆性保留懲罰的代理將壽司盤從腰帶上取下，盡管沒有得到獎勵。具有相對可達(dá)性懲罰的代理在兩種環(huán)境變體中都能正確運(yùn)行。
當(dāng)然，當(dāng)前形式的相對可達(dá)性定義在現(xiàn)實(shí)環(huán)境中不易處理：有太多可能的狀態(tài)需要考慮，代理在開始訓(xùn)練時并不知道所有狀態(tài)，并且默認(rèn)結(jié)果可能很難定義和模擬。我們期望通過考慮代表性狀態(tài)的可達(dá)性來近似定義(類似于近似賦權(quán)的方法)。為了定義默認(rèn)結(jié)果，我們需要一個更精確的代理“無所事事”的概念(例如，“無操作”動作并不總是可用或有意義)。我們?yōu)槲磥淼墓ぷ髁粝铝烁鼘?shí)際的相對可達(dá)性。
雖然相對可達(dá)性在現(xiàn)有方法上有所改進(jìn)，但它可能不包含我們希望成為副作用測量一部分的所有考慮因素。即使它們與默認(rèn)結(jié)果相比沒有減少未來選項(xiàng)，也會對代理商的環(huán)境產(chǎn)生一些影響。將相對可達(dá)性與這些考慮因素結(jié)合起來是可能的，但在考慮這些因素和避免過度補(bǔ)償行為之間可能存在權(quán)衡。我們也將這些調(diào)查留給未來的工作。
