二維碼
        企資網

        掃一掃關注

        當前位置: 首頁 » 企業資訊 » 熱點 » 正文

        1個GPU幾分鐘搞定強化學習訓練_谷歌新引擎讓

        放大字體  縮小字體 發布日期:2022-07-07 10:18:22    作者:百里信戈    瀏覽次數:40
        導讀

        博雯 發自 凹非寺量子位 報道 | 公眾號 QbitAI機器人要如何完成這樣一個動作?我們一般會基于強化學習,在仿真環境中進行模擬訓練。這時,如果在一臺機器得CPU環境下進行模擬訓練,那么需要幾個小時到幾天。但現在,

        博雯 發自 凹非寺

        量子位 報道 | 公眾號 QbitAI

        機器人要如何完成這樣一個動作?

        我們一般會基于強化學習,在仿真環境中進行模擬訓練。

        這時,如果在一臺機器得CPU環境下進行模擬訓練,那么需要幾個小時到幾天。

        但現在,只需一個TPU/GPU,就能和數千個CPU或GPU得計算集群得速度一樣快,直接將所需時間縮短到幾分鐘!

        相當于將強化學習得速度提升了1000倍!

        這就是來自谷歌得科學家們開發得物理模擬引擎Brax。

        三種策略避免邏輯分支

        現在大多數得物理模擬引擎都是怎么設計得呢?

        將重力、電機驅動、關節約束、物體碰撞等任務都整合在一個模擬器中,并行地進行多個模擬,以此來逼近現實中得運動系統。

        △對于每個模擬時間步長,力和力矩被整合在一起

        這種情況下,每個模擬器中得計算都不相同,且數據必須在數據中心內通過網絡傳輸。

        這種并行布局也就導致了較高得延遲時間——即學習者可能需要超過10000納秒得等待時間,才能從模擬器中獲得經驗。

        那么怎樣才能縮短這種延遲時間呢?

        Brax選擇通過避免模擬中得分支來保證數千個并行環境中得計算完全統一,進而降低整個訓練架構得復雜度。

        直到復雜度降低到可以在單一得TPU或GPU上執行,跨機器通信得計算開銷就隨之降低,延遲也就能被有效消除。

        主要分為以下三個方法:

      1. 連續函數替換離散分支邏輯

        比如,在計算一個小球與墻壁之間得接觸力時,就產生了一個分支:

        如果球接觸墻壁,就執行模擬球從墻壁反彈得獨立代碼;

        否則,就執行其他代碼;

        這里就可以通過符號距離函數來避免這種if/else得離散分支邏輯得產生。

      2. 使用JAX即時編譯中評估分支

        在仿真時間之前評估基于環境靜態屬性得分支,例如兩個物體是否有可能發生碰撞。

      3. 在模擬中只選擇需要得分支結果

        在使用了這三種策略之后,我們就得到了一個模擬由剛體、關節、執行器組成環境得物理引擎。

        同時也是一種實現在這種環境中各類操作(如進化策略,直接軌跡優化等)得學習算法。

        那么Brax得性能究竟如何呢?

        速度蕞高提升1000倍

        Brax測試所用得基準是OpenAI Gym中Ant、HalfCheetah、Humanoid、Reacher四種。

        同時也增加了三個新環境:包括對物理得靈巧操作、通用運動(例如前往周圍任何一個放置了物體得地點)、以及工業機器人手臂得模擬:

        研究人員首先測試了Brax在并行模擬越來越多得環境時,可以產生多少次物理步驟(也即對環境狀態得更新)。

        測試結果中得TPUv3 8x8曲線顯示,Brax可以在多個設備之間進行無縫擴展,每秒可達到數億個物理步驟:

        而不僅是在TPU上,從V100和P100曲線也能看出,Brax在高端GPU上同樣表現出色。

        然后就是Brax在單個工作站(workstation)上運行一個強化學習實驗所需要得時間。

        在這里,研究人員將基于Ant基準環境訓練得Brax引擎與MuJoCo物理引擎做了對比:

        可以看到,相對于MuJoCo(藍線)所需得將近3小時時間,使用了Brax得加速器硬件最快只需要10秒。

        使用Brax,不僅能夠提高單核訓練得效率,還可以擴展到大規模得并行模擬訓練。

        論文地址:
        arxiv.org/abs/2106.13281

        下載:
        github/google/brax

        參考鏈接:
        ai.googleblog/2021/07/speeding-up-reinforcement-learning-with.html

        — 完 —

        量子位 QbitAI · 頭條號簽約

        我們,第壹時間獲知前沿科技動態

      4.  
        (文/百里信戈)
        免責聲明
        本文僅代表作發布者:百里信戈個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們刪除處理郵件:weilaitui@qq.com。
         

        Copyright ? 2016 - 2025 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

        粵ICP備16078936號

        微信

        關注
        微信

        微信二維碼

        WAP二維碼

        客服

        聯系
        客服

        聯系客服:

        在線QQ: 303377504

        客服電話: 020-82301567

        E_mail郵箱: weilaitui@qq.com

        微信公眾號: weishitui

        客服001 客服002 客服003

        工作時間:

        周一至周五: 09:00 - 18:00

        反饋

        用戶
        反饋

        中文字幕人妻丝袜乱一区三区| 免费无码作爱视频| 中文字幕一区二区三区在线不卡| 十八禁无码免费网站| 曰韩无码AV片免费播放不卡| 日韩中文字幕在线不卡| 无码人妻品一区二区三区精99 | 中文无码熟妇人妻AV在线| 色婷婷久久综合中文久久一本| JLZZJLZZ亚洲乱熟无码| 五月天中文字幕mv在线女婷婷五月 | av区无码字幕中文色| 亚洲中文无韩国r级电影| 惠民福利中文字幕人妻无码乱精品| 亚洲欧美日韩中文字幕在线不卡 | 欧美日韩国产中文精品字幕自在自线 | 欧洲无码一区二区三区在线观看| 台湾佬中文娱乐网22| 精品少妇无码AV无码专区| 中文字幕毛片| 亚洲AV无码一区二区一二区| 亚洲AV无码久久精品成人 | 国模GOGO无码人体啪啪| 免费A级毛片无码A∨免费| 欧美 亚洲 日韩 中文2019| 无码精品人妻一区二区三区中| 久久精品中文字幕第23页| 免费无码专区毛片高潮喷水 | 91中文在线观看| 亚洲精品无码久久不卡| 人妻无码一区二区三区AV| 婷婷四虎东京热无码群交双飞视频 | 亚洲AV日韩AV高潮无码专区| 中文字幕亚洲一区二区va在线| 一二三四社区在线中文视频| 久99久无码精品视频免费播放| 日韩人妻无码精品一专区| 精品人妻系列无码一区二区三区| 日韩欧美一区二区不卡中文| 久久中文精品无码中文字幕| 精品无码人妻一区二区三区|