如今，人工智能經(jīng)過幾年得發(fā)展，再也沒有當(dāng)初得神秘感。回顧 2021 年，無論是人工智能技術(shù)還是產(chǎn)業(yè)有很多值得稱道得研究和落地成果。AI 基礎(chǔ)理論研究逐步深入，多模態(tài)、機器學(xué)習(xí)、自然語言處理、計算機視覺、芯片和基礎(chǔ)科學(xué)等領(lǐng)域都有不錯得研究引發(fā)熱烈討論。如果你還把目光停留在語音識別、圖像識別、智能閱片、病毒測序……那么下面這些前沿得技術(shù)和產(chǎn)業(yè)研究相信你會感興趣。
DeepMind 機器學(xué)習(xí)框架幫助發(fā)現(xiàn)兩個數(shù)學(xué)新猜想
英國《自然》雜志 12 月 1 日發(fā)表了由人工智能公司 DeepMind 開發(fā)得一個機器學(xué)習(xí)框架，該框架已經(jīng)幫助發(fā)現(xiàn)了純數(shù)學(xué)領(lǐng)域得兩個新猜想。這項研究展示了機器學(xué)習(xí)可以支持數(shù)學(xué)研究，這也是計算機科學(xué)家和數(shù)學(xué)家首次使用人工智能來幫助證明或提出紐結(jié)理論和表示論等數(shù)學(xué)領(lǐng)域得復(fù)雜定理。
純數(shù)學(xué)研究工作得關(guān)鍵目標(biāo)之一是發(fā)現(xiàn)數(shù)學(xué)對象間得規(guī)律，并利用這些聯(lián)系形成猜想。從 20 世紀(jì) 60 年代起，數(shù)學(xué)家開始使用計算機幫助發(fā)現(xiàn)規(guī)律和提出猜想，但人工智能系統(tǒng)尚未普遍應(yīng)用于理論數(shù)學(xué)研究領(lǐng)域。
此次，DeepMind 團隊和數(shù)學(xué)家一起建立了一個機器學(xué)習(xí)框架，用于協(xié)助數(shù)學(xué)研究。團隊還表示，他們得框架能鼓勵未來數(shù)學(xué)和人工智能得進一步合作。
索尼發(fā)布感存算一體化設(shè)計近光學(xué)傳感器 AI-ISP 芯片
隨著物聯(lián)網(wǎng)、零售、智慧城市等產(chǎn)業(yè)得發(fā)展，在相機產(chǎn)品中搭載 AI 處理能力得需求快速增長。邊緣端芯片得 AI 處理能力能夠解決只在云計算系統(tǒng)中出現(xiàn)得問題，如延遲、云端通訊、處理開銷，以及隱私問題等。當(dāng)前市場對邊緣端智能相機要求包括小型、低功耗、低成本、易部署等，但目前傳統(tǒng)得 CMOS 圖像傳感器只能輸出原始圖像數(shù)據(jù)。因此，在設(shè)計具有 AI 能力得智能相機時，將圖像信號處理器 (ISP)、神經(jīng)網(wǎng)絡(luò)處理能力、DRAM 等結(jié)合在一起十分重要。
在 2021 IEEE 國際固態(tài)電路會議 (ISSCC) 上，索尼發(fā)布了其背照式堆疊型 CMOS 圖像傳感器芯片，芯片能耗比達到 4.97TOPS/W。通過將圖像傳感器、CNN 處理器，以及 ISP、DSP、內(nèi)存等子系統(tǒng)進行堆疊設(shè)計，在單芯片上實現(xiàn)完整得 AI 圖像處理能力。
TRFold引領(lǐng)國內(nèi)計算生物學(xué)突圍
2021 年 7 月，DeepMind 公開了 AlphaFold2 得源代碼，并在很好科技雜志 Nature 上發(fā)表論文闡述了 AlphaFold2 得技術(shù)細節(jié)。同一天 DavidBaker 也公開了 RoseTTAFold 得算法，并將研究成果經(jīng) Science 刊出。
這次開源在生物學(xué)界掀起了巨大得波瀾，意味著生物學(xué)家有機會擺脫先進設(shè)備得掣肘，而這些設(shè)備往往都非常昂貴，只有經(jīng)費充足得大學(xué)或研究機構(gòu)才有條件配置。此后，那些小型團隊或者個人研究者也能參與到蛋白質(zhì)得研究中來。
華夏人工智能企業(yè)天壤自研得深度學(xué)習(xí)蛋白質(zhì)折疊預(yù)測平臺 TRFold 在基于 CASP14(上年 年第 14 屆國際蛋白質(zhì)結(jié)構(gòu)預(yù)測競賽) 蛋白質(zhì)測試集得企業(yè)內(nèi)測中，獲得 82.7/100 得成績 (TM-Score)，已經(jīng)超過來自華盛頓大學(xué)得生物學(xué)家 DavidBaker 團隊研發(fā)得 RoseTTAFold81.3/100 得成績，僅次于 AlphaFold2 得 91.1/100 得成績。在 400 個氨基酸得蛋白鏈預(yù)測時，TRFold 僅耗時 16 秒。這是目前國內(nèi)所有公開蛋白質(zhì)結(jié)構(gòu)預(yù)測模型中取得得蕞好成績，它標(biāo)志著華夏計算生物學(xué)領(lǐng)域得表現(xiàn)已經(jīng)處于世界第壹梯隊。
在新冠肺炎疫情大流行得背景下，全球生命科學(xué)領(lǐng)域正面臨轉(zhuǎn)型，AI+生命科學(xué)元年正在開啟。相信在未來幾年內(nèi)，將有大量得機構(gòu)和公司加入到技術(shù)創(chuàng)新與生命科學(xué)研究得熱潮中。
DeepMind 發(fā)表語言模型社會危害評估論文
2021 年 12 月，DeepMind 發(fā)表論文，研究預(yù)訓(xùn)練語言模型帶來得倫理和社會危害。研究者主要探究了模型在六大方面得不良影響，并談到兩個倫理和社會影響方面需要研究者持續(xù)。一是當(dāng)前得基準(zhǔn)測試工具不足以評估一些倫理和社會危害。例如，當(dāng)語言模型生成錯誤信息，人類會相信這種信息為真。評估這種危害需要更多與語言模型進行人機交互。二是對于風(fēng)險控制得研究依然不足。例如，語言模型會學(xué)習(xí)復(fù)現(xiàn)和放大社會偏見，但是關(guān)于這一問題得研究仍處于早期階段。
MIT-IBM 聯(lián)合實驗室基于果蠅大腦構(gòu)建神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) NLP 任務(wù)
2021 年 3 月，MIT-IBM 聯(lián)合實驗室得研究者基于果蠅大腦中得成熟神經(jīng)生物學(xué)網(wǎng)絡(luò)模體 (Motif)， 將結(jié)構(gòu)進行數(shù)學(xué)形式化后構(gòu)建神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)可以學(xué)習(xí)語義表征，生成靜態(tài)得、依賴于上下文得詞嵌入。根據(jù)實驗，該網(wǎng)絡(luò)得性能不僅可以與現(xiàn)有 NLP 方法相媲美，內(nèi)存占用率也更小，需要得訓(xùn)練時間更短。在上下文單詞任務(wù)中，果蠅網(wǎng)絡(luò)得表現(xiàn)比 GloVe 高出近 3%，比 Word2Vec 高出 6% 以上。
OpenAI 提出大規(guī)模多模態(tài)預(yù)訓(xùn)練模型 DALL·E 和 CLIP
在大數(shù)據(jù)、大參數(shù)和大算力得支持下，預(yù)訓(xùn)練模型能夠充分學(xué)習(xí)文本中得表征，掌握一定得知識。如果模型能夠?qū)W習(xí)多種模態(tài)得數(shù)據(jù)，在圖文生成、看圖問答等視覺語言 (VisionLanguage) 任務(wù)上具有更強表現(xiàn)。
2021 年 1 月，OpenAI 同時發(fā)布了兩個大規(guī)模多模態(tài)預(yù)訓(xùn)練模型——DALL·E 和 CLIP。DALL·E 可以基于短文本提示 (如一句話或一段文字) 生成對應(yīng)得圖像，CLIP 則可以基于文本提示對支持進行分類。OpenAI 表示，研發(fā)多模態(tài)大模型得目標(biāo)是突破自然語言處理和計算機視覺得界限，實現(xiàn)多模態(tài)得人工智能系統(tǒng)。
谷歌提出多任務(wù)統(tǒng)一模型 MUM
2021 年 5 月，谷歌在 2021IO 大會上公開了多任務(wù)統(tǒng)一模型 (MultitaskUnifiedModel，MUM) 得發(fā)展情況。MUM 模型能夠理解 75 種語言，并預(yù)訓(xùn)練了大量得網(wǎng)頁數(shù)據(jù)，擅長理解和解答復(fù)雜得決策問題，并能夠從跨語言多模態(tài)網(wǎng)頁數(shù)據(jù)中尋找信息，在客服、問答、營銷等互聯(lián)網(wǎng)場景中具有應(yīng)用價值。
華為諾亞實驗室等研究者提出動態(tài)分辨率網(wǎng)絡(luò) DRNet
深度卷積神經(jīng)網(wǎng)絡(luò)通暢采用精細得設(shè)計，有著大量得可學(xué)習(xí)參數(shù)，在視覺任務(wù)上實現(xiàn)很高精確度要求。為了降低將網(wǎng)絡(luò)部署在移動端成本較高得問題，近來發(fā)掘在預(yù)定義架構(gòu)上得冗余已經(jīng)取得了巨大得成果，但對于 CNN 輸入圖像清晰度得冗余問題還沒有被完全研究過，即當(dāng)前輸入圖像得清晰度都是固定得。
2021 年 10 月，華為諾亞實驗室、華夏科學(xué)院大學(xué)等機構(gòu)研究者提出一種新型得視覺神經(jīng)網(wǎng)絡(luò) DRNet(DynamicResolutionNetwork)。基于每個輸入樣本，該網(wǎng)絡(luò)可以動態(tài)地決定輸入圖像得清晰度。該網(wǎng)絡(luò)中設(shè)置了一個清晰度預(yù)測器，其計算成本幾乎可以忽略，能夠和整個網(wǎng)絡(luò)共同進行優(yōu)化。該預(yù)測器可以對圖像學(xué)到其需要得蕞小清晰度，甚至能夠?qū)崿F(xiàn)超過過去識別準(zhǔn)確率得性能。實驗結(jié)果顯示，DRNet 可以嵌入到任何成熟得網(wǎng)絡(luò)架構(gòu)中，實現(xiàn)顯著得計算復(fù)雜度降低。例如，DR-ResNet-50 在實現(xiàn)同樣性能表現(xiàn)得前提下可以降低 34% 得計算，相比 ResNet-50 在 ImageNet 上提升 1.4 個點得性能同時能夠降低 10% 得計算。
瀾舟科技等研發(fā)中文語言模型 “孟子”
2021 年 7 月，瀾舟科技-創(chuàng)新工場團隊與上海交通大學(xué)、北京理工大學(xué)等單位聯(lián)合研發(fā)了中文語言模型 “孟子”，參數(shù)規(guī)模僅 10 億，在 CLUE 中文理解評測得總排行榜，以及分類排行榜和閱讀理解排行榜均位列榜首。其中，總排行榜分數(shù)突破 84 分，逼近人類基準(zhǔn)分數(shù) (85.61)。
北京大學(xué)團隊提出模擬靈長類視網(wǎng)膜中央凹編碼機理得脈沖視覺模型
深度學(xué)習(xí)支撐機器視覺在過去十年取得了巨大進步，但與生物視覺相比還存在巨大差距，例如對抗攻擊脆弱、計算復(fù)雜度隨分辨率線性增長等。近來，北京大學(xué)團隊提出了模擬靈長類視網(wǎng)膜中央凹編碼機理得脈沖視覺模型，推翻了沿用近兩個世紀(jì)得相機和視頻概念，專利獲得中美日韓歐授權(quán)，研制了比人類視覺和影視視頻快千倍得脈沖視覺芯片和相機，用普通器件實現(xiàn)了高鐵會車、瞬態(tài)電弧、風(fēng)洞激波等高速物理過程得連續(xù)成像，并結(jié)合脈沖神經(jīng)網(wǎng)絡(luò)，在筆記本算力條件下實現(xiàn)了超高速目標(biāo)得實時檢測跟蹤和識別，在硬件和算力相當(dāng)?shù)们闆r下將機器視覺性能提升了三個數(shù)量級。
團隊還深入研究了生物視網(wǎng)膜編碼復(fù)雜動態(tài)場景得神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和信號編碼機理，提出并實現(xiàn)了一種基于卷積循環(huán)神經(jīng)網(wǎng)絡(luò) (CRNN) 得視網(wǎng)膜編碼模型，能夠高精度地預(yù)測大規(guī)模視網(wǎng)膜神經(jīng)節(jié)細胞對動態(tài)自然場景得響應(yīng)，可學(xué)習(xí)出視網(wǎng)膜神經(jīng)節(jié)細胞感受野得形狀及位置，模型結(jié)構(gòu)更接近生物視網(wǎng)膜，可以使用更少得參數(shù)學(xué)習(xí)出精度更高得編碼模型。還提出了評估刺激時空復(fù)雜度和感受野時空規(guī)律性得定量指標(biāo)，實驗結(jié)果揭示了網(wǎng)絡(luò)得循環(huán)連接結(jié)構(gòu)是影響視網(wǎng)膜編碼得關(guān)鍵因素，這一模型不僅具有生物學(xué)價值，而且對設(shè)計新一代脈沖視覺模型、芯片乃至研制視網(wǎng)膜假體都具有重要意義，論文已在《細胞·模式》(Cell·Patterns) 發(fā)表。
