詳情

（原標題：AI不成瞎想芯片？谷歌發文造反?。W洲杯體育

淌若您但愿不錯常常碰面，寬容標星儲藏哦~

最近谷歌DeepMind發表研究論文，造反針對其AI芯片瞎想系統AlphaChip的月旦。

谷歌東說念主工智能部門最初于 2020 年書記了用于瞎想芯片布局的新穎強化學習要領，并于 2021 年在《天然》雜志上發表了一篇相干論文。該論文宣稱，AlphaChip 大概為每一代谷歌 TPU AI 加速器簡潔數千小時的東說念主力，而況如故被該公司用于匡助瞎想其張量芯片。

該效果于 2022 年開源，爾后被谷歌用于其基于 Arm 的 Axion CPU 以過甚他尚未公布的谷歌里面芯片

關聯詞，2023 年，兩篇論文對這一勉力的成效提議了質疑——一篇來自 Cheng等東說念主，另一篇來自 Igor Markov。Cheng 的論文稱，他們無法重現谷歌的要領，而EDA大廠的科學家 Markov 發表了一篇聚首分析，稱這種要領是“不實的晨曦”。

Markov 透露，分析“標明，谷歌強化學習落伍于（i）東說念主類瞎想師、（ii）聞明算法（模擬退火）和（iii）寬綽可用的買賣軟件，而且速率較慢；在 2023 年的公開研究競賽中，強化學習要領并未參預前五名?！彼€援用了一位對該論文透露擔憂的谷歌舉報東說念主的話。

由于爭議持續升級，《天然》雜志在谷歌的論文上添加了編者注，并透露正在觀測這項研究。一位審閱過谷歌論文的孤獨各人撤退了他在《天然》雜志上發表的最初贊好意思谷歌責任的駁倒著述。

谷歌宣稱，Cheng的論文存在多方面殘障，包括未進行預考核和使用較少的經營資源。谷歌還透露，“馬爾科夫發表了毫無根據的誆騙指控”，并補充說，又名里面觀測東說念主員跟蹤到了舉報東說念主，舉報東說念主承認，天然他懷疑存在誆騙活動，但“他莫得把柄支捏他的誆騙懷疑”。

這家科技巨頭當前透露，《天然》雜志本年 4 月完成了觀測，并“皆備作念出了對咱們有益的裁決”，并于 9 月刪除了裁剪持重。同月，聯發科書記將使用 AlphaChip 看成其芯片斥地的一部分。

Markov本月再行發表并更新了他的分析，并補充說“《天然》雜志上發表的論文所引發的通盤主要擔憂均未得到懲辦。”他透露，AlphaChip 并非如其所宣稱的那樣開源：“除其他部分外，模擬退火的源代碼仍然缺失，此外，淌若莫得專有的考核數據和測試數據，《天然》雜志上的戒指就無法重現。”

谷歌在一篇對于 AlphaChip 的博客著述中宣稱，“AlphaChip 瞎想了更好的芯片布局，并提供了更多的舉座平面圖，從而加速了瞎想周期并坐褥出性能更高的芯片。

“AlphaChip引發了芯片瞎想東說念主工智能領域的爆炸式增長，并已推廣到芯片瞎想的其他重要階段，舉例邏輯抽象和宏遴薦?！?/p>

原始論文中列出的名字中包括 Richard Ho，據音信驕傲，這位前谷歌 TPU 講求東說念主于 2023 年轉投 OpenAI。

以下為論文正文：

芯片已開赴：對芯片瞎想東說念主工智能毫無根據懷疑的批判

摘 要

2020 年，咱們引入了一種大概生成超東說念主芯片布局（superhuman chip layouts）的深度強化學習要領，隨后咱們在《天然》雜志上發表了該要領并在 GitHub 上開源。AlphaChip 引發了芯片瞎想 AI 方面的寬綽責任，并已在 Alphabet 起初進的芯片中部署，并由外部芯片制造商進行了推廣。即便如斯，ISPD 2023 上的一篇未經同業評審的受邀論文質疑了它的性能聲明，盡管它未能按照《天然》雜志中形容的神氣運行咱們的要領。

舉例，它莫得事前考核 RL 要領（摒除了從先前教學中學習的才調），使用的經營資源大大減少（RL 教學采集器減少了 20 倍，GPU 數目減少了一半），莫得考核到持續（機器學習的模范作念法），而況對不代表當代芯片的測試用例進行了評估。

最近，Igor Markov 發表了三篇論文的“meta-analysis”：咱們同業評審的《天然》論文、非同業評審的 ISPD 論文以及 Markov 我方未發表的論文（盡管他莫得袒露他是該論文的合著者）。盡管 AlphaChip 如故得回通俗采用和影響，但咱們如故發表了此回話，以確保莫得東說念主會因為失實而澌滅在這個有影響力的領域進行篡改。

簡介

在《天然》雜志上發表后，AlphaChip 引發了東說念主工智能芯片瞎想的寬綽研究。它還生成了超東說念主芯片布局，用于三代 TPU（見圖 1）、數據中心 CPU（Axion）和 Alphabet 的其他芯片，并被外部學者和芯片制造商推廣到芯片瞎想的新領域。

即便如斯，Igor Markov 在 2024 年 11 月的《Communications of the ACM》上發表了對咱們責任的月旦，該月旦是對咱們的《天然》論文和兩篇非同業評審論文的“meta-analysis”：

1、Cheng 等東說念主：第一篇是 Cheng 等東說念主的受邀 ISPD 論文 。這篇論文莫得治服模范的機器學習實踐，其強化學習要領和實驗成立與咱們的《天然》論文中形容的有很大不同。

盡管如斯，其受限版塊仍然優于 RePlAce2，后者是咱們在《天然》雜志上發表時起初進的期間。

2、Markov 等東說念主：第二篇“meta-analyzed”論文是一份未發表的 PDF，莫得作家名單，被形容為“Google 團隊 ”進行的“單獨評估”，但實踐上是 Markov 本東說念主共同撰寫的

，盡管這一絲并未敗露。這篇論文不適合谷歌的出書模范。2022 年，谷歌的一個孤獨委員會對其進行了審查，該委員會認定“草稿中的聲明和論斷莫得得到實驗的科學支捏”而況“由于 AlphaChip 在其原始數據集上的戒指被孤獨復制，這使 Markov 等東說念主 的 RL 戒指受到質疑” 。咱們向委員會提供了一排劇本，該劇本生成的強化學習戒指顯著優于 Markov 等東說念主答復的戒指，優于他們的“更強”的模擬退火基線（simulated annealing baseline）。咱們仍然不知說念 Markov 和他的共事是怎么得出論文中的數字的。

馬爾科夫的“meta-analyzed”為咱們的論文帶來了另一個擔憂：谷歌里面的“密告者”。關聯詞，這位“密告者”向谷歌觀測員承認，他莫得情理肯定存在誆騙活動：“他說他懷疑 Goldie 和 Mirhoseini 進行的研究存在誆騙活動，但也透露他莫得把柄支捏他的誆騙懷疑”。

在他的“meta-analyzed”中，馬爾科夫在莫得把柄的情況下對誆騙和科學潦草活動進行了放浪的推斷，但這些都莫得發生。馬爾科夫的大部分月旦都是這么的：在他看來，咱們的要領不應該有用，因此它一定不起作用，任何標明其他要領有用的把柄都是誆騙。

《天然》雜志觀測了馬爾科夫的擔憂，發現它們皆備莫得根據，并在這一過程掃尾時發表了一份附錄，支捏咱們的責任。舉例，在論斷的發軔段落中，馬爾科夫指出（強調他）：“在這篇論文中，咱們發現 ML 中存在多樣可疑作念法，包括不可類似的研究實踐、多種挑選、誤報和可能的數據混濁（泄漏）。”咱們莫得參與任何這些作念法，也莫得任何其他體式的科學潦草活動，馬爾科夫也莫得為這些指控提供任何把柄。

馬爾科夫在論文中莫得任何場合形容任何體式的所謂挑選，更無謂說多種變體了，他也莫得提供把柄。他也莫得形容任何體式的所謂“誤報”，也莫得解釋他的意料，也莫得提供把柄。他也莫得提供任何數據混濁（泄漏）的把柄，除了他推測淌若發生這種情況，咱們的戒指會得到改善。這些指控中的很多都是第一次出當前他的“論斷”部分！

為了漫罵咱們的 TPU 部署，馬爾科夫還示意谷歌確定僅僅在“測試”咱們的要領，允許在 TPU 中使用劣質的 AlphaChip 來撐捏咱們的研究論文。這是不真確的，而且名義上很顛倒。谷歌更關懷 TPU 瞎想的效用——這是一個耗資數十億好意思元的神氣，是谷歌云和東說念主工智能規劃的中樞——而不是研究論文。

為了了了起見，咱們列出了事件的時辰表，包括非秘密部署：

簡而言之，Markov 的論文不包含任何原始數據，僅僅對兩篇論文的“meta-analysis”。

第一篇論文莫得作家名單（盡管 Markov 是作家之一），從未發表過，其倡導莫得科學數據支捏，而況無法重現。

第二篇論文，Cheng 等東說念主的論文，是 Markov 的“聚首分析”中獨一的實踐性內容，因此咱們將本文的其余部分用于形容其所謂重現咱們的要領中的進軍問題。

2.Cheng 等東說念主對咱們要領的復現中的失實

Cheng 等東說念主宣稱在新的測試用例上將咱們的要領與其他要領進行比較。橫禍的是，Cheng 等東說念主莫得按照《天然》中形容的神氣運行咱們的要領，因此他們答復不同的戒指也就不及為奇了。在本節中，咱們形容了他們所謂的復現中的主要失實：

1、莫得事前考核 RL 要領。從先前教學中學習的才調是咱們基于學習的要領的主要上風，而摒除它等于評估一種不同的、較差的要領。趁機說一句，預考核也產生了 Gemini 和 ChatGPT 等大型話語模子的令東說念主印象深切的才調（“GPT”中的“P”代表“預考核”）。

2、 使用的經營資源減少了一個數目級：RL 教學采集器減少了 20 倍（26 vs Nature 中的 512），GPU 減少了 2 倍（8 vs Nature 中的 16）。

3、未考核至持續?？己酥脸掷m是機器學習的模范作念法，因為盡人皆知，不這么作念會挫傷性能。

4、在非代表性、不可類似的基準上進行評估。Cheng 等東說念主的基準具有更老、更大的期間節點尺寸（45nm 和 12nm vs Nature 中的 7nm 以下），而況從物理瞎想角度來看有很大不同。此外，作家無法或不肯意分享復制其主數據表中的戒指所需的合成網表。

5、 對咱們的要領進行了“大領域再行完畢”，這可能會引入失實。咱們建議改用咱們的開源代碼。

橫禍的是，這些主要的要領論互異使 Cheng 等東說念主與咱們的要領的比較和論斷無效。淌若 Cheng 等東說念主咱們如故籌商了《天然》雜志的通訊作家，咱們很樂意匡助他們在發表之前改進這些問題。

2.1、 莫得事前考核 RL 要領

與之前的要領不同，AlphaChip 是一種基于學習的要領，這意味著跟著它懲辦更多芯片拋棄問題實例，它會變得更好、更快。這是通過預考核完畢的，預考核包括在運行保留的測試用例（測試數據）之前對“鍛練”塊（考核數據）進行考核。

正如咱們在《天然》論文圖 5 中所示（下圖復制為圖 2），考核數據集越大，該要領在拋棄新塊方面就越好。正如咱們在《天然》著述中所述，咱們在主數據表（《天然》表 1）中的 20 個塊上進行了預考核。

Cheng 等東說念主根底莫得進行預考核（即莫得考核數據），這意味著 RL 代理往時從未見過芯片，必須學習怎么從新動手為每個測試用例推行拋棄。

這摒除了咱們要領的重要上風，即它從先前教學中學習的才調。

與其他有名的強化學習研究類似，這就像評估一個從未見過圍棋比賽的 AlphaGo 版塊（而不是經過數百萬場游戲的預考核），然后得出論斷述 AlphaGo 不擅長圍棋。咱們在《天然》雜志的論文中詳備計議了預考核的進軍性（舉例，“預考核”一詞出現了 37 次），并通過教學解釋了其影響。舉例，《天然》雜志的圖 4（此處復制為圖 3）驕傲，預考核不錯培育布局質料和持續速率。在開源 Ariane RISC-V CPU上，未經預考核的強化學習需要 48 小時。

戰術來接近預考核模子在 6 小時內不錯產生的戒指。正如咱們在《天然》雜志上所述，咱們預考核了 48 小時才得到主數據表中的戒指，而 Cheng 等東說念主的預考核時辰為 0 小時。

咱們的開源存儲庫不錯皆備重現咱們在《天然》論文中形容的要領。Cheng 等東說念主試圖通過示意咱們的開源存儲庫不支捏預考核來為他們窮乏預考核辯解，但這是不正確的。預考核僅僅在多個示例上運行該要領，而況一直得到支捏。

2.2 RL要領提供極少的經營資源

在Cheng等東說念主的著述中，RL要領提供了少20倍的RL教學采集器(實踐上是26對512)和一半數目的GPU(實踐上是8對16)。使用較少的經營可能會挫傷性能，或者需要運行相配長的時辰才能達到疏導(或更差)的性能。

如圖4所示，在寬綽GPU上進行考核不錯加速持續速率，并產生更好的最終質料。淌若程等東說念主匹配了《天然》雜志上形容的實驗成立，這可能會改善他們的戒指。

2.3 RL要領未經過持續考核

跟著機器學習模子的考核，失掉時常會減少，然后達到安適情狀，這透露“持續”——模子如故了解了它所推行的任務?？己顺掷m是機器學習的模范作念法，不這么作念是盡人皆知的挫傷性能。

Cheng等東說念主莫得在四個區塊中的任何一個上進行持續考核，這四個區塊的持續圖在他們的陪伴神氣現場提供 (莫得為BlackParrot- NG45或Ariane-NG45提供圖)。

圖5驕傲了Cheng等東說念主神氣現場的持續圖，表1歸來了可用信息。對于具有持續圖的通盤四個區塊(Ariane-GF12、MemPool-NG45、BlackParrot-GF12和MemPool-GF12)，考核在相對較低的步數(遠隔為350k、250k、160k和250k步)處被割斷10。治服模范的機器學習實踐可能會培育這些測試用例的性能。

2.4 Cheng等東說念主的測試案例不成代表當代芯片

在《天然》雜志論文中，咱們答復了具有亞7納米期間節點尺寸的張量處理單位(TPU)模塊的戒指，這是當代芯片的典型特征。比擬之下，Cheng等東說念主答復了較老期間節點尺寸(45納米和12納米)的戒指，這與物理瞎想有很大不同。

舉例，在10納米以下，時常使用多重圖案化，導致較低密度下出現布線擁塞問題。因此，對于較老的期間節點大小，咱們的要領可能受益于對其獎勵函數的擁塞或密度重量的篡改11。咱們還莫得將咱們的期間應用于舊節點的瞎想，因為咱們通盤的責任都是在7納米、5納米和更近的工藝上，盡管咱們寬容社區在這方面的孝敬。

3、與Cheng等東說念主相干的其他問題

在本節中，咱們形容了Cheng等東說念主的其他問題， 包括它與閉源買賣自動拋棄器的比較，它在模范單位簇再均衡中對啟動拋棄的東說念主為“消融”，它有殘障的相干性研究，以及它對谷歌工程師考據的失實聲明。

3.1 Inappropriate Comparison With Commercial Autoplacers

Cheng等東說念主將一個被嚴重收縮的RL要領與在咱們的要領發表多年后發布的未發表的、閉源的、特別的軟件進行了比較。這不是評估咱們要領的合理神氣——就咱們所知，閉源用具不錯徑直建樹在咱們的責任之上。

2020年5月，咱們進行了一項盲倡導里面研究，將咱們的要領與兩家來源的Commercial Autoplacers的最新版塊進行了比較。咱們的要領優于兩者，以13比4(有3次平局)和15比1(有4次平局)的上風打敗了對方。橫禍的是，與買賣供應商的模范許可左券辭讓公開比較他們的居品。

3.2 Contrived “Ablation” of Initial Placement in Standard Cell Cluster Rebalancing

在運行咱們在《天然》雜志上發表的論文中評估的要領之前，從物理合成中得回一個近似啟動位置，這是芯片瞎想過程的上一法子。被用來懲辦來自hMETIS的模范單位集群的大小不屈衡問題。

Cheng等東說念主對單個塊(Ariane-NG45)進行了“消融”研究。他們莫得粗淺地跳過集群再行均衡法子，而是嘗試將通盤芯片組件放在左下角的頂部，導致再行均衡法子產生退化的模范單位集群。當這挫傷了性能時，Cheng等東說念主得出論斷，咱們的RL代理正在某種進程上愚弄啟動拋棄信息，即使它莫得拜謁啟動拋棄信息而況莫得拋棄模范單位。

咱們進行了一項消融研究，摒除了任何啟動拋棄的使用，并不雅察到性能莫得退化見表（2）。咱們僅僅跳過了集群再行均衡法子，而是將 hMETIS的集群“不屈衡”參數縮短到其最低成立(UBFactor=1)，這導致hMETIS生成了更均衡的集群。自 2022年6月 10 日起，這一援手預處理法子已被紀錄和開源?？墒牵@是不必要的，如故從咱們的坐褥進程中刪除了。

3.3 代理資本與最終預備相干性的殘障研究

Cheng等東說念主宣稱，咱們的代理資本與最終預備的相干性欠安，但他們的相干性研究實踐上標明，除模范單位面積外，總體代理資本與通盤最終預備之間存在隱微但正相干(參見Cheng等東說念主的表2，如圖6所示)。請看重，咱們將面積視為硬管制，因此不合其進行優化。

在基于ML的優化中使用的代理資本時常只與方向對象有較弱的相干性。舉例，像Gemini和ChatGPT這么的大型話語模子被考核來推斷序列中的下一個單詞，這是一個固有的噪聲信號。

此外，Cheng等東說念主的相干性研究作念出了一些令東說念主訝異的遴薦:

·Cheng等東說念主只答復了低于0.9的代理資本的相干性，莫得為這一決定提供情理。該閾值拆除了他們我方的大多數戒指(舉例，參見Cheng等東說念主的表1)。

·相干性研究僅研究了一個45nm測試案例(Ariane-NG45)。NG45是一種更老的期間節點大小，舉座資本函數的擁擠和密度組件可能需要篡改以得回更好的相干性(見第2.4節)。

趁機提一下，AutoDMP15使用了類似于咱們在《天然》雜志論文中提議的代理清晰長度、擁塞和密度資本，并發現它們實踐上與最終預備相干。

3.4 Cheng等東說念主對谷歌工程師考據的失實倡導

Cheng等東說念主宣稱谷歌工程師證實了其期間正確性，但這是不真確的。谷歌工程師(他們不是《天然》雜志論文的通訊作家)僅僅證實，他們大概從零動手(即莫得預培訓)根據咱們開源庫中的快速初學指南對單個測試案例進行培訓?！犊焖俪鯇W指南》天然不是形容怎么皆備復制咱們在《天然》雜志上發表的論文中形容的要領，而僅僅看成第一步來證明所需的軟件如故裝配，代碼如故編譯，而況不錯在一個粗淺的測試案例(Ariane)上成效運行。

事實上，這些谷歌工程師分享了咱們的擔憂，并提供了建樹性的反應，但莫得得到懲辦。舉例，在Cheng等東說念主的著述發表之前，通過書面交流和在幾次會議中，他們提議了對該研究的關注，包括使用的經營量大大減少，以及未能篡改代理資本權重以研究到皆備不同的期間節點大小。

Cheng等東說念主的致謝部分還列出了天然通訊作家，并示意他們被商榷或甚而參與，但事實并非如斯。事實上，通訊作家是在這篇論文發表后才知說念的。

4.透明度和可復制性

4.1 AlphaChip是皆備開源的

咱們開源了一個軟件庫以充分復制咱們在《天然》雜志中形容的要領。咱們的 RL要領中的每一排都不錯開脫查驗、推行或修改，并提供源代碼或二進制文獻以推行通盤預處理法子和后處理法子。開源代碼需要 TF-Agents團隊一年多的勉力，包括孤獨復制咱們的要領和咱們在《天然》雜志中的戒指。

來自咱們的開源存儲庫：“開源咱們的代碼需要與谷歌的另一個團隊(TF- Agents)調和。TF-Agents來源使用咱們的代碼庫復制了咱們的Nature著述中的戒指，然后使用他們我方的完畢再行完畢了咱們的要領并復制了咱們的戒指，然后開源了他們的完畢，因為它不依賴于任何里面基礎設施?！?/p>

Cheng等東說念主不必要隘“逆向工程”了咱們看成性能優化二進制文獻提供的兩個函數(代理資本函數和強制導向(FD)模范單位拋棄器)。如MLCAD 2021論文中所述，咱們當前建議使用DREAMPlace進行模范單位布局，而不是FD，因為它能產生更好的性能。咱們提供傳統的FD二進制文獻的獨一倡導是使咱們的要領大概準確地復制，正如在《天然》雜志上發表的那樣。

對于各人基準，咱們在《天然》雜志上報說念了開源Ariane RISC-V CPU的戒指。此外，在MLCAD 2021的后續論文中，咱們對開源ISPD 2015競賽基準進行了評估。因為咱們如故開源了咱們的代碼，社區不錯開脫地治服咱們的要領，并在職何各人基準上評估咱們的要領。

4.2 Cheng等東說念主宣稱他們不成分享他們的“洞開”測試用例

Cheng等東說念主提議的月旦之一是，Nature評估是在專有的模塊上進行的(此外，開源的Ariane模塊也進行了評估，并在后續出書物中公開了ISPD 2015基準)。Cheng等東說念主宣稱對一組洞開測試案例進行評估，以培育可類似性，但當咱們與作家通訊時，他們無法或不肯意提供必要的抽象網表，以在其主數據表(表1)中復制“洞開”測試案例的戒指。

橫禍的是，這意味著咱們不成復制Cheng等東說念主的表1中的任何戒指:

GF12(12納米)：這些測試案例是專有的，公眾無法得回，Cheng等東說念主的戒指是拖沓的，這意味著即使外部研究東說念主員得回訪謁權，徑直比較仍然是不可能的。

NG45(45納米)：盡管自2024年2月以來已有突出10次的肯求，但Cheng等東說念主尚未分享重現其NG45戒指所需的合成網表。請看重，其他論文對NG45模塊進行了評估，但其戒指與Cheng等東說念主的表1中的戒指不一致(舉例，參見AutoDMP 的表2)，強調了再現性挑戰。

橫禍的是，當代芯片常識產權是明銳的和專有的，據咱們所知，莫得洞開的基準可用于頂端工藝。咱們飽讀吹芯片瞎想社區為當代納米以下工藝創造更洞開的瞎想，因為這將有助于鼓吹該領域上前發展。當前，皆備洞開的瞎想時常為28納米、45納米甚而130納米，很多物理瞎想問題與7納米以下工藝大不疏導。

5、論斷

在Cheng等東說念主嘗試再行評估咱們的責任時，作家莫得按照《天然》雜志中的形容運行咱們的要領(舉例，他們莫得進行預考核，使用的經營量大大減少，而況莫得進行持續考核)，答復了既不具有代表性也不具有可類似性的基準戒指，而況運行了有問題的消融/相干性研究。

在他的論文中，Markov發表了基于Cheng等東說念主的“元分析”(莫得再現咱們的要領)和匿名PDF(Markov實踐上是合著者)的毫無根據的誆騙指控，其戒指無法再現，而況“草案中的倡導和論斷莫得得到實驗的科學支捏”。

與此同期，AlphaChip引發了芯片瞎想的東說念主工智能責任的爆炸，它的超東說念主布局如故在谷歌數據中心部署的多代TPU中完成，以及Alphabet和外部芯片制造商的其他芯片。咱們期待看到AI接續改變硬件瞎想的各個方面，就像硬件的朝上透澈改變了AI同樣。

半導體杰作公眾號保舉

專注半導體領域更多原創內容

關注全球半導體產業動向與趨勢

*免責聲明：本文由作家原創。著述內容系作家個東說念主不雅點，半導體行業不雅察轉載僅為了傳達一種不同的不雅點，不代表半導體行業不雅察對該不雅點贊同或支捏，淌若有任何異議，寬容籌商半導體行業不雅察。

今天是《半導體行業不雅察》為您分享的第3956期內容，寬容關注。

『半導體第一垂直媒體』

及時 ?？?原創 深度

公眾號ID：icbank

心愛咱們的內容就點“在看”分享給小伙伴哦歐洲杯體育