雙賽道并行 探索NAS技術革新之道

早期的神經(jīng)網(wǎng)絡結構搜索通過將每個神經(jīng)網(wǎng)絡在訓練數(shù)據(jù)上都訓練到收斂，然后評估其效果，會耗費大量的算力資源，阻礙了在實際業(yè)務中的應用。因此，業(yè)界開始逐漸研究使用基于可微分框架和超網(wǎng)絡的輕量級搜索算法，但相關方法在靈活性和搜索效果上存在一定問題。

從實際技術研究中的關鍵問題出發(fā)，本次大賽特意設置了雙賽道：超網(wǎng)絡一致性賽道和模型性能預測賽道。參賽者可以任意選擇或同時參加兩個賽道。獲勝的隊伍會被邀請在CVPRNASworkshop上宣講隊伍的技術方案。

賽道一：超網(wǎng)絡一致性track

由于算法的高效性，OneshotNAS逐漸成為研究人員的研究熱點。通過參數(shù)共享的方式，研究人員不再需要獨立訓練并評估每個子網(wǎng)絡的性能而是只需要訓練一個大的超網(wǎng)絡，然后通過繼承超網(wǎng)絡參數(shù)的方式快速評估每個子網(wǎng)絡的性能，從而可以非常高效的進行模型結構自動搜索。然而，獨立訓練子網(wǎng)絡的性能、性能排序與子網(wǎng)絡繼承超網(wǎng)絡參數(shù)的性能、性能排序之間有很大的偏差，從而導致搜索得到結構性能差無法使用。本賽道旨在解決超網(wǎng)絡的一致性問題。基于超網(wǎng)絡性能與獨立訓練子網(wǎng)絡性能最一致的隊伍將獲得冠軍。

賽道二：模型性能預測track

在不訓練的情況下，準確的預測任意模型結構性能非常重要。基于此，不僅可以深度的分析模型結構的性能優(yōu)劣，同時還能夠預測出滿足任意硬件延時約束下的最優(yōu)的模型結構。本賽事提供了部分（小樣本）模型結構與模型精度之間對應關系的bench mark,參賽選手既可以通過黑盒的方式直接進行訓練，也可以使用白盒的方式進行參數(shù)估計。最終預測泛化性能最好的模型隊伍將獲得冠軍。

技術、平臺、免費算力 百度全方位助力AI競技

此次百度聯(lián)合悉尼科技大學和美國北卡羅來納大學等高校舉辦CVPR 2021 NAS workshop，并在CVPR 2021舉辦的NAS國際競賽是第一屆輕量級神經(jīng)網(wǎng)絡自動搜索競賽。

作為人工智能技術領域的領軍者與深耕者，百度在NAS領域擁有強大的技術優(yōu)勢和深厚技術積累。目前，百度在NAS領域已原創(chuàng)性地提出了GP-NAS（CVPR）和SA-NAS（IJCV）等多個AutoDL算法，并使用研發(fā)的AutoDL技術先后七次在CVPR與ECCV等國際比賽中奪得世界第一。

百度在NAS領域還孵化了模型壓縮工具PaddleSlim。這是基于飛槳PaddlePaddle打造的開源模型壓縮工具庫，囊括了深度學習模型壓縮領域常用的量化、剪枝、蒸餾、模型結構搜索等方法，并且打造了CV和NLP領域的模型壓縮方案。

通過此次競賽，百度期望與全球開發(fā)者就NAS技術展開廣泛交流與學習，積極分享技術成果與心得。

百度飛槳作為中國首個自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級深度學習平臺，為本次競賽參賽者提供了平臺和GPU算力等技術支持，助力AI人才破除參賽桎梏。除了“以賽促學”、通過競賽挖掘AI人才外，百度以飛槳為創(chuàng)新基座構建起涵蓋學習、實踐、比賽、認證、就業(yè)在內(nèi)的全周期服務體系，已培養(yǎng)AI人才超100萬。未來5年，百度還將培養(yǎng)超過500萬人工智能技術與產(chǎn)業(yè)人才。

此次競賽不僅為各賽道的優(yōu)勝者準備了共計10000美金的獎勵，還將在workshop中邀請多位重量級嘉賓進行分享演講。競賽于3月1日正式開啟報名通道，想進一步了解CVPR2021 NAS國際競賽詳情和報名方式，可進入workshop比賽頁面（https://www.cvpr21-nas.com/competition）查看詳細內(nèi)容。

zhangnn