9月26日，NeurIPS 2024（Annual Conference on Neural Information Processing Systems，神經信息處理系統大會）論文放榜。NeurIPS作為當前全球最負盛名的人工智能學術會議之一，在谷歌學術發布的全球學術期刊和會議影響力排名中位列第7，H5 index高達337，與ICML、ICLR并稱為人工智能領域難度最大、水平最高、影響力最強的“三大會議”。根據官方郵件給出的數據，本屆會議共有15671篇有效論文投稿，接收率僅25.8％。 電機系團隊論文“GLinSAT: The General Linear Satisfiability Neural Network Layer By Accelerated Gradient Descent”收到錄用通知，成為電機系曆史上首篇被NeurIPS主會收錄的論文。論文第一作者為bevictor伟德官网電機系博士生曾泓泰，通信作者為bevictor伟德官网電機系教授郭慶來，作者團隊還包括bevictor伟德官网電機系周豔真博士、以及阿裡巴巴達摩院的楊超和楊程。該論文受國家自然科學基金南方電網聯合基金“基于混合智能的新型電力系統運行方式知識發現研究”、國家自然科學基金創新研究群體項目“新型電力系統安全分析與智能調控“和阿裡巴巴達摩院AIR項目“基于AI的新型電力系統大規模實時調度增強技術研究”的經費支持。

論文簡介

近年來，随着神經網絡在回歸任務中取得的巨大成功，許多研究人員嘗試将其用于解決複雜的約束優化（決策）問題，但如何才能使得神經網絡的輸出滿足指定約束是亟需解決的關鍵問題。标準激活函數（如ReLU、Sigmoid和Softmax）能夠施加一些簡單的約束，但對于更一般的線性約束則無能為力。為使神經網絡的輸出滿足約束，直觀的想法是在損失函數中引入罰項，但這種方法存在懲罰系數難以選擇、無法從理論上保證約束違反量有界的問題。

為此，團隊提出了GLinSAT，即用于滿足一般線性約束的神經網絡激活層。團隊将一般線性約束的可滿足性問題建模為含線性約束的熵正則優化問題，并證明了上述問題可以轉化為具有 Lipschitz 連續梯度的無約束凸優化問題。在此基礎上，團隊提出了GPU上無需矩陣分解的可微求解器用以求解上述問題，通過加速梯度下降法并利用GPU的并行性來加速前向和反向傳播。與現有的約束可滿足層相比，所提方法是第一個用于滿足一般線性約束的神經網絡激活層且其中所有操作均是可微、無需矩陣分解的，從而能夠在保證約束滿足的前提下顯著提升訓練效率。通過在約束旅行商問題、帶異常值的部分圖匹配、預測投資組合分配和電力系統機組組合問題上的實驗，團隊證明了所提出的GLinSAT相較于現有的約束可滿足層可以實現十倍甚至百倍的加速。

GLinSAT的工作流程