任務模型數(shù)據(jù)集一步到位

編者按：本文來自微信公眾號 量子位（ID：QbitAI），創(chuàng)業(yè)邦經(jīng)授權(quán)發(fā)布。

AI學數(shù)學，確實有點火。

【資料圖】

且不論這兩大領域的大拿紛紛為其站臺，就是每次相關進展一出爐，就受到眾多關注，比如AI求解偏微分方程。

△

既然如此，AI學數(shù)學到底學得怎么樣了。

現(xiàn)在有團隊專門梳理了十年發(fā)展歷程，回顧了關鍵任務、數(shù)據(jù)集、以及數(shù)學推理與深度學習交叉領域的方法，評估現(xiàn)有的基準和方法，并討論該領域未來的研究方向。

值得一提的是，他們還很貼心的整理了相關資源，在Github上放上了閱讀清單以供食用。

接下來，就帶你一文看盡。

一文看懂AI數(shù)學發(fā)展現(xiàn)狀

在這篇調(diào)查報告中，作者回顧了深度學習在數(shù)學推理方面的進展，主要包括了幾個方面。

任務和數(shù)據(jù)集； 神經(jīng)網(wǎng)絡和預訓練語言模型； 大型語言模型的語境學習； 現(xiàn)有基準和未來方向。

首先，作者梳理了目前可用于深度學習數(shù)學推理的各種任務和數(shù)據(jù)集，大體任務主要分為這幾個大類。

1、數(shù)學應用題MWP

幾十年來，開發(fā)自動解決數(shù)學應用題的算法，一直是NLP研究方向所在。一個涉及人物、實體和數(shù)量的簡短表述，可用一組方程來模擬，方程的解法揭示了問題的最終答案。

MWPs對NLP系統(tǒng)的挑戰(zhàn)在于對語言理解、語義解析和多種數(shù)學推理能力的需求。

大多數(shù)MWP數(shù)據(jù)集都提供了注釋方程來解決。為了提高求解器的性能和可解釋性，MathQA用精確的操作程序進行注釋；MathQA-Python則提供具體的Python程序；還有數(shù)據(jù)集采用多步驟的自然語言，來對問題進行注釋，這樣更適合人類的閱讀。Lila用Python程序的原理注釋了許多前面提到的MWP數(shù)據(jù)集。

2、定理證明TP

即問題是通過一連串的邏輯論證來證明一個數(shù)學主張的真理。最近，人們對于交互式定理證明器（ITP）中使用語言模型來進行定理證明的關注越來愈多。

為了在ITP中證明一個定理，首先需用編程語言來陳述，然后通過生成 “證明步驟 “來簡化，直到它被簡化為已知事實。其結(jié)果是一個步驟序列，構(gòu)成一個驗證的證明。

其數(shù)據(jù)源包括與ITP對接的交互式學習環(huán)境，從ITP庫證明中得到的數(shù)據(jù)集，比如CoqGym、Isabelle、Lean、Lean-Gym、miniF2F等。

3、幾何問題解決GPS

與數(shù)學單詞問題不同，幾何問題解決（GPS）是由自然語言和幾何圖組成。多模態(tài)輸入包括了幾何元素的實體、屬性和關系，而目標是找到未知變量的數(shù)學解。

基于這樣的特性，用深度學習來解決GPS問題就頗具挑戰(zhàn)，因為它涉及解析多模態(tài)信息、符號抽象、使用定理知識和進行定量推理的能力。

早期數(shù)據(jù)集相對較小或不公開，也就限制了深度學習方法的發(fā)展。為應對這一限制，有包括Geometry3K（由3002個幾何問題組成，并對多模態(tài)輸入進行了統(tǒng)一的邏輯形式注釋）、以及新出爐的GeoQA、GeoQA+、UniGeo的引入。

4、數(shù)學問答MathQA

數(shù)字推理是人類智力中的一種核心能力，在許多NLP任務中發(fā)揮著重要作用。除了定理證明、數(shù)學應用題之外，還有一系列圍繞數(shù)學推理的QA基準。

近段時間相關數(shù)據(jù)集大量誕生，比如QuaRel、McTaco、Fermi等，但最新研究表明，最先進的數(shù)學推理系統(tǒng)可能存在推理的脆性，即模型依靠虛假信號來達到看上去令人滿意的性能。

為了解決這一問題，在各個方面誕生了新基準，比如MATH，由具有挑戰(zhàn)性的競賽數(shù)學組成，以衡量模型在復雜情況下的問題解決能力。

除此之外，還有一些其他的數(shù)學任務，作者還專門匯總了表格，梳理了各個任務的相關數(shù)據(jù)集。

三大深度神經(jīng)網(wǎng)絡模型

接著，團隊梳理在數(shù)學推理任務中，主要使用的幾大深度神經(jīng)網(wǎng)絡模型。

Seq2Seq網(wǎng)絡，已成功應用于上述四種關鍵任務當中。它使用編碼器-解碼器架構(gòu)，將數(shù)學推理形式化為一個序列生成任務，基本思路是將輸入序列（如數(shù)學問題）映射到輸出序列（ 如方程式、程序和證明）。常見的編碼器和解碼器包括LSTM、GRU等。

基于圖的數(shù)學網(wǎng)絡。一些特定的數(shù)學表達式（比如AST、圖）所蘊含的結(jié)構(gòu)化信息，并不能被Seq2Seq方法明確地建模。為了解決這個問題， 基于圖的神經(jīng)網(wǎng)絡來模擬表達式中的結(jié)構(gòu)。比如Sequence-to-tree模型、ASTactic等模型。

基于注意力的數(shù)學網(wǎng)絡，注意力機制已成功應用于NLP、CV等問題中，在解碼過程中考慮了輸入的隱藏變量。最近，研究人員發(fā)現(xiàn)，它可以用來識別數(shù)學概念之間的重要關系，已被應用于數(shù)學應用題（MATH-EN）、幾何題、定理證明。

除此之外，還有CNN、多模態(tài)網(wǎng)絡等，在這個領域，視覺輸入使用ResNet或Faster-RCNN進行編碼，而文本表示則通過GRU或LTSM獲得。隨后，使用多模態(tài)融合模型學習聯(lián)合表示，如BAN、FiLM和DAFA。

在特定任務中，有使用擅長空間推理的GNN，用于幾何問題解析；WaveNet被應用于定理證明，由于其能夠解決縱向時間序列數(shù)據(jù)；還有Transformer生成數(shù)學方程等。

這其中，頻頻出現(xiàn)進展的，效果驚艷的大語言模型，在數(shù)學推理上表現(xiàn)得又是如何呢？

事實上存在一些挑戰(zhàn)，首先，因為模型訓練并非專門針對數(shù)學數(shù)據(jù)的訓練，所以在數(shù)學任務的熟練程度低于自然語言任務。而且相較于其他任務數(shù)據(jù)，數(shù)學數(shù)據(jù)相對較少；其次，預訓練模型規(guī)模的增長，讓下游特定任務從頭訓練成本很高；最后，從目標來看，模型可能很難學習數(shù)學表示或高級推理技能。

作者分析了自監(jiān)督學習、特定任務微調(diào)兩種表現(xiàn)。

而在現(xiàn)有數(shù)據(jù)集和基準的分析中，研究團隊看到了一些缺陷，包括對對低資源環(huán)境的關注有限、不充分的數(shù)字表示、不一致的推理能力。

最后，團隊從泛化和魯棒性、可信的推理、從反饋中學習、多模態(tài)數(shù)學推理等方面探討了未來的研究方向。

還整理了份AI數(shù)學閱讀清單

這篇關于AI數(shù)學的調(diào)查報告，由UCLA、圣母大學、華盛頓大學等機構(gòu)的研究人員共同完成。

第一作者是來自UCLA的Pan Lu，目前正讀博四，受到KaiWei Chang、朱松純等教授指導，此前曾獲清華碩士學位。

共同作者還有同樣是UCLA的邱亮，今年畢業(yè)已是亞馬遜Alexa AI的應用科學家，曾受朱松純和Achuta Kadambi教授的指導，是上海交大校友。

他們還整理了份數(shù)學推理和人工智能研究課題的閱讀清單，放在GitHub上。

關鍵詞： 人工智能