1. <big id="hrlom"></big>

      1. <listing id="hrlom"><dfn id="hrlom"><b id="hrlom"></b></dfn></listing>

        spring63的個人博客分享 http://www.i3080.cn/u/spring63

        博文

        人工智能背后的數學 精選

        已有 4976 次閱讀 2020-8-21 08:59 |個人分類:讀書札記|系統分類:海外觀察

               計算機會“思維”、Agent(智能體)能感知環境、機器可從經驗中學習,其背后離不開數學——從線性代數、概率統計到拓撲學眾多數學分支。這篇讀書札記討論人工智能背后的數學。

        【人工智能離不開數學】

        術語“人工智能(AI)”由兩個詞組成,“人工”和“智能”!叭斯ぁ币辉~意味著人造,而“智能”一詞則意味著思維能力(如,學習、推理和解決問題)。因此,可以說,人工智能是人造的思維能力。有些人工智能教科書將這一領域定義為研究“Agent(智能體)”——任何能夠感知環境并采取行動,以最大限度地提高成功實現目標的機會的設備。機器學習(ML)是近年來發展最為迅速的人工智能的一個子集。它研究通過經驗自動改進的計算機算法,為系統提供從經驗中學習的能力,其主要目標是讓計算機在不受人類干預的情況下自動學習并進行相應的調整。這里所謂人工智能的學習、推理和解決問題的能力,Agent(智能體)感知環境和采取行動的能力,機器學習的通過經驗自動改進算法的能力,其背后均離不開數學。

        Richard E. Neapolitan和Xia Jiang著的《Artificial Intelligence with an Introduction to Machine learning (人工智能與機器學習導論)》一書第二版(參考資料[1]),由5個部分組成,討論了人工智能的5個主要研究領域:邏輯智能、概率智能、涌出智能(Emergent Intelligence,基于群體智能的進化計算和方法)、神經智能(神經網絡和深度學習)和語言理解。

        image.png

        人工智能早期的成功,是建立在邏輯推理模型的基礎上的;谶@種邏輯推理的人工智能模型是該書的第一部分的重點。在20世紀70年代,越來越明顯的是,人類做出的許多判斷都涉及不確定或概率推斷。到20世紀90年代,這種概率推理的建模,在人工智能中變得司空見慣。概率推理是該書的第二部分的重點。智能行為并不局限于人類的推理;谧匀贿x擇模型開發了有用的算法。非智能實體在群體中的行為有時會產生一種稱為群體智能的涌現智能。該書的第三部分討論了基于涌現智能的算法。最近神經網絡在被稱為深度學習領域的應用得到了新生,它已經成功地應用于計算機視覺和語音識別等領域。該書的第四部分致力于神經網絡和深度學習。最后,第五部分討論了人工智能的一項重要工作,即自然語言理解。

        顯然,人工智能這五個主要研究領域背后的數學,不盡相同。所以,如果問“人工智能背后的數學是什么?”,從不同人工智能研究者,可能得到不同的答案。

        有許多數學分支有助于人工智能和機器學習。例如,拓撲學是一門純數學的學科,然而,拓撲數據分析(TDA)是一種利用數據中的拓撲特征,尋找數據集結構的應用數學方法。顧名思義,TDA利用了拓撲學的思想。TDA為數據分析提供了一個通用的框架,其優點是能夠從大量高維數據中提取信息,并具有抗噪聲的穩定性。TDA在短短的幾年內得到了長足的發展,包括:聚類、流形估計、非線性降維、理解時間序列、模式估計和嶺估計等。TDA已經成功地發現了許多大型復雜數據集中的信息。TDA結合了代數拓撲和統計學習的工具,為研究數據的“形狀”提供了定量基礎。拓撲數據分析術正在與我們今天所熟悉的人工智能技術相結合。早期的例子是計算機視覺拓撲學(參考資料[2])。拓撲數據分析量化了大原始噪聲數據中隱藏的拓撲結構,將拓撲數據分析和機器學習結合起來,可用于解決計算機視覺實際問題,以及更深入的理解數字圖像。又如,深度神經網絡的拓撲學。深度神經網絡是一種強大而迷人的方法,用于研究各種數據(包括圖像、文本、時間序列和其他許多數據)取得了巨大成功。然而,限制其適用性的一個問題是,人們對其內部的工作原理缺乏任何詳細的了解。對卷積深神經網絡的內部狀態進行拓撲數據分析,可以了解它們所執行的計算(參考資料[3])。神經網絡還可以通過改變拓撲結構來運行,將拓撲結構復雜的數據集,轉換為拓撲簡單的數據集(參考資料[4])。TDA是一個快速發展的領域,在機器學習、應用和計算拓撲學領域吸引了越來越多的實踐者和研究者的興趣。因此,有人稱:“拓撲數據分析可以說是機器學習趨勢的先鋒,因為它的細粒度模式分析取代了傳統的有監督或無監督學習”(參考資料[5])。也許“拓撲智能”也會成為未來的一個重要的研究領域。

        沒有人精通所有數學(即使是數學家,也不一定精通全部所有數學知識),更不可能要求實際工作者掌握全部所有數學知識,但應該掌握有關研究領域的數學基礎知識。微積分、代數、線性代數、概率統計的基礎知識,將會很重要。

        【機器學習中的數學基礎新書】

        數學是機器學習的基礎,對理解這個領域的基礎至關重要。機器學習涉及哪些基本數學工具呢?約書亞•本吉奧等著的《深度學習》(被稱為“深度學習”的圣經)一書(參考資料[6])中,介紹理解深度學習所需的基本數學概念包括:線性代數、概率與信息論、數值計算三個應用數學基礎。而莎朗·薩克塞納(Sharon Saxena)在一篇題為《機器學習背后的數學-你需要知道的核心概念》(參考資料[7])文章中,則提出線性代數、多元微積分和概率統計三個應用數學基礎。兩者都列有線性代數和概率統計。下面介紹三種機器學習中的數學基礎新書,這些書尤其適合自學。

        [應用線性代數導論——向量、矩陣和最小二乘法]

        線性代數是研究線性方程組及其變換性質的學科。線性代數可用于分析空間中的旋轉,最小二乘擬合,求解耦合微分方程,以及許多其他數學、物理和工程問題。例如,線性代數是現代幾何的基礎,包括定義基本對象,如直線、平面和旋轉。這個數學分支涉及方程,有助于獲得關于不同變量如何影響機器學習中需要預測的值。然而,由于線性代數是一種連續形式而非離散形式的數學,許多計算機科學家對此沒有經驗。對線性代數的良好理解對于理解和使用許多機器學習算法,特別是深度學習算法至關重要。

        斯坦福大學教授斯蒂芬·博伊德(Stephen Boyd)的新書《Introduction to Applied Linear Algebra —— Vectors, Matrices, and Least Squares(應用線性代數導論——向量、矩陣和最小二乘法)》(參考資料[8]),本書簡稱VMLS,提供對應用線性代數的基本主題——向量,矩陣和最小二乘法的介紹。目標學習線性代數的基礎理論和技能,并了解它們的應用,包括數據擬合、機器學習和人工智能、斷層掃描、導航、圖像處理、金融,自動控制系統。

        VMLS下載地址:https://web.stanford.edu/~boyd/vmls/

        VMLS提供配套的《Julia Language Companion》,可以在復習數學概念的同時,學習最新的Julia語言。實際上,我去年讀VLMS,是為了學習利用Julia語言數據分析編程。學習Julia語言主要有三個原因:性能、簡單性和靈活性。在人工智能社區,現在主流編程語言是Python。但是, Python的運行效率慢,因而,許多大型科學與計算軟件仍然使用C++或Fortran編寫,F在Julia將Python和Matlab的高生產率和易用性與C++和Fortran的閃電般速度相結合,正在迅速成為科學與工程計算、人工智能和機器學習領域主要的有競爭力的語言。由于Julia語言是新推出的語言(2018年8月MIT正式發布編程語言Julia 1.0),有關與之配套的應用數學書籍不多見。

        image.png

        [Julia統計學:數據科學、機器學習和人工智能基礎]

        統計學是一組工具的集合,可以使用這些工具來獲得有關數據的重要問題的答案?梢允褂媒y計方法將原始觀察結果轉換為可以理解和共享的信息,可以使用統計推斷方法從小樣本數據推理到整個領域。統計學通常被認為是應用機器學習領域的先決條件。機器學習和統計學是兩個密切相關的研究領域。概率統計方法的使用,為機器學習提供了利用、分析和呈現原始數據的正確途徑。機器學習應用統計方法,導致了語音分析和計算機視覺等領域的成功實現。

        上述的VMLS是我讀到的第一本具有Julia配套示例的應用數學教科書。另外一本正在讀的是關于統計學的,約尼·納扎拉西(Yoni Nazarathy)和海登·克洛克(Hayden Klok)著,題為《Statistics with Julia: Fundamentals for Data Science, Machine Learning and Artificial Intelligence(Julia統計學:數據科學、機器學習和人工智能基礎)》。預計這本書將于2020年底通過斯普林格(Springer)出版,不過,其草稿可以在如下網址下載(草稿預先發布的做法,有利于提前交流和完善書稿)

        https://statisticswithjulia.org/StatisticsWithJuliaDRAFT.pdf

        這本書的草稿包括:介紹Julia、基本概率、概率分布、數據處理與匯總、統計推斷概念、置信區間、假設檢驗、線性回歸、機器學習基礎和動態模型仿真等十章,具有完整的內容結構和使用juliav1.4和近40個包的完整代碼庫,以及總共212個代碼示例。

        image.png

        掌握人工智能背后的數學,不同于傳統的數理研究。17世紀牛頓-胡克數學家之戰時代的數學,要用筆和紙來鉆研定理、推導和問題,然后第二天互相挑戰。20世紀上半葉愛因斯坦-玻爾思想實驗之爭的時代,通過使用想象力進行的實驗,說服對方。在21世紀,這些并非是學習新概念的唯一方法,更非最佳方式。研究人工智能中的數學,應該更加關注任何給定表達式的直覺和幾何解釋,理解這些令人費解的表達式背后的含義,關注發生了什么,為什么會發生。利用像NumPy這樣的計算庫,幫助進行計算試驗,往往更有意義。所以,機器學習的實踐者在學習數學的同時,離不開如同Python或Julia這樣計算機編程語言。

        [機器學習中的數學]

        2019年,劍橋大學出版社出版了一本Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong著的新書《Mathematics for Machine Learning(機器學習中的數學)》(參考資料[9])。根據作者的說法,《機器學習中的數學》的目標是提供必要的數學技能,以便隨后閱讀有關更高級機器學習主題的書籍。

        image.png

        該書把基礎(數學)概念從應用中分離出來,分成兩個部分。第一部分涵蓋了純數學概念,包括線性代數、解析幾何、矩陣分解、向量微積分、最優化、概率和統計學,沒有涉及到機器學習。第二部分將重點放在利用這些概念推導出四種主要的機器學習方法:線性回歸、主成分分析、高斯混合模型和支持向量機。對于學生和其他有數學背景的人來說,這些推導為學習機器學習提供了一個起點。對于第一次學習數學的人來說,這些方法有助于建立運用數學概念的直覺和實踐經驗。本書采用模塊化編寫的方式,可以用兩種方式閱讀:自下而上——從基礎到更高級的概念;自上而下——從實際需求深入到更基本的需求。下圖表示在這本書中所涵蓋的機器學習的四個支柱和在第一部分介紹的數學基礎。

        image.png

        來源:參考資料[9]圖1.1

        下圖截取自書中,表示第2章介紹的線性代數概念有關概念及其與書中其它部分關系:

        image.png

        來源:參考資料[9]圖2.2

        每一章都包含了測試理解力的實例和練習(第一部分提供的練習主要是用筆和紙來完成的)。該書的網站上還提供了在第二部分中討論的機器學習算法編程教程(jupyter筆記本)。

        劍橋大學出版社支持免費下載本書,網址為:

        https://mml-book.com

        這里介紹的三本教科書,具有注重數學理論基礎和應用實踐結合,并伴隨有編程示例的特點。

        【結語】

        國內去年一度盛傳的“徐匡迪之問”——“中國有多少數學家投入到人工智能的基礎算法研究中?”引發過共鳴,不但為學術界所關注,也推動業界重視數學模型的研究和算法設計的創新。

        據報道,2020年8月11日,著名科學家姚期智在受聘同濟大學名譽教授舉行的學術報告會上,分享了對當前人工智能(AI)研究(人工智能的科學基礎、神經拓撲結構——神經網絡研究的新視角、隱私保護學習、可控超級智能等)和相關人才培養的思考。報導強調,“AI離不開數學,但AI面臨的問題不全是數學問題”(參考資料[10])。

        在海外的一些大學里,計算機科學系的學生通常在接受數學和統計學方面的培訓并不多。目前的機器學習教科書,也主要集中在機器學習的算法和方法上,并假設讀者已經掌握數學和統計學,因此,這些書只花一兩章介紹背景數學,或在書的開頭或作為附錄。許多人想深入研究基本機器學習方法的基礎,就需要補充閱讀機器學習所需的數學知識。所以,加強數學和統計學基礎訓練非常必要。

        參考資料

        [1] Richard E. Neapolitan, Xia Jiang. Artificial Intelligence. Taylor & Francis Group, LLC 2018

        [2] Gerhard X. Ritter. TOPOLOGY OF COMPUTER VISION. Topology Proceedings . Volume 12, 1987 Pages 117–158

        [3] Gunnar Carlsson and Rickard Brüel Gabrielsson. Topological Approaches to Deep Learning. Topological Data Analysis. The Abel Symposium 2018 (Edited by the Norwegian Mathematical Society).Springer Nature Switzerland AG 2020

        [4] GREGORY NAITZAT, ANDREY ZHITNIKOV, AND LEK-HENG LIM. TOPOLOGY OF DEEP NEURAL NETWORKS. arXiv: 2004.06093v1 [cs.LG] 13 Apr 2020

        https://arxiv.org/pdf/2004.06093.pdf

        [5] insidebigdata.Tomorrow’s Machine Learning Today: Topological Data Analysis, Embedding, and Reinforcement Learning.February 14, 2020

        https://insidebigdata.com/2020/02/14/tomorrows-machine-learning-today-topological-data-analysis-embedding-and-reinforcement-learning/

        [6] 伊恩·古德費洛,(加)約書亞·本吉奧,亞倫·庫維爾. 深度學習.人民郵電出版社.2010

        [7] Sharoon Saxena. Mathematics behind Machine Learning – The Core Concepts you Need to Know. Analytics Vidhya. October 15, 2019

        https://www.analyticsvidhya.com/blog/2019/10/mathematics-behind-machine-learning/

        [8] Stephen Boyd and Lieven Vandenberghe. Introduction to Applied Linear Algebra – Vectors, Matrices, and Least Squares. Cambridge University Press. 2018

        [9] Marc Peter Deisenroth,A. Aldo Faisal,Cheng Soon Ong. Mathematics for Machine Learning. Cambridge. 2018

        [10] 吳金嬌. AI離不開數學,但AI面臨的問題不全是數學問題. 文匯報. 2020-08-12. 《科學網》轉載地址:

        http://news.sciencenet.cn/htmlnews/2020/8/444052.shtm

         




        http://www.i3080.cn/blog-3005681-1247238.html

        上一篇:人工智能的下一個應用領域:E&P數據分析

        15 張學文 陳晨星 李劍超 楊正瓴 黃永義 劉鋼 強濤 白龍亮 晏濤 王衛 王興 郭戰勝 童調生 范振英 王安良

        該博文允許注冊用戶評論 請點擊登錄 評論 (3 個評論)

        數據加載中...

        Archiver|手機版|科學網 ( 京ICP備07017567號-12 )

        GMT+8, 2020-8-30 20:55

        Powered by ScienceNet.cn

        Copyright © 2007- 中國科學報社

        返回頂部
        大乐透杀号定胆