吳甜《飛槳開源平臺助力產業智能化》

演講者： 吳甜，百度集團副總裁，深度學習技術及應用國家工程實驗室副主任，百度黃埔學院院長


演講速記（根據現場演講整理，未經演講者確認）

    尊敬的各位來賓、開發者朋友們、同學們，大家上午好！我今天帶來的是啟智飛槳項目的報告，這個項目是一個完全開源的項目，我們也能夠看到，現在整個軟件開源的發展勢頭是非常迅猛的，這一組數據是來自于github上的數據，能看到github上已經積累了4000萬開發者，2019年全年新增1000萬代碼庫有4000多萬，44%的用戶在2019年創建了自己的代碼庫，拉取請求也是在今年一年有大量的用戶在創建自己的首個拉取請求。70%的全球50強企業都在為開源做貢獻，有大量的學生在github上學習編程、練習編程。可以看到全球開源開放是非常迅猛的發展狀態，在使用最多的20個國家和地區中，中國開發者在fork和clone中的比例已經超過了48%，這個數據是非常驚人的，在這樣的背景下，啟智這樣一種新一代的人工智能開源開放平臺對我們國家來說是非常重要、非常有意義的一件事情。
    可以看到開源軟件已經形成了一種重要的軟件創新發展模式，而且開源軟件這樣一個協同模式也在加速全球化。而人工智能浪潮推動著整個開源軟件生態系統越來越繁榮。
    人工智能技術在和產業進行持續的深度融合的過程中，因為人工智能技術的一些特點，我們能看到人工智能技術本身是一個多技術整合的領域，它并不是單一技術來解決現實場景中的問題，而且這些大量的技術在積累下來之后，其實是可以進行能力的復用的。在人工智能技術和產業結合的時候，本身它又是一個社會分工精細化和組合式創新的過程，它需要整個產業鏈生態角色打通。同時，因為這一系列技術需要進行大數據的計算，所以對于產業來說，對于用戶來說，它的數據保密、隱私、國家安全又是非常重要的。所以人工智能開源開放平臺本身也是在現在這個時代當中非常重要的。
    這一輪的人工智能技術是由深度學習技術突破所推動發展起來的，深度學習技術就離不開深度學習框架，開源深度學習框架在整個技術棧當中屬于是向下銜接芯片、向上承接應用，生態當中也是這樣的位置，它擁有自己開發的生態，向下與硬件生態緊密結合，向上與應用的生態緊密結合。所以我們認為這樣一個軟件本身它是在新的時代里，類似于操作系統這樣一個位置的軟件，而基于基礎框架，加上它的基礎上的平臺組件等等形成的整體深度學習平臺，也是構建AI生態，加速產業智能化的核心基礎。
    啟智飛槳項目就是這樣一個深度學習開源開放平臺，飛槳上積累了大量能力，來源于產業的實踐，它其實也是產學研融合推動起來的完備的平臺，在核心框架層，覆蓋了開發、訓練、預測全方位的能力，在基礎模型庫上已經覆蓋到了自然語言處理、視覺、推薦和語音等等主流的人工智能算法方向。在飛槳上有面向端到端場景的開發套件，這一系列開發套件會在場景當中進一步降低使用的門檻，在工具組件上也已經覆蓋到了大量的自動化深度學習、遷移學習、強化學習等一系列的主流學習的算法方向。而在服務平臺上進一步的推出了一系列的平臺，降低AI的門檻。
    在飛槳上現在已經累計有150萬以上開發者在使用，在飛槳和產業應用不斷結合的過程中，我們能看到有大量的創新產生，同時也有很多和大規模結合應用的挑戰。今天我會分享幾個我們所觀察到的重要的挑戰和難點，以及飛槳未來的重要發展方向。
    首先在向互聯網產品應用中，互聯網產品是擁有海量數據的，它的內容覆蓋網頁數據、媒體內容、用戶貢獻內容等等一系列數據，需要進行超大規模數據分析處理，同時又有海量的用戶群體。而且因為這些產品在線上與用戶實時地進行交互和反饋，所以有很多產品也是有這種在線的流式學習需求的。所以對一個深度學習平臺來說，在這樣一個場景下，需要有很強的分布式訓練的能力，在飛槳平臺上已經實現了超大規模稀疏性特征參數服務器，能夠支持萬億計模型參數量和千億級訓練數據，有數百個節點的訓練能力，并且也實現了終生流式學習。也就是說像這些萬億級模型參數量是在線上進行實時的更新迭代的。所以對于飛槳來說，持續地進行更強的分布式計算能力、異構計算能力，就是我們的方向之一。
    剛剛說到的是訓練層面的，另外一個角度是在預測、推理和部署角度的。我們知道模型訓練出來之后，最終能不能發揮作用，還是要放到場景當中，我拿人臉識別舉例子，我們可以看到人臉識別已經在非常多場景在用，像人臉考勤、人臉閘機、監控等等一系列場景，每一個場景都有自己獨特的要求，相應的硬件設備都有對安全性、能耗、性能等等不一樣的一系列要求，在這樣一些場景去部署的時候，對于算法工程師來說，每個場景都進行適配，這個工作量其實是非常大的，同時對算法工程師的能力要求也太高了，所以我們也在想，在飛槳平臺上能否為大家提供更強的在硬件平臺和在場景當中的集成能力，所以飛槳的第二個重要方向是持續地去進行全硬件平臺的支持，研究端、云、邊結合的完美方式。
    今天我們的人工智能技術在和實體經濟進行深度的融合，應用于傳統行業的時候，也有一系列的難題，比如說質檢領域，之前這個領域在應用傳統視覺算法，而傳統視覺算法有很多的不足，在深度學習技術下是可以解決的。在遷移的過程當中，對于很多的企業來說，有三個難題，首先是問題定義、技術選型的難題，把這個問題怎么樣能夠界定成一個可解的問題，它就是我們有好的方法或者模型能夠適用上來，在產線上是不是能獲取到足夠好的異常樣本，還有最終的容錯情況等等，這一系列的問題對于企業來說都會帶來困擾。所以對企業來說其實也是需要有好的一系列的方案能夠去進行案例的投射。
    第二個難題是，即使選定了模型，真正驗證的時候，成本也是很高的，研發周期也很長，在我們的開源項目中沒有新的模型產生的時候，其實是有新的相應的模型代碼產生的，但是它常常和實際的產業應用結合的時候，還會存在一些標準，存在一些和自己的應用結合時連接的適配的問題。當然這些模型也很紛繁復雜，有些就是在特定數據集上開展的，對于企業進行選擇的時候需要很長的量的周期進行驗證。
    第三個難題是傳統行業在應用的時候，設備本身是有成本的限制，以及特定的性能要求的，比如說有可能流水線上對于這一塊就是需要做一次推理預測，在很短的時間內要完成，流水線產線上本來的設備也沒有那么高級，這個時候也會有一系列問題產生。所以基于此，飛槳也構建了一套端到端的開發套件，來解決這些場景當中的問題，基于這樣一套開發套件，首先可以進行案例的投射，讓開發者可以在豐富的案例當中去選擇最適合場景的方案，再加上數據的標注、增強等等一系列的工具箱以及開發訓練的整套工具，可以讓開發者很快速進行驗證，因為這樣一整套工具本身都是開源的，所以也很方便進行深度定制，最后可以整個環路快速的實現，能夠進行最后的系統集成。
    這里大家也會發現，我們有專門的預訓練模型+遷移學習工具的模式，這個模式我們稱為飛槳Master模式。深度學習在學習的時候，大算力、大數據和大模型的要求，往往會成為很多使用者的一個壁壘和們不單單是很多企業，對于大量的開發者和各位同學來說，我們在使用的時候，算力資源、數據資源都是不夠的，包括調模型的經驗都是不足的，飛槳這樣一套模式把百度的算力和數據，以及模型設計和調優的能力集成進去，我們提供了豐富的預訓練模型，現在在飛槳上開放出來的預訓練模型已經達到了100個以上，舉個例子，在利用的百度的知識增強的語義理解模型的基礎上，可以把一個分類的任務從原來7人天的工作量降低到1人天以內，并且效果可以做到從原來對場景來說幾乎不可用，到一個非常高的效果。這樣一系列的工作都會有助于開發者和同學們使用。
    飛槳上已經形成了四大領先技術：一是融合了靜態圖和動態圖開發便捷的深度學習框架，在我們的設計中，兼備了動態圖和靜態圖的底層設計，使得可以兼顧性能和易用性。二是超大規模深度學習模型訓練技術，第三是多端多平臺部署的高性能推理引擎，第四是產業級開源模型庫，這里面有基礎模型庫，也有預訓練模型庫。
    基于飛槳的AI開放能力非常豐富，能看到主流的AI方向我們都可以有非常多的場景上的嘗試。現在在飛槳平臺上已經凝聚有150萬以上的開發者，服務了6.5萬以上的企業，累計創造了16.9萬個模型，覆蓋到各行各業，包括工業、農業、教育等等行業，有大量的場景都在使用。
    啟智飛槳這樣一個項目，希望飛槳就像一艘快艇，在啟智平臺這樣一個大海上借力助勢，能夠快速發展，能夠為我國的人工智能技術發展，為我們的產學研的綜合性發展帶來幫助，加速整個產業智能化。