“CTO級無人車大牛不稀缺，我們這也就百八十個吧”。
可能只有百度Apollo有資本這樣說。
而且也許也只有Apollo有膽量這麼做：
年初一語，年末兌現。
百度無人車科技天團集體現身，從軟件、硬體、系統全方位分享展示自動駕駛從科技到商業的進展。
這些以往在幕後的大牛都是誰？他們分享了哪些東西？
如何從Apollo這面“鏡子”，一窺無人車發展的最新態勢？
（發言在未改變原意的基礎上，僅做流暢性編輯）
百度如何設計自動駕駛科技體系？
百度自動駕駛首席架構師陳競凱，從整體圖景上分析了Apollo自動駕駛系統的核心原則和架構。
自動駕駛系統應該如何設計？一直都有兩個思路：一個是偏學術的，傾向於統一建模，端到端的解决問題；另外一個思路是偏向工程的，去折開系統，分治突破。
端到端的建模非常的簡潔優美，從長遠來看，也是一個非常有前途的方向。
在這種思路下，在其他的領域裡面也看到了一些不錯的進展，比如說科技模型在NLP領域裡面已經取得了統治性的地位。在影像領域，大模型也給我們帶來很多的驚喜。同樣，我們對於這種端到端的大模型的解決方案，在自動駕駛系統的發展也充滿了期待。
這個方案的問題在於存在很大的不確定性。我們不能確定它究竟何時成熟，是兩年還是十年，這是一個問題。
所以我們現時的主要的思路還是沿著工程化的路線推進，同時也沒有放棄我們在端到端方面上的一些探索。探索的過程中間，也會把階段性的成果應用到一些路線上。
車載系統大體分成四個部分：地圖、感知、預測決策、規劃控制。
地圖系統不管是離線或線上地圖，總是自動駕駛系統的底層表達。離線地圖是超視距整體性的感知，它在自動駕駛系統中發揮著重要的作用。
離線地圖製作成本是不是很高？會不會成為障礙？在實踐過程中間我們發現，離線地圖並不是一個高成本的障礙，反而是前進的助力。
問題在於地圖的實时性才是它的問題，而不是它的更新率或者它的成本。
現時的實踐中，車端實时生產的地圖和規模化生產的地圖其實上還是有質量上的一些差距。需要通過我們自動駕駛策略去適應這兩種地圖差异。但這種適應對自動駕駛能力來說是有折損的。
所以我們認為，在現時的條件下，一個規模化生產的高精地圖還是不可或缺的，實时地圖更多的會被我們用在應對現實世界的變更，這時候我們會把自動駕駛的策略調整到一個更加安全謹慎的方式。
感知系統現時在整個業界的發展思路還是比較統一的，基本上是一個數據加模型驅動的系統。
主要的分歧在於感測器的配寘。
我們的判斷是這樣的：應該去充分發揮各個感測器的能力，先要把事情做成，然後再去追求更好、更低成本。具體實踐中從後融合的方案轉向前融合的方案。
前融合使得我們能够充分地發揮各個感測器的優勢。另外，我們也會充分的利用百度大模型科技方面的積累提升感知能力。
預測決策系統直接面對複雜外部環境的一個非常重要的部分。
百度最初的自動駕駛系統，預測和決策是分開的。預測帶有自標注的任務，一直都是數據驅動的，決策、規劃、控制，當初沿用的都是一些偏規則的傳統方案。
基於規則的方案，通常是把遇到的問題劃分成各種場景，在每個場景下，針對不同出現的問題，再做相應的處理。為了不讓各個規則之間發生衝突，通常會仔細地限定每個規則的作用範圍，一層一層地折開下去，如果做得好的話，我們會形成一個類似樹形的折開結構；如果處理得不好的話，就會變成一個補丁摞補丁的系統。
上述規則系統在最初的時候，可以最大化人類的經驗和知識，迅速地提升自動駕駛能力，但是隨著時間的推移，有兩個問題不可避免。一是策略分叉；二是面對都市擴展、場景變化的時候，需要調整規則去適應。
囙此，百度認為學習性的PNC是實現全無人的一個必由之路。陳競凱表示：“預測和決策其實是一個問題的兩面，預測是決策的自我預言實現。所以我們構造了一個預測和決策的多工系統，聯合處理這個問題。我們對信號燈、道路元素等都做了一些建模和互動的處理，最後形成預測和決策的一個結果。”
百度的最終目標也不是用學習系統去完全替代規則系統。陳競凱稱，一方面因為交通系統本來就是一個靠規則約束的系統；另一方面也需要規則去守護最後的底線。
模擬系統方面，百度追求的是做一個有用的模擬系統，要能够滿足對於問題反覆運算的需求。為此，其做了大量工作。如Worldsim系統，使得能够批量地去構造大量的場景，去驗證在各種場景下的綜合能力；L2W系統，能够精確地複現道路的場景，幫助其去分析和驗證路上的問題。
另外，從一個都市向另一個城市遷移過程中，資料統計、數據分佈是有變化的，這時候要求我們的自動駕駛能力、策略要做一些細微的調整，整體的場景庫也對遷移過程提供很多保障。
模擬系統在自動駕駛科技反覆運算的過程中間發揮了非常重要作用，是科技能力提升的重要支撐。
百度自動駕駛地圖，有什麼不同？
百度人工智慧科技委員會主席黃際洲介紹了百度自動駕駛地圖的相關進展。
近期有一部分L2智慧駕駛在提”重感知，輕地圖”這一主張。這主要原因是很難翻越高精地圖面臨的“三座大山”，即資質壁壘、自研壁壘和供給稀缺。我們的觀點是輕成本、重體驗的地圖對自動駕駛至關重要。
對於L4的自動駕駛而言，要達到99.99%以上的成功率，高精地圖更是其中必不可少的核心能力之一，並要做到“把成本做輕、把體驗做重”。
“輕成本”主要從自動化數據融合和地圖自動化標注兩方面展開。
自動化數據融合，是高精地圖大規模生產的重要基礎和核心能力，其目標是全自動地將多次採集到的感測器的數據，比如說雷射點雲或者道路的影像，在統一的坐標系下進行融合，主要的挑戰就在於這個融合的絕對或者是相對的精度要達到釐米級。
為了實現上述目標，百度通常先將這些數據按照塊或者道路進行劃分，在每個分塊裏首先進行數據的融合，然後再對塊之間進行高精要素的串線和幾何的調整，以增强塊間高精要素的連續性。
如何保證上述所得到的基礎數據都是完全對齊的？百度的解決方案是按照數據空間分佈劃分去構建多層級的圖結構，確保全圖的精度是一致的。這其中主要的技術創新有三個方面：第一是多層級的圖優化；第二點是場景化關聯和匹配；第三是基於學習的匹配算灋。
地圖自動化標注，指的是基於點雲和影像數據自動生成高精地圖的過程，是顯著降本增效的覈心驅動。
為了達到高自動化率，百度在要素識別、向量選取、自動建模等關鍵步驟上都進行技術創新。
其中，要素識別上，採用的是多層級的點雲識別管道，識別的結果要遠遠優於一次識別的結果；向量選取上，對點雲和影像中選取的向量要素進行後融合，保證要素的高精度和高召回；自動建模上，基於車道級的拓撲範本進行向量要素匹配，極大地提高拓撲的生成以及車道線串接的準確性。
重體驗部分，則主要包括安全、舒適和高效三個方面。
安全方面，百度採用的方案是融合車端感知數據與多源地圖來實时地生成線上地圖；舒適方面，百度引入駕駛知識圖譜來實現；高效方面，百度解決方案是，基於百度智慧交通以及百度地圖，構建交通大腦，賦能自動駕駛出行。
此外，為了保證更好的自動駕駛體驗，百度提出了Apollo自動駕駛地圖，主要分為四層：
第一層是靜態層，這一層也是傳統高精地圖內容，包括車道級的數據、拓撲數據以及輔助車輛定位的定位數據。
第二層是動態層，包括實时的交通的事件、實时的交通的態勢以及實时的環境的變化，這需要依賴於海量的時空數據以及車路協同等。
第三層是知識層，最覈心的是駕駛知識圖譜，以及與自動駕駛體驗强相關的安全駕駛、舒適駕駛行為與知識等。
第四層是駕駛層，知識與駕駛策略的融合，實現深度融合地圖和感知、決策、控制應用；而數據實时感知的融合，數據閉環還有即時更新，實現了高鮮度的地圖的數據。
Apollo自動駕駛地圖已經實現了規模化的應用：
首先，蘿蔔快跑快速發展，累計訂單量達到140萬單；其次，提供智慧駕駛全場景體驗ANP領航輔助駕駛解決方案；最後，百度地圖率先推出了都市車道級導航、車位級導航、智慧紅綠燈等自動駕駛級導航產品功能。
感知系統：大模型成覈心驅動力
百度電腦視覺首席架構師王井東，介紹了百度自動駕駛感知系統的情况。
百度自動駕駛感知經歷了兩代。
感知1.0的百度經過了三個階段：第一階段主要依賴雷射雷達點雲感知，輔助紅綠燈的識別，同時利用了毫米波目標陣列；第二階段新增了環視影像的感知，與雷射雷達點雲感知形成兩層感知融合，提升了識別效果；第三階段，自研了毫米波點雲感知算灋，形成了三層感知的融合。
這些多模感知實際上用的是後融合方案，它通常需要規則的方法，是不可學習的，囙此相對來說泛化能力不够。
感知2.0主要部分是多模態前融合端到端的方案，在點雲和影像的表徵層次上進行融合。與此同時，遠視距的視覺感知，通常在200米以上視覺的感知效果相對比較好；近距離採用了魚眼感知，從魚眼感知實現了freespace的預測。
感知環境，需要豐富和高品質的數據，基於此，百度感知2.0還利用大模型進行資料挖掘和數據的自動標注。
而在自動駕駛感知裏往往會遇到一些挑戰。一是遠距離的視覺感知問題；二是在點雲空間去做3D的標注非常困難；三是長尾資料挖掘問題，包括少見的車型、各種形態、各種姿態行人，以及低矮物體、交通、施工元素等。
如何解决上述三種挑戰？百度的方法是利用大模型科技，來提升自動駕駛感知能力。
首先利用文心大模型自動駕駛感知的科技，來提升車載小模型的感知能力。同時在數據方面，利用了文心大模型影像弱監督預訓練模型來挖掘長尾數據，提升模型訓練效果。
在自動駕駛感知模型訓練方面，百度採用的是半監督方法，充分利用2D標注和沒有3D標注數據。
具體方法是採用反覆運算的自訓練方案。首先在既有2D又有3D的訓練數據上，去訓練一個感知大模型出來，然後給沒有3D標注數據打上3D偽標注。再繼續訓練一個感知大模型出來，如此反覆運算，逐步把感知大模型效果提升，同時也使得3D的尾標注的效果越來越好。
上述感知大模型不僅用於視覺，也用於點雲，也用於多模態端到端方案。
大模型已經成為自動駕駛能力提升的覈心驅動力。
Apollo數據閉環
百度自動駕駛專家李昂，分享了百度Apollo在數據閉環方面的思考。
隨著自動駕駛的規模化落地，在城市道路中行駛的無人駕駛車會不斷遇到新問題和意想不到的新場景。自動駕駛需要持續學習，而數據閉環是其實現持續學習能力的重要基礎架構。
面對大規模數據隨之帶來的存儲、標注以及計算量壓力，百度Apollo提出了「高提純、高消化」的數據閉環設計思路。數據提純路徑利用車端小模型和雲端大模型，實現高效率資料挖掘和自動化標注。
數據規模不是唯一標準，數據純度也是重要考量；數據純度即為組織數據的信息量，資料挖掘與標注是提高數據純度的兩個手段。百度正是根據這樣的思路，設計了自動駕駛的數據提純通路。
而且，百度Apollo發現，數據提純效率很大程度由推理引擎的效率决定，而推理引擎效率又可以分為數據讀取速度以及模型的推理和計算速度，後者可以通過分佈式管道來提升。
為此，Apollo與百度飛槳團隊合作，將百度自研的PaddleFlow數據緩存的基礎架構集成引入數據閉環平臺，使推理引擎的數據讀取效率獲得10倍以上的提升。
此外，全量數據回傳無法支撐規模化，數據提純的呈現管道實際上是雲端到車端模型和策略的雙重降維。
獲取高純度的數據後，另一個重要的問題就是如何高效率、高品質地消化這些數據，將其轉化為車輛的自動駕駛能力。數據分佈不斷變化、多個模塊相互關聯、自動化效率，是無人駕駛系統的複雜性給數據消化帶來的三個挑戰。
為應對上述問題，百度是通過數據、模型、名額的集中式、端到端綜合，來實現高品質的數據消化，其基於持續學習與AutoML概念在數據閉環裏設計了一套自動化訓練引擎，並做了多模塊聯合優化以及數據分佈方面的一系列工作。
以行為預測為例，其實可以通過問三個問題來映射所有的數據到不同的場景，而這三個問題，可以分別是主車的行為、障礙物的行為，以及障礙物的類型。當對每個場景的數據進行統計，就可以最終獲得整個數据集所對應的數據分佈描述。
總結來看，百度提出了以高提純、高消化為覈心驅動力的數據閉環的設計思路。高提純通過小模型和大模型的車雲協同，實現高效的資料挖掘和自動化標注；高消化通過數據、模型、名額的集中式、端到端綜合來實現。
除此之外，訓練、推理以及數據分佈是在數據消化中可以形成有效的一個迴響機制，進一步提升數據消化的整體效率和效果。
百度造芯，如何支持自動駕駛？
昆侖芯科技CEO歐陽劍，介紹了百度在自動駕駛晶片方面的佈局和進展。
昆侖芯已經量產了兩代，第三代、第四代晶片在研發過程中。
其中，第一代AI晶片採用14納米的工藝、2.5D的封裝，這款晶片剛量產就在百度資料中心裏部署了超過2萬片；第二代AI晶片為7納米工藝，採用了XPU第二代的架構。截至2022年，第二代昆侖芯已經在資料中心、工業、自動駕駛等領域進行了大規模的部署和落地。
昆侖芯產品有三點優勢：第一，昆侖芯是為數不多能够在真實系統上大規模部署和應用的AI晶片；第二，其生態完備性是國內做的最好的，跟國內所有的處理器、作業系統都進行了適配；第三，它靈活易用，提供的SDK，給予開發者非常低的學習門檻和非常快的反覆運算效率。
截至目前，昆侖芯已經在車路協同、物流系統、智慧交通等與交通相關領域落地。具體到自動駕駛方面，昆侖芯二代晶片已經在百度RoboTaxi系統上做了完全適配。
我們用昆侖芯二代晶片跟業界最主流顯卡做了性能對比，效能優於這個顯卡，而功耗只有不到它的一半。我們也跟主流的AI加速卡做了性能對比，是它的兩倍以上，同時我們也做了一個端到端的測試，在不到它的一半的功耗之下，取得了比較領先的效能。
除了AI的模型，在一些控制規劃模型上，昆侖芯也取得相對一些顯卡更好的效能效果。
不止與RoboTaxi駕駛系統適配，昆侖芯也在一些模擬系統和在路測系統上做了測試，效果達到客戶的要求。
今天的高階自動駕駛計算系統，與資料中心系統有非常相似的地方，它的算灋非常多元，反覆運算速度非常的快，複雜度越來越高。這對晶片的要求也越來越高，它一定是要求非常好程式設計、好移植，否則那些先進的算灋沒法很快反覆運算到車上來使用，系統也就沒法保證領先性。此外，穩定性也要非常好這不僅包括硬體，還包括整個軟件，乃至整個系統。
在車載計算系統上，過去有觀點認為它是相對封閉的系統，要做非常深度的軟件和硬體定制。五六年前在雲端AI晶片上也一樣有人在講這個觀點。但今天回頭來看，過去五六年提上述觀點的AI晶片公司全部已經不在市場裏。
囙此，未來車載計算系統一定是相對開放，能够給用戶提供高算力、高通用，可以滿足客戶個性化需求的計算系統。
未來，昆侖芯也會考慮面向高階自動駕駛系統定制車規高性能的SOC。
商業落地：L4降維真的能走通？
百度智慧駕駛事業群組科技委員會主席王亮，介紹了Apollo在L2、L4方向的商業化進展，以及如和將兩種不同的科技棧，統一在一個數據閉環之中。
百度L4自動駕駛運營測試里程累計超過4000萬公里；蘿蔔快跑在多個都市開啟對市民的運營，累計訂單超過140萬；今年8月百度在武漢和重慶國內首次實現“全無人商業化運營”，這是中國自動駕駛歷史上的重要里程碑。
輔助駕駛方面，現時國內市場智駕產品以高速領航輔助駕駛和記憶泊車為主。有資料顯示，中國居民日常出行中，都市通勤占比在70%以上，有都市自動駕駛能力的L2+產品將是未來市場的主流趨勢。
百度將在2023年面向市場推出一款L2+領航輔助駕駛旗艦產品ANP3.0，將支持複雜城市道路場景，並且銜接融通高速和泊車場景。
智慧駕駛計算單元，採用的是百度自主研發的智駕網域控制站，搭載了2顆英偉達Orin-x晶片，AI算力為500 TOPS；感測器方面，部分搭載了800萬點數高清監視器，視距可以達到400米。同時搭配半固態雷射雷達，每秒產生百萬以上的點雲。
ANP3.0以視覺方案為主，同時系統也搭配雷射雷達。ANP3.0視覺、雷射雷達兩套系統獨立運作、低耦合。
ANP3.0視覺感知科技始於2019年啟動的Apollo Lite項目，採用了“單目感知”加“環視後融合”的科技框架。
今年百度對視覺感知框架進行了陞級，推出了第二代純視覺感知系統Lite++。
Lite++通過Transformer把前視特徵轉到BEV，在特徵層面對相機觀測進行前融合後，直接輸出三維感知結果，並融合時序特徵實現運動估計Learning化；模型設計層面，基於transformer結構，實現時空特徵融合。
在空間融合階段將位置編碼變換從全域BEV空間轉換到局部相機坐標系，消除相機內外參差异帶來的差异。時序上盡可能多的融合主車運動與多幀資訊，提升障礙物檢測穩定性。同時基於時序特徵，障礙物的速度、意圖、未來軌跡預測等關鍵資訊都可以進行端到端的輸出。
此外，Lite++對後處理的多相機融合依賴更低，算力需求更輕，泛化性更好。
ANP3.0的目標是讓自動駕駛能够隨時隨地的開啟，科技路徑是用好百度多年在高精地圖領域積累的優勢；結合百度對自動駕駛算灋的理解，定義了為智駕規模化泛化而生的“輕量化”自動駕駛地圖。在降低地圖製作成本的同時，通過建設線上地圖學習能力，用算灋應對現實變更、冗餘地圖的標注問題。
現時ANP3.0已進入北上廣深多地泛化測試階段，將在2023年夏天隨著第一個客戶車型上市與大家見面。
隨著L4規模化商業試運營的到來和高級輔助駕駛產品的普及，百度如何利用L2+產品反哺L4科技，加速Robotaxi的規模化商用？
實現無人駕駛商業化的最佳路徑是，前期在限定區域實現科技積累，通過科技降維和L4數據，為L2+產品做暖開機；更長期看，利用L2的規模優勢，提前收集L4泛化所需要儲備的長尾問題。這也正是百度現時所採取的科技路徑。
在王亮看來，百度領航輔助駕駛產品未來3-5年搭載量有望突破百萬。百萬量級行駛在城市道路上的L2+乘用車，可有效地收集和補充長尾問題，加速L4無人駕駛系統在更大範圍運營，數據壁壘也將成為百度的L4科技護城河。
2025年L2+產品將跨越消費者鴻溝，L4的商業模式也將在局部區域和都市實現跑通，兩者的緊密配合將正式開啟，二者的結合將比任何單一路徑都更快速、更高效地實現自動駕駛。
L4科技降維L2+產品已經走通。
2023年後，ANP3.0數據反哺L4的規劃也在進行中，並已經完成了前期的科技佈局，隨著智駕ANP3.0產品上市，後續L4和L2+科技的協同飛輪將運轉起來，形成正回饋。
百度L4、L2+科技和定義描述是：
一方為另一方提供有利於生存的幫助，同時也獲得對方的幫助，兩種科技方案和產品形態共存，相互依賴，彼此有利，此為“共生”。
亮相的百度無人車科技大牛，都是什麼來頭？
以上，就是剛剛結束的Apollo開放日亮相的所有科技大牛的分享內容。
總體來看，百度把6個之前多在幕後的一線技術研發負責人推向台前，詳細介紹描繪了Apollo自動駕駛的整體架構、子系統優勢特徵，以及商業化進展。
Apollo架構體系，包括地圖、感知、數據閉環等等要素，是任何自動駕駛公司都繞不過去的必經之路。
但百度又能依託集團長時間耕耘其他AI領域的能力，給每一個科技板塊都賦予獨特優勢。
比如文心大模型帶車端小模型的方法，提升車端感知能力；再比如昆侖芯在雲端計算、模擬系統為Apollo提供的助力等等。
而這其中最重要的，是百度在現時L4遇冷的環境下，再次自證“降維”路線能够走通，提出了可供全行業參攷的業務模型。
最後，來簡單認識一下這次出場的百度無人車“CTO級”科技天團。
陳競凱，2002年畢業於北京大學電腦系，碩士。是百度內部低調又謙遜的科技大神之一。先後在蒐索、廣告和地圖等業務上統領過科技工作，並任百度技術委員會聯席主席。2018年開始，陳競凱出任百度自動駕駛首席架構師。
黃際洲，博士，正高級工程師，百度人工智慧科技委員會主席，百度地圖首席研發架構師。多年來一直從事自然語言處理、知識圖譜、資料挖掘等人工智慧相關技術研發及大規模產業化工作，先後擔任百度阿拉丁、圖片搜索、蒐索推薦、信息流推薦、百度地圖等產品的研發架構師。
王井東，2001和2004年在清華大學自動化系先後獲得學士學位和碩士學位，2007年在香港科技大學計算科學與工程系獲得博士學位。2007年進入微軟亞洲研究院，現任百度電腦視覺首席架構師。2021年當選IEEE Fellow。現任百度電腦視覺首席架構師。
介紹數據閉環體系的自動駕駛專家李昂，公開資料較少，但毫無疑問一定是Apollo口中的“CTO級”大牛之一。
昆侖芯科技CEO歐陽劍，本科畢業於北航電子工程專業，碩士畢業於中科大。2016年進入百度，負責自動駕駛數據體系架構，2020年起任百度首席晶片架構師。是百度造芯的主要操盤手。
王亮博士，2000級北航電腦系校友，2012年從肯塔基大學博士畢業，在Adobe實過習，畢業後先去了微軟雷德蒙德總部……2013年加入百度美研，參與AR平臺打造，主要是發揮其機器視覺和3D建模方面的專長。至今，官方title是傑出研發架構師，百度無人駕駛環境感知方向技術負責人、百度智慧駕駛事業群組科技委員會主席。
所以這次亮相的幾比特科技大牛都是T幾？
很可能至少人均T11，因為王亮2年前提到T11，而陳競凱很多年前就是T11了。
而按照百度科技職級，最高是T12，不過至今未聽說誰是T12…