今天我給大家主要分享的是關于仿真測試以及仿真測試所需要的數據工作。
演講主要分為五個部分：
第一部分，IAE X-in-Loop®仿真測試技術體系。
第二部分，服務于仿真測試的場景工場。
第三部分，如何從道路采集獲得所需要的數據并進行處理，到構建場景工場。
第四部分和第五部分，分享基于場景工場、暨海量場景庫，能夠做的一些事兒：進行仿真測試，或者是為機器學習提供訓練的數據集。
一、IAE X-In-Loop®技術體系
先介紹一下仿真測試技術體系，把技術體系稱為X-In-Loop®，針對智能駕駛的“V字型”開發流程所貫穿的各個環節測試，比如在最初的概念設計階段，可能會已形成一些模型，基于模型做主客觀評價測試。主要做的工作是MIL或者DIL。
軟件形成之后，主要面向軟件測試，之后會做HIL仿真測試，在V流程的右邊階段做得更多的是Validation的工作，圍繞已經成型的產品、控制器做硬件在環的測試，或者等到整車完成做整車在環測試，以及最后做性能相關的驗證，在場地上完成相關的測試。所以，我們是圍繞各個環節在環測試的智能駕駛測試合作伙伴。
貫穿所有測試過程中的關鍵環節就是場景數據庫、暨場景工場，下面介紹一下場景工場生產場景的上下游體系。
在場景工場、場景庫的上游主要是生產工具鏈、方法論，以及完成場景庫生產的過程。今天在其他環節不占用大家更多時間了，主要圍繞場景生產的工具鏈到場景庫，以及場景庫如何服務于仿真測試、如何生成訓練數據集，這個簡單的鏈路跟大家展開介紹。
二、“水木靈境”場景工場（海量場景庫）
如何定義場景？對我們來說，做智能駕駛相關的測試場景會拆解為靜態和動態兩部分。
靜態場景：主要圍繞交通設施，比如說周邊的建筑、路燈、植被等都屬于設施方面的東西。以及交通參與的主要要素，比如說信號燈、標牌、道路、車道線等。設施和要素主要會構成靜態場景的部分，通過三維建模，結合邏輯信息建模，把它整合成靜態場景。
動態場景：交通參與者，比如說車輛、行人等參與交通動態行為的目標物，會定義他行駛的軌跡、觸發的事件。環境和天氣的條件也是構成動態場景的一部分。場景由靜態和動態的組成部分共同構成。
在場景工場中采用這樣的劃分，根據場景庫覆蓋的范圍，把場景分為三大類：
第一大類：“有跡可循”
參考真實的環境、真實道路采集來的數據，或者是依據真實道路上發生的事件數據重構出來的，稱為有跡可循。
主要包括像真實基于地圖構建的城市和高速數字孿生場景，也包括在實際道路測試中車輛采集回來的數據，把它通過數據格式的轉換形成自然駕駛場景。
還有事故場景，事故數據是發生事故之后，交警去現場勘探，把發生事故前一段時間的數據進行虛擬重構，這部分也可以把它做成檢驗智能駕駛行為的場景，這部分是CIDAS中國數據庫。
第二大類：“有法可依”
主要是圍繞法規和標準構建的功能場景，比如說ADAS系列會有一系列Euro-NCAP、C-NCAP、ISO、GB等行業標準，依據標準構建出來法規ADAS的測試用例和場景。針對車聯網、V2X也有一定的SAE行業標準，依據行業標準構建了V2X的測試場景。還有根據交通規則行為和相關法規構建交規場景。
第三大類：“有需可取”
這些場景大部分結合所測試對象的功能來進行功能正向拆解，如結合SOTIF預期功能安全，會分析功能的局限性，以及可能帶來的危害性，充分結合被測對象進行構建的場景，把它歸到有需可取類。
以上是場景工場的大概情況，后面會給大家分享場景數據的實例和體現的形式。比如說像數字孿生的場景，已構建了國內多個城市孿生的場景，和城市道路是一比一復現的。結合高精地圖的高級別智能駕駛算法，可以結合這些場景進行測試。
還有EURO-NCAP這類結合ADAS的測試標準，測試標準里會有相應的假人、假車，為了實現這種場景，也結合3D目標物的特征進行數字化建模。再有事故發生碰撞的場景，以及結合系統極限性SOTIF的場景。
這兩例測試場景分別是刮撞二輪車的CIDAS交通事故復現場景，以及決策系統局限、交互局限的SOTIF場景。
三、場景數據采集及預處理
前面所介紹的仿真場景數據里有一部分被稱為自然駕駛（仿真測試）場景，這些自然駕駛場景是怎么獲取的？這個涉及到我們的工具鏈和處理的過程。
介紹一下進行自然駕駛場景采集所需要的工具鏈，從采集的終端、車載的終端設備，從傳感器到終端設備，再到中間數據的預處理、回傳的機制，到場景數據的處理，比如說切片、清洗，最終才可以形成剛剛看到的這樣一個場景片段的數據。
這一環節涉及到配備iTT PLUS等車載數據采集終端設備去采集不同傳感器的數據。采回來的數據會有涉及到原始數據，這部分原始數據可以進行標注服務于算法的訓練。采回來的還有傳感器，比如說毫米波雷達、攝像頭、激光雷達融合后目標的軌跡數據，這個軌跡數據就是我們構建自然駕駛仿真場景中動態場景的核心的部分。
通過數據采集，我們把采集回來的數據先回傳到我們數據中心，在數據中心進行預處理，預再經過IAE 自研的CRAB軟件做場景數據的深加工，直到生成我們所需要在仿真引擎中能夠直接運行的場景數據。
采集的數據還需要做各種處理，比如，數據可能會是非常長的，所以我們需要基于一些事件還有時間點去做一些切片工作，去對里面采回來的目標做一些清理。再如，在正常采集的過程中，可能會發生目標突變，它本來是前面一個ID，采集過程中變成另外一個，這種數據為了讓它能夠在仿真里面形成一個連續的軌跡，需要把它進行合并或者刪除。完整工具鏈是服務于我們整個自然駕駛場景生產的過程，直至生成動態場景文件，能夠直接通過仿真引擎來調用。
這是典型的自然駕駛場景的示例，大家可以看到左上角是真實采集的視頻的還原，大的范圍是我們仿真重構出來的自然駕駛場景。
以上是場景工場的介紹以及我們場景構建中的一個途徑、如何生產自然駕駛場景。而生產這些場景數據之后用它來做什么，也是我們需要解決的問題。第一個方面是服務于仿真測試。對于我們來講，仿真測試有一系列閉環，可以是MIL測試，可以是軟件在環SIL測試，也可以是硬件在環HIL測試，還可以是針對整車級別的整車在環測試，這些都是歸屬仿真測試大的范疇內，我們的場景工場和海量場景庫將服務于以上各個環節的仿真測試。
四、今天著重介紹一下基于場景工場和海量場景庫來做SIL、針對軟件算法的大規模測試。
在軟件測試階段目標是積累大量的虛擬里程來盡可能讓我們的算法覆蓋盡可能多的corner case，我們采用的手段就是海量場景仿真+自動化測試。這個海量仿真需要有一個平臺來做支撐，我們使用的仿真平臺需要能夠整體管控我們仿真測試的全部節點，規劃整個仿真測試用例的使用，并且能夠具備仿真測試KPI的體系，從而在測試之后自動化地去輸出評價的結果，這樣才能快速的完成軟件開發過程中的迭代。
IAE構建了這樣一個“水母”云仿真平臺，將場景工場和自動化仿真測試充分結合。
在“水母”云仿真平臺上可以對我們算法、場景、數據和模型，如剛剛看到的場景模型進行管理，能夠結合我們需求進行彈性調用。同時，我們的仿真計算節點并行布屬在這樣一個云平臺上，能夠通過自動化的系統調用我們的仿真節點和算力，給每個仿真節點彈性分配仿真測試的任務，在完成仿真測試之后，可以自動化地做數據的后處理，輸出我們用于評價的KPI指標，并盡快把指標反饋到我們測試指定的團隊去。整個這樣的平臺通過這樣一個工作流的形式來結合起來，最終定義好需求。
這套仿真測評體系可以服務于兩個方面：服務于自動駕駛研發測試、軟件和系統開發驗證的全過程；同時，不僅可以服務于研發，也可以服務于監管需要。
目前一些城市開始加速推進并進一步規范道路測試和示范應用許可的發放，并將仿真測試用于測試評估。我們有幸參與了某個城市的相關工作，基于“水母”云仿真平臺，結合整個運營范圍區域的特征去搭建數字孿生仿真場景，并制定評測的方法，給想要申請許可的企業提供這樣的測試服務，政府根據測試評估達到的結果，讓企業能夠申請這個許可。
結合地區城市道路特征搭建場景，并且基于仿真平臺來制定評測的方法，給出測評的指標，幫助企業盡快實現許可的申請和落地。
對于測試示范區管理單位，這也將起到監管和保障的作用。申請許可的時候如果只是單純的道路測試能覆蓋的極限場景畢竟是少量的，我們通過仿真的形式結合當地實際道路的特征，搭建極限場景來測評未來在這個區域運行的車輛的安全性。
五、基于場景工場生成訓練數據集。
剛剛我們看到的是場景工場應用于仿真測試，我們的場景工場還可以服務于研發的更早期階段，就是算法訓練。在算法訓練的過程中需要大量的數據集，采用傳統的標注數據集，對于數據集的采集和累積是代價非常高的事，每個車型采集回來的數據只能服務于這個車型，我們在新車型開發迭代過程中，需要有大量新的數據來服務。
通過仿真場景工場的形式就可以更加便捷、更加快速，并且能夠更加靈活地把我們建的場景數據生成數據集，去快速地服務于機器學習的過程。
對我們提出的挑戰是，我們在仿真過程當中需要做更精細化的建模，以及需要通過專門的后處理調參的方式來優化我們渲染引擎輸出的圖像的質量，以期讓這個圖像更匹配真實道路采集的圖像。
我們可以覆蓋和提供的數據集包括這些類型，用于車道線檢測，用于動態目標物檢測，交通信號燈，交通標識識別類的數據集，同時借助渲染的能力可以提供語義分割所需要的數據集。這樣的數據集具備四個大的特征：
1、數據集生產的鏈條完全自動化。在場景工場整個數據構成場景之后，想要輸出圖片的數據以及它所需要的標注信息，我們是可以完全采用自動化的鏈條實現。并不需要由人工進行任何的標注。我們整個仿真系統里的真值可以自動輸出。
2、場景和模型可以高度靈活適配各個車型，甚至不同傳感器的類型。能夠通過模型的靈活性提高場景的靈活性和復用性。
3、構建的場景庫里具備中國交通特色的場景，也包括如SOTIF場景等相關的模型，比如說裝載樹木的卡車之類特殊化的模型。在真實道路采集的時候，很難出現這樣實例，在仿真里面可以更容易地構建這樣的情境。
4、可以覆蓋不同的天氣、光照以及遮擋的條件，讓整個數據集更加多元、更加豐富，具有更高的覆蓋度。
以上就是我今天介紹的內容，謝謝大家！
（注：本文根據現場速記整理，未經演講嘉賓審閱）
