2020-08-20 閱讀量：12397
人工智能已經(jīng)成為新一輪產(chǎn)業(yè)變革的核心驅(qū)動力，正在對世界經(jīng)濟(jì)、社會進(jìn)步和人類生活產(chǎn)生極其深刻的影響。作為人工智能范疇最重要的前沿分支之一，機(jī)器視覺已服務(wù)工業(yè) 30 年，相當(dāng)于現(xiàn)代工業(yè)生產(chǎn)和智能制造的“機(jī)器眼睛”。蘇州天準(zhǔn)科技股份有限公司致力于以領(lǐng)先的人工智能技術(shù)推動工業(yè)轉(zhuǎn)型升級，通過持續(xù)高強(qiáng)度創(chuàng)新，不斷突破行業(yè)極限。
在精密測量領(lǐng)域，由天準(zhǔn)牽頭的“復(fù)合式高精度坐標(biāo)測量儀器開發(fā)和應(yīng)用”項目入選“國家重大科學(xué)儀器設(shè)備開發(fā)專項”，設(shè)備精度高達(dá) 0.3 微米，使中國成為繼德國、日本之后，掌握同等測量技術(shù)的全球第三個國家。
天準(zhǔn)的智能檢測裝備將機(jī)器視覺技術(shù)應(yīng)用于工業(yè)流水線上的在線檢測場景，實(shí)現(xiàn)對工業(yè)零部件和產(chǎn)品的實(shí)時在線尺寸與缺陷檢測。以光伏領(lǐng)域?yàn)槔鞙?zhǔn)不斷打破業(yè)界極限，將硅片分選檢測設(shè)備產(chǎn)能成功提升到業(yè)界 1.5 倍以上，成本降低 50% 以上。
天準(zhǔn)的智能制造系統(tǒng)不僅可消除生產(chǎn)檢測中人的不穩(wěn)定因素、提升生產(chǎn)效率、降低生產(chǎn)成本，而且可幫助改善產(chǎn)品品質(zhì)，已廣泛應(yīng)用于 3C 電子、汽車制造等智能化生產(chǎn)程度較高的行業(yè)，推進(jìn)工廠無人化和智能化進(jìn)程。
無人物流車是機(jī)器視覺技術(shù)在物流領(lǐng)域的落地場景。天準(zhǔn)作為 NVIDIA Jetson Preferred Partner，將基于 NVIDIAJetson 處理器的 AI 邊緣計算技術(shù)與無人車相結(jié)合，打造無人移動平臺加 AI 邊緣計算整體解決方案，使機(jī)器視覺技術(shù)賦能更多的行業(yè)和場景。
NVIDIA 產(chǎn)品或平臺、工具介紹
NVIDIA® Jetson AGX Xavier? 為邊緣設(shè)備的計算密度、能效和 AI 推理功能設(shè)定了新標(biāo)桿。作為首款專為自主機(jī)器設(shè)計的計算機(jī)，Jetson AGX Xavier 的性能足以完成如下任務(wù)：視覺測距、傳感器融合、定位與地圖繪制、障礙物檢測以及對新一代機(jī)器人至關(guān)重要的路線規(guī)劃算法。在緊湊的外形下，用戶可以獲得 GPU 工作站級別的性能—— 32 萬億次運(yùn)算/秒 (TOPS) 的峰值計算能力和 750 Gbps 的高速 I/O 性能；得益于 NVIDIA 整套豐富的 AI 工具和工作流程，可幫助開發(fā)者快速訓(xùn)練和部署神經(jīng)網(wǎng)絡(luò)。
該平臺支持 NVIDIA JetPack 和DeepStreamSDK，以及 CUDA®、cuDNN 和 TensorRT 軟件庫，使得在云端訓(xùn)練的深度學(xué)習(xí)算法模型可以無縫的遷移到邊緣端，大大加速產(chǎn)品的原型驗(yàn)證和批量部署過程。
方案與開發(fā)技術(shù)分享
隨著 AI 算法的飛速發(fā)展和計算平臺算力的不斷提升，AI 技術(shù)充分賦能自動駕駛、智慧公路、軌道交通等諸多領(lǐng)域，應(yīng)用于無人駕駛、車路協(xié)同、軌交列車安全監(jiān)控等各種智慧交通場景。在這些場景中，往往需要借助于多種不同的傳感器，利用各種傳感器的不同特性，從不同維度充分獲取周圍環(huán)境信息。常用的傳感器有相機(jī)、激光雷達(dá)、IMU、毫米波雷達(dá)等。
各種傳感器數(shù)據(jù)產(chǎn)生于不同的時刻、且均在各自的坐標(biāo)系中進(jìn)行表達(dá)，為了從各個不同的傳感器中得到統(tǒng)一的目標(biāo)信息，需要對其進(jìn)行時空融合，即時間同步和空間對齊。下圖是只進(jìn)行空間融合、未做時間對齊的激光雷達(dá)和圖像數(shù)據(jù)融合的結(jié)果：對于靜止目標(biāo)，兩種數(shù)據(jù)可以很好地匹配到一起；對于運(yùn)動目標(biāo)，則會產(chǎn)生明顯的數(shù)據(jù)不匹配情況，根本原因就在于兩種傳感器數(shù)據(jù)產(chǎn)生的時刻不同。因此，在有移動目標(biāo)的應(yīng)用場景中，時間同步和空間對齊缺一不可。
在傳統(tǒng)的智慧交通應(yīng)用中，各種傳感器數(shù)據(jù)往往通過 USB 接口或網(wǎng)口接入到工控機(jī)或服務(wù)器中進(jìn)行算法處理，以滿足 AI 推理算法處理海量數(shù)據(jù)的大算力需求。這種方式往往容易帶來以下問題：
①工控機(jī)網(wǎng)口和USB接口一般非防松設(shè)計，多種傳感器接入后，在無人車或列車行進(jìn)過程中，很容易出現(xiàn)松動問題；
② 工控機(jī)只能通過網(wǎng)口進(jìn)行IEEE 1588協(xié)議或NTP協(xié)議進(jìn)行授時，前者需要專業(yè)的授時設(shè)備，后者授時精度不高；
③在工控機(jī)中進(jìn)行多傳感器數(shù)據(jù)融合，由于需要進(jìn)行大量的矩陣運(yùn)算，會占用工控機(jī)寶貴的算力資源。
為解決上述問題，本項目基于NVIDIA Jetson Xavier，設(shè)計了用于智慧交通場景的Sensor Box，主要解決以下三個問題：
①各種傳感器的可靠接入；
②各傳感器高精度的授時；
③時空融合計算。
Sensor Box 如下圖所示，該設(shè)備支持常用的 GMSL2 相機(jī)接口、千兆網(wǎng)口、萬兆光口、USB3.0 網(wǎng)口、CAN 總線接口等接口形式，各種接口均具有防松設(shè)計；內(nèi)置納秒級精度的同步觸發(fā)和授時電路，并具有 GPS 失鎖守時功能；可以耐受 XYZ 三軸 3Grms0~1000Hz 的隨機(jī)振動，整機(jī)可以達(dá)到 IP65 防護(hù)等級。各傳感器數(shù)據(jù)接入 Sensor Box 之后進(jìn)行時空融合后，或者在 Sensor Box 內(nèi)直接進(jìn)行推理運(yùn)算，或者通過萬兆光口傳給工控機(jī)進(jìn)行更復(fù)雜的算法處理。
一個 1080P 相機(jī)的像素數(shù)約為 200 萬個，一個 32 線激光雷達(dá)一幀數(shù)據(jù)約有 12 萬個點(diǎn)，按每秒 10 幀的幀率計算，產(chǎn)生的像素點(diǎn)是千萬級，點(diǎn)云點(diǎn)數(shù)則為百萬級。在自動駕駛場景，存在多個相機(jī)和多個激光雷達(dá)的情況下，每秒鐘 sensor box 將要處理以億計的像素和點(diǎn)云數(shù)量。對于點(diǎn)云到圖像的融合計算來說，每個點(diǎn)需要進(jìn)行 9 次乘法和 12 次加法運(yùn)算，如果全部放到 CPU 中處理，難以滿足海量數(shù)據(jù)處理實(shí)時性的要求。
1個激光雷達(dá)和1個相機(jī)進(jìn)行時空同步后的融合效果。基于Xavier 的 Sensor Box 解決方案已經(jīng)在國內(nèi)很多自動駕駛場景中路測使用。
通過 NVIDIA Jetson 提供的 CUDA 工具，將空間融合的乘加運(yùn)算遷移到 GPU 的 CUDA 核中進(jìn)行并行處理，大大提升了處理速度，提高了計算性能。以典型的傳感器數(shù)量偏多的自動駕駛卡車為例，基于 Xavier 的 Sensor Box 可支持多達(dá)10路 1080P 相機(jī)和 6 路激光雷達(dá)接入，為其提供同步觸發(fā)和授時功能，在其內(nèi)部完成所有傳感器的時空同步計算后，通過萬兆光口傳到工控機(jī)。將傳感器采集、時空同步等比較消耗算力的過程前置到 Sensor Box 中，使工控機(jī)內(nèi)可以執(zhí)行更復(fù)雜更智能的 L4 級自動駕駛算法。
文章原作者NVIDIA開發(fā)者社區(qū)，本文經(jīng)NVIDIA授權(quán)轉(zhuǎn)發(fā)。
