引言

在智能感知技術(shù)快速發(fā)展的當(dāng)下，可見(jiàn)光成像與紅外成像作為兩種互補(bǔ)的視覺(jué)感知手段，已在自動(dòng)駕駛、航空航天、工業(yè)檢測(cè)等領(lǐng)域得到廣泛應(yīng)用?？梢?jiàn)光圖像具有豐富的色彩與紋理細(xì)節(jié)，適合目標(biāo)識(shí)別與場(chǎng)景理解；紅外圖像則能突破光照條件限制，在夜間、雨霧等復(fù)雜環(huán)境中獲取目標(biāo)的熱輻射信息，實(shí)現(xiàn)全天候監(jiān)測(cè)[1]。然而，單一模態(tài)的成像系統(tǒng)難以兼顧不同環(huán)境下的感知需求，雙光融合成像技術(shù)通過(guò)對(duì)可見(jiàn)光與紅外圖像的信息互補(bǔ)處理，可顯著提升復(fù)雜場(chǎng)景中的目標(biāo)探測(cè)與識(shí)別能力，成為當(dāng)前視覺(jué)感知領(lǐng)域的研究熱點(diǎn)。另一方面，隨著深度學(xué)習(xí)的發(fā)展，目標(biāo)檢測(cè)在機(jī)器視覺(jué)和無(wú)人機(jī)目標(biāo)檢測(cè)等方面受到了廣泛的關(guān)注和研究[2]，這些模型在目標(biāo)檢測(cè)領(lǐng)域上能夠達(dá)到、甚至超越人類(lèi)的水平。同時(shí)，這些模型也能夠提供更高層級(jí)的語(yǔ)義信息用于自動(dòng)駕駛或輔助駕駛分析決策，具有廣闊的應(yīng)用前景[3]。

隨著車(chē)載、船載、機(jī)載等移動(dòng)平臺(tái)對(duì)輕量化、低功耗、高可靠性成像設(shè)備需求的不斷增長(zhǎng)，現(xiàn)有方案多采用分離式架構(gòu)，將可見(jiàn)光與紅外圖像處理模塊獨(dú)立設(shè)計(jì)，導(dǎo)致系統(tǒng)體積龐大、功耗偏高，且難以滿足實(shí)時(shí)性處理要求[4]。此外，復(fù)雜環(huán)境使用場(chǎng)景下的溫度劇烈變化、振動(dòng)沖擊等因素，對(duì)上述現(xiàn)有系統(tǒng)方案的穩(wěn)定性與可靠性提出了更高要求。

針對(duì)上述問(wèn)題，本研究提出一種基于主協(xié)處理器架構(gòu)的小型化雙光成像圖像處理平臺(tái)設(shè)計(jì)方案。通過(guò)采用RK3588與ZYNQ芯片構(gòu)建異構(gòu)計(jì)算系統(tǒng)，實(shí)現(xiàn)1080P可見(jiàn)光圖像與1 280×1 024分辨率非制冷紅外圖像的并行實(shí)時(shí)處理，并在軟件算法協(xié)同下完成雙光融合圖像的實(shí)時(shí)顯示。一體化設(shè)計(jì)理念的引入，有效解決了傳統(tǒng)分離式架構(gòu)的集成度難題，結(jié)合高效的硬件加速與算法優(yōu)化，在保證處理性能的同時(shí)顯著降低系統(tǒng)功耗。通過(guò)實(shí)物樣機(jī)的外場(chǎng)實(shí)測(cè)與高低溫環(huán)境測(cè)試，驗(yàn)證了該平臺(tái)在復(fù)雜應(yīng)用場(chǎng)景下的穩(wěn)定可靠性，為車(chē)載、船載、機(jī)載等移動(dòng)平臺(tái)的視覺(jué)感知系統(tǒng)提供了高性能、高適應(yīng)性的解決方案。

本文詳細(xì)內(nèi)容請(qǐng)下載：

http://ccf-cncc2011.cn/resource/share/2000006834

作者信息：

劉旭東1，湯松濤2，張雷鳴2，葛敬濤1，季春雨1

（1.洛陽(yáng)瑞極光電科技有限公司，河南 洛陽(yáng) 471009；

2.河南科技大學(xué) 信息工程學(xué)院，河南 洛陽(yáng)471009）