早在2011年嵌入式視覺聯(lián)盟（EVA）成立時，其創(chuàng)始公司就認(rèn)為，在廣泛的市場范圍內(nèi)，在實用計算機(jī)視覺技術(shù)和解決方案領(lǐng)域的投資、創(chuàng)新和部署，將很快出現(xiàn)前所未有的增長。在不到十年后，這一預(yù)測就真正實現(xiàn)了。在過去的六年中，美國和中國在計算機(jī)視覺公司領(lǐng)域的投資都在加速，過去六年的投資額增長了100倍，并且增長速度沒有任何放緩的跡象（見圖1a）。
文章來源：犀靈機(jī)器人http://m.35692.cn網(wǎng)絡(luò)收集
? 圖1a：全球在計算機(jī)視覺公司領(lǐng)域的投資顯著增加，并且沒有放緩跡象。（來源：Woodside Capital/Crunchbase）
這些投資正在刺激這些公司及其合作伙伴和客戶加速在視覺領(lǐng)域的研究、開發(fā)和部署活動。EVA會定期對視覺開發(fā)者社區(qū)就各種主題開展調(diào)查，最新調(diào)查結(jié)果表明，93%的被調(diào)查組織表示，未來一年中在視覺領(lǐng)域的投入會增加（其中61%表示會大幅增加）（見圖1b）。
? 圖1b：2019年，開發(fā)者在視覺領(lǐng)域的投入將顯著增加。（來源：EVA）
預(yù)計這些增加的活動將轉(zhuǎn)化為收入的增加；例如，Tractica最近發(fā)布的一份市場研究報告預(yù)測，從現(xiàn)在到2025年，計算機(jī)視覺市場（包括硬件、軟件和服務(wù)，見圖1c）的收入將增加25倍，到2025年將超過260億美元。
? 圖1c：全球范圍內(nèi)對計算機(jī)視覺相關(guān)公司的投資，將驅(qū)動這些公司未來的收入大幅增長。（來源：Tractica）
其中，有四大關(guān)鍵趨勢正在驅(qū)動這些增長，它們分別是：（1）深度學(xué)習(xí)；（2）3D傳感；（3）快速、便宜、節(jié)能的處理器；（4）硬件和軟件的普及化。
趨勢一、深度學(xué)習(xí)
傳統(tǒng)上，計算機(jī)視覺應(yīng)用依賴于專用的算法，這些算法經(jīng)過精心設(shè)計以識別特定的特征（如邊緣、角落、物體）。然而最近，卷積神經(jīng)網(wǎng)絡(luò)（CNN）和其他深度學(xué)習(xí)方法已經(jīng)在各種圖像理解任務(wù)上，表現(xiàn)得優(yōu)于傳統(tǒng)算法。與傳統(tǒng)算法相比，深度學(xué)習(xí)方法是通過實例訓(xùn)練的通用學(xué)習(xí)算法，來識別特定的特征，包括物體類型和位置。深度神經(jīng)網(wǎng)絡(luò)（DNN）已經(jīng)改變了計算機(jī)視覺領(lǐng)域，其在識別物體、在一幀圖像內(nèi)定位物體以及確定哪個像素屬于哪個物體等功能上，都提供了優(yōu)越的結(jié)果。即使是像光流和立體匹配這樣的已經(jīng)用傳統(tǒng)技術(shù)能很好地解決的問題，現(xiàn)在也可以用深度學(xué)習(xí)技術(shù)找到更好的解決方案。
此外，基于深度學(xué)習(xí)的視覺處理方法，在解決許多問題上都優(yōu)于傳統(tǒng)的計算機(jī)視覺算法。ImageNet圖像識別挑戰(zhàn)賽獲獎?wù)叩慕Y(jié)果表明，從幾年前開始，在相同的任務(wù)和相同的數(shù)據(jù)集中，深度學(xué)習(xí)在識別物體方面的準(zhǔn)確性開始超過典型的人類功能（見圖2a）。深度神經(jīng)網(wǎng)絡(luò)也被訓(xùn)練、以填補(bǔ)照片中缺失的補(bǔ)丁，與能夠熟練處理圖片的操作員的技能相匹配，同時能夠比人更快地提供處理結(jié)果。而且，訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)甚至開始產(chǎn)生遠(yuǎn)超越技術(shù)嫻熟的人類所能做出的成就，例如從非常差的曝光照片中產(chǎn)生可接受的圖像（見圖2b）。
? 圖2b：在某些情況下，深度學(xué)習(xí)算法可以產(chǎn)生超出人類能力的結(jié)果。（來源：Learning to See in the Dark, Chen Chen, Qifeng Chen, Jia Xu and Vladlen Koltun, CVPR 2018）
因此，不出所料，計算機(jī)視覺開發(fā)人員正越來越多地將深度學(xué)習(xí)技術(shù)添加到他們的工具箱中（見圖3）。EVA最近的調(diào)查結(jié)果顯示，59%的機(jī)器視覺系統(tǒng)和解決方案開發(fā)者已經(jīng)在使用DNN，比兩年前的34%大幅增加。28%的人計劃在不久的將來使用DNN用于視覺智能?？傮w來看，87%的開發(fā)者已經(jīng)使用或計劃使用神經(jīng)網(wǎng)絡(luò)來執(zhí)行計算機(jī)視覺功能。
? 圖3：87%的開發(fā)者已經(jīng)使用或計劃在不久的將來使用神經(jīng)網(wǎng)絡(luò)來執(zhí)行計算機(jī)視覺功能。（來源：EVA）
趨勢二、3D傳感
2D圖像傳感器能夠在許多嵌入式視覺系統(tǒng)設(shè)計中，實現(xiàn)巨大的視覺能力。然而，它們無法辨別物體與傳感器之間的距離，這將導(dǎo)致某些視覺功能的實現(xiàn)非常困難或是無法實現(xiàn)。例如，手勢接口實現(xiàn)。識別運(yùn)動的能力，包括上下、左右和前后，能夠大大擴(kuò)展系統(tǒng)能夠解讀的手勢的多樣性、豐富性和精確性。或者是人臉識別情況（見圖4）：深度傳感在“確定被識別的物體是真實的人臉而非人臉的照片”方面，也很有價值。
? 圖4：人臉識別（上圖）和視覺同步定位和映射（下圖）是3D圖像傳感所實現(xiàn)的眾多功能中的兩個。
ADAS（汽車高級駕駛輔助系統(tǒng)）和其他受益于3D傳感器的半自動和全自動設(shè)備應(yīng)用也非常豐富。例如，你可以很容易地想象，在公路上，你不僅能夠確定另一輛車或物體在你的前方或后方，而且還能準(zhǔn)確地辨別它與你之間的距離。準(zhǔn)確地確定車輛與限速標(biāo)志之間的距離，對于確定多久必須把車速降下來、進(jìn)而避免罰單同樣非常有用。
同樣，用于3D打印的3D物體掃描也是一個重要的應(yīng)用案例。幸運(yùn)的是，最近將3D光學(xué)傳感器引入手機(jī)和汽車等大批量生產(chǎn)應(yīng)用中，不但加速了創(chuàng)新，而且使尺寸、成本和3D傳感的復(fù)雜性都有所降低（見圖5）。3D相機(jī)模塊通常包括某種形式的紅外照明，其同樣得益于最近顯著的成本降低趨勢，它在低光環(huán)境中以及在監(jiān)控戴太陽鏡的車輛駕駛員的注意力方面，非常有用。
? 圖5：最新一代小型、低成本、低功耗3D相機(jī)實現(xiàn)了強(qiáng)大的視覺部署（上圖）；它們的紅外照明模塊同樣越來越具有成本效益（下圖）。（來源：Microsoft/Intel/Occipital/Yole Développement）
在微軟Kinect游戲機(jī)外設(shè)首次亮相8年后，現(xiàn)在3D相機(jī)模塊已經(jīng)準(zhǔn)備好部署在成本和功率敏感的應(yīng)用中。計算機(jī)視覺開發(fā)者正在對3D傳感采取積極行動和積極預(yù)測。EVA最近的調(diào)查顯示，近30%的開發(fā)者已經(jīng)在使用3D傳感，26%的開發(fā)者計劃近期內(nèi)在其項目中采用3D傳感功能（見圖6）。
? 圖6：55%的受訪開發(fā)者表示，他們已經(jīng)開始使用或計劃近期在他們的計算機(jī)視覺項目中加入3D傳感技術(shù)，該比例比去年增加了4%。（來源：EVA）
趨勢三、更好的處理器
推動強(qiáng)大而廣泛的視覺感知可部署性的最重要因素，是更好的處理器?！案谩笔侵父叩男阅堋⒏偷某杀?、更低的功耗，以及其他關(guān)鍵因素的改進(jìn)。視覺算法對計算性能要求很高，各種嵌入式系統(tǒng)通常需要滿足低成本和低功耗的要求。在數(shù)字無線通信和以壓縮為中心的消費視頻設(shè)備等其他應(yīng)用領(lǐng)域，芯片設(shè)計人員通過使用專用協(xié)處理器和加速器，獲得高性能、低成本和低功耗的極具挑戰(zhàn)性的組合，從而實現(xiàn)應(yīng)用中最苛刻的處理任務(wù)。然而，這些協(xié)處理器和加速器通常不能由芯片用戶編程。
在很多標(biāo)準(zhǔn)應(yīng)用中，這種權(quán)衡通常是可以接受的，因為在這些應(yīng)用中，不同設(shè)計者使用的算法具有很強(qiáng)的通用性。然而，在視覺應(yīng)用中，并沒有標(biāo)準(zhǔn)來約束算法的選擇。此外，視覺算法發(fā)展迅速，并且變化頻繁。
因此，實現(xiàn)高性能、低成本、低功耗和可編程性的結(jié)合，是一項非常具有挑戰(zhàn)性的工作，通常需要在異構(gòu)計算體系結(jié)構(gòu)中通過組合多種類型的處理器（CPU、GPU、FPGA、DSP等）來實現(xiàn)。
基于機(jī)器學(xué)習(xí)的視覺處理，無論對于預(yù)先培訓(xùn)還是隨后的推理任務(wù)而言，從計算和存儲需求來看，都是資源密集型的工作。幸運(yùn)的是，視覺處理器正在以驚人的速度發(fā)展，一方面開發(fā)速度非?？欤硪环矫鎭碜詳?shù)量龐大且仍在增長的技術(shù)供應(yīng)商方面的競爭壓力。例如，現(xiàn)在有50多家公司同時在為深度學(xué)習(xí)推理和/或訓(xùn)練開發(fā)處理器。在過去的幾年中，深度學(xué)習(xí)加速的處理能力，已經(jīng)有了兩個數(shù)量級的提升，這些性能的提升與多方技術(shù)進(jìn)步相結(jié)合，將使處理器的處理能力呈指數(shù)級增長。
EVA最近在開發(fā)者調(diào)查中收集的數(shù)據(jù)顯示，深度學(xué)習(xí)專用處理器的采用顯著增加；近1/3的受訪者表示現(xiàn)在正在使用深度學(xué)習(xí)專用處理器，而兩年前這一比例只有19%（見圖7，由于調(diào)查對象要求標(biāo)記所有他們的項目使用的處理器，所以總數(shù)超過100%）。這種趨勢尤其令人震驚，因為在幾年前，深度學(xué)習(xí)專用處理器還根本不存在。同樣需要注意的是，其他處理架構(gòu)通常用于各種視覺任務(wù)。
圖7：被調(diào)查的開發(fā)者在他們的計算機(jī)視覺設(shè)計中使用的多種處理結(jié)構(gòu)。(來源：EVA)
趨勢四、軟件和硬件的普及化
“普及化”意味著開發(fā)有效的計算機(jī)視覺系統(tǒng)和應(yīng)用、以及大規(guī)模部署這些解決方案，正在快速變得越來越容易。為什么？主要有以下三大原因：
第一、深度學(xué)習(xí)使非專家能夠使用樣本圖像數(shù)據(jù)（與手工設(shè)計的代碼相比）更容易地創(chuàng)建功能性視覺系統(tǒng)。
第二、有了更高性能、更低成本的處理器和有效的開發(fā)工具。
第三、作為邊緣處理的輔助或替代，云計算越來越普遍。
前兩點已經(jīng)討論過，但第三點值得注意。云計算作為基于邊緣視覺處理方法的輔助（如果不是替代的話），正變得越來越普遍。
“云vs邊緣計算vs兩者混合”的拓?fù)錄Q策通常并不簡單，“正確”的答案因應(yīng)用和公司的不同而不同，甚至同一公司內(nèi)的不同項目之間也不同（見圖8）。
? 圖8：邊緣計算和云計算的性能比較。星星越多，優(yōu)勢越大。
云計算的有利因素包括：
?上市時間：云計算的軟件開發(fā)通常比嵌入式平臺的軟件開發(fā)更快捷、更容易。
?可升級性：在限制范圍內(nèi)，用戶可以輕松升級到更高性能的處理器、更大的內(nèi)存容量、更多的硬盤存儲、更新的操作系統(tǒng)和中間件版本等。當(dāng)然用戶也不能在云中升級所有東西，例如不能升級圖像傳感器。
?準(zhǔn)確性：用戶可以在云中獲得巨大的計算能力，因此可以運(yùn)行更大的神經(jīng)網(wǎng)絡(luò)，也就是運(yùn)行更復(fù)雜的算法，包括能夠根據(jù)需要利用突發(fā)的額外處理能力。
?分布式設(shè)備之間的協(xié)作：例如，如果你正在跟蹤城市中行駛的車輛，那么就有必要在一個地理區(qū)域內(nèi)收集信息。雖然云并不是實現(xiàn)這一點的唯一途徑，但它能很方便地將來自許多分散邊緣節(jié)點的信息結(jié)合起來。
?設(shè)備成本：更低的物料清單成本、更小的電池等。當(dāng)然以邊緣為中心的方法有其自身優(yōu)勢。
?無需經(jīng)常性成本：不必為每次使用云計算處理、內(nèi)存和存儲資源支付費用。
?網(wǎng)絡(luò)連接性：通常根本不需要，或是不會經(jīng)常需要。
?帶寬和延遲：當(dāng)需要網(wǎng)絡(luò)連接時，帶寬和延遲要求會降低，因為在進(jìn)入云傳輸之前，很大一部分?jǐn)?shù)據(jù)處理已經(jīng)在邊緣設(shè)備上完成了。
?隱私和安全：原始數(shù)據(jù)在邊緣設(shè)備上處理，通常會立即丟棄。唯一能進(jìn)入云端的信息是元數(shù)據(jù)，而且通常是匿名的。
EVA最新的開發(fā)者調(diào)查結(jié)果不出所料地顯示，大多數(shù)受訪者至少在邊緣設(shè)備上做了一些神經(jīng)網(wǎng)絡(luò)推理（見圖9，由于調(diào)查對象要求標(biāo)記所有他們的項目使用的處理器，所以總數(shù)超過100%）。然而，近一半的受訪者也在云中進(jìn)行部分或全部推理。
? 圖9：多數(shù)受訪者至少在邊緣設(shè)備上做了一些神經(jīng)網(wǎng)絡(luò)推理，近一半的受訪者也在云中進(jìn)行部分或全部推理。（來源：EVA）