機(jī)器視覺是計(jì)算機(jī)視覺的一個(gè)分支,工業(yè)自動(dòng)化領(lǐng)域中的視覺控制或視覺應(yīng)用,主要指的是通過前端光學(xué)攝像頭,從采集到的數(shù)字化圖像中提取相關(guān)信息,進(jìn)行分析處理之后,用于對(duì)生產(chǎn)線流程或質(zhì)量的控制,以代替重復(fù)性人工操作。目前,機(jī)器視覺在工廠生產(chǎn)環(huán)節(jié)中的實(shí)際應(yīng)用包括:對(duì)生產(chǎn)工件的完整性質(zhì)量檢測、識(shí)別、分類、零件位置及方向、尺寸測量、讀碼識(shí)別追溯、表面/色差檢測、自動(dòng)化流水線作業(yè)等等??梢哉f,機(jī)器視覺為流水產(chǎn)線、自動(dòng)化設(shè)備安裝上了一雙“眼睛”,能夠提供全天候、高一致性、高可靠性的檢測結(jié)果,增添了工廠生產(chǎn)的智能化水平,因而也成為了邁向智能制造的一項(xiàng)重要技術(shù)。
根據(jù)有關(guān)機(jī)構(gòu)的統(tǒng)計(jì)數(shù)據(jù)顯示,在2019年,全球用于工業(yè)自動(dòng)化領(lǐng)域的機(jī)器視覺技術(shù)的市場規(guī)模達(dá)53.7億美元左右,預(yù)計(jì)到2023年將達(dá)122.9億美元,年復(fù)合增長率高達(dá)21%,市場潛力巨大。
從整體供應(yīng)鏈來看,參與機(jī)器視覺系統(tǒng)開發(fā)的廠商大致上可以分為上游底層開發(fā)商,含核心零部件和軟件開發(fā)商;中游從事二次開發(fā)的設(shè)備集成和軟件服務(wù)商;以及下游所面對(duì)的各類機(jī)器視覺應(yīng)用廠商。其中,核心零部件及軟件供應(yīng)商主要包括光源、鏡頭、工業(yè)相機(jī)、圖像采集卡、圖像處理軟件等類型廠商,而在整個(gè)成本構(gòu)成中,零部件及軟件開發(fā)的費(fèi)用基本上占了約80%的比例,可謂是重中之重。光源供應(yīng)商有OPT奧普特、銳視光電等;工業(yè)相機(jī)的主要品牌有Basler、堡盟、DALSA、Point Grey、Images Source等;市場上較知名的圖像軟件包有Halcon(MVtec)、VisionPro(康耐視)、免費(fèi)開源庫Opencv、MIL(Matrox)等;運(yùn)動(dòng)控制卡供應(yīng)商有固高、雷賽、研華等等。
目前機(jī)器視覺在工業(yè)控制領(lǐng)域大多屬于二次開發(fā)層面,形式主要包括系統(tǒng)集成以及組裝生產(chǎn)自動(dòng)化專機(jī)等等,要求開發(fā)商能夠掌握不同生產(chǎn)制造環(huán)境中的Know-How技術(shù),設(shè)計(jì)出有針對(duì)性的產(chǎn)品或集成方案,視覺點(diǎn)膠控制、視覺螺絲機(jī)控制、視覺定位+飛拍、視覺檢測等電子產(chǎn)品后段制造流程都是現(xiàn)在市場上的開發(fā)熱點(diǎn)。大部分廠商采用的都是“軟件平臺(tái)+視覺開發(fā)包”的開發(fā)模式,開發(fā)包基于軟件平臺(tái)對(duì)常用各種圖像處理算法進(jìn)行封裝,軟件工程師可直接調(diào)用封裝好的算法,實(shí)現(xiàn)各種復(fù)雜的圖像處理和分析功能,大幅降低了二次開發(fā)的難度和工作量。
圖1 機(jī)器視覺產(chǎn)業(yè)供應(yīng)鏈組成
圖2 工業(yè)自動(dòng)化領(lǐng)域機(jī)器視覺應(yīng)用分析(資料來源:智研咨詢)
視覺應(yīng)用的三大層面難題
但就實(shí)際應(yīng)用而言,在目前機(jī)器視覺+運(yùn)動(dòng)控制方案的實(shí)施過程中,各種“門檻”依然較高,問題主要來自于三個(gè)方面:一是,對(duì)于大部分技術(shù)開發(fā)工程師來說,機(jī)器視覺技術(shù)是一個(gè)全新的領(lǐng)域,要學(xué)習(xí)一種新的編程語言(如C++)存在一定的難度,需要花費(fèi)大量的時(shí)間和精力,加上視覺項(xiàng)目一般都是非標(biāo)的,開發(fā)者的經(jīng)驗(yàn)非常重要,普通電氣工程師要想快速掌握機(jī)器視覺應(yīng)用的編程和調(diào)試,絕非易事。
其次,對(duì)于設(shè)備制造商而言,為了提高工廠的生產(chǎn)效率,制造業(yè)產(chǎn)線升級(jí)的需求迫切,機(jī)器視覺的應(yīng)用已經(jīng)成為其中的一個(gè)重點(diǎn),但機(jī)器視覺的硬件投資成本一直居高不下,令他們望而卻步;除了硬件投入之外,往往后期還需要高薪聘請(qǐng)視覺工程師對(duì)買回來的視覺系統(tǒng)進(jìn)行開發(fā)和維護(hù),這無疑又加重了工廠的人力成本。如何能夠有效地控制投資成本,是他們的主要訴求點(diǎn),例如是否可以既經(jīng)濟(jì)又方便地在現(xiàn)有設(shè)備系統(tǒng)的基礎(chǔ)上添加機(jī)器視覺功能等。
另外,對(duì)于終端用戶來說,在使用機(jī)器視覺技術(shù)的過程中會(huì)發(fā)現(xiàn),機(jī)器視覺和自動(dòng)化控制(流程控制、工藝控制等)往往分屬于兩套不同的系統(tǒng)之中,兩者之間常??赡軙?huì)由于通訊等多種因素而導(dǎo)致整個(gè)系統(tǒng)的不穩(wěn)定(如出現(xiàn)停機(jī)、停線等狀況)。尤其是在當(dāng)前多品種、小批量、柔性化的生產(chǎn)模式下,產(chǎn)線的頻繁更換,增加了對(duì)機(jī)器視覺系統(tǒng)流程的修改和調(diào)試時(shí)間,從而大大影響了工廠產(chǎn)能,因此,如何讓設(shè)備在生產(chǎn)中更加穩(wěn)定,同時(shí)操作也更為便捷,能夠滿足產(chǎn)線快速調(diào)整和切換的需要,是機(jī)器視覺技術(shù)開發(fā)的一個(gè)課題。
機(jī)器視覺與運(yùn)動(dòng)控制的無縫集成
一般來說,機(jī)器視覺+運(yùn)動(dòng)控制應(yīng)用大多數(shù)硬件架構(gòu)都是采用一臺(tái)控制器,通過外部連接視覺系統(tǒng)及產(chǎn)線上各個(gè)部位的工業(yè)智能相機(jī)及光源,視覺信號(hào)通過線纜和串口被傳輸?shù)娇刂破髦?。在?nèi)部軟件框架中,以常見的計(jì)算機(jī)視覺為例,視覺程序一般位于Windows系統(tǒng)中的非實(shí)時(shí)用戶模式中,進(jìn)行代碼分析和算法處理;而PLC工藝流程控制則多位于實(shí)時(shí)內(nèi)核模式之中。由于非實(shí)時(shí)用戶模式的任務(wù)執(zhí)行機(jī)制采用的是優(yōu)先級(jí)別,因此當(dāng)CPU的負(fù)荷過高、內(nèi)存過大、處理流程過多時(shí),就可能會(huì)出現(xiàn)卡頓的現(xiàn)象,使得在非實(shí)時(shí)用戶模式下的機(jī)器視覺在完成同一檢測任務(wù)時(shí)最終所需要花費(fèi)的時(shí)間卻不一樣,導(dǎo)致減慢生產(chǎn)節(jié)拍,影響生產(chǎn)效率。
為了解決這一難題,針對(duì)機(jī)器視覺應(yīng)用,倍福開發(fā)的TwinCAT Vision機(jī)器視覺解決方案將視覺技術(shù)集成在其TwinCAT統(tǒng)一的通用化控制技術(shù)平臺(tái)上,其中的圖像處理功能被添加到整合了PLC、運(yùn)動(dòng)控制、機(jī)器人、高端測量技術(shù)、物聯(lián)網(wǎng)及HMI的通用控制平臺(tái)TwinCAT軟件之中,通過這個(gè)統(tǒng)一的軟件平臺(tái),來完成工廠所有的控制任務(wù)。
與傳統(tǒng)的視覺應(yīng)用方式相比,倍福TwinCATV ision同樣在一臺(tái)控制器上,除了集成運(yùn)動(dòng)控制、I/O控制、PLC控制之外,外部工業(yè)相機(jī)被直接接入控制器中的機(jī)器視覺模塊中,在內(nèi)部軟件架構(gòu)上,TwinCAT Vision將采集的圖像信號(hào)通過GigE相機(jī)驅(qū)動(dòng),傳遞到實(shí)時(shí)內(nèi)核模式下的PLC機(jī)器視覺與工藝流程控制系統(tǒng)中,以“時(shí)間片”的方式進(jìn)行精準(zhǔn)運(yùn)行,與圖像處理相關(guān)的所有控制功能都可以在運(yùn)行時(shí)系統(tǒng)中精確實(shí)時(shí)同步,從而消除了延遲,實(shí)時(shí)執(zhí)行圖像處理算法。這種方案的優(yōu)勢是,一臺(tái)控制器完成所有的控制任務(wù),降低硬件成本,簡化系統(tǒng);實(shí)時(shí)系統(tǒng)運(yùn)行視覺任務(wù),保證每一次執(zhí)行響應(yīng)的時(shí)間足夠穩(wěn)定,加快生產(chǎn)節(jié)拍,提高工廠產(chǎn)能;任務(wù)內(nèi)存間共享數(shù)據(jù),多任務(wù)配合(如視覺+運(yùn)動(dòng)控制、機(jī)器臂/人等)更高效方便;在倍福TwinCAT平臺(tái)上,只需要用到基于IEC編程語言(ST/LD等),且可延續(xù)原先PLC編程技巧和習(xí)慣,縮短了開發(fā)周期,降低了人力成本,同時(shí)還可運(yùn)用倍福已經(jīng)集成好的視覺功能塊進(jìn)行代碼開發(fā),為技術(shù)人員帶來了便利。
底層芯片技術(shù)、算法庫是核心
工業(yè)生產(chǎn)對(duì)機(jī)器視覺的運(yùn)算速度和準(zhǔn)確度要求較高,這些需要強(qiáng)大的底層技術(shù)來做支撐,例如CPU中央處理器芯片的性能、FPGA器件并行處理多級(jí)流水線的特點(diǎn),以及專業(yè)視覺算法庫等等,以提高機(jī)器視覺系統(tǒng)的數(shù)據(jù)吞吐能力和數(shù)據(jù)處理能力。
今年5月,無錫信捷與英特爾攜手,發(fā)布了全新基于英特爾芯片的IoT工業(yè)控制器、智能相機(jī)等多款重磅產(chǎn)品?;谟⑻貭?4nm Apollo Lake&Kaby Lake平臺(tái),信捷推出的V200|V300系列IoT工業(yè)控制器具有強(qiáng)大的計(jì)算性能和優(yōu)化的圖像處理能力,提供多種配置選擇。S200系列智能相機(jī)基于英特爾Apollo Lake平臺(tái),采用IA+FPGA架構(gòu),集圖像采集、圖像處理和外部通訊于一體,支持130萬至1200萬像素,與傳統(tǒng)方案相比,S200系列智能相機(jī)滿載時(shí)最高表面溫度低于50℃,為智能制造提供了安全保證。另外,新的X-SIGHT VISIONSTUDIO軟件平臺(tái)具備超過2000個(gè)處理算子,包含常用的檢測、定位、標(biāo)定、通訊、字符讀碼等,無需編寫代碼,拖拽組件即可完成開發(fā),支持多線程多任務(wù)處理,并提供豐富的HMI交互模塊。據(jù)悉,除了此次發(fā)布會(huì)推出的產(chǎn)品和方案以外,信捷和英特爾在噴涂、打磨、人工智能識(shí)別、分揀等工業(yè)制造領(lǐng)域?qū)⒄归_全方位的合作交流。
而基于FPGA器件進(jìn)行機(jī)器視覺的開發(fā),可以通過編程方便地修改其內(nèi)部的邏輯功能,從而實(shí)現(xiàn)高速的硬件計(jì)算和并行運(yùn)算,是高性能嵌入式視覺系統(tǒng)的一種較為方便的解決方案,且功耗也較低,是未來計(jì)算機(jī)視覺系統(tǒng)的一個(gè)重要發(fā)展方向。
在視覺軟件方面,Vision Pro是康耐視開發(fā)的一款優(yōu)秀的計(jì)算機(jī)式視覺軟件,特點(diǎn)是簡單易用,它的Quick Build快速原型設(shè)計(jì)環(huán)境將高級(jí)編程的先進(jìn)性、靈活性與易于開發(fā)性相結(jié)合,協(xié)助制造廠商縮短開發(fā)周期時(shí)間。借助VisionPro,用戶可以訪問功能較強(qiáng)的圖案匹配、斑點(diǎn)、卡尺、線位置、圖像過濾、OCR和OCV視覺工具庫,以及一維條碼和二維碼讀取,以執(zhí)行各種功能,如檢測、識(shí)別和測量等,VisionPro軟件可與廣泛的.NET類庫和用戶控件完全集成。此外,通過API連接VisionPro ViDi這款專為工業(yè)圖像分析設(shè)計(jì)的深度學(xué)習(xí)軟件,還能進(jìn)一步優(yōu)化為復(fù)雜檢測、元件定位、分類以及光學(xué)字符識(shí)別等應(yīng)用場景。
一體化機(jī)器視覺集成方案
瞄準(zhǔn)現(xiàn)有生產(chǎn)過程中視覺應(yīng)用的“痛點(diǎn)”,從機(jī)器控制緊密結(jié)合的軟硬件集成方案入手,貝加萊推出的集成了鏡頭、工業(yè)相機(jī)、軟件在內(nèi)的一體化視覺系統(tǒng),是另一種實(shí)現(xiàn)方式。
這種軟硬結(jié)合的一體化集成視覺系統(tǒng)解決了視覺檢測應(yīng)用中的同步性問題,首先是照明與成像的同步,對(duì)于視覺而言,照明的良好設(shè)計(jì)構(gòu)成了視覺應(yīng)用70%的成功權(quán)重,集成化視覺方案由于由同一控制器控制,使得照明的LED強(qiáng)度、頻閃和相機(jī)的對(duì)焦、曝光、成像過程在極高的速度下實(shí)現(xiàn)同步,從而保證了成像質(zhì)量;二是視覺系統(tǒng)與自動(dòng)化系統(tǒng)的同步,集成視覺方案令視覺應(yīng)用與機(jī)器工藝、控制無縫融合,同時(shí)與貝加萊自身的控制、運(yùn)動(dòng)控制、I/O模塊一起,在POWERLINK架構(gòu)下實(shí)現(xiàn)百μS級(jí)的同步,令到整體系統(tǒng)能夠達(dá)到更高的精度和速度。
另一方面,這種視覺集成方案對(duì)于現(xiàn)場集成應(yīng)用的開發(fā)者非常便利,他可以不再需要了解各種鏡頭、相機(jī)、控制器、照明、通信接口的知識(shí),僅需使用一個(gè)產(chǎn)品就可以去構(gòu)建各種視覺應(yīng)用,縮短了項(xiàng)目開發(fā)周期,大幅降低了工程時(shí)間與成本。利用貝加萊mapp技術(shù)框架提供的現(xiàn)成的軟件組件,通過較少的編程就可以輕松創(chuàng)建機(jī)器視覺應(yīng)用程序,只需要點(diǎn)擊幾下即可將智能攝像頭捕獲的圖像集成到mapp View HMI應(yīng)用程序中,攝像頭和照明參數(shù)以及觸發(fā)條件可隨時(shí)更改,使得產(chǎn)品換型和其它運(yùn)行時(shí)間調(diào)整都非常容易實(shí)施。
實(shí)際上,在各種復(fù)雜的工業(yè)生產(chǎn)場景中,照明光源尤為重要,它直接關(guān)系到采集圖像的質(zhì)量,例如圖像輪廓是否清晰、成像特征是否完美體現(xiàn)等等。為此,貝加萊的集成視覺系統(tǒng)還提供非常靈活的光源照明管理功能,包括背景光、光帶的模塊化設(shè)計(jì),可-40°至+90°電動(dòng)旋轉(zhuǎn),并且內(nèi)置了閃光控制器、支持多種顏色、大功率的快速響應(yīng),這些都可以根據(jù)現(xiàn)場應(yīng)用進(jìn)行配置,還可以實(shí)時(shí)修改曝光時(shí)間長度、角度、顏色等等,這些功能讓機(jī)器視覺應(yīng)用變得更加靈活自如。
結(jié)語
機(jī)器視覺與運(yùn)動(dòng)控制的結(jié)合,為工業(yè)自動(dòng)化產(chǎn)線的升級(jí)帶來一股新活力,也越來越多地被應(yīng)用在非接觸檢測、測量場景中,用以提高加工精度、發(fā)現(xiàn)產(chǎn)品缺陷、進(jìn)行自動(dòng)分析與決策等,因而成為了先進(jìn)制造的重要組成部分。目前來看,盡管機(jī)器視覺技術(shù)在工業(yè)自動(dòng)化行業(yè)的應(yīng)用牽涉到光學(xué)、電子、機(jī)械、工業(yè)軟件等多個(gè)不同門類的學(xué)科,技術(shù)難度仍然較大,某些特定領(lǐng)域的市場準(zhǔn)入壁壘也較高;但顯而易見的是,機(jī)器視覺與運(yùn)動(dòng)控制技術(shù)相結(jié)合,促進(jìn)了工廠產(chǎn)線自動(dòng)化水平、產(chǎn)品品質(zhì)管控、人力成本結(jié)構(gòu)等方面的優(yōu)化,進(jìn)而提升了企業(yè)的綜合競爭力。未來,融合邊緣計(jì)算與深度學(xué)習(xí)等AI技術(shù)的機(jī)器視覺系統(tǒng),將真正為機(jī)器植入“眼睛與大腦”,為邁向工業(yè)4.0時(shí)代做好準(zhǔn)備。