??利用程序控制相機(jī)采集圖片可以實(shí)現(xiàn)采集任務(wù)的自動(dòng)化，極大地提高實(shí)驗(yàn)效率。本文將系統(tǒng)性地介紹如何掌握這一技能。從環(huán)境配置 -> GUI界面使用 -> 腳本編寫(xiě) -> 項(xiàng)目實(shí)踐幾大方面進(jìn)行介紹。PCO有三種可支持的matlab控制方法——adaptor、flim package和sdk，本文主要介紹方便實(shí)用的adaptor方法(特別感謝課題組袁海明同學(xué)的幫助)。本文所介紹的邏輯思路也適用于其它相機(jī)的控制(不限于PCO相機(jī))。

1. 預(yù)備資源和知識(shí)點(diǎn)

• matlab資源：微信“軟件管家” -> 回復(fù)“matlab” -> 按指引安裝，po’jie版資源建議僅供個(gè)人學(xué)習(xí)使用；
• PCO相機(jī)控制軟件： https://www.pco.cn/software/camera-control-software/pcocamware/
• PCO官網(wǎng)提供的matlab配套包及說(shuō)明書(shū): https://www.pco.cn/software/third-party-software/matlab/
• 有一臺(tái)PCO相機(jī)或其他能連接電腦的相機(jī)；

為了檢驗(yàn)?zāi)闶欠裾莆樟诉@一技能，可以通過(guò)解決以下問(wèn)題來(lái)檢驗(yàn)：

• 配置好環(huán)境并通過(guò)image acquisition工具箱預(yù)覽；
• 利用matlab實(shí)現(xiàn)PCO相機(jī)的自動(dòng)曝光；
• 基于某一模型實(shí)時(shí)地采集并處理圖像。

該技巧的特點(diǎn)：

• 僅需要USB連接電腦即可，不需要額外的圖像采集卡；
• 方便快捷地的實(shí)現(xiàn)控制；

備注：如果已經(jīng)熟練配置環(huán)境，可以直接跳過(guò)第二節(jié)。
?

2. 環(huán)境配置

??正常工作之前，需要配置好matlab控制PCO所需要的環(huán)境，其基本流程如下：

環(huán)境配置很簡(jiǎn)單，下面給出了具體配置時(shí)的中間過(guò)程，如果能理解其意思可以迅速跳過(guò)。

2.1 安裝PCO相機(jī)控制軟件

??下載并安裝預(yù)備資源中的PCO相機(jī)控制軟件camware。首先確保能在PCO相機(jī)控制軟件下正常采集到圖片：

2.2安裝PCO的matlab配套包

??測(cè)試完相機(jī)控制軟件，就說(shuō)明相機(jī)與電腦之前的串口通信是正常的。接下來(lái)下載并安裝預(yù)備資源中的PCO的matlab配套包。安裝之后會(huì)解壓matlab控制相機(jī)所需要的文件。安裝后的文件如下：

??該安裝包支持三種matlab控制相機(jī)的方式，本文主要介紹adaptor的方式。

2.3 配置matlab環(huán)境

??打開(kāi)上一節(jié)安裝的adaptor文件夾，其中“readme.txt”介紹了配置流程。

整理一下需要配置的內(nèi)容包括：

• 安裝附加工具包“MinGW-w64”編譯器；
• 安裝附加工具包“image acquisition toolbox”；
• 設(shè)置adaptor文件夾為matlab的當(dāng)前路徑；
• 在matlab命令窗口輸入“pco_imaqregister”，它會(huì)自動(dòng)安裝所需的dll文件；
• 在命令行輸入“imaqhwinfo”來(lái)檢驗(yàn)環(huán)境是否配置成功；

(1) 安裝附加工具包“MinGW-w64”編譯器
流程：點(diǎn)擊matlab菜單欄主頁(yè) -> 點(diǎn)擊附加功能 -> 搜索安裝“MinGW-w64”(可能需要登錄mathwork的賬戶(hù)，沒(méi)有注冊(cè)一個(gè)即可)；

(2) 安裝附加工具包“image acquisition toolbox”
流程：點(diǎn)擊matlab菜單欄主頁(yè) -> 點(diǎn)擊附加功能 -> 搜索安裝“image acquisition toolbox”；

(3) 在matlab命令窗口輸入“pco_imaqregister”，它會(huì)自動(dòng)安裝所需的dll文件
設(shè)置adaptor文件夾作為當(dāng)前matlab的路徑，然后在命令行窗口運(yùn)行“pco_imaqregister”；

(4) 在命令行輸入“imaqhwinfo”來(lái)檢驗(yàn)環(huán)境是否配置成功
如果運(yùn)行上述指令后，彈出的結(jié)果中InstalledAdaptors:有內(nèi)容，則說(shuō)明環(huán)境配置成功，接下來(lái)就可以實(shí)現(xiàn)matlab控制PCO了。

?

3. matlab控制相機(jī)的GUI介紹(★★★)

??在環(huán)境配置成功后，打開(kāi)matlab菜單欄app中“image acquisition”工具包，會(huì)彈出matlab的相機(jī)控制窗口。熟練掌握這一技能是后面靈活編寫(xiě)代碼的關(guān)鍵，往后需要設(shè)置的指令都可以直接從GUI的操作中查找。如下圖所示，筆者已對(duì)關(guān)鍵信息做出標(biāo)注。

特點(diǎn)：

• 通過(guò)GUI可以檢測(cè)matlab環(huán)境是否配置成功；
• 通過(guò)GUI的相機(jī)屬性設(shè)置和右下角的命令指示窗口，可以獲取屬性設(shè)置的代碼指令；
• 指令包括設(shè)置曝光時(shí)間、每次采集的數(shù)量、是否添加時(shí)間戳、是否增加delay、觸發(fā)模式、快門(mén)模式等等；
  ?

4. 用腳本的形式實(shí)現(xiàn)相機(jī)控制(★★★)

??在熟練掌握GUI操作的基礎(chǔ)上，我們就可以根據(jù)指令提示編寫(xiě)自己的相機(jī)控制腳本了。其基本流程主要如下：
根據(jù)上述流程和GUI的指令提示，我們可以編寫(xiě)出如下最簡(jiǎn)單的采集程序：

% control camera by matlab codeclc,clearclose all% get sourcevid = videoinput("pcocameraadaptor_r2020a", 0, "USB 3.0");src = getselectedsource(vid);% initialize camera propertiesvid.FramesPerTrigger = 1;   % setting the collecting number in each triggersrc.E1ExposureTime_unit = "us";  src.E2ExposureTime = 10000;% collecting imagesstart(vid);while get(vid,"FramesAvailable")<vid.FramesPerTriggerendimg = getdata(vid);% save and display imagemkdir("./images");imwrite(img,"./images/test.tif");imshow(img);% close viddelete(vid);

程序的運(yùn)行結(jié)果如下，可以靈活便捷地采集到不同的圖像：

??在這個(gè)程序中，采集指令其實(shí)只有中間的三行代碼，其余部分都是屬性設(shè)置或者保存顯示文件。因此，在這個(gè)框架下，我們可以非常靈活地編寫(xiě)自己的采集程序，并且可以增加圖像處理算法到程序中。下一節(jié)將介紹幾種應(yīng)用此框架的編程實(shí)例。
?

5. 實(shí)踐項(xiàng)目(★★★★★)

5.1 基于matlab程序?qū)崿F(xiàn)最大的動(dòng)態(tài)范圍利用率

??本項(xiàng)目旨在通過(guò)算法實(shí)現(xiàn)相機(jī)的自動(dòng)曝光，從而適應(yīng)不同亮度的拍照環(huán)境，特別是對(duì)于亮度變化迅速的應(yīng)用場(chǎng)景。以調(diào)節(jié)鏡頭的光圈作為場(chǎng)景亮暗的變化模擬，本項(xiàng)目程序的運(yùn)行結(jié)果如下。在改變光圈大小后(模擬場(chǎng)景亮度變化)，程序能夠自動(dòng)地調(diào)整曝光時(shí)間，使得采集圖像的強(qiáng)度分布充滿(mǎn)相機(jī)整個(gè)動(dòng)態(tài)范圍，從而實(shí)現(xiàn)最大動(dòng)態(tài)范圍的利用率。

大光圈的結(jié)果：
小光圈的結(jié)果：

該自動(dòng)曝光模型具有以下特點(diǎn)：

• 實(shí)現(xiàn)百毫秒量級(jí)自動(dòng)曝光的調(diào)整；
• 面對(duì)極大程度地過(guò)曝，程序也能快速地調(diào)整到合適的曝光時(shí)間；
• 實(shí)現(xiàn)了最大動(dòng)態(tài)范圍的利用率，并可以通過(guò)調(diào)整模型參數(shù)實(shí)現(xiàn)不同程度的自適應(yīng)。

5.1.1 最大化利用率的模型

??問(wèn)題核心：如果相機(jī)曝光時(shí)間不合適，可能會(huì)造成圖像過(guò)暗或者過(guò)曝，傳統(tǒng)方法是人工調(diào)試，其主要缺點(diǎn)就是速度慢。所以核心問(wèn)題就是如何找到合適的曝光時(shí)間，并且能同時(shí)解決過(guò)暗或者過(guò)曝的情況。

??模型思路：

按照偽代碼的思路，其程序?qū)崿F(xiàn)方法如下：

% 編寫(xiě)程序?qū)崿F(xiàn)PCO相機(jī)自動(dòng)曝光% 流程：設(shè)置一個(gè)初始曝光時(shí)間10ms -> 采集一張圖片 -> 計(jì)算前2%數(shù)值的均值V -> %       e_t=6553/V*e_t -> 重新采集圖像 -> 計(jì)算前2%數(shù)值的均值V ->e_t=65535/V*e_t；clc, clearclose all% get sourcevid = videoinput("pcocameraadaptor_r2020a",0,"USB 3.0");src = getselectedsource(vid);% initializationvid.FramesPerTrigger = 1;exposure_time = 10000;   src.E1ExposureTime_unit = "us";src.E2ExposureTime = exposure_time;fprintf("測(cè)試程序?qū)崿F(xiàn)自動(dòng)曝光/n");% capture imagestart(vid);while get(vid,"FramesAvailable")<vid.FramesPerTriggerend     % ensure that vid had capture enough imagesimg1 = getdata(vid);% upgrate the first stage exposure_time[A1,~] = sort(img1(:),"descend");V1 = mean(A1(1:round(numel(A1)/50)));exposure_time1 = 6553./V1.*exposure_time;src.E2ExposureTime = exposure_time1;% disp(["upgrade the first stage exposure_time is: ",...%     num2str(exposure_time1/1000),"ms"]);pause(0.001);start(vid);while get(vid,"FramesAvailable")<vid.FramesPerTriggerend     % ensure that vid had capture enough imagesimg2 = getdata(vid);% upgrate the second stage exposure_time[A2,~] = sort(img2(:),"descend");V2 = mean(A2(1:round(numel(A2)/50)));exposure_time = 65535./V2.*exposure_time1;src.E2ExposureTime = exposure_time;disp(["upgrade the final exposure_time is: ",...    num2str(exposure_time/1000),"ms"]);pause(0.001);% capture the needing imagesstart(vid);while get(vid,"FramesAvailable")<vid.FramesPerTriggerend     % ensure that vid had capture enough imagesimg = getdata(vid);figure(1),set(gcf,"Units","Pixel","position",[934 238 985 409]);subplot(121), imshow(img);subplot(122), imhist(img);pause(0.001);% close viddelete(vid)

模型中計(jì)算前1%的數(shù)值也是可以的，只是其曝光程度有微小的差別。
?

5.2 基于matlab程序?qū)崟r(shí)演示模型對(duì)采集圖像的處理結(jié)果

??本項(xiàng)目主要演示如何將圖像處理算法增加到采集過(guò)程中，從而實(shí)現(xiàn)實(shí)時(shí)的處理圖像。以圖像的熱力估計(jì)模型(僅道具，非真實(shí))為例，其運(yùn)行結(jié)果為：

如圖，左邊為相機(jī)實(shí)時(shí)采集到的圖像，右邊為經(jīng)過(guò)模型處理后實(shí)時(shí)顯示的結(jié)果。
程序?qū)崿F(xiàn)：

% control camera by matlab codeclc,clearclose all% get sourcevid = videoinput("pcocameraadaptor_r2020a", 0, "USB 3.0");src = getselectedsource(vid);% initialize camera propertiesvid.FramesPerTrigger = 1;   % setting the collecting number in each triggersrc.E1ExposureTime_unit = "us";  src.E2ExposureTime = 15000;% collecting imagesn = 0;while n<100    n = n+1;    start(vid);    while get(vid,"FramesAvailable")<vid.FramesPerTrigger    end    img = im2double(getdata(vid));    img_gray = im2uint8(img);    img_tmp = repmat(img_gray,1,1,3);    img_deal = label2rgb(gray2ind(img_gray, 255), jet(255));    figure(1), imshow([img_tmp img_deal]);    pause(0.001);end% close viddelete(vid);

6. 總結(jié)

??本文系統(tǒng)性地介紹了如何掌握matlab控制PCO相機(jī)這一技能，從環(huán)境配置 -> GUI操作介紹 -> 腳本編寫(xiě) -> 實(shí)例演示，相信掌握這項(xiàng)技能的你們一定能實(shí)驗(yàn)做得更順利，哈哈哈~
??在筆者掌握這項(xiàng)技能之后，發(fā)現(xiàn)其用處很大，所以專(zhuān)門(mén)為它寫(xiě)了這篇指南，也感謝課題組師弟師妹幫忙準(zhǔn)備了素材(*￣︶￣)。
??歡迎廣大讀者們批評(píng)指正，學(xué)習(xí)交流，加油！