一、視頻行業(yè)

1、視頻是一個(gè)方興未艾的大產(chǎn)業(yè)

(1)人類社會(huì)信息產(chǎn)品發(fā)展趨勢(shì)：物理文本->電子文本->圖片->音視頻

(2)音視頻行業(yè)方興未艾：優(yōu)酷&愛(ài)奇藝等、美拍&各種小視頻、視頻監(jiān)控、人臉識(shí)別&自動(dòng)駕駛

(3)科技以人為本，視頻符合人類的天然需求，必然要得到大發(fā)展。

(4)技術(shù)融合是趨勢(shì)：互聯(lián)網(wǎng)、人工智能、視頻采集和處理等技術(shù)會(huì)融合，構(gòu)成奇幻美妙的現(xiàn)代科技生活。

2、視頻行業(yè)潛在商機(jī)大、人才缺口大

(1)視頻監(jiān)控、手機(jī)拍照等“傳統(tǒng)”視頻領(lǐng)域仍有巨大發(fā)展空間

(2)自動(dòng)駕駛、人臉識(shí)別閘機(jī)、刷臉支付等，潛在商機(jī)巨大，市場(chǎng)需求尚未井噴

(3)視頻行業(yè)專業(yè)性強(qiáng)、學(xué)習(xí)周期長(zhǎng)、技術(shù)難度大，技術(shù)門檻和壁壘效應(yīng)明顯

(4)行業(yè)出現(xiàn)時(shí)間短，發(fā)展快，根本沒(méi)有相對(duì)應(yīng)的課程體系和專門學(xué)習(xí)資料，學(xué)習(xí)無(wú)處下手

(5)中國(guó)處于這一波技術(shù)革命的浪潮中心，產(chǎn)業(yè)配套最全、綜合實(shí)力最強(qiáng)、產(chǎn)品出貨量最大，所以人才需求最旺盛。但同時(shí)中國(guó)技術(shù)積累和底蘊(yùn)薄弱，高端人才嚴(yán)重匱乏。視頻行業(yè)比較牛的公司國(guó)內(nèi)的有?？低暫痛笕A，據(jù)說(shuō)華為也開始進(jìn)軍安防攝像頭領(lǐng)域了。

3、了解華為海思的HI3518E方案

(1)海思的前身是華為的半導(dǎo)體部門，主要產(chǎn)品線包括：智能手機(jī)處理器麒麟系列，視頻采集和編解碼處理器HI35XX系列，無(wú)線通信方向芯片等。

(2)早年（2013、2014年之前）視頻行業(yè)主要被TI等美國(guó)公司控制，臺(tái)灣地區(qū)發(fā)展也很快，海思進(jìn)入后憑借華為的技術(shù)和管理能力，迅速發(fā)展壯大，在高性價(jià)比消費(fèi)級(jí)視頻領(lǐng)域已經(jīng)獨(dú)霸了。

(3)海思還在不斷發(fā)展，逐步滲透汽車級(jí)（行車記錄儀、ADAS、自動(dòng)駕駛等）、運(yùn)動(dòng)級(jí)（航拍、運(yùn)動(dòng)DV等）領(lǐng)域。

(4)還有更高端的工業(yè)級(jí)（工業(yè)相機(jī)譬如缺陷檢測(cè)、機(jī)器視覺(jué)等）和軍工級(jí)等多被美歐日德等把持，等待我們?nèi)フ鞣ァ?/p>

(5)一句話：海思方案用量大、范圍廣、工資高、潛力大，不學(xué)這個(gè)學(xué)什么？
??但是目前華為被美國(guó)制裁了好幾次，海思目前的發(fā)展比較艱難，從手機(jī)芯片從原來(lái)的麒麟變成了高通驍龍就知道海思目前有多無(wú)奈了，明明有著最先進(jìn)的芯片設(shè)計(jì)技術(shù)，卻無(wú)法生產(chǎn)。不過(guò)華為今年年初在武漢已經(jīng)建廠，準(zhǔn)備進(jìn)軍芯片制造領(lǐng)域，實(shí)現(xiàn)自給自足，雖然需要的時(shí)間不會(huì)斷，但最終一定可以的，華子yyds!

二、海思方案項(xiàng)目用到的硬件平臺(tái)介紹

1、本專欄文章使用的開發(fā)板配置

(1)處理器： HI3518E
(2)內(nèi)存： 內(nèi)置64MB DDR內(nèi)存
(3)Flash: 板載16MB SPI Flash
(4)SENSOR： OV9712 + AR0130或其他
(5)有線網(wǎng)絡(luò)： 板載支持
(6)調(diào)試串口： 1路TTL串口
(7)底層調(diào)試： 預(yù)留JTAG口
(8)預(yù)留按鍵： 3個(gè)
(9)擴(kuò)展存儲(chǔ): TF卡
(10)WIFI擴(kuò)展： USB WIFI

2、處理器為什么選HI3518E

(1)HI35XX系列有很多型號(hào)，其中HI3518E是入門級(jí)最高性價(jià)比的型號(hào)，出貨量很大。

(2)不同型號(hào)的差異主要是支持視頻像素?cái)?shù)和分辨率、通道數(shù)、高端特性差異等。

(3)不同型號(hào)的相同點(diǎn)：同一套思路的海思SDK、視頻行業(yè)基礎(chǔ)概念和經(jīng)驗(yàn)、H.264編解碼算法和編程技術(shù)、RTSP/ORTP等網(wǎng)絡(luò)傳輸、P2P等外網(wǎng)視頻直播技術(shù)等。

(4)綜合比較結(jié)果：HI3518E最適合入門學(xué)習(xí)，硬件本身特性三年行業(yè)經(jīng)驗(yàn)；

三 、本專欄文章規(guī)劃和核心技術(shù)介紹

1、本專欄文章將通過(guò)我對(duì)朱有鵬老師的海思項(xiàng)目課程的學(xué)習(xí)進(jìn)行不定期更新

文章內(nèi)容劃分大致如下：

第1季：全面認(rèn)識(shí)海思SDK及嵌入式層開發(fā)第2季：從官方例程深度學(xué)習(xí)海思SDK及API第3季：ORTP庫(kù)局域網(wǎng)圖傳和VLC實(shí)時(shí)預(yù)覽第4季：圖像sensor的特性和驅(qū)動(dòng)解析第5季：海思平臺(tái)上USB WIFI的移植與局域網(wǎng)無(wú)線調(diào)試和視頻流預(yù)覽第6季：RTSP協(xié)議詳解與實(shí)時(shí)流視頻預(yù)覽第7季：視頻打包為MP4格式并存儲(chǔ)到TF卡的實(shí)現(xiàn)第8季：海思平臺(tái)OSD的實(shí)現(xiàn)第9季：圖像的IQ調(diào)試第10季：P2P方式實(shí)現(xiàn)視頻遠(yuǎn)程直播第11季：基于opencv的圖像識(shí)別開發(fā)

2、詳細(xì)介紹

第1季：全面認(rèn)識(shí)海思SDK及嵌入式層開發(fā)	本季首先介紹開發(fā)板整個(gè)硬件配置和測(cè)試方法，然后圍繞海思官方SDK開發(fā)包講解各種官方資料的用法，最后用大量時(shí)間講解如何在ubuntu中搭建海思視頻方案的開發(fā)環(huán)境，如uboot的配置和編譯、燒寫；kernel的配置和編譯、rootfs的制作，tftp方式下載燒寫并啟動(dòng)linux系統(tǒng)，rootfs中各種配置文件的含義、ko文件的加載、mpp庫(kù)的部署、sample程序的編譯和運(yùn)行等。

第2季：從官方例程深度學(xué)習(xí)海思SDK及API	本季課程詳細(xì)分析海思SDK中的sample程序的實(shí)現(xiàn)，并順帶講解視頻采集中的很多基本概念，視頻sensor的工作原理、像素和視頻分辨率的關(guān)系、rawRGB和RGB888的換算方式等，本季課程的重點(diǎn)內(nèi)容是海思SDK中API文檔的帶讀，學(xué)習(xí)海思方案重點(diǎn)就在于學(xué)習(xí)這套API，這是海思方案視頻采集和H.264編碼的關(guān)鍵所在，因此本季課程非常關(guān)鍵，學(xué)完本季課程才表示對(duì)海思方案開發(fā)入門了。

第3季：ORTP庫(kù)局域網(wǎng)圖傳和VLC實(shí)時(shí)預(yù)覽	本季課程通過(guò)移植ORTP庫(kù)并調(diào)用ORTP庫(kù)函數(shù)來(lái)實(shí)現(xiàn)H.264裸流數(shù)據(jù)的網(wǎng)絡(luò)傳輸，并且在Windows中安裝VLC播放器，并在VLC中通過(guò)配置文件的方式來(lái)解析ORTP發(fā)送的裸流實(shí)現(xiàn)視頻實(shí)時(shí)預(yù)覽。本季課程的核心是ORTP協(xié)議的講解，ORTP庫(kù)的移植、部署和調(diào)用，VLC軟件的用法講解和配置文件講解，Wireshark網(wǎng)絡(luò)抓包工具的用法講解，實(shí)時(shí)視頻流傳輸和解析的體驗(yàn)和編程實(shí)現(xiàn)。

第4季：圖像sensor的特性和驅(qū)動(dòng)解析	本季課程以配置的2款圖像sensor為案例來(lái)講解圖像sensor的關(guān)鍵特性和相關(guān)數(shù)據(jù)結(jié)構(gòu)，I2C控制接口和圖像數(shù)據(jù)接口，海思SDK中sensor的驅(qū)動(dòng)框架和編譯、部署、加載，sensor調(diào)試的一般方法和步驟等。

第5季：海思平臺(tái)上USB WIFI的移植與局域網(wǎng)無(wú)線調(diào)試和視頻流預(yù)覽	本季課程在開發(fā)板上移植USB WIFI模塊（套裝附帶的MT7601模塊），工作在ap模式下，并且用電腦通過(guò)WIFI去連接開發(fā)板實(shí)現(xiàn)主機(jī)和開發(fā)板的無(wú)線網(wǎng)絡(luò)局域網(wǎng)通信，這樣就可以用WIFI網(wǎng)絡(luò)取代板載ethernet有線網(wǎng)絡(luò)方式來(lái)進(jìn)行調(diào)試和局域網(wǎng)視頻預(yù)覽。現(xiàn)在很多的視頻攝像頭產(chǎn)品都要求支持無(wú)線網(wǎng)絡(luò)連接功能，本季課程主要是針對(duì)這方面開發(fā)技術(shù)講解的。

第6季：RTSP協(xié)議詳解與實(shí)時(shí)流視頻預(yù)覽	本季詳細(xì)講解RTSP協(xié)議的技術(shù)細(xì)節(jié)，并且編程實(shí)現(xiàn)基于RTSP協(xié)議的實(shí)時(shí)視頻流傳輸，在局域網(wǎng)內(nèi)瀏覽實(shí)時(shí)監(jiān)控畫面。RTSP是實(shí)時(shí)視頻網(wǎng)絡(luò)傳輸最主流的實(shí)現(xiàn)方式，低延時(shí)高清晰度的RTSP視頻流傳輸是網(wǎng)絡(luò)直播、在線會(huì)議系統(tǒng)等行業(yè)的核心技術(shù)，本季課程會(huì)詳細(xì)講解相關(guān)概念、編程實(shí)戰(zhàn)和調(diào)試技巧等。

第7季：視頻打包為MP4格式并存儲(chǔ)到TF卡的實(shí)現(xiàn)	本季實(shí)現(xiàn)將編碼后的H.264視頻流打包為MP4格式的錄像，并存儲(chǔ)到板載TF卡中。這個(gè)過(guò)程涉及到的一個(gè)主要技術(shù)是H.264的視頻幀格式，I幀、P幀等概念，另一個(gè)主要技術(shù)是MP4格式的文件頭、封包技術(shù)、MP4打包庫(kù)的移植部署和調(diào)用等，最后是linux下TF卡的存儲(chǔ)和文件管理（使用了FAT32文件系統(tǒng)）。編碼后圖像打包成MP4存儲(chǔ)的功能在行車記錄儀、監(jiān)控?cái)z像頭等產(chǎn)品上均是剛需功能，尤其是行車記錄儀，學(xué)好該季課程去做這類產(chǎn)品開發(fā)有非常大優(yōu)勢(shì)。

第8季：海思平臺(tái)OSD的實(shí)現(xiàn)	OSD（on screen display）功能應(yīng)用很廣泛，譬如監(jiān)控視頻中的實(shí)時(shí)時(shí)間顯示、電視轉(zhuǎn)播中的臺(tái)標(biāo)和字幕等。本季講解如何在海思平臺(tái)上實(shí)現(xiàn)圖像OSD，核心是海思SDK中提供的OSD功能相關(guān)的一些API的使用和調(diào)試技巧。

第9季：圖像的IQ調(diào)試	sensor直接采集的圖像都有各種不理想性，因此在編碼前都會(huì)經(jīng)過(guò)一個(gè)軟件方式處理，這個(gè)處理就叫ISP，圖像的IQ調(diào)試就是研究這些處理算法和實(shí)現(xiàn)的。常見(jiàn)的IQ調(diào)試技術(shù)如：線性糾正、噪聲去除、黑電平校正、壞點(diǎn)去除、顏色插補(bǔ)、Gamma 校正、RGB2YUV 轉(zhuǎn)換、主動(dòng)白平衡處理、主動(dòng)曝光控制、AE評(píng)估等。

第10季：P2P方式實(shí)現(xiàn)視頻遠(yuǎn)程直播	本季課程主要講解如何實(shí)現(xiàn)視頻的外網(wǎng)傳輸，核心技術(shù)是P2P內(nèi)網(wǎng)穿透的實(shí)現(xiàn)和視頻轉(zhuǎn)發(fā)服務(wù)器的架構(gòu)。雖然也可以自己搭建視頻服務(wù)器，但是實(shí)際開發(fā)產(chǎn)品時(shí)經(jīng)常采用的是一些第三方的視頻服務(wù)，本季課程中兩種開發(fā)方式都會(huì)涉及到，并力求讓大家掌握其實(shí)現(xiàn)原理和編程技術(shù)、調(diào)試技術(shù)。

第11季：基于opencv的圖像識(shí)別開發(fā)	本季課程屬于擴(kuò)展開發(fā)，講解如何在主機(jī)ubuntu中搭建和部署opencv的環(huán)境，將HI3518E采集并編碼后的視頻傳輸?shù)街鳈C(jī)中并且使用opencv來(lái)進(jìn)行圖像識(shí)別和處理。近年來(lái)隨著人工智能技術(shù)的火爆，圖像識(shí)別和視頻識(shí)別技術(shù)越來(lái)越被看重，人臉識(shí)別閘機(jī)、刷臉支付、自動(dòng)駕駛汽車、ADAS系統(tǒng)等應(yīng)用場(chǎng)景均有賴于視頻識(shí)別的技術(shù)突破。本季課程算是拋磚引玉，向大家引入圖像識(shí)別技術(shù)的開發(fā)基礎(chǔ)、環(huán)境搭建、基本算法原理、簡(jiǎn)單應(yīng)用案例，希望幫助大家進(jìn)入該技術(shù)領(lǐng)域。

注：本資料大部分由朱老師物聯(lián)網(wǎng)大講堂課程筆記整理而來(lái)并且引用了部分他人博客的內(nèi)容，如有侵權(quán)，聯(lián)系刪除！水平有限，如有錯(cuò)誤，歡迎各位在評(píng)論區(qū)交流。