設(shè)備改造——上傳結(jié)果數(shù)據(jù)的技術(shù)實(shí)現(xiàn)

Mr_houzi 發(fā)布于2019-08-19 10:48 / 2940人閱讀

摘要：設(shè)備改造上傳結(jié)果數(shù)據(jù)的技術(shù)實(shí)現(xiàn)一項(xiàng)目需求及分析按照領(lǐng)導(dǎo)的要求，要改造一臺(tái)儀器，添加點(diǎn)功能，將測(cè)量數(shù)據(jù)上傳到服務(wù)器。所以選擇用提交，的通信可以多線程調(diào)度。考慮到新增的上傳功能不能影響之前的測(cè)量節(jié)拍，所以要多線程實(shí)現(xiàn)。

**設(shè)備改造——上傳結(jié)果數(shù)據(jù)的技術(shù)實(shí)現(xiàn) 一、項(xiàng)目需求及分析

按照領(lǐng)導(dǎo)的要求，要改造一臺(tái)儀器，添加點(diǎn)功能，將測(cè)量數(shù)據(jù)上傳到服務(wù)器。儀器測(cè)量節(jié)拍大概是20s，數(shù)據(jù)量目前不大，每次測(cè)量大概不到2M左右，且都是浮點(diǎn)數(shù)據(jù)和整形數(shù)據(jù)。

起初想用TCP長(zhǎng)連接實(shí)現(xiàn)的，但考慮到現(xiàn)場(chǎng)環(huán)境。典型的制造業(yè)車間，電磁環(huán)境復(fù)雜，網(wǎng)絡(luò)信號(hào)不穩(wěn)，所以不考慮TCP長(zhǎng)連接實(shí)現(xiàn)。短連接也不在考慮范圍內(nèi)，以后儀器數(shù)量多了之后頻繁的建立連接開銷也很大，服務(wù)器有可能受不了(阿里云的乞丐版)。所以選擇用restful提交，http的通信可以多線程調(diào)度。

儀器控制程序是C#開發(fā)的，所以客戶端最好是c#。服務(wù)端我想用springboot，很方便。

考慮到新增的上傳功能不能影響之前的測(cè)量節(jié)拍，所以要多線程實(shí)現(xiàn)?？上矣趾軕校幌肟紤]線程協(xié)調(diào)問題，最后選擇消息隊(duì)列實(shí)現(xiàn)。

考慮到節(jié)省流量(服務(wù)器是按流量收費(fèi)的)，文件要壓縮，C#下要實(shí)現(xiàn)文件壓縮功能。

從測(cè)量文件中讀取數(shù)據(jù)，將參數(shù)存入數(shù)據(jù)庫(kù)，測(cè)量原始數(shù)據(jù)打包放在文件服務(wù)器上。

二、整體架構(gòu)和技術(shù)方案

最后的技術(shù)方案就是C#做客戶端，java構(gòu)建服務(wù)端restful API進(jìn)行上傳

整體架構(gòu)如下圖：

使用的技術(shù)如下：

C#的Restful客戶端：RestSharp

java的Restful服務(wù)端：springboot

C#端消息隊(duì)列：NetMQ

C#端zip操作組件：DotNetZip

java端zip操作組件：Apache Commons Compress

三、服務(wù)端

服務(wù)端采用springboot的restful，POST方式，非常簡(jiǎn)單。
傳輸文件采用MultipartFile方式，因?yàn)榭蛻舳说腞esrSharp只能采用這種方式傳遞文件

@RestController
@RequestMapping(value = "upload")
public class FileRestController {
    Logger logger = LogManager.getLogger(FileRestController.class);

    @RequestMapping(value = "file", method = RequestMethod.POST)
    public
    @ResponseBody
    RestResult getZipFile(@RequestParam("file") MultipartFile file) throws IOException, URISyntaxException {
        RestResult result = new RestResult();
        if (!file.getName().isEmpty()) {
            InputStream stream = file.getInputStream();
//            String directory = FileRestController.class.getProtectionDomain().getCodeSource().getLocation().toURI().getPath();
            String directory = "/usr/local/haliang/files/";
            try {
                directory = URLDecoder.decode(directory, "utf-8");
            } catch (java.io.UnsupportedEncodingException e) {
                return null;
            }
            FileOutputStream fs = new FileOutputStream(directory + file.getOriginalFilename());
            logger.info("文件所在的目錄:   " + directory + "/files/" + file.getOriginalFilename());
            byte[] buffer = new byte[1024 * 1024];
            int bytesum = 0;
            int byteread = 0;
            while ((byteread = stream.read(buffer)) != -1) {
                bytesum += byteread;
                fs.write(buffer, 0, byteread);
                fs.flush();
            }
            fs.close();
            stream.close();
            logger.info("成功接收文件:   " + directory + file.getOriginalFilename());
        }

        return result;
    }
}

四、客戶端

客戶端架構(gòu)如下圖：

1 zeromq簡(jiǎn)介

NetMQ 是 ZeroMQ的C#移植版本。

1.1：zeromq是什么

NetMQ （ZeroMQ to .Net），ZMQ號(hào)稱史上最快中間件。
它對(duì)socket通信進(jìn)行了封裝，使得我們不需要寫socket函數(shù)調(diào)用就能完成復(fù)雜的網(wǎng)絡(luò)通信。
它跟Socket的區(qū)別是：普通的socket是端到端的（1:1的關(guān)系），而ZMQ卻是可以N:M的關(guān)系，人們對(duì)BSD套接字的了解較多的是點(diǎn)對(duì)點(diǎn)的連接，點(diǎn)對(duì)點(diǎn)連接需要顯式地建立連接、銷毀連接、選擇協(xié)議（TCP/UDP）和處理錯(cuò)誤等，而ZMQ屏蔽了這些細(xì)節(jié)，讓你的網(wǎng)絡(luò)編程更為簡(jiǎn)單。
它是一個(gè)消息處理隊(duì)列庫(kù)，可在多個(gè)線程、內(nèi)核和主機(jī)盒之間彈性伸縮。和一般意義上的消息隊(duì)列產(chǎn)品不同的是，它沒有消息隊(duì)列服務(wù)器，而更像是一個(gè)網(wǎng)絡(luò)通信庫(kù)。從網(wǎng)絡(luò)通信的角度看，它處于會(huì)話層之上，應(yīng)用層之下，屬于傳輸層。

1.2：zeromq的消息模型

zeromq將消息通信分為4種模型，分別是一對(duì)一結(jié)對(duì)模型（Exclusive-Pair）、請(qǐng)求回應(yīng)模型（Request-Reply）、發(fā)布訂閱模型（Publish-Subscribe）、推拉模型（Push-Pull）。這4種模型總結(jié)出了通用的網(wǎng)絡(luò)通信模型，在實(shí)際中可以根據(jù)應(yīng)用需要，組合其中的2種或多種模型來(lái)形成自己的解決方案。

1.2.1 一對(duì)一結(jié)對(duì)模型 Exclusive-Pair

最簡(jiǎn)單的1:1消息通信模型，用來(lái)支持傳統(tǒng)的 TCP socket模型,主要用于進(jìn)程內(nèi)部線程間通信。可以認(rèn)為是一個(gè)TCP Connection，但是TCP Server只能接受一個(gè)連接。采用了lock free實(shí)現(xiàn)，速度很快。數(shù)據(jù)可以雙向流動(dòng)，這點(diǎn)不同于后面的請(qǐng)求響應(yīng)模型。(不推薦使用，沒有例子）

1.2.2 請(qǐng)求回應(yīng)模型 Request-Reply

由請(qǐng)求端發(fā)起請(qǐng)求，然后等待回應(yīng)端應(yīng)答。一個(gè)請(qǐng)求必須對(duì)應(yīng)一個(gè)回應(yīng)，從請(qǐng)求端的角度來(lái)看是發(fā)-收配對(duì)，從回應(yīng)端的角度是收-發(fā)對(duì)。跟一對(duì)一結(jié)對(duì)模型的區(qū)別在于請(qǐng)求端可以是1~N個(gè)。
請(qǐng)求端和回應(yīng)端都可以是1：N的模型。通常把1認(rèn)為是server,N認(rèn)為是Client。ZeroMQ可以很好的支持路由功能（實(shí)現(xiàn)路由功能的組件叫作Device),把1：N擴(kuò)展為N:M(只需要加入若干路由節(jié)點(diǎn)）。從這個(gè)模型看，更底層的端點(diǎn)地址是對(duì)上層隱藏的。每個(gè)請(qǐng)求都隱含有回應(yīng)地址，而應(yīng)用則不關(guān)心它。通常把該模型主要用于遠(yuǎn)程調(diào)用及任務(wù)分配等。
(NetMQ請(qǐng)求響應(yīng)C#調(diào)用案例)

1.2.3 發(fā)布訂閱模型 Publisher-Subscriber(本項(xiàng)目采用的模型)

發(fā)布端單向分發(fā)數(shù)據(jù)，且不關(guān)心是否把全部信息發(fā)送給訂閱端。如果發(fā)布端開始發(fā)布信息時(shí)，訂閱端尚未連接上來(lái)，則這些信息會(huì)被直接丟棄。訂閱端未連接導(dǎo)致信息丟失的問題，可以通過與請(qǐng)求回應(yīng)模型組合來(lái)解決。訂閱端只負(fù)責(zé)接收，而不能反饋，且在訂閱端消費(fèi)速度慢于發(fā)布端的情況下，會(huì)在訂閱端堆積數(shù)據(jù)。該模型主要用于數(shù)據(jù)分發(fā)。天氣預(yù)報(bào)、微博明星粉絲可以應(yīng)用這種經(jīng)典模型。 (NetMQ發(fā)布訂閱模式C#調(diào)用案例)

1.2.4 推拉模型 Push-Pull

Server端作為Push端，而Client端作為Pull端，如果有多個(gè)Client端同時(shí)連接到Server端，則Server端會(huì)在內(nèi)部做一個(gè)負(fù)載均衡，采用平均分配的算法，將所有消息均衡發(fā)布到Client端上。與發(fā)布訂閱模型相比，推拉模型在沒有消費(fèi)者的情況下，發(fā)布的消息不會(huì)被消耗掉；在消費(fèi)者能力不夠的情況下，能夠提供多消費(fèi)者并行消費(fèi)解決方案。該模型主要用于多任務(wù)并行。
(NetMQ推拉模式C#調(diào)用案例)

1.3：zeromq的優(yōu)勢(shì)

TCP：ZeroMQ基于消息，消息模式，而非字節(jié)流。

XMPP：ZeroMQ更簡(jiǎn)單、快速、更底層。Jabber可建在ZeroMQ之上。

AMQP：完成相同的工作，ZeroMQ要快100倍，而且不需要代理（規(guī)范更簡(jiǎn)潔——少278頁(yè)）

IPC：ZeroMQ可以跨多個(gè)主機(jī)盒，而非單臺(tái)機(jī)器。

CORBA：ZeroMQ不會(huì)將復(fù)雜到恐怖的消息格式強(qiáng)加于你。

RPC：ZeroMQ完全是異步的，你可以隨時(shí)增加/刪除參與者。

RFC 1149：ZeroMQ比它快多了！

29west LBM：ZeroMQ是自由軟件！

IBM低延遲：ZeroMQ是自由軟件！

Tibco：仍然是自由軟件！

2.代碼實(shí)現(xiàn) 2.1 Publisher(發(fā)布者)

一般都是發(fā)布者先啟動(dòng)，綁定監(jiān)聽端口。封裝了一個(gè)發(fā)送函數(shù)，主要是發(fā)送原先軟件生成測(cè)量文件的路徑。

public class Publisher
    {
        public int Port { get; set; }
        private PublisherSocket socket;

        /// 
        /// 構(gòu)造函數(shù)
        /// 
        /// 綁定的端口
        public Publisher(int port)
        {
            Port = port;
        }

        /// 
        /// 啟動(dòng)發(fā)布端
        /// 
        public void Start()
        {
            NetMQContext context = NetMQContext.Create();
            this.socket = context.CreatePublisherSocket();
            this.socket.Bind("tcp://127.0.0.1:" + Port);
        }

        /// 
        /// 發(fā)送數(shù)據(jù)
        /// 
        /// 
        public void Send(string result)
        {
            socket.SendFrame(result);
        }
    }

2.2 Subscriber(訂閱者)

訂閱者啟動(dòng)時(shí)候連接端口。防止線程阻塞，訂閱者是新開一個(gè)線程運(yùn)行的。

public class Subscribe
    {
        private delegate void GetDataHandler(string message);

        private event GetDataHandler onGetData;
        public int Port { get; set; }
        public string TempDirectory { get; set; }
        public bool isRunning { get; set; }
        public string domain { get; set; }

        public Subscribe(int port, string domain)
        {
            Port = port;
            this.domain = domain;
            onGetData += ProcessData;
        }

        private SubscriberSocket socket;

        public void Start()
        {
            this.isRunning = true;
            NetMQContext context = NetMQContext.Create();
            socket = context.CreateSubscriberSocket();
            socket.Connect("tcp://127.0.0.1:" + Port);
            socket.Subscribe("");
            Thread t = new Thread(new ThreadStart(StartSub));
            t.Start();
        }

        private void StartSub()
        {
            while (isRunning)
            {
                Thread.Sleep(10000);
                string result = socket.ReceiveFrameString(Encoding.UTF8);
                onGetData(result);
            }
        }

        private void ProcessData(string path)
        {
            Console.WriteLine("收到文件：" + path);
            string compressedFile = Compress.CompressFile(TempDirectory, path);
            new RestPost(domain).Post(compressedFile);
        }

3 客戶端壓縮

壓縮使用DotNetZip組件，非常簡(jiǎn)單好用。

 public class Compress
    {
        public static string CompressFile(string temp,string txtPath)
        {
            string txtFileName = System.IO.Path.GetFileNameWithoutExtension(txtPath);
            string compressedFileName = temp+"/"+txtFileName + ".zip";
            ZipFile file=new ZipFile();
            file.AddFile(txtPath,"");
            file.Save(compressedFileName);
            return compressedFileName;
        }
    }

4 客戶端上傳

使用RestSharp組件，也是非常簡(jiǎn)單。異步回調(diào)，不影響性能。

public class RestPost
    {
        public string Domain { get; set; }

        public RestPost(string domain)
        {
            Domain = domain;
        }

        public void Post(string path)
        {
            RestRequest request = new RestRequest(Method.POST);
            request.AddFile("file", path);
            RestClient client = new RestClient {BaseUrl = new Uri("http://" + Domain + "/upload/file")};
            client.ExecuteAsync(request, (response) =>
                {
                    if (response.StatusCode == HttpStatusCode.OK)
                    {
                        Console.WriteLine("上傳成功...
" + response.Content);
                    }
                    else
                    {
                        Console.WriteLine($"出錯(cuò)啦:{response.Content}");
                    }
                }
            );
        }
    }

五、總結(jié)

寫代碼之前一定要搞清楚需求，設(shè)計(jì)好架構(gòu)

注意消息隊(duì)列啟動(dòng)時(shí)候的線程問題

異步執(zhí)行

云服務(wù)器 GPU云服務(wù)器技術(shù)改造智能設(shè)備的圖像識(shí)別技術(shù) 云計(jì)算的技術(shù)實(shí)現(xiàn) 物聯(lián)網(wǎng)實(shí)現(xiàn)的技術(shù)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/76487.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

Mr_houzi

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

sparkedhost：11月促銷，首月6.5折，AMD Ryzen高性能VPS首月$4起，英特爾c

閱讀 854·2021-11-15 17:58
【普通人VS程序員】電腦還可以這樣關(guān)機(jī)，神操作，學(xué)到了學(xué)到了~（收藏起來(lái)慢慢學(xué)）

閱讀 3657·2021-11-12 10:36
虛擬云主機(jī)如何設(shè)置方法-虛擬主機(jī)和云主機(jī)改如何選擇？

閱讀 3793·2021-09-22 16:06
科技不總是冷冰冰，智能便攜打印機(jī)讓文字更有溫度!——嵌入式功能實(shí)現(xiàn)篇

閱讀 968·2021-09-10 10:50
基于 vw 單位的移動(dòng)端適配方案學(xué)習(xí)筆記

閱讀 1333·2019-08-30 11:19
畫三角形

閱讀 3317·2019-08-29 16:26
webstorm和node配合使用的一些小技巧之External tools

閱讀 941·2019-08-29 10:55
【從零入門系列-5】Spring Boot 之前端展示

閱讀 3348·2019-08-26 13:48

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

設(shè)備改造——上傳結(jié)果數(shù)據(jù)的技術(shù)實(shí)現(xiàn)

1.2.1 一對(duì)一結(jié)對(duì)模型 Exclusive-Pair

1.2.2 請(qǐng)求回應(yīng)模型 Request-Reply

1.2.3 發(fā)布訂閱模型 Publisher-Subscriber(本項(xiàng)目采用的模型)

1.2.4 推拉模型 Push-Pull

相關(guān)文章

首次揭秘！阿里無(wú)人店系統(tǒng)背后的技術(shù)

淺談物聯(lián)網(wǎng)技術(shù)

借evdev之力 Linux全局熱鍵魔改造

發(fā)表評(píng)論

0條評(píng)論

Mr_houzi

男|高級(jí)講師

TA的文章

sparkedhost：11月促銷，首月6.5折，AMD Ryzen高性能VPS首月$4起，英特爾c

【普通人VS程序員】電腦還可以這樣關(guān)機(jī)，神操作，學(xué)到了學(xué)到了~（收藏起來(lái)慢慢學(xué)）

虛擬云主機(jī)如何設(shè)置方法-虛擬主機(jī)和云主機(jī)改如何選擇？

科技不總是冷冰冰，智能便攜打印機(jī)讓文字更有溫度!——嵌入式功能實(shí)現(xiàn)篇

基于 vw 單位的移動(dòng)端適配方案學(xué)習(xí)筆記

畫三角形

webstorm和node配合使用的一些小技巧之External tools

【從零入門系列-5】Spring Boot 之前端展示

最新活動(dòng)

資訊專欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

設(shè)備改造——上傳結(jié)果數(shù)據(jù)的技術(shù)實(shí)現(xiàn)

1.2.1 一對(duì)一結(jié)對(duì)模型 Exclusive-Pair

1.2.2 請(qǐng)求回應(yīng)模型 Request-Reply

1.2.3 發(fā)布訂閱模型 Publisher-Subscriber(本項(xiàng)目采用的模型)

1.2.4 推拉模型 Push-Pull

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

男|高級(jí)講師

TA的文章

最新活動(dòng)

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！