摘要：描述最近使用實(shí)現(xiàn)了一個(gè)遠(yuǎn)程桌面監(jiān)控的應(yīng)用，分為服務(wù)端和客戶端，客戶端可以實(shí)時(shí)監(jiān)控服務(wù)端的桌面，并且可以通過鼠標(biāo)和鍵盤來控制服務(wù)端的桌面。接下來我們要實(shí)現(xiàn)遠(yuǎn)程控制，也就是監(jiān)聽事件，傳遞事件，執(zhí)行事件這幾部分。

最近使用node實(shí)現(xiàn)了一個(gè)遠(yuǎn)程桌面監(jiān)控的應(yīng)用，分為服務(wù)端和客戶端，客戶端可以實(shí)時(shí)監(jiān)控服務(wù)端的桌面，并且可以通過鼠標(biāo)和鍵盤來控制服務(wù)端的桌面。

這里因?yàn)槲沂怯玫耐慌_(tái)電腦，所以監(jiān)控畫面是這樣的，當(dāng)然使用兩臺(tái)電腦一個(gè)跑客戶端，一個(gè)跑服務(wù)端才有意義。

其實(shí)這個(gè)應(yīng)用的功能主要分為兩部分，一是實(shí)現(xiàn)監(jiān)控，即在客戶端可以看到服務(wù)端的桌面，這部分功能是通過定時(shí)截圖來實(shí)現(xiàn)的，比如服務(wù)端一秒截幾次圖，然后通過socketio發(fā)送到客戶端，客戶端通過改變img的src來實(shí)現(xiàn)一幀幀的顯示最新的圖片，這樣就能看到動(dòng)態(tài)的桌面了。監(jiān)控就是這樣實(shí)現(xiàn)的。

另一個(gè)功能是控制，即客戶端對(duì)監(jiān)控畫面的操作，包括鼠標(biāo)和鍵盤的操作都可以在服務(wù)端的桌面真正的生效，這部分功能的實(shí)現(xiàn)是在electron的應(yīng)用中監(jiān)聽了所有的鼠標(biāo)和鍵盤事件，比如keydown、keyup、keypress，mousedown、mouseup、mousemove、click等，然后通過socketio把事件傳遞到服務(wù)端，服務(wù)端通過 robot-js來執(zhí)行不同的事件，這樣就能使得客戶端的事件在服務(wù)端觸發(fā)了。

原理講完，我們來具體實(shí)現(xiàn)一下（源碼鏈接在這）。

首先，服務(wù)端和客戶端分別引入socket.io和socket.io-client, 分別初始化

服務(wù)端：

const app = new Koa();
const server = http.createServer(app.callback());
createSocketIO(server);

app.use((ctx): void => {
    ctx.body = "please connect use socket";
});

server.listen(port, (): void => {
    console.log("server started at http://localhost:" + port);
});

//createSocketIO
const io = socketIO(server, {
        pingInterval: 10000,
        pingTimeout: 5000,
        cookie: false
    });

io.on("connect", (socket): void => {
    socket.emit("msg", "connected");
}

客戶端：

var socket = this.socket = io("http://" + this.ip + ":3000")
socket.on("msg", (msg) => {
  console.log(msg)
})
socket.on("error", (err) => {
  alert("出錯(cuò)了" + err)
})

這樣，服務(wù)端和客戶端就通過socketio建立了鏈接。

之后我們首先要在服務(wù)端來截圖，使用screenshot-desktop這個(gè)包

const screenshot = require("screenshot-desktop")

const SCREENSHOT_INTERVAL = 500;

export const createScreenshot = (): Promise<[string, Buffer]> => {
    return screenshot({format: "png"}).then((img): [string, Buffer] => {
        return [ img.toString("base64"), img];
    }).catch((err): {} => {
        console.log("截圖失敗", err);
        return err;
    })
}

export const startScreenshotTimer = (callback): {} => {
    return setInterval((): void => {
        createScreenshot().then(([imgStr, img]): void => {
            callback(["data:image/png;base64," + imgStr, img]);
        })
    }, SCREENSHOT_INTERVAL)
}

然后通過socketio的emit來傳到客戶端：

startScreenshotTimer(([imgStr, img]): void => {
    io.sockets.emit("screenshot", imgStr);
});

客戶端收到圖片后，設(shè)置到img的src上（這里是base64的圖片url）:

data () {
  return {
    screenshot: ""
  }
}

socket.on("screenshot", (data) => {
  this.screenshot = data
})

其實(shí)這樣就已經(jīng)實(shí)現(xiàn)了桌面監(jiān)控了，有興趣的同學(xué)可以照著這個(gè)思路實(shí)現(xiàn)看看，并不是很麻煩。

當(dāng)然這樣的方案是有問題的，因?yàn)槲覀冃枰婪?wù)端桌面尺寸的大小，然后根據(jù)這個(gè)來調(diào)整客戶端顯示的圖片尺寸。

實(shí)現(xiàn)這個(gè)細(xì)節(jié)是使用的get-pixels這個(gè)庫，可以讀取本地圖片文件的寬度高度等信息，所以我先把圖片寫入本地，然后又讀取出來，這樣獲取到的屏幕尺寸。

interface ScreenSize {
    width: number;
    height: number;
}

function getScreenSize(img): Promise {
    const imgPath = path.resolve(process.cwd(), "./tmp.png");
    fs.writeFileSync(imgPath, img);
    return new Promise((resolve): void => {
        getPixels(imgPath, function(err, pixels): void {
            if(err) {
                console.log("Bad image path")
                return
            }
            resolve({
                width: pixels.shape[0],
                height: pixels.shape[1]
            });
        });
    })
}

然后通過socektio傳遞給客戶端

getScreenSize(img).then(({ width, height}) => {
    io.sockets.emit("screensize", {
        width,
        height
    })
});

客戶端收到之后調(diào)整圖片大小就可以了

data () {
  return {
    screenshot: "",
    screenshotStyle: "",
  }
}

socket.on("screensize", (screensize) => {
  this.screenshotStyle = {"width": screensize.width + "px", "height": screensize.height + "px"}
})

至此已經(jīng)實(shí)現(xiàn)了桌面監(jiān)控，并且圖片尺寸和服務(wù)端屏幕的尺寸是一致的。

這里還有一個(gè)細(xì)節(jié)，就是獲取到的圖片大小是物理像素，而客戶端設(shè)置的px是設(shè)備無關(guān)像素，也就是要除以dpr才是px的值。這里需要獲取dpr，因?yàn)槟壳爸皇窃趍ac下用，所以直接除以2了。

代碼寫到這里，客戶端的electron應(yīng)用中已經(jīng)可以實(shí)時(shí)顯示服務(wù)端的桌面了。（當(dāng)然像輸入ip的彈框，以及electron-vue和typescript等和主要邏輯無關(guān)的細(xì)節(jié)就不展開了。）

接下來我們要實(shí)現(xiàn)遠(yuǎn)程控制，也就是監(jiān)聽事件，傳遞事件，執(zhí)行事件這幾部分。

首先我們定義一下傳遞的事件的格式：

interface MouseEvent {
    type: string;
    buttonType: string;
    x: number;
    y: number;
}

interface KeyboardEvent {
    type: string;
    keyCode: number;
    keyName: string;
}

鼠標(biāo)事件MouseEvent，type為鼠標(biāo)事件的類型，具體的值包括mousedown、mouseup、mousemove、click、dblclick，buttonType指的是鼠標(biāo)的左鍵還是右鍵，值為 left 或 right，x和y是具體的坐標(biāo)。

鍵盤事件KeyboardEvent，type為鍵盤事件的類型，具體的值包括keydown、keyup、keypress，keyCode為鍵盤碼，keyName為鍵的名字。

接下來我們要在客戶端監(jiān)聽事件：

window.onkeypress = window.onkeyup = window.onkeydown = this.handleKeyboardEvent

通過socekt把事件傳遞到服務(wù)端

  handleKeyboardEvent (e) {
    this.socket && this.socket.emit("userevent", {
      type: "keyboard",
      event: {
        type: e.type,
        keyName: e.key,
        keyCode: e.keyCode
      }
    })
  },
  handleMouseEvent (e) {
    this.socket && this.socket.emit("userevent", {
      type: "mouse",
      event: {
        type: e.type,
        buttonType: e.buttons === 2 ? "right" : "left",
        x: e.offsetX,
        y: e.offsetY
      }
    })
  },

然后在服務(wù)端把事件取出來執(zhí)行，執(zhí)行事件使用的是robot-js：

const { Mouse, Point, Keyboard } = require("robot-js");

interface MouseEvent {
    type: string;
    buttonType: string;
    x: number;
    y: number;
}

interface KeyboardEvent {
    type: string;
    keyCode: number;
    keyName: string;
}

export default class EventExecuter {
    public mouse;
    public keyboard;
    public constructor(){
        this.mouse = new Mouse();
        this.keyboard = new Keyboard();
    }

    public executeKeyboardEvent(event: KeyboardEvent): void {
        switch(event.type) {
            case "keydown":
                this.keyboard.press(event.keyCode);
                break;
            case "keyup":
                this.keyboard.release(event.keyCode);
                break;
            case "keypress":
                this.keyboard.click(event.keyCode);
                break;
            default: break;
        }
    }

    public executeMouseEvent(event): void {
        Mouse.setPos(new Point(event.x, event.y));
        const button = event.buttonType === "left" ? 0 : 2
        switch(event.type) {
            case "mousedown":
                this.mouse.press(button);
                break;
            case "mousemove":
                break;
            case "mouseup": 
                this.mouse.release(button);
                break;
            case "click": 
                this.mouse.click(button);
                break;
            case "dblclick": 
                this.mouse.click(button);
                this.mouse.click(button);
                break;
            default: break;
        }
    }

    public exectue(eventInfo): void {
        console.log(eventInfo);
        switch (eventInfo.type) {
            case "keyboard":
                this.executeKeyboardEvent(eventInfo.event);
                break;
            case "mouse":
                this.executeMouseEvent(eventInfo.event);
                break;
            default: break;
        }
    }
}

至此，桌面監(jiān)控和遠(yuǎn)程控制的客戶端還有服務(wù)端的部分，以及兩端的通信都已經(jīng)實(shí)現(xiàn)了。思路其實(shí)并不麻煩，但細(xì)節(jié)還是很多的。有興趣的同學(xué)可以把代碼下下來跑跑試試，或者按著這個(gè)思路自己實(shí)現(xiàn)一遍，還是挺好玩的。

remote-monitor-server

remote-monitor-client

歡迎反饋，歡迎star~