摘要：可以針對(duì)筆者常用的數(shù)獨(dú)本文的實(shí)現(xiàn)都基于該，實(shí)現(xiàn)數(shù)獨(dú)的識(shí)別求解并把答案自動(dòng)填入。專家級(jí)別的平均秒完成求解包括圖像數(shù)字提取，識(shí)別過(guò)程，完成全部操作。步驟四數(shù)獨(dú)求解，生成答案，并生成需要填充的數(shù)字序列。

??數(shù)獨(dú)是源自18世紀(jì)瑞士的一種數(shù)學(xué)游戲。是一種運(yùn)用紙、筆進(jìn)行演算的邏輯游戲。玩家需要根據(jù)9×9盤面上的已知數(shù)字，推理出所有剩余空格的數(shù)字，并滿足每一行、每一列、每一個(gè)粗線宮（3*3）內(nèi)的數(shù)字均含1-9，不重復(fù)。

???最近一段時(shí)間常常做數(shù)獨(dú)題（此處插入廣告：推薦一個(gè)非常良心的數(shù)獨(dú)APP點(diǎn)擊下載），并思考了一下能不能編寫一個(gè)APP，可以自動(dòng)求解數(shù)獨(dú)、最后將結(jié)果填入該APP中。

..............................................................摸魚的開發(fā)過(guò)程，此處省略10^N^行字.............................................................

???最終寫一個(gè)APP：數(shù)獨(dú)X。可以針對(duì)筆者常用的數(shù)獨(dú)APP（本文的實(shí)現(xiàn)都基于該APP），實(shí)現(xiàn)數(shù)獨(dú)的識(shí)別、求解、并把答案自動(dòng)填入。專家級(jí)別的平均1秒完成求解（包括圖像數(shù)字提取，識(shí)別過(guò)程），8s完成全部操作。

???本文將簡(jiǎn)單介紹相關(guān)功能的實(shí)現(xiàn)。數(shù)獨(dú)X的使用效果，如下圖：

???數(shù)獨(dú) APP鏈接：https://pan.baidu.com/s/1b67L...

???數(shù)獨(dú)X APP鏈接：https://pan.baidu.com/s/1xJMT...

???數(shù)獨(dú)X 源代碼鏈接：https://github.com/AchillesLz...

???【注】數(shù)獨(dú)X對(duì)手機(jī)要求：Android 7.0 或以上。

實(shí)現(xiàn)思路介紹

項(xiàng)目結(jié)構(gòu)介紹

如何創(chuàng)建懸浮窗

如何獲取第三方應(yīng)用中的控件信息

如何無(wú)Root實(shí)現(xiàn)跨應(yīng)用截屏

如何提取數(shù)獨(dú)九宮格中的數(shù)字

如何實(shí)現(xiàn)數(shù)字識(shí)別

如何編寫代碼求解數(shù)獨(dú)

如何實(shí)現(xiàn)模擬屏幕點(diǎn)擊

后記

參考文章

???步驟一：我們需要獲得數(shù)獨(dú)APP中的九宮格數(shù)字。由于數(shù)獨(dú)App是第三方應(yīng)用，數(shù)獨(dú)信息當(dāng)然是無(wú)法直接獲取的，筆者的思路是打開數(shù)獨(dú)界面后調(diào)用截屏，再通過(guò)圖片處理提取九宮格的數(shù)字。同時(shí)，為了避免截屏?xí)r遮擋應(yīng)用，數(shù)獨(dú)X的工作窗口應(yīng)該使用懸浮窗形式。

???步驟二：截屏后，我們需要進(jìn)一步截取數(shù)獨(dú)面板圖片，以便數(shù)字提取用。我們可以寫死面板坐標(biāo)、寬高來(lái)提取截圖中的面板。在這里，當(dāng)然有更好的方法，就是通過(guò)輔助功能AccessibilityService獲得數(shù)獨(dú)應(yīng)用的數(shù)獨(dú)面板坐標(biāo)信息。

???步驟三：在獲得數(shù)獨(dú)面板的圖片后，使用openCV框架提取數(shù)字的輪廓，生成數(shù)字圖片，再調(diào)用TessTwo框架將圖片轉(zhuǎn)為數(shù)字，并生成原始數(shù)獨(dú)二維數(shù)組。

???步驟四：數(shù)獨(dú)求解，生成答案，并生成需要填充的數(shù)字序列。

???步驟五：最后通過(guò)輔助功能AccessibilityService類的相關(guān)方法，模擬屏幕點(diǎn)擊，輸入填充數(shù)獨(dú)的數(shù)字。

???項(xiàng)目主要包含文件如下圖：

???主要作用：

???Android的界面繪制，都是通過(guò)WindowMananger的服務(wù)來(lái)實(shí)現(xiàn)的。要實(shí)現(xiàn)一個(gè)能夠在自身應(yīng)用界面外的懸浮窗，我們就要利用WindowManager類。同時(shí)，為了讓懸浮窗與Activity脫離，讓應(yīng)用處于后臺(tái)時(shí)懸浮窗仍然可以正常運(yùn)行，這里使用Service來(lái)啟動(dòng)懸浮窗并做為其背后邏輯支撐。

???在創(chuàng)建懸浮窗前，必須先申請(qǐng)權(quán)限，代碼十分簡(jiǎn)單：

（MainActivity.java）

...
private boolean startOverLay() {
    if (!Settings.canDrawOverlays(MainActivity.this)) {
        Intent intent = new Intent(Settings.ACTION_MANAGE_OVERLAY_PERMISSION);
        Toast.makeText(this, "需要取得權(quán)限以使用懸浮窗",Toast.LENGTH_SHORT).show();
        startActivity(intent);
        return false;
    }
    return true;
}
...

（SudokuXService.java）

...
private void initView() {
    //注意Android O版本與其他系統(tǒng)的差異
    if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.O) {
        mParams.type = WindowManager.LayoutParams.TYPE_APPLICATION_OVERLAY;
    } else {
        mParams.type = WindowManager.LayoutParams.TYPE_SYSTEM_ALERT;
    }
    mParams.format = PixelFormat.RGBA_8888;
    mParams.flags = WindowManager.LayoutParams.FLAG_NOT_FOCUSABLE;
    mParams.gravity = Gravity.START | Gravity.TOP;
    mParams.x = SudokuXUtils.getScreenWidth();
    mParams.y = SudokuXUtils.getScreenHeight();
    mParams.width = SudokuXUtils.SMALL_SIZE_WIDTH;
    mParams.height = SudokuXUtils.SMALL_SIZE_HIGH;
    LinearLayout linearLayout = (LinearLayout) LayoutInflater.from(getApplication()).inflate(R.layout.layout, null);
    mBtn = linearLayout.findViewById(R.id.btn);
    
    //添加懸浮窗布局到WindowManager中
    mWindowManager.addView(linearLayout, mParams);
    ...
}
...

???最后在首頁(yè)啟動(dòng)SudokuXService即可，講述Android懸浮窗的文章很多，讀者可自行查閱，在此不再贅述。

???【注】這部分的代碼主要在SudokuXService.java中實(shí)現(xiàn)。

???本項(xiàng)目使用Android的輔助服務(wù)AccessibilityService來(lái)獲取數(shù)獨(dú)APP的控件信息。

?    AccessibilityService設(shè)計(jì)初衷在于幫助殘障用戶使用android設(shè)備和應(yīng)用，在后臺(tái)運(yùn)行，可以監(jiān)聽用戶界面的一些狀態(tài)轉(zhuǎn)換，例如頁(yè)面切換、焦點(diǎn)改變、通知、Toast等，并在觸發(fā)AccessibilityEvents時(shí)由系統(tǒng)接收回調(diào)。后來(lái)被開發(fā)者另辟蹊徑，用于一些插件開發(fā)，比如微信紅包助手，還有一些需要監(jiān)聽第三方應(yīng)用的插件。
?    我們可以把AccessibilityService理解為——『按鍵精靈』。相信很多開發(fā)者都玩過(guò)PC上的這款軟件，他的作用，就是將你一次操作的整個(gè)記錄，錄制下來(lái)，然后就可以根據(jù)這個(gè)記錄，重復(fù)的執(zhí)行這些操作，例如：先點(diǎn)擊某個(gè)輸入框，再輸入XXXX，再輸入驗(yàn)證碼，最后點(diǎn)擊某按鈕，這些操作如果需要重復(fù)執(zhí)行，那么顯然是一套機(jī)械的步驟，那么通過(guò)按鍵精靈，記錄下這些操作后，直接通過(guò)腳本就可以完成這些操作。其實(shí)AccessibilityService跟這個(gè)是一樣的，我們記錄的，實(shí)際上就是我們的操作步驟，或者稱之為『腳本』，那么系統(tǒng)在監(jiān)控整個(gè)手機(jī)的各種AccessibilityService事件時(shí)，就會(huì)根據(jù)我們的邏輯來(lái)判斷該使用哪一個(gè)腳本。
?    因此，我們完全可以抽象出一個(gè)基類AccessibilityService，并抽象出一些腳本的事件，例如，根據(jù)Text查找對(duì)應(yīng)的View、點(diǎn)擊某個(gè)View、滑動(dòng)、返回等等。

???首先，要使用AccessibilityService實(shí)際上非常簡(jiǎn)單，一般來(lái)說(shuō)，只需要以下三步即可。

public class SudokuAccessibility extends AccessibilityService {

    private static final String TAG = "lzg";

    @Override
    public void onAccessibilityEvent(AccessibilityEvent event) {
        Log.d(TAG, "onAccessibilityEvent: " + event.toString());
    }

    @Override
    public void onInterrupt() {
    }
}

???強(qiáng)制重新的有兩個(gè)方法：onAccessibilityEvent和onInterrupt。重點(diǎn)關(guān)注onAccessibilityEvent方法，在該方法中，我們可以接收所監(jiān)聽的事件。

???在資源目錄res下新建xml文件夾，新建accessibility.xml文件，寫入：

???里面有一些比較簡(jiǎn)單的配置。本項(xiàng)目要輔助的是數(shù)獨(dú)應(yīng)用，在xml的android:packageNames處指定輔助應(yīng)用的包名，即com.easybrain.sudoku.android。當(dāng)沒(méi)有指定時(shí)，默認(rèn)輔助所有的應(yīng)用，建議大家在使用時(shí)，指定需要監(jiān)聽的包名（你可以通過(guò)|來(lái)進(jìn)行分隔），而不是所有的包名。typeAllMask是設(shè)置響應(yīng)事件的類型，feedbackGeneric是設(shè)置回饋給用戶的方式，有語(yǔ)音播出和振動(dòng)。

???最后，在AndroidMainifest中注冊(cè)service信息：

???完成以上步驟后，一個(gè)輔助服務(wù)就可以使用了，AccessibilityService具有很高的系統(tǒng)權(quán)限，所以，系統(tǒng)不會(huì)讓App直接設(shè)置是否啟用，需要用戶進(jìn)入設(shè)置-輔助功能中去手動(dòng)啟用，這樣在一定程度上，保護(hù)了用戶數(shù)據(jù)的安全。

???這里不再贅述AccessibilityService的基本用法，有需要的讀者可參考相關(guān)文章，例如：AccessibilityService從入門到出軌。

???本節(jié)介紹如何數(shù)獨(dú)APP的控件信息以及代碼編寫。

???使用AccessibilityService拿到數(shù)獨(dú)APP的控件信息，我們必須先知道對(duì)應(yīng)的控件id。這一步，我們可以使用Android Studio的Layout Inspector工具來(lái)完成。

???先啟動(dòng)數(shù)獨(dú)APP，在Android Studio中，點(diǎn)擊Tools->Layout Inspector，選中包名：com.easybrain.sudoku.android，即可以看到一下畫面：

???可見數(shù)獨(dú)面板id為sudoku_board，1-9的數(shù)字按鈕id分別是button_1至button_9。

???當(dāng)數(shù)獨(dú)APP窗口發(fā)生變化時(shí)，將觸發(fā)SudokuAccessibility中onAccessibilityEvent方法。在此方法中，通過(guò)控件id獲取數(shù)獨(dú)面板與1-9數(shù)字按鈕控件的信息，然后計(jì)算并將相關(guān)信息使用SharedPreferences保存至本地。

? 關(guān)鍵代碼：

(SudokuAccessibility.java)

public class SudokuAccessibility extends AccessibilityService {
    //記錄1-9數(shù)字按鈕的中心點(diǎn)坐標(biāo)
    private List mTypeNumberPointList = new ArrayList<>(9);
    //記錄數(shù)獨(dú)面板中81個(gè)小格子的中心點(diǎn)坐標(biāo)
    private List> mShuDuPanelPointList = new ArrayList<>(9);
    ...
    @Override
    public void onAccessibilityEvent(AccessibilityEvent event) {
        Log.d(TAG, "onAccessibilityEvent: " + event.toString());

        if (!mInitDataFlag) {
            initViewData(event);
        }
    }

    private void initViewData(AccessibilityEvent event) {
        AccessibilityNodeInfo root = getRootInActiveWindow();
        if (root == null) return;

        //初始化等待區(qū)數(shù)字1-9的中心位置
        for (int i = 0; i < 9; i++) {
            String id = String.format("com.easybrain.sudoku.android:id/button_%d", i + 1);
            List nodeInfos = root.findAccessibilityNodeInfosByViewId(id);
            if (!nodeInfos.isEmpty()) {
                Rect rect = new Rect();
                nodeInfos.get(0).getBoundsInScreen(rect);
                Point point = new Point(rect.centerX(), rect.centerY());
                mTypeNumberPointList.add(point);
            }
        }

        //生成數(shù)獨(dú)面板81個(gè)格子的中心位置
        String id = String.format("com.easybrain.sudoku.android:id/sudoku_board");
        List nodeInfos = root.findAccessibilityNodeInfosByViewId(id);
        if (!nodeInfos.isEmpty()) {
            Rect rect = new Rect();
            nodeInfos.get(0).getBoundsInScreen(rect);

            int step = (rect.bottom - rect.top) / 9;
            //計(jì)算81格中，第一個(gè)格子的中心點(diǎn)
            int x = rect.left + step / 2;
            int y = rect.top + step / 2;

            /*保存數(shù)獨(dú)面板的左上角頂點(diǎn)、高度信息，便于截取數(shù)獨(dú)面板時(shí)使用。*/
            saveSudokuBroadInfo(rect);

            for (int i = 0; i < 9; i++) {
                List points = new ArrayList<>(9);
                for (int j = 0; j < 9; j++) {
                    Point point = new Point(x + step * j, y + step * i);
                    points.add(point);
                }
                mShuDuPanelPointList.add(points);
            }
        }

        if (mShuDuPanelPointList.size() == 9 && mTypeNumberPointList.size() == 9) {
            mInitDataFlag = true;
            Toast.makeText(this, "數(shù)獨(dú)信息獲取成功!", Toast.LENGTH_SHORT).show();
        }
    }
    //保存數(shù)獨(dú)面板的坐標(biāo)信息，便于截取數(shù)獨(dú)面板圖片時(shí)使用
    private void saveSudokuBroadInfo(Rect rect) {
        SPUtils.put(SudokuAccessibility.this, SudokuXUtils.SP_RECT_LEFT, rect.left - 5);
        SPUtils.put(SudokuAccessibility.this, SudokuXUtils.SP_RECT_TOP, rect.top - 5);
        SPUtils.put(SudokuAccessibility.this, SudokuXUtils.SP_RECT_HEIGH, rect.bottom - rect.top + 10);
    }
    ...
}

???【注】這部分代碼主要在SudokuAccessibility類中實(shí)現(xiàn)。

???Android在5.0之后提供了官方的截屏API，現(xiàn)在的手機(jī)Android版本普遍在Android 5.0以上，該方法還是有比較高的適用性。此時(shí)，再也不需要通過(guò)root權(quán)限調(diào)用adb指令，或者使用輔助服務(wù)模擬截屏按鍵實(shí)現(xiàn)截屏了。

???由于節(jié)省文章篇幅，具體的實(shí)現(xiàn)讀者可參考筆者的另一篇文章《Android 5.0 無(wú)Root權(quán)限實(shí)現(xiàn)截屏》。

???要求解數(shù)獨(dú)，需要進(jìn)行計(jì)算，圖片格式的數(shù)字肯定是不行的，所以必須把圖片上的數(shù)字轉(zhuǎn)換為實(shí)實(shí)在在的數(shù)字才能進(jìn)行計(jì)算。要得到實(shí)實(shí)在在的數(shù)字，我們需要做的是對(duì)圖片上的數(shù)字進(jìn)行提取和識(shí)別。

???本小節(jié)主要介紹數(shù)獨(dú)圖片中數(shù)字的提?。传@取數(shù)字圖像區(qū)域），該功能本項(xiàng)目使用openCV實(shí)現(xiàn)。

OpenCV于1999年由Intel建立，如今由Willow Garage提供支持。OpenCV是一個(gè)基于BSD許可（開源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫(kù)，可以運(yùn)行在Linux、Windows和Mac OS操作系統(tǒng)上。它輕量級(jí)而且高效——由一系列 C 函數(shù)和少量 C++ 類構(gòu)成，同時(shí)提供了Python、Ruby、MATLAB等語(yǔ)言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。

???在Android中配置openCV其實(shí)也非常簡(jiǎn)單，可見筆者的另一篇文章《在Android Studio中配置openCV項(xiàng)目》，在此不再贅述。

???提取圖片內(nèi)容的輪廓，我們可以使用openCV視覺庫(kù)Imgproc類中findContours()方法來(lái)實(shí)現(xiàn)。在對(duì)圖片進(jìn)行輪廓識(shí)別時(shí)，先需要對(duì)圖片進(jìn)行灰度化與二值化處理，這里先簡(jiǎn)單介紹這兩個(gè)操作。

???我們從findContours的參數(shù)要求中得知，第一個(gè)參數(shù)是圖像二值化后的Mat對(duì)象。在生成二值化的圖像前，我們需要對(duì)圖像進(jìn)行灰度化處理。

灰度化，在RGB模型中，如果R=G=B時(shí)，則彩色表示一種灰度顏色，其中R=G=B的值叫灰度值，因此，灰度圖像每個(gè)像素只需一個(gè)字節(jié)存放灰度值（又稱強(qiáng)度值、亮度值），灰度范圍為0-255。一般有分量法 最大值法平均值法加權(quán)平均法四種方法對(duì)彩色圖像進(jìn)行灰度化。

???使用openCV中對(duì)圖片灰度化的實(shí)現(xiàn)很簡(jiǎn)單，只需要一行代碼即可：Imgproc.cvtColor(rgbMat, grayMat, Imgproc.COLOR_RGB2GRAY);

cvtColor方法的定義：

cvtColor(Mat src, Mat dst, int code)

???接下來(lái)要做圖像的二值化，簡(jiǎn)單來(lái)說(shuō)，就是把圖片變成只有黑色和白色的像素點(diǎn)。

圖像的二值化，就是將圖像上的像素點(diǎn)的灰度值設(shè)置為0或255，也就是將整個(gè)圖像呈現(xiàn)出明顯的只有黑和白的視覺效果。

???同樣地，圖像二值化的實(shí)現(xiàn)也只需一行代碼：Imgproc.threshold(grayMat, binaryMat, 100, 255, Imgproc.THRESH_BINARY);

???threshold方法的定義：

threshold(Mat src, Mat dst, double thresh, double maxval, int type)

???在本項(xiàng)目中，thresh取值為100，type為THRESH_BINARY，即像素值超過(guò)100的都置為255，否則置為0。注意這里的thresh值的選用：可以剛好將九宮格內(nèi)的縱橫線去掉，在做數(shù)字提取的時(shí)候?qū)?huì)少判斷一層父輪廓。

???終于，我們要對(duì)圖像進(jìn)行輪廓識(shí)別。這一步將使用openCV視覺庫(kù)位于Imgproc類中findContours()方法實(shí)現(xiàn)。該方法定義如下：

findContours(Mat image, List contours, Mat hierarchy, int mode, int method)

??由于數(shù)獨(dú)面板的輪廓包括各種的嵌套關(guān)系，此時(shí)mode參數(shù)選用RETR_TREE 。另外我們只需要數(shù)字輪廓的矩陣信息即可，所以method參數(shù)選用CHAIN_APPROX_SIMPLE。

??檢測(cè)輪廓的時(shí)候，有時(shí)候可能會(huì)出現(xiàn)其中一個(gè)輪廓包含了另外一個(gè)輪廓，比如同心圓。這里我們認(rèn)為外側(cè)輪廓為父輪廓，內(nèi)側(cè)被包含的為子輪廓。同一級(jí)別的又有前一個(gè)輪廓和后一個(gè)輪廓。總的來(lái)說(shuō)，hierarchy表達(dá)的是不同輪廓之間的聯(lián)系。

??舉一個(gè)例子，下圖產(chǎn)生了7個(gè)輪廓信息：

??數(shù)組List contours中共有7個(gè)輪廓信息，每個(gè)輪廓的id則為數(shù)組下標(biāo)i。如id為0的輪廓a是整個(gè)圖片的最外層輪廓、黑色邊框共有里外兩個(gè)id為1和2的輪廓b和c、數(shù)字1,3各自有一個(gè)輪廓f和g、數(shù)字4有兩個(gè)輪廓d和e，其中輪廓c是輪廓efg的父輪廓。

??第i個(gè)輪廓的前、后、子、父輪廓會(huì)保存在hierarchy[i][0], hiearchy[i][13], hiearchy[i][14]和 hiearchy[i][15]中。要找到上圖中的4、3、1三個(gè)數(shù)字輪廓，相對(duì)于要找到以輪廓c為父輪廓的contour[i]即可。

??我們處理數(shù)獨(dú)面板圖片時(shí)，也是一樣的思路，只是數(shù)獨(dú)面板比上圖再多了一層父輪廓。為了理清楚輪廓關(guān)系，我們在調(diào)用findContours方法生成輪廓信息后，用log打印出所有的輪廓信息，先找到9個(gè)九宮格的輪廓id，存放在數(shù)組tmp中。再遍歷contours數(shù)組，所有以tmp的元素為父輪廓的輪廓，則是我們最終需要的數(shù)字輪廓。如下圖所示，可以看到父輪廓id為1的都是九宮格的輪廓（紅框所示），以九宮格輪廓為父輪廓的都是數(shù)字輪廓（綠框所示）。

??使用openCV識(shí)別數(shù)字的部分已經(jīng)完成，在這就不貼代碼了，有需要的讀者可參考項(xiàng)目中代碼。

??【注】這部分的代碼主要在SudokuXOrc類中實(shí)現(xiàn)。

??上一小節(jié)，我們已經(jīng)可以獲得數(shù)獨(dú)圖片中的數(shù)字輪廓信息，可以產(chǎn)生數(shù)獨(dú)數(shù)字圖片。在本小節(jié)，將介紹如何識(shí)別圖像中的文字。本項(xiàng)目使用tess-two ORC引擎實(shí)現(xiàn)圖像識(shí)別。

Tesseract是Ray Smith于1985到1995年間在惠普布里斯托實(shí)驗(yàn)室開發(fā)的一個(gè)OCR引擎，曾經(jīng)在1995 UNLV精確度測(cè)試中名列前茅。但1996年后基本停止了開發(fā)。2006年，Google邀請(qǐng)Smith加盟，重啟該項(xiàng)目。目前項(xiàng)目的許可證是Apache 2.0。該項(xiàng)目目前支持Windows、Linux和Mac OS等主流平臺(tái)。但作為一個(gè)引擎，它只提供命令行工具。 現(xiàn)階段的Tesseract由Google負(fù)責(zé)維護(hù)，是最好的開源OCR Engine之一，并且支持中文。
tess-two是Tesseract在Android平臺(tái)上的移植。

??tess-two在Android Studio中的配置非常簡(jiǎn)單，只需要以下三步即可。

dependencies {
    implementation "com.rmtheis:tess-two:9.0.0"
}

??數(shù)據(jù)文件 下載鏈接。我們只需要識(shí)別數(shù)字，因此下載英文的語(yǔ)言數(shù)據(jù)eng.traineddata就可以了。

??這一步很重要！在手機(jī)的SD卡根目錄創(chuàng)建一個(gè)名為tessdata的文件夾(必須是根目錄和tessdata命名)，將下載好的語(yǔ)言數(shù)據(jù)文件eng.traineddata放入其中。

??【注】在實(shí)際的應(yīng)用，我們不可能要求用戶手動(dòng)完成這步操作。一般的做法是將eng.traineddata文件存放在android項(xiàng)目的asset目錄中，在應(yīng)用啟動(dòng)時(shí)將其復(fù)制到SD卡中。

??本項(xiàng)目將tess-two的使用封裝在TessTwoHelper類中，代碼十分簡(jiǎn)單。使用前，需要調(diào)用TessBaseAPI的init方法進(jìn)行初始化，第一個(gè)參數(shù)傳入手機(jī)的根目錄，第二個(gè)參數(shù)傳入語(yǔ)言數(shù)據(jù)包名字。我們可以根據(jù)識(shí)別的文字圖片類型設(shè)置白名單和黑名單，以便提高準(zhǔn)確率。因?yàn)樽R(shí)別的是一個(gè)多帶帶的文本塊，所以調(diào)用setPageSegMode方法將模式設(shè)為PSM_SINGLE_BLOCK_VERT_TEXT。

??相關(guān)代碼：

(TessTwoHelper.java)

public class TessTwoHelper {

    public static final String DATA_DIR_PATH = "/storage/emulated/0/tessdata";
    public static final String DATA_NAME = "eng.traineddata";
    private TessBaseAPI tessBaseAPI = new TessBaseAPI();

    public void init() {
        tessBaseAPI.init("/storage/emulated/0/", "eng");
        tessBaseAPI.setDebug(true);
        tessBaseAPI.setVariable(TessBaseAPI.VAR_CHAR_WHITELIST, "123456789");
        tessBaseAPI.setVariable(TessBaseAPI.VAR_CHAR_BLACKLIST, "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0!@#$%^&*()_+=-[]}{;:""|~`,./<>?");
        tessBaseAPI.setPageSegMode(TessBaseAPI.PageSegMode.PSM_SINGLE_BLOCK_VERT_TEXT);
    }

    public String getText(Bitmap bitmap) {
        tessBaseAPI.setImage(bitmap);
        return tessBaseAPI.getUTF8Text();
    }
}

??在SudokuXOrc類的getOriginShuDuArray方法中，使用數(shù)字輪廓坐標(biāo)截取數(shù)字圖片，使用tess-two識(shí)別，實(shí)測(cè)識(shí)別準(zhǔn)確率還是相當(dāng)高。

(SudokuXOrc.java)

public class SudokuXOrc {
    ...
    public int[][] getOriginShuDuArray(Bitmap bitmapSource) {
        ...
        //根據(jù)輪廓截取數(shù)字圖片，進(jìn)行文字識(shí)別
        Bitmap tmpBitmap = Bitmap.createBitmap(bitmapSource, rect.x, rect.y, rect.width, rect.height);
        int number = mTessTwoHelper.getText(tmpBitmap).charAt(0) - "0";
        saveBitmap(tmpBitmap, "bitmap" + rect.x + "" + rect.y + "tag:" + number);
        ...
    }
    ...
}

??【注】這部分代碼主要在TessTwoHelper類實(shí)現(xiàn)。

??數(shù)獨(dú)求解算法，聽起來(lái)感覺很高大上的東西，但筆者認(rèn)為這可能是本文中最簡(jiǎn)單的內(nèi)容，畢竟可以利用機(jī)器算力來(lái)解決。（づ￣3￣）づ╭?～

??筆者還沒(méi)去了解過(guò)高效的數(shù)獨(dú)求解算法，在這里用了一個(gè)相對(duì)容易理解的思路：

??步驟一：按先行后列的順序遍歷二維數(shù)組，找到第一個(gè)空白格子，根據(jù)游戲規(guī)則，找到該格子所有可能填入的數(shù)字的序列（下文稱作數(shù)字序列）。如此重復(fù)填充空白格子。

??步驟二：若步驟一中填入數(shù)字有誤，必將導(dǎo)致未來(lái)有一空白格子（假設(shè)格子A）找不到任何可以填入的數(shù)字。此時(shí)游標(biāo)回退到上一個(gè)數(shù)字序列不為空的格子（假設(shè)格子B）中，并將格子B到A的所有填入的數(shù)字清除（置0）。

??步驟三：在格子B中填入數(shù)字序列的下一個(gè)數(shù)字。如此重復(fù)，直到填滿全部空格。

??筆者實(shí)現(xiàn)該算法，用到棧stack和鍵值對(duì)Pair。其中棧stack用于按序儲(chǔ)存多余的數(shù)字序列，鍵值對(duì)Pair中的key表示某個(gè)格子的坐標(biāo)，value表示該格子的多余數(shù)字序列。實(shí)測(cè)該算法的速度還是可以的，筆者使用小米5的手機(jī)測(cè)試，解一個(gè)專家級(jí)數(shù)獨(dú)（包括圖像處理）平均只需1秒。

??關(guān)鍵代碼：

(SudokuXAnalyse.java)

public class SudokuXAnalyse {
    /*數(shù)獨(dú)二維數(shù)組*/
    private int[][] mShuDu = new int[9][18];
    /*二維數(shù)組，標(biāo)記某個(gè)格子是否被修改過(guò)，初始化全為false，填入數(shù)字后置為true*/
    private boolean[][] mShuDuFlag = new boolean[9][19];

    public SudokuXAnalyse(int[][] shuDu) {...}

    /*得到某個(gè)格子可能填入的數(shù)字序列*/
    private  ArrayList getPendingQueue(int x, int y)  {...}

    /*把坐標(biāo)（beginX,beginY）到（endX,endY）全部被修改過(guò)的格子置為0，在回溯時(shí)使用*/
    private void clear(int beginX, int beginY, int endX, int endY) {...}
    
    /*數(shù)獨(dú)求解，無(wú)解時(shí)返回null*/
    public int[][] getAns() throws InterruptedException {
        int i = 0, j = 0;
        boolean needContinue = true;
        /*棧中存放鍵值對(duì)，key為某格子的下標(biāo)，value為該格子可能填入數(shù)字的序列*/
        Stack>> stack = new Stack<>();

        while (needContinue) {
            needContinue = false;
            while (i < 9) {
                while (j < 9) {
                    if (mShuDu[i][j] == 0) {
                        needContinue = true;
                        ArrayList arrayList = getPendingQueue(i, j);
                        //當(dāng)某格子沒(méi)有可以填入的數(shù)字時(shí)，回溯
                        if (arrayList.size() == 0) {
                            //棧空，無(wú)解
                            if (stack.size() == 0) {
                                return null;
                            }
                            int tmpI = stack.peek().first.charAt(0) - "0";
                            int tmpJ = stack.peek().first.charAt(1) - "0";

                            clear(tmpI, tmpJ, i, j);

                            //重新更新當(dāng)前下標(biāo)
                            i = tmpI; 
                            j = tmpJ;

                            //填入某格子的下一個(gè)可能數(shù)字
                            mShuDu[i][j] = stack.peek().second.remove(0);

                            if (stack.peek().second.size() == 0) {
                                stack.pop();
                            }
                        } else {
                            mShuDu[i][j] = arrayList.remove(0);
                            mShuDuFlag[i][j] = true;
                            //保存某格子可能填入的其余數(shù)字
                            if (!arrayList.isEmpty()) {
                                String key = i + "" + j;
                                Pair> pair = new Pair<>(key, arrayList);
                                stack.push(pair);
                            }
                        }
                    }
                    j++;
                }
                i++;
                j = 0;
            }
        }
        return mShuDu;
    }
}

??【注】數(shù)獨(dú)APP提供的題目都是有解的，若測(cè)試發(fā)現(xiàn)提示無(wú)解，極有可能是使用tess-two做圖像轉(zhuǎn)文字時(shí)識(shí)別錯(cuò)誤，導(dǎo)致產(chǎn)生的數(shù)獨(dú)無(wú)解。一般而言，使用tess-two來(lái)識(shí)別印刷體數(shù)字的準(zhǔn)確率非常高，若識(shí)別出錯(cuò)，很可能是TessBaseAPI的setPageSegMode方法傳入的模式不正確。

??【注】這部分的代碼主要在類SudokuXAnalyse中。

??在求出數(shù)獨(dú)的答案之后，需要實(shí)現(xiàn)數(shù)字的填入，人工填入數(shù)字太慢，比較炫酷的是APP自動(dòng)填入。此時(shí)用到模擬屏幕的點(diǎn)擊，可以在幾秒內(nèi)填好數(shù)十個(gè)數(shù)字。在Android程序中模擬屏幕的點(diǎn)擊操作，比較可行的有兩種方式：

??1. 獲取root權(quán)限，執(zhí)行adb指令，如adb shell input tap 250 250,表示在點(diǎn)擊坐標(biāo)(250,250)的位置。

??2. 使用AccessibilityService進(jìn)行模擬點(diǎn)擊。

??筆者最初是采用在APP中調(diào)用adb指令的方法，但實(shí)測(cè)該方法中指令運(yùn)行速度非常慢，因?yàn)樵跀?shù)獨(dú)輸入一個(gè)數(shù)字，需要執(zhí)行兩條指令（原因可見備注），完成整個(gè)操作最快需要1分鐘左右，跟人工輸入沒(méi)任何區(qū)別。這樣當(dāng)然是不行的，因此轉(zhuǎn)向使用AccessibilityService實(shí)現(xiàn)模擬點(diǎn)擊。

??使用AccessibilityService時(shí)，根據(jù)目標(biāo)控件的id，通過(guò)findAccessibilityNodeInfosByViewId方法得到對(duì)應(yīng)的AccessibilityNodeInfo對(duì)象，再用performAction(AccessibilityNodeInfo.ACTION_CLICK)方法可以完成一次模擬點(diǎn)擊，但筆者在實(shí)踐中發(fā)現(xiàn)，該方法失效了??！筆者認(rèn)為很可能是該數(shù)獨(dú)APP的按鈕點(diǎn)擊處理采用onTouch而非onClick的方法，進(jìn)而屏蔽了該輔助功能的模擬點(diǎn)擊。

??最后看到一篇文章中提到AccessibilityService新增了dispatchGesture方法，可發(fā)送手勢(shì)。首先這個(gè)方法是7.0之后加入的，所以最小版本改為24。執(zhí)行的手勢(shì)類為GestureDescription，需要一段path路徑來(lái)實(shí)例化，若path路徑是一個(gè)點(diǎn)，則模擬點(diǎn)擊事件。

??我們?cè)谇懊嬉呀?jīng)使用AccessibilityService獲得了數(shù)獨(dú)面板、1-9數(shù)字按鈕的位置信息，只需要進(jìn)一步計(jì)算出數(shù)獨(dú)面板每個(gè)格子以及1-9數(shù)字按鈕的中心點(diǎn)，再使用dispatchGesture方法，則可以完成模擬點(diǎn)擊操作。

??通過(guò)dispatchGesture完成模擬點(diǎn)擊，關(guān)鍵代碼：

(SudokuAccessibility.java)

public void dispatchGestureView(int startTime, int x, int y) {
    Point position = new Point(x, y);
    GestureDescription.Builder builder = new GestureDescription.Builder();
    Path p = new Path();
    p.moveTo(position.x, position.y);
    /**
     * StrokeDescription參數(shù)：
     * path：筆畫路徑
     * startTime：時(shí)間 (以毫秒為單位)，從手勢(shì)開始到開始筆劃的時(shí)間，非負(fù)數(shù)
     * duration：筆劃經(jīng)過(guò)路徑的持續(xù)時(shí)間(以毫秒為單位)，非負(fù)數(shù)*/
    builder.addStroke(new GestureDescription.StrokeDescription(p, startTime, 1));
    dispatchGesture(builder.build(), null, null);
}

??計(jì)算數(shù)獨(dú)面板81個(gè)小格子以及1-9按鈕的中心坐標(biāo)：

(SudokuAccessibility.java)

private void initViewData(AccessibilityEvent event) {
    ...
    //獲取1-9數(shù)字按鈕的中心位置
    for (int i = 0; i < 9; i++) {
        String id = String.format("com.easybrain.sudoku.android:id/button_%d", i + 1);
        List nodeInfos = root.findAccessibilityNodeInfosByViewId(id);
        if (!nodeInfos.isEmpty()) {
            //獲取控件的矩形區(qū)域
            Rect rect = new Rect();
            nodeInfos.get(0).getBoundsInScreen(rect);
            Point point = new Point(rect.centerX(), rect.centerY());
            mTypeNumberPointList.add(point);
        }
    }
    //獲取數(shù)獨(dú)面板81個(gè)格子的中心位置
    String id = String.format("com.easybrain.sudoku.android:id/sudoku_board");
    List nodeInfos = root.findAccessibilityNodeInfosByViewId(id);
    if (!nodeInfos.isEmpty()) {
        //獲取控件的矩形區(qū)域
        Rect rect = new Rect();
        nodeInfos.get(0).getBoundsInScreen(rect);
        int step = (rect.bottom - rect.top) / 9;
        //計(jì)算81格中，第一個(gè)格子的中心點(diǎn)
        int x = rect.left + step / 2;
        int y = rect.top + step / 2;
        /*保存數(shù)獨(dú)面板的左上角頂點(diǎn)、高度信息，便于截圖分析數(shù)獨(dú)面板數(shù)字時(shí)使用。*/
        saveSudokuBroadInfo(rect);
        for (int i = 0; i < 9; i++) {
            List points = new ArrayList<>(9);
            for (int j = 0; j < 9; j++) {
                Point point = new Point(x + step * j, y + step * i);
                points.add(point);
            }
            mShuDuPanelPointList.add(points);
        }
    }
    ...
}

??? 通過(guò)Handler模擬延時(shí)點(diǎn)擊，關(guān)鍵代碼：

(SudokuAccessibility.java)
...
private Handler mHandler = new Handler(new Handler.Callback() {
    int i = 0;
    /**
     * 設(shè)置tag可以實(shí)現(xiàn)輪流按下數(shù)獨(dú)面板和選擇區(qū)按鈕，
     * 同時(shí)配合變量@param fillingFlag，實(shí)現(xiàn)避免某些區(qū)域點(diǎn)擊失效的情況。
     * */
    boolean tag = true;
    @Override
    public boolean handleMessage(Message msg) {
        if (i < mLocTextInfos.size()) {
            LocTextInfo locTextInfo = mLocTextInfos.get(i);
            if (tag == true) {
                Point numberPoint = mShuDuPanelPointList.get(locTextInfo.locX).get(locTextInfo.locY);
                dispatchGestureView(0, numberPoint.x, numberPoint.y);
            } else {
                Point typeNumberPoint = mTypeNumberPointList.get(locTextInfo.number - 1);
                dispatchGestureView(0, typeNumberPoint.x, typeNumberPoint.y);
                i++;
            }
            tag = !tag;
            mHandler.sendEmptyMessageDelayed(0, 25);
        } else {
            i = 0;
            tag = true;
            mHandler.removeCallbacksAndMessages(null);
            mLocalBroadcastManager.sendBroadcast(new Intent(SudokuXUtils.ACTION_FILLING_COMPLETE));
        }
        return false;
    }
});
...

? 最后需要在xml配置文件中添加允許執(zhí)行手勢(shì)：

(accessibility.xml)
...
android:canPerformGestures="true"
...

??【注】首先需要注意，把一個(gè)數(shù)字填入數(shù)獨(dú)面板的小格子中，需要執(zhí)行兩次點(diǎn)擊操作：第一次點(diǎn)擊1-9的數(shù)字按鈕，選中要填入的數(shù)字，第二次點(diǎn)擊數(shù)獨(dú)面板對(duì)應(yīng)的小格子，填入數(shù)字。（該數(shù)獨(dú)APP的默認(rèn)規(guī)則）

??【注】這部分代碼主要在SudokuAccessibility類中實(shí)現(xiàn)。

??該軟件還有很多有待改進(jìn)的地方，比如：
??1. 直接集成了openCV和tess-two包，沒(méi)有做優(yōu)化處理，導(dǎo)致軟件安裝包有100多M。
??2. 只能針對(duì)特定的APP完成求解、填入操作，后序可加入用戶框選數(shù)獨(dú)面板，軟件自動(dòng)識(shí)別當(dāng)前應(yīng)用的功能，使能夠填入任何的數(shù)獨(dú)APP。
??本文只做個(gè)人筆記和拋磚引玉之用，若有讀者改進(jìn)了上述缺點(diǎn)請(qǐng)告知...

??OpenCV玩九宮格數(shù)獨(dú)（一）——九宮格圖片中提取數(shù)字

??Android學(xué)習(xí)八---OpenCV JAVA API

??Android7.0 AccessibilityService新增gesturedescription使用詳解

??AccessibilityService從入門到出軌