之前注冊(cè)玩過(guò)一段時(shí)間的社交app--soul，發(fā)現(xiàn)其沒(méi)有網(wǎng)頁(yè)版也沒(méi)有桌面版，app里也沒(méi)有相關(guān)的數(shù)據(jù)導(dǎo)出功能，作為一個(gè)老用戶，很多日常發(fā)布的瞬間很想導(dǎo)出來(lái)，作為紀(jì)念，所以就想看看能不能腳本抓取我的數(shù)據(jù)，才有了下面的記錄：

分析Soul App的數(shù)據(jù)請(qǐng)求，需要用到工具對(duì)app應(yīng)用進(jìn)行抓包

0 - 工具：Fillder（直接下載安裝）
1 - 設(shè)置手機(jī)和電腦連接的wifi代理，具體步驟可以參考《使用fiddler對(duì)手機(jī)APP進(jìn)行抓包》
2 - 打開(kāi)Fillder，對(duì)soul 的數(shù)據(jù)請(qǐng)求api進(jìn)行跟蹤，抓到下面的請(qǐng)求：

1. 請(qǐng)求Header

其中有幾個(gè)主要的header ：
api-sign ： 請(qǐng)求簽名(由一個(gè) 字符串，UUID（替換"-"為""），時(shí)間戳 三個(gè)參數(shù)通過(guò)類c的
public static String a(aa paramaa, String paramString, long paramLong)
方法生成)
requeust-nonce：由UUID.randomUUID().toString().replaceAll("-", "")生成， 生成api-sign簽名的參數(shù)之一，String類型的UUID
X-Auth-UserId：用戶的ID（固定不變）
X-Auth-Token：用戶身份認(rèn)證Token（固定不變）
app-time:時(shí)間戳
其他的幾個(gè)如上圖所示，基本不會(huì)變化

2.響應(yīng)body

如圖所示，如果請(qǐng)求成功，返回的是一個(gè)json數(shù)據(jù)
失敗的話就是：{"code":9000003,"message":"您傳遞的信息有誤，請(qǐng)仔細(xì)檢查后重試","data":null,"success":false}

以上基本的抓包，可以知道現(xiàn)在需要的是api-sign的生成方法是怎樣的，然后根據(jù)自己的ID和token組合header進(jìn)行爬取的請(qǐng)求偽造。但官方?jīng)]有公開(kāi)API調(diào)用文檔，所以只有下載soul app的apk文件，進(jìn)行反編譯查看源碼

1.反編譯工具：

0 - dex2jar（直接下載）
1 - jd-GUI（直接下載，是一個(gè)可執(zhí)行的jar文件）
2 - soul 安卓版的apk

2.使用步驟

0 - 使用系統(tǒng)解壓軟件直接對(duì)apk文件解壓，獲得文件夾目錄，其中包含了classes.dex的類似文件，dex文件是Android虛擬機(jī)上面可以執(zhí)行的文件，jar文件其實(shí)就是java的class文件，解壓后如下圖：

1 - 下載dex2jar后解壓，將后綴為.dex的classes文件拷貝到dex2jar的目錄下，使用DOS的cmd進(jìn)入到該目錄，使用命令：

d2j-dex2jar  classes.dex

對(duì)dex文件進(jìn)行轉(zhuǎn)換為jar文件，該文件包含了soul App的java源碼：

2 - 使用jd-GUI查看jar文件的java源碼：
直接將classes2-dex2jar.jar 文件拖入到JD-GUI界面中，查找關(guān)鍵詞"api-sign"便可找到生成請(qǐng)求header的類及方法:

生成api-sign的方法：

  public static String a(aa paramaa, String paramString, long paramLong)
  {
    localStringBuilder = new StringBuilder();
    localStringBuilder.append(paramaa.a().a().getPath());
    HashMap localHashMap = new HashMap();
    Object localObject1 = new ArrayList();
    int i = 0;
    try
    {
      Object localObject2;
      while (i < ((s)paramaa.d()).a())
      {
        localObject2 = (s)paramaa.d();
        String str2 = ((s)localObject2).a(i);
        localHashMap.put(str2, ((s)localObject2).c(i));
        ((List)localObject1).add(str2);
        i += 1;
      }
      localObject1 = (String[])((List)localObject1).toArray(new String[0]);
      Arrays.sort((Object[])localObject1, String.CASE_INSENSITIVE_ORDER);
      if (localHashMap.size() != 0)
      {
        int j = localObject1.length;
        i = 0;
        while (i < j)
        {
          localObject2 = localObject1[i];
          if (!bw.a((CharSequence)localHashMap.get(localObject2))) {
            localStringBuilder.append((String)localObject2).append(URLDecoder.decode((String)localHashMap.get(localObject2), "Utf-8"));
          }
          i += 1;
        }
      }
      String str1;
      return f.b(localStringBuilder.toString()).toUpperCase();
    }
    catch (Exception localException1)
    {
      paramaa = paramaa.a();
      if (paramaa.q() > 0)
      {
        i = 0;
        for (;;)
        {
          if (i < paramaa.q())
          {
            str1 = paramaa.a(i);
            localObject1 = paramaa.b(i);
            if ((!bw.a(str1)) && (!bw.a((CharSequence)localObject1))) {}
            try
            {
              localObject2 = URLDecoder.decode(((String)localObject1).replaceAll("%(?![0-9a-fA-F]{2})", "%25"), "utf-8");
              localStringBuilder.append(str1).append((String)localObject2);
              i += 1;
            }
            catch (Exception localException3)
            {
              for (;;)
              {
                try
                {
                  localStringBuilder.append(str1).append((String)localObject1);
                }
                catch (Exception localException2) {}
              }
            }
          }
        }
      }
      localStringBuilder.append(UTDevice.getUtdid(SoulApp.b()));
      localStringBuilder.append("10000003");
      localStringBuilder.append(SoulApp.b().a().getAuthKey());
      localStringBuilder.append(a(paramLong));
      localStringBuilder.append(paramString);
      localStringBuilder.append("3.0.15".replaceAll(".", ""));
      j.a("genSign = :" + localStringBuilder.toString());
    }
  }

后續(xù)有時(shí)間再把整個(gè)源碼看一遍。。畢竟還是代碼量不小。。