資訊專欄INFORMATION COLUMN
摘要：這是一個(gè)項(xiàng)目的冠軍代碼看起來還是比較麻煩，這里記錄一下這個(gè)冠軍代碼的一些處理方法這部分使用了集成學(xué)習(xí)的方法主要使用了這三種學(xué)習(xí)方法每一種學(xué)習(xí)方法大概使用了四五次，也就是對(duì)數(shù)據(jù)集也進(jìn)行了各種處理上面左邊是算法名字，右邊的是數(shù)據(jù)集代號(hào)左邊的分類
這是一個(gè)kaggle項(xiàng)目的冠軍代碼
看起來還是比較麻煩，這里記錄一下這個(gè)冠軍代碼的一些處理方法
這部分使用了集成學(xué)習(xí)的方法
主要使用了LR、RF、GB這三種學(xué)習(xí)方法
每一種學(xué)習(xí)方法大概使用了四五次，也就是對(duì)數(shù)據(jù)集也進(jìn)行了各種處理
"LR:tuples_sf", "LR:greedy_sfl", "LR:greedy2_sfl", "LR:greedy3_sf", "RFC:basic_b", "RFC:tuples_f", "RFC:tuples_fd", "RFC:greedy_f", "RFC:greedy2_f", "GBC:basic_f", "GBC:tuples_f", "LR:greedy_sbl", "GBC:greedy_c", "GBC:tuples_cf" 上面左邊是算法名字，右邊的是數(shù)據(jù)集代號(hào)
左邊的分類方法比較好理解，不過右邊的不好理解
這里記錄一下右邊是如何處理數(shù)據(jù)的
數(shù)據(jù)的情況：
共有十列：
ACTION 是否有權(quán)限
RESOURCE 資源id
MGR_ID 經(jīng)理id
ROLE_ROLLUP_1
ROLE_ROLLUP_2
ROLE_DEPTNAME
ROLE_TITLE
ROLE_FAMILY_DESC
ROLE_FAMILY
ROLE_CODE
bsfeats:
去掉ROLE_CODE和ACTION這兩列
X_all["ROLE_TITLE"] = X_all["ROLE_TITLE"] + (1000 * X_all["ROLE_FAMILY"])
X_all["ROLE_ROLLUPS"] = X_all["ROLE_ROLLUP_1"] + (10000 * X_all["ROLE_ROLLUP_2"])
X_all = X_all.drop(["ROLE_ROLLUP_1", "ROLE_ROLLUP_2", "ROLE_FAMILY"],axis=1)
到現(xiàn)在就剩下六列：
RESOURCE,MGR_ID,ROLE_DEPTNAME,ROLE_TITLE,ROLE_FAMILY_DESC,ROLE_ROLLUPS
對(duì)每一列添加cnt列：
此步驟是為了對(duì)前六列做處理，生成新的六列，過程如下
對(duì)每列進(jìn)行分組，然后把組數(shù)的log值填充到相應(yīng)的位置
再添加Duse列：
還是先按列各自進(jìn)行分組，然后再按照resource分組
用每組RESOURCE的個(gè)數(shù)除以總個(gè)數(shù)
添加mdept列：
主要是添加相同經(jīng)理的個(gè)數(shù)，按照經(jīng)理先對(duì)數(shù)據(jù)進(jìn)行分組
填充該經(jīng)理組中資源的種類數(shù)
處理完后把前六列的數(shù)據(jù)刪除
greedy:
這個(gè)處理過程就比較重量級(jí)了，由于數(shù)據(jù)都是類別型的，所以都使用了編碼
首先把特征中的ACTION和ROLE_CODE兩個(gè)特征去掉
然后讓剩下的特征兩兩組合
這樣就生成了很多新的特征，每一列的值用組合數(shù)據(jù)的hash值填充
下一步要給所有的特征做onehot編碼
然后要選取比較好的feature選擇過程是使用auc的得分來算
使用n-cv的方式，對(duì)選取的特征使用logisticReg的方法來判斷auc計(jì)算得分
最終獲取得分高的幾個(gè)特征
基本思想就是這樣
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/37729.html
摘要：最近參加了一次架構(gòu)師的面試，吐槽一下整個(gè)面試時(shí)間相當(dāng)?shù)拈L，幾乎經(jīng)歷了半年左右，但是我也是抱著學(xué)習(xí)偉大的云產(chǎn)品的態(tài)度所以在整個(gè)過程中學(xué)到不少的云產(chǎn)品的功能設(shè)計(jì)等知識(shí)，所以說還是相當(dāng)有益處的。 最近參加了一次AWS 架構(gòu)師的面試，吐槽一下整個(gè)面試時(shí)間相當(dāng)?shù)拈L，幾乎經(jīng)歷了半年左右，但是我也是抱著學(xué)習(xí)偉大的AWS云產(chǎn)品的態(tài)度所以在整個(gè)過程中學(xué)到不少的云產(chǎn)品的功能、設(shè)計(jì)等知識(shí)，所以說還是相當(dāng)有益...
摘要：最近重新給配置，記錄下配置過程。配置安裝需要滿足，安裝可以參考下安裝安裝參數(shù)會(huì)更新安裝中所有依賴，會(huì)安裝到用戶目錄下，而不會(huì)更改系統(tǒng)庫。 最近重新給aws eks配置kubectl，記錄下配置過程。首先需要配置awscli，其次就是配置kubectl的config了。 配置awscli 安裝awscli需要滿足Python 2 version 2.6.5+ or Python 3 v...
摘要：使用配置注冊(cè)并創(chuàng)建訪問密鑰創(chuàng)建憑證文件開啟服務(wù)在計(jì)算機(jī)上運(yùn)行除了服務(wù)之外，還提供可本地運(yùn)行的可下載版本的。設(shè)置此參數(shù)有助于更逼真地模擬服務(wù)的行為。目前，此參數(shù)僅為處于或狀態(tài)的引入延遲。原文鏈接安裝及配置 什么是 Amazon DynamoDB Amazon DynamoDB 是一種完全托管的 NoSQL 數(shù)據(jù)庫服務(wù)，提供快速而可預(yù)測的性能，能夠?qū)崿F(xiàn)無縫擴(kuò)展。使用 DynamoDB，您可...
閱讀 1792·2021-10-27 14:15
閱讀 3886·2021-10-08 10:12
閱讀 1187·2021-09-22 15:55
閱讀 3246·2021-09-22 15:17
閱讀 852·2021-09-02 15:40
閱讀 1762·2019-08-29 18:33
閱讀 1112·2019-08-29 15:22
閱讀 2370·2019-08-29 11:08
