資訊專欄INFORMATION COLUMN
摘要：起因及介紹在處理原始對賬文件的時候，我將數(shù)據(jù)歸類后批量存入相應(yīng)的表中。結(jié)論事務(wù)只能管著開啟事務(wù)的線程，其他子線程出了問題都感知不到，所以在多線程環(huán)境操作要慎重。高頻容易搞死服務(wù)器，低頻會阻塞自身程序。重試次數(shù)和超時時間根據(jù)業(yè)務(wù)情況設(shè)置。
起因及介紹
在處理原始對賬文件的時候，我將數(shù)據(jù)歸類后批量存入相應(yīng)的表中。在持久化的時候，用了parallelStream()，想著同時存入很多表這樣可以提高效率。
@Override
@Transactional
public boolean handleTask(AccEbankAlEveBill[] task, String ownSign) throws Exception {
Arrays.stream(task).parallel().map(AccEbankBill::convert).collect(Collectors.groupingBy(AccEbankBill::getTradeType)).entrySet()
// 這里出了問題
.parallelStream().forEach(item -> {
switch (EbankAleveTradeTypeEnum.valueOf(item.getKey())) {
// 提現(xiàn)...
// 充值
case RECHARGE:
accEbankRechargeBillDao.batchSave(item.getValue());
break;
// 利息
case INTEREST:
accEbankInterestBillDao.batchSave(item.getValue());
break;
case OTHERS:
accEBankAleveOthersBillDao.batchSave(item.getValue());
break;
}
});
// DB update
return true;
}
問題分析
上面代碼中將對賬數(shù)據(jù)按類型歸類后，得到一個Map
開始沿著數(shù)據(jù)庫超時中斷機(jī)制的思路找問題，花了比較多的時間在分析是數(shù)據(jù)庫端觸發(fā)了中斷，還是應(yīng)用層主動中斷，以及兩者對是否回滾有啥區(qū)別。。最后發(fā)現(xiàn)這些都不是原因
第二天一早突然想到這里的parallelStream()可能是罪魁禍?zhǔn)?，因為它開啟了多線程（多線程往往有問題），本機(jī)環(huán)境一共有4個worker在處理（包含主線程），但是超時導(dǎo)致的org.springframework.transaction.TransactionTimedOutException錯誤是發(fā)生在主線程內(nèi)的，那肯定只有主線程回滾了。后經(jīng)測試證實(shí)。
解決方法就是去除parallelStream()，簡簡單單的使用Map的forEach就好了。
結(jié)論：事務(wù)只能管著開啟事務(wù)的線程，其他子線程出了問題都感知不到，所以在多線程環(huán)境操作DB要慎重。普通的多線程很容易發(fā)覺，但parallelStream是也是，切記
調(diào)優(yōu)Tips1. 線程池的大小
線程池的大小 = 處理器的核的數(shù)目 期望的CPU利用率 (1 + W／C)
其中：
CPU利用率介于0和1之間
W/C是等待時間與計算時間的比率
源自《Java并發(fā)編程實(shí)戰(zhàn)》Brian Goetz的建議
2. 文件下載
HTTP(S)用apache httpclient可實(shí)現(xiàn)鏈接池和斷點(diǎn)續(xù)傳， FTP可使用Apache Commons Net API。
重試間隔設(shè)置為5～10分鐘較合適。高頻容易搞死服務(wù)器，低頻會阻塞自身程序。
重試次數(shù)和超時時間根據(jù)業(yè)務(wù)情況設(shè)置。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/70709.html
摘要：學(xué)編程真的不是一件容易的事不管你多喜歡或是多會編程，在學(xué)習(xí)和解決問題上總會碰到障礙。熟練掌握核心內(nèi)容，特別是和多線程初步具備面向?qū)ο笤O(shè)計和編程的能力掌握基本的優(yōu)化策略。 學(xué)Java編程真的不是一件容易的事,不管你多喜歡或是多會Java編程，在學(xué)習(xí)和解決問題上總會碰到障礙。工作的時間越久就越能明白這個道理。不過這倒是一個讓人進(jìn)步的機(jī)會，因為你要一直不斷的學(xué)習(xí)才能很好的解決你面前的難題...
摘要：導(dǎo)讀閱讀本文需要有足夠的時間，筆者會由淺到深帶你一步一步了解一個資深架構(gòu)師所要掌握的各類知識點(diǎn)，你也可以按照文章中所列的知識體系對比自身，對自己進(jìn)行查漏補(bǔ)缺，覺得本文對你有幫助的話，可以點(diǎn)贊關(guān)注一下。目錄一基礎(chǔ)篇二進(jìn)階篇三高級篇四架構(gòu)篇五擴(kuò) 導(dǎo)讀：閱讀本文需要有足夠的時間，筆者會由淺到深帶你一步一步了解一個資深架構(gòu)師所要掌握的各類知識點(diǎn)，你也可以按照文章中所列的知識體系對比自身，對自己...
摘要：起因最近幾天在寫一個滾動加載更多數(shù)據(jù)的插件，為局部滾動寫時，遇到了很多局部滾動的坑，在這里分享一下這些坑的解決方案。約定把產(chǎn)生滾動條的元素稱之為視窗全局滾動滾動條在或者父級元素上。坑一瀏覽器局部滾動默認(rèn)沒有彈性滾動的效果。 起因 最近幾天在寫一個滾動加載更多數(shù)據(jù)的插件(Scrollload)，為局部滾動寫demo時，遇到了很多局部滾動的坑，在這里分享一下這些坑的解決方案。以下的坑只針對...
閱讀 2855·2021-10-26 09:48
閱讀 1738·2021-09-22 15:22
閱讀 4134·2021-09-22 15:05
閱讀 665·2021-09-06 15:02
閱讀 2633·2019-08-30 15:52
閱讀 2133·2019-08-29 18:38
閱讀 2784·2019-08-28 18:05
閱讀 2353·2019-08-26 13:55
