摘要：項目簡介在慕課網(wǎng)上發(fā)現(xiàn)了一個項目，內(nèi)容講的是高并發(fā)秒殺，覺得挺有意思的，就進去學習了一番。比如重復秒殺，秒殺關閉這些都是屬于秒殺的業(yè)務。秒殺操作是與數(shù)據(jù)庫的事務相關的，不能使用緩存來替代了。
項目簡介
在慕課網(wǎng)上發(fā)現(xiàn)了一個JavaWeb項目，內(nèi)容講的是高并發(fā)秒殺，覺得挺有意思的，就進去學習了一番。
記錄在該項目中學到了什么玩意..
該項目源碼對應的gitHub地址（由觀看其視頻的人編寫，并非視頻源代碼）：https://github.com/codingXiaxw/seckill
我結(jié)合其資料和觀看視頻的時候整理出從該項目學到了什么...
項目Dao層
日志記錄工具：
Mybatis之前沒注意到的配置屬性：
使用jdbc的getGeneratekeys獲取自增主鍵值 ，這個屬性還是挺有用的。
Mybatis返回的對象如果有關聯(lián)字段，除了使用resultMap還有下面這種方式（雖然我還是覺得resultMap會方便一點）
SELECT
sk.seckill_id,
sk.user_phone,
sk.create_time,
sk.state,
s.seckill_id "seckill.seckill_id",
s.name "seckill.name",
s.number "seckill",
s.start_time "seckill.start_time",
s.end_time "seckill.end_time",
s.create_time "seckill.create_time"
FROM success_killed sk
INNER JOIN seckill s ON sk.seckill_id=s.seckill_id
WHERE sk.seckill_id=#{seckillId}
AND sk.user_phone=#{userPhone}
數(shù)據(jù)庫連接池可能用到的屬性：
spring與Junit整合：
/**
* Created by codingBoy on 16/11/27.
* 配置spring和junit整合，這樣junit在啟動時就會加載spring容器
*/
@RunWith(SpringJUnit4ClassRunner.class)
//告訴junit spring的配置文件
@ContextConfiguration({"classpath:spring/spring-dao.xml"})
public class SeckillDaoTest {
//注入Dao實現(xiàn)類依賴
@Resource
private SeckillDao seckillDao;
@Test
public void queryById() throws Exception {
long seckillId=1000;
Seckill seckill=seckillDao.queryById(seckillId);
System.out.println(seckill.getName());
System.out.println(seckill);
}
}
Mybatis參數(shù)為一個以上時
之前在學習MyBatis的時候，如果參數(shù)超過了一個，那么是使用Map集合來進行裝載的！
在這次教程中發(fā)現(xiàn)，可以不用Map集合（如果都是基本數(shù)據(jù)類型）！
例子：使用@Param就行了！
int reduceNumber(@Param("seckillId") long seckillId, @Param("killTime") Date killTime);
在XML文件中可以直接忽略parameterType了！
避免重復插入數(shù)據(jù)時拋出異常
如果主鍵重復插入數(shù)據(jù)的時候，Mybatis正常是會拋出異常的，我們又不希望它拋出異常，那么我們可以這樣做：
寫ignore..
Service層
tdo
一個dto包作為傳輸層,dto和entity的區(qū)別在于:entity用于業(yè)務數(shù)據(jù)的封裝，而dto用于完成web和service層的數(shù)據(jù)傳遞。
對于dto這個概念，在之前我是接觸過一次的，但是沒有好好地實踐起來。這次看到了它的用法了。
我的理解是：Service與Web層數(shù)據(jù)傳遞數(shù)據(jù)的再包裝了一個對象而已 。因為很多時候Service層返回的數(shù)據(jù)如果使用的是POJO，POJO很多的屬性是多余的，還有一些想要的數(shù)據(jù)又包含不了。此時，dto又可以再一次對要傳輸?shù)臄?shù)據(jù)進行抽象，封裝想獲取的數(shù)據(jù) 。
定義多個異常對象
之前的異常對象都是針對整個業(yè)務的，其實還是可以細分多個異常類的出來的 。比如“重復秒殺”，”秒殺關閉“這些都是屬于秒殺的業(yè)務。
這樣做的好處就是看到拋出的異常就能夠知道是具體哪部分錯了。
對于視頻中在Service層就catch住了很多異常，我覺得可以在Service層直接拋出，在Controller也能拋出，直接使用統(tǒng)一異常處理器類來管理會更加方便！
提倡使用注解方式使用事務
我覺得就是代碼更加清晰吧，使用注解的話。
在視頻下面還有同學說如果在Service中調(diào)用事務方法會有些坑，我暫時還沒遇到過。先存起來吧：
并發(fā)性上不去是因為當多個線程同時訪問一行數(shù)據(jù)時，產(chǎn)生了事務，因此產(chǎn)生寫鎖，每當一個獲取了事務的線程把鎖釋放，另一個排隊線程才能拿到寫鎖，QPS和事務執(zhí)行的時間有密切關系，事務執(zhí)行時間越短，并發(fā)性越高，這也是要將費時的I/O操作移出事務的原因。
關于同類中調(diào)用事務方法的時候有個坑，同學們需要注意下AOP切不到調(diào)用事務方法。事務不會生效，解決辦法有幾種，可以搜一下，找一下適合自己的方案。本質(zhì)問題時類內(nèi)部調(diào)用時AOP不會用代理調(diào)用內(nèi)部方法。
“關于同類中調(diào)用事務方法的時候有個坑” 解決方案 MD5暴露接口
其實我也在想MD5暴露出去的url是不是真的有用，也見到有人提問了。
https://www.imooc.com/qadetail/164058
回答者：
不能說沒作用，如果不加密，用戶截取了你的訪問地址，他看到了當前秒殺ID為1000，他完全可以推測出其他的秒殺地址，或者說他可以造出一批地址；視頻中秒殺在數(shù)據(jù)庫中判斷了秒殺時間，其他時間他自然是秒殺不到，但是對數(shù)據(jù)庫也有一定的沖擊，如果他用定時器或者循環(huán)秒殺軟件，你的系統(tǒng)承受力是個問題；另一方面對于一些還沒開始的秒殺，他模擬地址以后，完全可以用定時器一直訪問。加密以后由于他拿不到混淆碼，就只能通過點擊鏈接進行秒殺……
簡單理解：通過MD5加密以后，用戶在秒殺之前模擬不出真實的地址，還是有一定作用的。
枚舉類
在return new SeckillExecution(seckillId,1,"秒殺成功",successKilled);代碼中，我們返回的state和stateInfo參數(shù)信息應該是輸出給前端的，但是我們不想在我們的return代碼中硬編碼這兩個參數(shù)，所以我們應該考慮用枚舉的方式將這些常量封裝起來 ，
public enum SeckillStatEnum {
SUCCESS(1,"秒殺成功"),
END(0,"秒殺結(jié)束"),
REPEAT_KILL(-1,"重復秒殺"),
INNER_ERROR(-2,"系統(tǒng)異常"),
DATE_REWRITE(-3,"數(shù)據(jù)篡改");
private int state;
private String info;
SeckillStatEnum(int state, String info) {
this.state = state;
this.info = info;
}
public int getState() {
return state;
}
public String getInfo() {
return info;
}
public static SeckillStatEnum stateOf(int index)
{
for (SeckillStatEnum state : values())
{
if (state.getState()==index)
{
return state;
}
}
return null;
}
}
Web層開發(fā)技巧
Restful接口設計學習
之前就已經(jīng)接觸過RESTful這樣的思想理念的，可是在第一個項目中是沒有用起來的。因為還是不大習慣，怕寫成不倫不類的RESTful接口，打算在第二個項目中將RESTful全部應用起來。
參考博文：http://kb.cnblogs.com/page/512047/
SpringMVC之前不知道的細節(jié)
@DateTimeFormat注解對時間進行格式化?。ㄟ@個我暫時沒有試驗）
返回統(tǒng)一格式的JSON
之前在Web層與Service中封裝了dto來進行這兩層的數(shù)據(jù)進行傳輸，而我們一般都是在Controller返回JSON給前端進行解析。
最好的做法就是將JSON的格式也統(tǒng)一化。這樣做就能夠很好地形成規(guī)范了！
//將所有的ajax請求返回類型，全部封裝成json數(shù)據(jù)
public class SeckillResult {
private boolean success;
private T data;
private String error;
public SeckillResult(boolean success, T data) {
this.success = success;
this.data = data;
}
public SeckillResult(boolean success, String error) {
this.success = success;
this.error = error;
}
public boolean isSuccess() {
return success;
}
public void setSuccess(boolean success) {
this.success = success;
}
public T getData() {
return data;
}
public void setData(T data) {
this.data = data;
}
public String getError() {
return error;
}
public void setError(String error) {
this.error = error;
}
}
獲取JSON數(shù)據(jù)方式
之前獲取JSON都是使用object.properties 的方式來獲取的，這次還看到了另一種方式：
JavaScript模塊化
之前在項目中寫JS代碼都是要什么功能，寫到哪里的。看了這次視頻，發(fā)現(xiàn)JS都可以模塊化?。?！
JS模塊化起來可讀性還是比之前要好的，這是我之前沒有接觸過的，以后寫JS代碼就要注意了！
下面貼上一段代碼來感受一下：
/**
* 模塊化javaScript
* Created by jianrongsun on 17-5-25.
*/
var seckill = {
// 封裝秒殺相關的ajax的url
URL: {
now: function () {
return "/seckill/time/now";
},
exposer: function (seckillId) {
return "/seckill/" + seckillId + "/exposer";
},
execution: function (seckillId, md5) {
return "/seckill/" + seckillId + "/" + md5 + "/execution";
}
},
// 驗證手機號碼
validatePhone: function (phone) {
return !!(phone && phone.length === 11 && !isNaN(phone));
},
// 詳情頁秒殺業(yè)務邏輯
detail: {
// 詳情頁開始初始化
init: function (params) {
console.log("獲取手機號碼");
// 手機號驗證登錄，計時交互
var userPhone = $.cookie("userPhone");
// 驗證手機號
if (!seckill.validatePhone(userPhone)) {
console.log("未填寫手機號碼");
// 驗證手機控制輸出
var killPhoneModal = $("#killPhoneModal");
killPhoneModal.modal({
show: true, // 顯示彈出層
backdrop: "static", // 靜止位置關閉
keyboard: false // 關閉鍵盤事件
});
$("#killPhoneBtn").click(function () {
console.log("提交手機號碼按鈕被點擊");
var inputPhone = $("#killPhoneKey").val();
console.log("inputPhone" + inputPhone);
if (seckill.validatePhone(inputPhone)) {
// 把電話寫入cookie
$.cookie("userPhone", inputPhone, {expires: 7, path: "/seckill"});
// 驗證通過 刷新頁面
window.location.reload();
} else {
// todo 錯誤文案信息寫到前端
$("#killPhoneMessage").hide().html("手機號碼錯誤 ").show(300);
}
});
} else {
console.log("在cookie中找到了電話號碼，開啟計時");
// 已經(jīng)登錄了就開始計時交互
var startTime = params["startTime"];
var endTime = params["endTime"];
var seckillId = params["seckillId"];
console.log("開始秒殺時間=======" + startTime);
console.log("結(jié)束秒殺時間========" + endTime);
$.get(seckill.URL.now(), {}, function (result) {
if (result && result["success"]) {
var nowTime = seckill.convertTime(result["data"]);
console.log("服務器當前的時間==========" + nowTime);
// 進行秒殺商品的時間判斷，然后計時交互
seckill.countDown(seckillId, nowTime, startTime, endTime);
} else {
console.log("結(jié)果:" + result);
console.log("result" + result);
}
});
}
}
},
handlerSeckill: function (seckillId, mode) {
// 獲取秒殺地址
mode.hide().html("開始秒殺 ");
console.debug("開始進行秒殺地址獲取");
$.get(seckill.URL.exposer(seckillId), {}, function (result) {
if (result && result["success"]) {
var exposer = result["data"];
if (exposer["exposed"]) {
console.log("有秒殺地址接口");
// 開啟秒殺，獲取秒殺地址
var md5 = exposer["md5"];
var killUrl = seckill.URL.execution(seckillId, md5);
console.log("秒殺的地址為:" + killUrl);
// 綁定一次點擊事件
$("#killBtn").one("click", function () {
console.log("開始進行秒殺,按鈕被禁用");
// 執(zhí)行秒殺請求，先禁用按鈕
$(this).addClass("disabled");
// 發(fā)送秒殺請求
$.post(killUrl, {}, function (result) {
var killResult = result["data"];
var state = killResult["state"];
var stateInfo = killResult["stateInfo"];
console.log("秒殺狀態(tài)" + stateInfo);
// 顯示秒殺結(jié)果
mode.html("" + stateInfo + " ");
});
});
mode.show();
} else {
console.warn("還沒有暴露秒殺地址接口,無法進行秒殺");
// 未開啟秒殺
var now = seckill.convertTime(exposer["now"]);
var start = seckill.convertTime(exposer["start"]);
var end = seckill.convertTime(exposer["end"]);
console.log("當前時間" + now);
console.log("開始時間" + start);
console.log("結(jié)束時間" + end);
console.log("開始倒計時");
console.debug("開始進行倒計時");
seckill.countDown(seckillId, now, start, end);
}
} else {
console.error("服務器端查詢秒殺商品詳情失敗");
console.log("result" + result.valueOf());
}
});
},
countDown: function (seckillId, nowTime, startTime, endTime) {
console.log("秒殺的商品ID:" + seckillId + ",服務器當前時間：" + nowTime + ",開始秒殺的時間:" + startTime + ",結(jié)束秒殺的時間" + endTime);
// 獲取顯示倒計時的文本域
var seckillBox = $("#seckill-box");
// 獲取時間戳進行時間的比較
nowTime = new Date(nowTime).valueOf();
startTime = new Date(startTime).valueOf();
endTime = new Date(endTime).valueOf();
console.log("轉(zhuǎn)換后的Date類型當前時間戳" + nowTime);
console.log("轉(zhuǎn)換后的Date類型開始時間戳" + startTime);
console.log("轉(zhuǎn)換后的Date類型結(jié)束時間戳" + endTime);
if (nowTime < endTime && nowTime > startTime) {
// 秒殺開始
console.log("秒殺可以開始,兩個條件符合");
seckill.handlerSeckill(seckillId, seckillBox);
}
else if (nowTime > endTime) {
alert(nowTime > endTime);
// console.log(nowTime + ">" + startTime);
console.log(nowTime + ">" + endTime);
// 秒殺結(jié)束
console.warn("秒殺已經(jīng)結(jié)束了,當前時間為:" + nowTime + ",秒殺結(jié)束時間為" + endTime);
seckillBox.html("秒殺結(jié)束");
} else {
console.log("秒殺還沒開始");
alert(nowTime < startTime);
// 秒殺未開啟
var killTime = new Date(startTime + 1000);
console.log(killTime);
console.log("開始計時效果");
seckillBox.countdown(killTime, function (event) {
// 事件格式
var format = event.strftime("秒殺倒計時: %D天 %H時 %M分 %S秒");
console.log(format);
seckillBox.html(format);
}).on("finish.countdown", function () {
// 事件完成后回調(diào)事件，獲取秒殺地址，控制業(yè)務邏輯
console.log("準備執(zhí)行回調(diào),獲取秒殺地址,執(zhí)行秒殺");
console.log("倒計時結(jié)束");
seckill.handlerSeckill(seckillId, seckillBox);
});
}
},
cloneZero: function (time) {
var cloneZero = ":00";
if (time.length < 6) {
console.warn("需要拼接時間");
time = time + cloneZero;
return time;
} else {
console.log("時間是完整的");
return time;
}
},
convertTime: function (localDateTime) {
var year = localDateTime.year;
var monthValue = localDateTime.monthValue;
var dayOfMonth = localDateTime.dayOfMonth;
var hour = localDateTime.hour;
var minute = localDateTime.minute;
var second = localDateTime.second;
return year + "-" + monthValue + "-" + dayOfMonth + " " + hour + ":" + minute + ":" + second;
}
};
高并發(fā)性能優(yōu)化
前三篇已經(jīng)做好了這個系統(tǒng)了，但是作為一個秒殺系統(tǒng)而言，它能支持的并發(fā)量是很低的。那我們現(xiàn)在要考慮怎么調(diào)優(yōu)。
分析
秒殺的地址接口可以借助redis來進行優(yōu)化，不用多次訪問數(shù)據(jù)庫。
秒殺操作是與數(shù)據(jù)庫的事務相關的，不能使用緩存來替代了。下面給出的方案是需要修改源碼的，難度是比較難的。
下面分析瓶頸究竟在哪：
Mysql執(zhí)行單條的SQL語句其實是非?？斓?。
主要是行級鎖事務的等待，網(wǎng)絡的延遲和GC回收！
解決思路：
解決秒殺接口
對于秒殺接口而言，需要使用到Redis將數(shù)據(jù)進行緩存起來。那么用戶就訪問就不用去訪問數(shù)據(jù)庫了，我們給Redis緩存的數(shù)據(jù)就好了。
這次使用Jedis來操作Redis.
還有值得 注意的地方：我們可以使用ProtostuffIOUtil來代替JDK的序列化，因為這個的序列化功能比JDK的要做得好很多！
package com.suny.dao.cache;
import com.dyuproject.protostuff.LinkedBuffer;
import com.dyuproject.protostuff.ProtostuffIOUtil;
import com.dyuproject.protostuff.runtime.RuntimeSchema;
import com.suny.entity.Seckill;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
/**
* 操作Redis的dao類
* Created by 孫建榮 on 17-5-27.下午4:44
*/
public class RedisDao {
private final Logger logger = LoggerFactory.getLogger(this.getClass());
private final JedisPool jedisPool;
private RuntimeSchema schema = RuntimeSchema.createFrom(Seckill.class);
public RedisDao(String ip, int port) {
jedisPool = new JedisPool(ip, port);
}
public Seckill getSeckill(long seckillId) {
// redis操作業(yè)務邏輯
try (Jedis jedis = jedisPool.getResource()) {
String key = "seckill:" + seckillId;
// 并沒有實現(xiàn)內(nèi)部序列化操作
//get->byte[]字節(jié)數(shù)組->反序列化>Object(Seckill)
// 采用自定義的方式序列化
// 緩存獲取到
byte[] bytes = jedis.get(key.getBytes());
if (bytes != null) {
// 空對象
Seckill seckill = schema.newMessage();
ProtostuffIOUtil.mergeFrom(bytes, seckill, schema);
// seckill被反序列化
return seckill;
}
} catch (Exception e) {
logger.error(e.getMessage(), e);
}
return null;
}
public String putSeckill(Seckill seckill) {
// set Object(Seckill) -> 序列化 -> byte[]
try (Jedis jedis = jedisPool.getResource()) {
String key = "seckill:" + seckill.getSeckillId();
byte[] bytes = ProtostuffIOUtil.toByteArray(seckill, schema,
LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE));
// 超時緩存
int timeout=60*60;
return jedis.setex(key.getBytes(), timeout, bytes);
} catch (Exception e) {
logger.error(e.getMessage(), e);
}
return null;
}
}
redis.clients
jedis
2.9.0
com.dyuproject.protostuff
protostuff-core
1.1.1
com.dyuproject.protostuff
protostuff-runtime
1.1.1
RedisDao并不受Mybatis的代理影響，于是是需要我們自己手動創(chuàng)建的。
最終，我們的service邏輯就會變成這樣子：
秒殺操作優(yōu)化
再次回到我們的秒殺操作，其實需要優(yōu)化的地方就是我們的GC和行級鎖等待的時間。
我們之前的邏輯是這樣的：先執(zhí)行減庫存操作，再插入購買成功的記錄
其實，我們可以先插入成功購買的記錄，再執(zhí)行減庫存的操作！
那這兩者有啥區(qū)別呢？？？減庫存的操作會導致行級鎖的等待，而我們先進行insert的話，那么就不會被行級鎖所干擾了。并且，我們這中兩個操作是在同一個事物中的，并不會出現(xiàn)“超賣”的情況！
關于先執(zhí)行insert與先執(zhí)行update的區(qū)別,兩個事務同時insert的情況下,沒有鎖競爭,執(zhí)行速度會快,當兩個事務先update同一行數(shù)據(jù),會有一個事務獲得行鎖,鎖在事務提交之前都不會釋放,所以讓鎖被持有的時間最短能提升效率
所以我們service層的邏輯可以改成這樣：
這不是最終的方案，如果為了性能的優(yōu)化我們還可以將SQL在Mysql中運行，不受Spring的事務來管理。在Mysql使用存儲過程來進行提交性能
-- 秒殺執(zhí)行儲存過程
DELIMITER $$ -- console ; 轉(zhuǎn)換為
$$
-- 定義儲存過程
-- 參數(shù)： in 參數(shù) out輸出參數(shù)
-- row_count() 返回上一條修改類型sql(delete,insert,update)的影響行數(shù)
-- row_count:0:未修改數(shù)據(jù) ; >0:表示修改的行數(shù)； <0:sql錯誤
CREATE PROCEDURE `seckill`.`execute_seckill`
(IN v_seckill_id BIGINT, IN v_phone BIGINT,
IN v_kill_time TIMESTAMP, OUT r_result INT)
BEGIN
DECLARE insert_count INT DEFAULT 0;
START TRANSACTION;
INSERT IGNORE INTO success_killed
(seckill_id, user_phone, create_time)
VALUES (v_seckill_id, v_phone, v_kill_time);
SELECT row_count()
INTO insert_count;
IF (insert_count = 0)
THEN
ROLLBACK;
SET r_result = -1;
ELSEIF (insert_count < 0)
THEN
ROLLBACK;
SET r_result = -2;
ELSE
UPDATE seckill
SET number = number - 1
WHERE seckill_id = v_seckill_id
AND end_time > v_kill_time
AND start_time < v_kill_time
AND number > 0;
SELECT row_count()
INTO insert_count;
IF (insert_count = 0)
THEN
ROLLBACK;
SET r_result = 0;
ELSEIF (insert_count < 0)
THEN
ROLLBACK;
SET r_result = -2;
ELSE
COMMIT;
SET r_result = 1;
END IF;
END IF;
END;
$$
-- 儲存過程定義結(jié)束
DELIMITER ;
SET @r_result = -3;
-- 執(zhí)行儲存過程
CALL execute_seckill(1003, 13502178891, now(), @r_result);
-- 獲取結(jié)果
SELECT @r_result;
。
Mybatis調(diào)用存儲過程其實和JDBC是一樣的:
在使用存儲過程的時候，我們需要4個參數(shù)，其實result是在存儲過程中被賦值的。我們可以通過MapUtils來獲取相對應的值。這是我之前沒有接觸過的。
最后，對于部署的系統(tǒng)架構應該是這樣子的：
總結(jié)
花了點時間看了該視頻教程，覺得還是學到了不少的東西的。之前沒有接觸過優(yōu)化的相關問題，現(xiàn)在給我打開了思路，以及學到了不少的開發(fā)規(guī)范的問題，也是很贊的。如果是初學者的話是可以去學學的。
如果文章有錯的地方歡迎指正，大家互相交流。習慣在微信看技術文章，想要獲取更多的Java資源的同學，可以關注微信公眾號:Java3y
