摘要：肖鵬微博數(shù)據(jù)庫那些事兒肖鵬，微博研發(fā)中心技術(shù)經(jīng)理，主要負(fù)責(zé)微博數(shù)據(jù)庫相關(guān)的業(yè)務(wù)保障性能優(yōu)化架構(gòu)設(shè)計(jì)，以及周邊的自動化系統(tǒng)建設(shè)。經(jīng)歷了微博數(shù)據(jù)庫各個(gè)階段的架構(gòu)改造，包括服務(wù)保障及體系建設(shè)微博多機(jī)房部署微博平臺化改造等項(xiàng)目。

對于手握數(shù)據(jù)庫的開發(fā)人員來說，沒有誤刪過庫的人生是不完整的。不過刪庫以后不用急著跑，說不定可以恢復(fù)呢？

21分鐘MySQL基礎(chǔ)入門

我下面所有的SQL語句是基于MySQL 5.6+運(yùn)行。

開始使用
增刪改查
WHERE
AND 和 OR
ORDER BY
IN
NOT
UNION
AS
JOIN
SQL 函數(shù)
觸發(fā)器
添加索引
創(chuàng)建后表的修改

MySQL入門教程學(xué)習(xí)筆記

從零開始學(xué)習(xí)MySQL，主要是面向MySQL數(shù)據(jù)庫管理系統(tǒng)初學(xué)者。

MySQL高性能學(xué)習(xí)筆記

一、Ubuntu 安裝mysql
二、sysbench基準(zhǔn)測試
三、服務(wù)器性能剖析
四、慢查詢
五、Alter Table操作性能提升

MySQL索引專題一 認(rèn)識索引

認(rèn)識索引是什么東西非常關(guān)鍵，一個(gè)非常恰當(dāng)?shù)谋扔骶褪菚哪夸涰撆c書的正文內(nèi)容之間的關(guān)系，為了方便查找書中的內(nèi)容，通過對內(nèi)容建立索引形成目錄。因此，首先你要明白的一點(diǎn)就是，索引它也是一個(gè)文件，它是要占據(jù)物理空間的。

Mysql 配置的工作原理

可能有時(shí)候我們會問，“我的服務(wù)器有50 GB內(nèi)存，12核CPU，怎樣配置最好？” 很遺憾，問題沒這么簡單，MySQL 服務(wù)器的配置應(yīng)該符合它的工作負(fù)載，數(shù)據(jù)，以及應(yīng)用需求，并不僅僅看硬件的情況。通常只需要把基本的項(xiàng)配置正確，應(yīng)該將更多的時(shí)間花費(fèi)在 schema 的優(yōu)化，索引，以及查詢設(shè)計(jì)上。

MySQL多列索引的應(yīng)用

我們經(jīng)常聽到一些人說"把WHERE條件里的列都加上索引"，其實(shí)這個(gè)建議非常錯(cuò)誤。在多個(gè)列上建立多帶帶的索引大部分情況下并不能提高M(jìn)ySQL的查詢性能。MySQL在5.0之后引入了一種叫“索引合并”（index merge）的策略，一定程度上可以使用表上的多個(gè)單列索引來定位指定的行。但是當(dāng)服務(wù)器對多個(gè)索引做聯(lián)合操作時(shí)，通常需要耗費(fèi)大量CPU和內(nèi)存資源在算法的緩存、排序和合并操作上，特別是當(dāng)其中有些索引的選擇性不高，需要合并掃描大量的數(shù)據(jù)的時(shí)候。
這個(gè)時(shí)候，我們需要一個(gè)多列索引。

MySql之主從復(fù)制

mysql的主從復(fù)制不但可以作為數(shù)據(jù)庫備份，也能實(shí)現(xiàn)數(shù)據(jù)庫的讀寫分離，為以后處理高并發(fā)打下基礎(chǔ)。
分布式數(shù)據(jù)庫分為主數(shù)據(jù)庫（master）和從數(shù)據(jù)庫(slaves)
主從復(fù)制的基本流程：

在master上更新的內(nèi)容以二進(jìn)制日志(Binary Log)的方式存在本地
slaves開啟IO線程拿到master服務(wù)器上的二進(jìn)制流文件，并存入中繼日志(Relay Log)。這個(gè)工作叫做：binlog dump process
slaves再開啟一個(gè)SQL線程來讀取反序列化后的中繼日志，執(zhí)行其中的sql語句，達(dá)到備份數(shù)據(jù)庫的效果

【踩坑記錄】記一次MySQL主從復(fù)制延遲的坑

最近開發(fā)中遇到的一個(gè)MySQL主從延遲的坑，記錄并總結(jié)，避免再次犯同樣的錯(cuò)誤。

數(shù)據(jù)同步——otter

Ottter是由阿里巴巴開源的一個(gè)數(shù)據(jù)同步產(chǎn)品,它的最初的目的是為了解決跨國異地機(jī)房雙A架構(gòu),兩邊可寫的場景,開發(fā)時(shí)間從2011年7月份一直持續(xù)到現(xiàn)在，目前阿里巴巴B2B內(nèi)部的本地/異地機(jī)房的同步需求基本全上了Otter。Otter基于數(shù)據(jù)庫增量日志解析，支持mysql/oracle數(shù)據(jù)庫進(jìn)行同步,在最新的v4.2.13已經(jīng)支持mysql5.7以及阿里云提供的RDS數(shù)據(jù)庫(使用RDS童鞋的福音)。

mysql數(shù)據(jù)庫實(shí)現(xiàn)讀寫分離

在項(xiàng)目中使用mysql數(shù)據(jù)庫，所有的增刪改查操作都在主庫處理，隨著查詢訪問量的增加，單庫處理的壓力驟增，為了防止主庫故障，使用一主多從的方式，通過讀寫分離，把所有的查詢處理都放到從服務(wù)器上，減少單點(diǎn)故障導(dǎo)致整個(gè)服務(wù)掛掉的情況。

MySQL中字段類型與合理的選擇字段類型；int(11)最大長度是多少？，varchar最大長度是多少

MySQL 的數(shù)值數(shù)據(jù)類型可以大致劃分為兩個(gè)類別，一個(gè)是整數(shù)，另一個(gè)是浮點(diǎn)數(shù)或小數(shù)。
許多不同的子類型對這些類別中的每一個(gè)都是可用的，每個(gè)子類型支持不同大小的數(shù)據(jù)，并且 MySQL 允許我們指定數(shù)值字段中的值是否有正負(fù)之分(UNSIGNED)或者用零填補(bǔ)(ZEROFILL)。

【MySQL】Mysql鎖機(jī)制簡介

鎖是數(shù)據(jù)庫系統(tǒng)區(qū)別于文件系統(tǒng)的一個(gè)關(guān)鍵特性。
鎖機(jī)制用于管理對共享資源的并發(fā)訪問，提供數(shù)據(jù)的完整性和一致性。
InnoDB存儲引擎不僅會在行級別上對表數(shù)據(jù)上鎖，還會在數(shù)據(jù)庫內(nèi)部其他多個(gè)地方使用鎖，從而允許對多種不同資源提供并發(fā)訪問。如：操作緩沖池中LRU列表，刪除、添加、移動LRU列表中的元素，為了保證數(shù)據(jù)的完整性，必須有鎖的介入。

Mysql 事務(wù)及數(shù)據(jù)的一致性處理

在工作中，我們經(jīng)常會遇到這樣的問題，需要更新庫存，當(dāng)我們查詢到可用的庫存準(zhǔn)備修改時(shí)，這時(shí)，其他的用戶可能已經(jīng)對這個(gè)庫存數(shù)據(jù)進(jìn)行修改了，導(dǎo)致，我們查詢到的數(shù)據(jù)會有問題，下面我們就來看解決方法。

用nginx訪問日志記錄mysql數(shù)據(jù)庫中的用戶id

nginx有很強(qiáng)大的日志功能，但是在缺省狀態(tài)下，它只能記錄用戶的IP地址以及瀏覽器信息。如果我們有用戶登錄注冊系統(tǒng)，在用戶已登錄的情況下，想記錄訪問某一個(gè)網(wǎng)頁的到底是哪一個(gè)用戶，怎么辦呢？因?yàn)槲覀儾恢幌胫赖降资悄囊粋€(gè)IP地址訪問了哪一個(gè)網(wǎng)頁，并且還想知道到底是哪一個(gè)登錄用戶訪問了哪一個(gè)網(wǎng)頁，這對于我們?nèi)蘸笥嗅槍π缘叵蛩?她推薦信息甚至推送廣告都是非常有用的。

mysql(InnoDB)事務(wù)隔離級別(READ UNCOMMITTED) 與 鎖

mysql 配置優(yōu)化

優(yōu)化 sql 語句的一般步驟

一、通過 show status 命令了解各種 sql 的執(zhí)行頻率
二、定義執(zhí)行效率較低的 sql 語句
三、通過 explain 分析低效 sql 的執(zhí)行計(jì)劃
四、通過 performance_schema 分析 sql 性能
五、通過 trace 分析優(yōu)化器如何選擇執(zhí)行計(jì)劃。
六、 確定問題并采取相應(yīng)的優(yōu)化措施

mysql查詢與索引優(yōu)化優(yōu)化

性能下降SQL慢的原因
常見通用的join查詢
索引
索引的使用

項(xiàng)目中常用的19條MySQL優(yōu)化

聲明一下：下面的優(yōu)化方案都是基于 “ Mysql-索引-BTree類型 ” 的。

MySQL 【去重留一】一條sql語句完成 思路總結(jié)

前幾天在做一個(gè)需求的時(shí)候，需要清理mysql中重復(fù)的記錄，當(dāng)時(shí)的想法是通過代碼遍歷寫出來，然后覺得太復(fù)雜，心里想著應(yīng)該可以通過一個(gè)sql語句來解決問題的。查了資料，請教了大佬之后得出了一個(gè)很便利的sql語句，這里分享下這段sql語句和思路。

Mysql性能調(diào)優(yōu)與測試

我們的Mysql服務(wù)運(yùn)行一段時(shí)間后，不知什么原因就變慢了，怎么查找原因呢？

一、關(guān)鍵性指標(biāo)
二、TPCC測試關(guān)鍵性指標(biāo)
三、數(shù)據(jù)庫參數(shù)配置優(yōu)化
四、MySQL系統(tǒng)狀態(tài)

MySQL性能優(yōu)化方案總結(jié)

對MySQL進(jìn)行優(yōu)化主要可以從以下幾個(gè)方面進(jìn)行：
效果: SQL語句和索引 > 數(shù)據(jù)庫對象：表結(jié)構(gòu)、字段類型、存儲引擎 > 配置 > 硬件
但成本從低到高。

MySQL 性能優(yōu)化神器 Explain 使用分析

MySQL 提供了一個(gè) EXPLAIN 命令，它可以對 SELECT 語句進(jìn)行分析，并輸出 SELECT 執(zhí)行的詳細(xì)信息，以供開發(fā)人員針對性優(yōu)化。
而EXPLAIN 命令用法十分簡單，在 SELECT 語句前加上 Explain 就可以了。

MySQL-InnoDB-MVCC多版本并發(fā)控制

MySQL的大多數(shù)事務(wù)型存儲引擎實(shí)現(xiàn)的其實(shí)都不是簡單的行級鎖。基于提升并發(fā)性能的考慮，它們一般都同時(shí)實(shí)現(xiàn)了多版本并發(fā)控制(MVCC)。不僅是MySQL，包括Oracle，PostgreSQL等其他數(shù)據(jù)庫系統(tǒng)也都實(shí)現(xiàn)了MVCC，但各自的實(shí)現(xiàn)機(jī)制不盡相同，因?yàn)镸VCC沒有一個(gè)統(tǒng)一的實(shí)現(xiàn)標(biāo)準(zhǔn)。
可以認(rèn)為MVCC是行級鎖的一個(gè)變種，但是它在很多情況下避免了加鎖操作，因此開銷更低。雖然實(shí)現(xiàn)機(jī)制有所不同，但大都實(shí)現(xiàn)了非阻塞的讀操作，寫操作也只鎖定必要的行。

MySQL高并發(fā)事務(wù)問題及解決方案

事務(wù) 可以理解為一個(gè)獨(dú)立的工作單元，在這個(gè)獨(dú)立的工作單元中，有一組操作；放在事務(wù)(獨(dú)立工作單元)中的多個(gè)操作，要么全部執(zhí)行成功，要么全部執(zhí)行失敗。

MySQL大表優(yōu)化方案

當(dāng)MySQL單表記錄數(shù)過大時(shí)，增刪改查性能都會急劇下降，可以參考以下步驟來優(yōu)化：

單表優(yōu)化
讀寫分離
緩存
表分區(qū)
垂直拆分
水平拆分
兼容MySQL且可水平擴(kuò)展的數(shù)據(jù)庫
NoSQL

我必須得告訴大家的MySQL優(yōu)化原理

說起MySQL的查詢優(yōu)化，相信大家收藏了一堆奇技淫巧：不能使用SELECT *、不使用NULL字段、合理創(chuàng)建索引、為字段選擇合適的數(shù)據(jù)類型..... 你是否真的理解這些優(yōu)化技巧？是否理解其背后的工作原理？在實(shí)際場景下性能真有提升嗎？我想未必。因而理解這些優(yōu)化建議背后的原理就尤為重要，希望本文能讓你重新審視這些優(yōu)化建議，并在實(shí)際業(yè)務(wù)場景下合理的運(yùn)用。

單表60億記錄等大數(shù)據(jù)場景的MySQL優(yōu)化和運(yùn)維之道 | 高可用架構(gòu)

MySQL數(shù)據(jù)庫大家應(yīng)該都很熟悉，而且隨著前幾年的阿里的去IOE，MySQL逐漸引起更多人的重視。
MySQL的優(yōu)點(diǎn)：

使用簡單
開源免費(fèi)
擴(kuò)展性“好”，在一定階段擴(kuò)展性好
社區(qū)活躍
性能可以滿足互聯(lián)網(wǎng)存儲和性能需求，離不開硬件支持

上面這幾個(gè)因素也是大多數(shù)公司選擇考慮MySQL的原因。不過MySQL本身存在的問題和限制也很多，有些問題點(diǎn)也經(jīng)常被其他數(shù)據(jù)庫吐槽或鄙視。

肖鵬：微博數(shù)據(jù)庫那些事兒

肖鵬，微博研發(fā)中心技術(shù)經(jīng)理，主要負(fù)責(zé)微博數(shù)據(jù)庫（MySQL/Reids/HBase/Memcached）相關(guān)的業(yè)務(wù)保障、性能優(yōu)化、架構(gòu)設(shè)計(jì)，以及周邊的自動化系統(tǒng)建設(shè)。經(jīng)歷了微博數(shù)據(jù)庫各個(gè)階段的架構(gòu)改造，包括服務(wù)保障及SLA體系建設(shè)、微博多機(jī)房部署、微博平臺化改造等項(xiàng)目。10年互聯(lián)網(wǎng)數(shù)據(jù)庫架構(gòu)和管理經(jīng)驗(yàn)，專注于數(shù)據(jù)庫的高性能和高科用技術(shù)保障方向。

MySQL 備份和恢復(fù)機(jī)制

一、 備份恢復(fù)策略
二、 邏輯備份和恢復(fù)
三、物理備份和恢復(fù)
四、 表的導(dǎo)入導(dǎo)出

自動備份MySQL數(shù)據(jù)庫并發(fā)送郵件的SHELL腳本

自己平常用的一個(gè)shell腳本，起自動備份mysql中所有數(shù)據(jù)庫作用，在任務(wù)執(zhí)行完成后，會記錄日志和自動發(fā)送郵件到郵箱。
配合crontab可以實(shí)現(xiàn)每天自動備份。

linux數(shù)據(jù)庫定期備份

目標(biāo): 每隔1分鐘,導(dǎo)出.sql,壓縮,并按日期存儲在/data 下,每分鐘后刪除.sql文件,每隔2分鐘刪除.tar.gz文件
知識: 定時(shí)任務(wù) crontab , mysqldump 導(dǎo)出 , tar 打包壓縮, 按日期創(chuàng)建文件 date

Linux定時(shí)備份數(shù)據(jù)庫到指定郵箱

這里使用的是網(wǎng)易郵箱126郵箱的STMP服務(wù)，服務(wù)器是smtp.126.com。如果你使用其它第三方郵箱，在帳號設(shè)置那里一般都有說明SMTP服務(wù)器地址。

Linux MySQL定時(shí)備份并上傳到git倉庫

對于備份的數(shù)據(jù)文件我們可能會存放在服務(wù)器目錄，備份周期的話當(dāng)然是按照數(shù)據(jù)量來說的，這里我們一般都是每天的凌晨備份一次。
備份后的文件存放在我們的服務(wù)器的目錄下面，但是萬一有一天服務(wù)器也崩潰了，那么備份的文件也就沒了。
所以我們設(shè)想一個(gè)好的方案就是數(shù)據(jù)庫每天備份，每次備份自動提交到遠(yuǎn)程倉庫，這里我以碼云為例。

使用xtrabackup對MySQL innodb表熱備份，增量備份

對于數(shù)據(jù)庫的備份重要性不必多言，為了防止數(shù)據(jù)以各種方式丟失，損壞，必須對數(shù)據(jù)庫進(jìn)行定期備份。
首先考慮備份的時(shí)候?qū)?shù)據(jù)庫業(yè)務(wù)的影響。
再者如果定期進(jìn)行備份，如果每次都進(jìn)行全量備份，顯然一部分?jǐn)?shù)據(jù)是重復(fù)，浪費(fèi)大量磁盤空間。

shell腳本實(shí)現(xiàn)mysql數(shù)據(jù)備份

今天遇到一個(gè)很傻逼的問題，有人登上開發(fā)服務(wù)器，不知是有意還是無心；把mysql里面的庫全部刪除了。。。那個(gè)人結(jié)果如何，我們就不作討論了。。。沒辦法我只能寫個(gè)shell腳本，用crontab跑下定時(shí)；做些簡單的數(shù)據(jù)備份了，順便寫個(gè)筆記。
其實(shí)很簡單：

寫一個(gè)shell腳本通過mysql的mysqldump，將數(shù)據(jù)導(dǎo)出成對應(yīng)的sql文件；
使用linux的crontab定時(shí)運(yùn)行對應(yīng)腳本，將sql，文件保存到對應(yīng)的目錄下；
可想而知，隨著數(shù)據(jù)量的增加和備份的頻率都會導(dǎo)致備份服務(wù)器的硬盤資源使用率也會直線攀升；為了解決這個(gè)問題，我們就需要，定時(shí)清理備份內(nèi)容；而我還是簡單的使用了個(gè)shell腳本，通過crontab定時(shí)去清理；

MySQL誤操作后如何快速恢復(fù)數(shù)據(jù)

基本上每個(gè)跟數(shù)據(jù)庫打交道的程序員（當(dāng)然也可能是你同事）都會碰一個(gè)問題，MySQL誤操作后如何快速回滾？比如，delete一張表，忘加限制條件，整張表都沒了。假如這還是線上環(huán)境核心業(yè)務(wù)數(shù)據(jù)，那這事就鬧大了。誤操作后，能快速回滾數(shù)據(jù)是非常重要的。

mysqldump - 給 DBA 的 25 個(gè)小技巧

本期完
:）

歡迎關(guān)注 SegmentFault 講堂服務(wù)號 :)