Database和SSD的实践与探索IT168数据库大会公开.docx
《Database和SSD的实践与探索IT168数据库大会公开.docx》由会员分享，可在线阅读，更多相关《Database和SSD的实践与探索IT168数据库大会公开.docx（19页珍藏版）》请在冰豆网上搜索。
Database和SSD的实践与探索IT168数据库大会公开
DTCC2011
1数据库与SSD的实践与探索
张瑞@Alibaba
2SSD技术介绍
DTCC2011
ØSSD技术介绍：
·存储技术：
NAND，NOR
SLC，MLC
·接口类型：
SATA，SAS，FC，PCIe
·生产厂家：
Intel，Fusion-io，STEC，SandForce，HUAWEI
3SSD的性能特点
DTCC2011
ØSSDvs硬盘：
SSD：
·IOPS：
随机读35000，随机写5000
·Throughput：
连续读250M，连续写170M
·Latency：
75us
磁盘：
·IOPS：
随机读160，随机写160
·Throughput：
连续读170M，连续写130M
·Latency：
6ms
ØSSD性能分析：
·巨大的IOPS优势
·IO延时非常低
·吞吐量相比磁盘无明显优势
·SSD需要擦除操作
4SSD的磨损问题
DTCC2011
4.1Ø擦除对性能的影响：
·写入单位page（4K），擦除单位block（512K）
·改写=读取+擦除+写入
·擦除的代价高，延时2ms
·擦除的次数是有限的
·擦除导致写性能下降
4.2ØSSD硬件层的作用：
·FTL：
物理逻辑地址映射
·Reclamation：
回收策略，异步擦除
·Wearleveling：
均衡写磨损，提升寿命
·Sparearea：
减小写入放大，提升写性能
4.3Ø厂商数据：
·擦除次数：
SLC：
10万次，MLC：
1万次
·写入数据量：
随机写2PB，IntelX25-E（64G）
5SSD磨损数据分析
DTCC2011
Ø读取SSD的S.M.A.R.T.信息
·通过RAID控制器读取SSD的信息
·LSIRAID控制器+IntelX25-E64G
·Megacli+Smartmontools
ØSSD的S.M.A.R.T.数据
·MediaWearoutIndicator
·Re-allocatedSectorCount
·HostWritesCount
Ø数据分析与结论
·写入40T数据，磨损率1%
·SLC比MLC更耐磨损
·写入数据量与磨损消耗符合预期
·定期分析，磨损值耗尽前，预防性更换
·磨损可以预测，寿命无法预测
·磨损是否是线性的？
6数据库IO特点分析
DTCC2011
Ø数据库基于磁盘设计
·Sequentiallogging
·In-placeupdate
Ø日志文件顺序写
·同步写入，响应延迟低
·连续位置的随机写IO
Ø数据文件随机写
·异步写入
·大量的随机写IO
Ø瓶颈分析
·IOPS：
小IO，数据文件随机读，随机写，日志文件写
·吞吐量：
大IO，数据文件连续读
7数据库和SSD应用场景分析
DTCC2011
ØSSD作为数据主存储
·
·
简单，依赖硬件优劣
性能好，代价高
ØSSD存放日志文件
·
·
提升日志响应延迟
适合放在传统磁盘
ØSSD存放热点数据
·
·
适用于热点数据明显
性价比高，不灵活
ØFlashcache方案
·
·
应用透明
性价比高
8Flashcache方案简介
DTCC2011
9ØFlashcache简介
·开源混合存储方案
·Devicemapper层插件
·支持WT和WB模式
·应用透明
VFS
FileSystem
/dev/mapper/cachedev
这就是Flashcache：
将两个块设备，虚拟成一个带缓
存的块设备
/dev/sda
/dev/sdb
10Flashcache特性分析
DTCC2011
Ø简单使用：
·创建：
flashcache_create
·加载：
flashcache_load
·移除：
dmsetupremove
ØFlashcache特性：
·脏块阀值：
dirty_thresh_pct=90
·缓存策略：
cache_all=0
·快速删除：
fast_remove=1
·写入合并：
write_merge=1
·回收策略：
reclaim_policy=1
·支持预加载
Ø性能分析：
·WB优于WT
·性能与命中率成正比
11SSD数据库最佳实践
DTCC2011
Ø数据库使用SSD的意义
·CPU与IO性能不均衡
·提升单机性能
·改善用户体验
ØSSD方案
·SSD+硬件RAID卡+RAID5
·写cache很重要（电池保护）
·可靠性高，性能高
ØFlashcache方案
·Fusion-io+SAS磁盘
·容量与性能平衡
·性价比高
12SSD数据库优化实践
DTCC2011
Ø日志文件放在磁盘上
Ø控制数据库刷盘的频率
Ø增加sparearea：
改善写性能
ØIO调度算法：
Deadline，NOOP
ØMySQL：
Percona，Innodbplugin
Ø减小pagesize：
16K->8K
Ø关闭MySQL预读
Ø文件系统：
ext3，xfs
13Oracle使用SSD的方案
DTCC2011
Ø共享存储方案
·使用内置SSD的存储
·SSD存放热点数据
ØOracleflashcache方案
·11gR2+OracleLinux
·数据库内置功能
·仅支持WT模式
Ø无共享存储方案
·单机配置SSD+Dataguard
·高可用如何解决？
ØOracleExadata
·存储节点内置flash存储
·利用flashcache特性提升性能
14Flashcache应用场景分析
DTCC2011
Ø应用场景：
·DELLR510，24Gmemory，12*SAS磁盘（RAID10）
·12节点，单机1T数据，热点数据200G
·单次访问IO量大，用户响应缓慢
·数据库压力低，QPS无法提高
·系统切换后，预热=故障
·MySQL的缺陷：
数据分布离散，Cache命中率低
Ø优化法则：
·减少物理IO数量
·减小IO响应延迟
Ø优化方案：
·fusion-io320G+Flashcache
·降低系统预热的时间
·减小数据库集群规模
·提升用户体验
15未来的发展方向
DTCC2011
ØSSD替代磁盘？
ØMLC替代SLC？
ØFusion-ioorSSD？
ØFlashcache只是过渡方案？
ØSSD+Infiniband+iSER+=廉价的高性能存储？
Ø存储厂商如何应对？
ØSSD-basedDatabase
Ø数据库如何优化？
16Q&A
DTCC2011
联系方式：
Email：
freezr@
Twitter：
hellodba
新浪微博：
hellodba
技术博客：
www.HelloDB.net
升级会员 