kafka性能技术分析

文章预览

1.通过磁盘顺序读写，效率高，appendLog，对比raid-5 7200rpm的磁盘 sequence io 600M/s random io 100kb/s kafka写操作时，依赖底层文件系统的pagecache功能，pagecache会将尽量多的将空闲内存，当做磁盘缓存，写操作先写到pageCache，并将该page标记为dirty；发生读操作时，会先从pageCache中查找，当发生缺页时，才会去磁盘调整；当有其他应用申请内存时，回收pageCache的代价是很低的 ，使用pageCache的缓存功能，会减少我们队JVM的内存依赖，JVM为我们提供了GC功能，依赖JVM内存在kafka高吞吐，大数据的场景下有很多问题。如果heap管理缓存，那么JVM的gc会频繁扫描heap空间，带来的开销很大，如果heap过大，full gc带来的成本也很高；所有的In-Process Cache在OS中都有一份同样的PageCache。所以通过 ………………………………