建站服務(wù)器
小編給大家分享一下linux中保證數(shù)據(jù)安全落盤(pán)的方法，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！
背景
在很多io場(chǎng)景中，我們經(jīng)常需要確保數(shù)據(jù)已經(jīng)安全的寫(xiě)到磁盤(pán)上，以便在系統(tǒng)宕機(jī)重啟之后還能讀到這些數(shù)據(jù)。但是我們都知道，linux系統(tǒng)的io路徑還是很復(fù)雜的，分為很多層，每一層都可能會(huì)有buffer來(lái)加速io讀寫(xiě)。同時(shí)，用戶態(tài)的應(yīng)用程序和庫(kù)函數(shù)也可能擁有自己的buffer，這又給io路徑增加了一些復(fù)雜性。可見(jiàn)，要想保證數(shù)據(jù)安全的寫(xiě)到磁盤(pán)上，并不是簡(jiǎn)單調(diào)一個(gè)write/fwrite就可以搞定的。
那么要怎么做呢？很多人會(huì)想到很多辦法，比如：fflush()、fsync()、fdatasync()、sync()、open()使用o_direct或o_sync標(biāo)志等。嗯，這些手段（或者某些組合）的確可以保證數(shù)據(jù)安全的持久化，那么它們之間有什么區(qū)別呢？fflush()和fsync()有啥區(qū)別？o_direct是啥意思，它可以保證數(shù)據(jù)安全的持久化嗎？o_direct和o_sync區(qū)別什么？o_sync和fsync()呢？fsync能完成msync的功能嗎？本文將試圖理解、解釋這些概念的作用和區(qū)別。
linux io
所謂一圖勝千言，為了解析清楚這些概念的區(qū)別，我特意畫(huà)了一張圖，仔細(xì)看，應(yīng)該可以清晰的看出它們的作用和區(qū)別。
這里重點(diǎn)說(shuō)一下o_direct和o_sync，首先要明確的是，o_direct只是說(shuō)數(shù)據(jù)不會(huì)經(jīng)過(guò)page cache（一般用在用戶態(tài)自己管理buffer）而是直接提交給塊設(shè)備層，但是不會(huì)同步等待數(shù)據(jù)安全寫(xiě)入磁盤(pán)之后才返回（比如數(shù)據(jù)可能還在塊層排隊(duì)或者在磁盤(pán)自己的cache中）。而o_sync標(biāo)志，雖然數(shù)據(jù)還是會(huì)寫(xiě)page cache，但是此時(shí)會(huì)采用write through的策略，并同步等待數(shù)據(jù)安全寫(xiě)入磁盤(pán)后才會(huì)返回。因此如果同時(shí)使用o_direct和o_sync，則表示數(shù)據(jù)不會(huì)經(jīng)過(guò)page cache并同步等待數(shù)據(jù)安全寫(xiě)入磁盤(pán)才返回，當(dāng)然這樣io的性能會(huì)非常低下。
由于o_direct會(huì)bypass page cache，因此如果有另一個(gè)進(jìn)程使用普通的方式讀文件，有可能會(huì)出現(xiàn)數(shù)據(jù)不一致的現(xiàn)象，這個(gè)也需要注意。
為了做一下輔助說(shuō)明，此處我貼一下我探討過(guò)程中看過(guò)的一些資料。首先是引用open系統(tǒng)調(diào)用：http://man7.org/linux/man-pages/man2/open.2.html 相關(guān)參數(shù)的說(shuō)明：
以及innodb相關(guān)的文檔：https://lwn.net/articles/457667/
fsync和fdatasync的區(qū)別：http://man7.org/linux/man-pages/man2/fsync.2.html
msync:http://man7.org/linux/man-pages/man2/msync.2.html
dax
其實(shí)還有一種io模式，就是dax（direct access ），是不是看上去和o_direct很像。這種模式需要filesystem和block driver都支持才可以，一般主要用在non volatile memory上，本質(zhì)上也是繞過(guò)page cache直接操作設(shè)備。dax本文先不做深入探討，后面我會(huì)自己寫(xiě)一個(gè)支持dax模式的ramdisk塊設(shè)備驅(qū)動(dòng)，然后格式化為ext4文件系統(tǒng)并-o dax模式掛載，再來(lái)詳細(xì)研究dax的io路徑。
以上是linux中保證數(shù)據(jù)安全落盤(pán)的方法的所有內(nèi)容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內(nèi)容對(duì)大家有所幫助，如果還想學(xué)習(xí)更多知識(shí)，歡迎關(guān)注資訊頻道！