在互聯(lián)網(wǎng)項目開發(fā)中,緩存的應(yīng)用是非常普遍了,緩存可以幫助頁面提高加載速度,減少服務(wù)器或數(shù)據(jù)源的負載。
1、為什么需要緩存?
一般在項目中,最消耗性能的地方就是后端服務(wù)的數(shù)據(jù)庫了。而數(shù)據(jù)庫的讀寫頻率常常都是不均勻分布的,大多情況是讀多寫少,并且讀操作(select)還會有一些復(fù)雜的判斷條件,比如 like、group、join 等等,這些語法是非常消耗性能的,所有會出現(xiàn)很多的慢查詢,因此數(shù)據(jù)庫很容易在讀操作的環(huán)節(jié)遇到瓶頸。
那么通過在數(shù)據(jù)庫前面,前置一個緩存服務(wù),就可以有效的吸收不均勻的請求,抵擋流量波峰。
另外,如果應(yīng)用與數(shù)據(jù)源不在同一個服務(wù)器的情況下,中間還會有很多的網(wǎng)絡(luò)消耗,也會對應(yīng)用的響應(yīng)速度有很大影響,如果當(dāng)前應(yīng)用對數(shù)據(jù)實時性的要求不那么強的話,在應(yīng)用側(cè)加上緩存就能很快速的提升效率。
2、那使用緩存會遇到哪些問題呢?
雖然緩存可以提高整體性能,但是它也可能會帶來別的問題。例如使用緩存之后,就相當(dāng)于把數(shù)據(jù)存放了2份,一份是在數(shù)據(jù)庫中,另一份存放在緩存中。當(dāng)有新的數(shù)據(jù)要寫入或者舊數(shù)據(jù)需要更新的時候,如果我們只更新了其中一份數(shù)據(jù)源,那兩邊的數(shù)據(jù)就不一致了,所以這里就存在一個緩存數(shù)據(jù)與數(shù)據(jù)庫數(shù)據(jù)如何進行有效且快速的同步問題,才可以保證數(shù)據(jù)的最終一致性。
另外,加上緩存服務(wù)其實也引入了系統(tǒng)架構(gòu)的復(fù)雜度,因為還需要額外的關(guān)注緩存自身帶來的下列問題:
緩存的過期時間問題:設(shè)計緩存的過期時間需要非常的有技巧,且必須與業(yè)務(wù)實際情況相結(jié)合。因為如果設(shè)計的過期時間太短了,那會導(dǎo)致緩存效果不佳,且還會造成頻繁的從數(shù)據(jù)庫中往緩存里寫數(shù)據(jù)。如果緩存設(shè)計的過期時間太長了,又會導(dǎo)致內(nèi)存的浪費。
緩存的命中率問題:這也是設(shè)計緩存中需要存放哪些數(shù)據(jù)的很重要一點,如果設(shè)計的不好,可能會導(dǎo)致緩存命中率過低,失去緩存效果。一般對于熱點數(shù)據(jù)而言,要保證命中率達到70%以上效果最佳。
緩存的穿透/雪崩問題:是指如果緩存服務(wù)一旦宕機或全部丟失,那么有可能一瞬間所有的流量都直接打到了后端數(shù)據(jù)庫上,可能會造成連鎖反應(yīng),瞬間的請求高峰極有可能導(dǎo)致數(shù)據(jù)庫無法承載。
3、緩存的更新策略具體有哪些?
典型的緩存模式,一般有如下幾種:
Cache Aside
Read/Write Through
Write Behind
每種模式都有不同的特點,適應(yīng)與不同的項目場景,下面來依次看看:
Cache Aside 模式
這是大家經(jīng)常用到的一種策略模式。這種模式主要流程如下:
應(yīng)用在查詢數(shù)據(jù)的時候,先從緩存Cache中讀取數(shù)據(jù),如果緩存中沒有,則再從數(shù)據(jù)庫中讀取數(shù)據(jù),得到數(shù)據(jù)庫的數(shù)據(jù)之后,將這個數(shù)據(jù)也放到緩存Cache中。
如果應(yīng)用要更新某個數(shù)據(jù),也是先去更新數(shù)據(jù)庫中的數(shù)據(jù),更新完成之后,則通過指令讓緩存Cache中的數(shù)據(jù)失效。
這里為什么不讓更新操作在寫完數(shù)據(jù)庫之后,緊接著去把緩存Cache中的數(shù)據(jù)也修改了呢?
主要是因為這樣做的話,就有2個寫操作的事件了,擔(dān)心在并發(fā)的情況下會導(dǎo)致臟數(shù)據(jù),舉個例子:假如同時有2個請求,請求A和請求B,并發(fā)的執(zhí)行。請求A是要去讀數(shù)據(jù),請求B是要去更新數(shù)據(jù)。初始狀態(tài)緩存中是沒有數(shù)據(jù)的,當(dāng)請求A讀到數(shù)據(jù)之后,準(zhǔn)備往回寫的時候,此刻,請求B正好要更新數(shù)據(jù),更新完了數(shù)據(jù)庫之后,又去把緩存更新了,那請求A再往緩存中寫的就是舊數(shù)據(jù)了,屬于臟數(shù)據(jù)。
那么 Cache Aside 模式就沒有臟數(shù)據(jù)問題了嗎?不是的,在極端情況下也可能會產(chǎn)生臟數(shù)據(jù),比如:
假如同時有2個請求,請求A和請求B,并發(fā)的執(zhí)行。請求A是要去讀數(shù)據(jù),請求B是要去寫數(shù)據(jù)。假如初始狀態(tài)緩存中沒有這個數(shù)據(jù),那請求A發(fā)現(xiàn)緩存中沒有數(shù)據(jù),就會去數(shù)據(jù)庫中讀數(shù)據(jù),讀到了數(shù)據(jù)準(zhǔn)備寫回緩存中,就在這個時候,請求B是要去寫數(shù)據(jù)的,請求B在寫完數(shù)據(jù)庫的數(shù)據(jù)之后,又去設(shè)置了緩存失效。這個時候,請求A由于在數(shù)據(jù)庫中讀到了之前的舊數(shù)據(jù),開始往緩存中寫數(shù)據(jù)了,此時寫進入的就也是舊數(shù)據(jù)。那么最終就會導(dǎo)致,緩存中的數(shù)據(jù)與數(shù)據(jù)庫的數(shù)據(jù)不一致,造成了臟數(shù)據(jù)。
不過這種概率比上面一種概率要小很多。所以整體而言 Cache Aside 模式 還是一種比較簡單實用的方式。
Read/Write Through 模式
這個模式其實就是將 緩存服務(wù) 作為主要的存儲,應(yīng)用的所有讀寫請求都是直接與緩存服務(wù)打交道,而不管最后端的數(shù)據(jù)庫了,數(shù)據(jù)庫的數(shù)據(jù)由緩存服務(wù)來維護和更新。不過緩存中數(shù)據(jù)變更的時候是同步去更新數(shù)據(jù)庫的,在應(yīng)用的眼中只有緩存服務(wù)。
流程就相當(dāng)簡單了:
應(yīng)用要讀數(shù)據(jù)和更新數(shù)據(jù)都直接訪問緩存服務(wù)
緩存服務(wù)同步的將數(shù)據(jù)更新到數(shù)據(jù)庫
這個模式出現(xiàn)臟數(shù)據(jù)的概率就比較低,但是就強依賴緩存了,對緩存服務(wù)的穩(wěn)定性有較大要求,另外,增加新緩存節(jié)點時還會有初始狀態(tài)空數(shù)據(jù)問題。
Write Behind 模式
這個模式就是 Read/Write Through 模式 的一個變種。區(qū)別就是 Read/Write Through 模式的緩存寫數(shù)據(jù)庫的時候是同步的,而 Write Behind 模式 的緩存操作數(shù)據(jù)庫是異步的。
流程如下:
應(yīng)用要讀數(shù)據(jù)和更新數(shù)據(jù)都直接訪問緩存服務(wù)
緩存服務(wù)異步的將數(shù)據(jù)更新到數(shù)據(jù)庫(通過異步任務(wù))
這個模式的特點就是速度很快,效率會非常高,但是數(shù)據(jù)的一致性比較差,還可能會有數(shù)據(jù)的丟失情況,實現(xiàn)邏輯也較為復(fù)雜。
以上就是目前三種主流的緩存更新策略,另外還有Refrsh-Ahead模式等由于使用的不是很常見就不詳細介紹了。
緩存是互聯(lián)網(wǎng)項目中非常普遍的一個提高效率的方案,用法比較多,也比較關(guān)鍵,大家可以一起交流。
相關(guān)推薦
近日,艾肯家電網(wǎng)簽約國內(nèi)知名的CDN網(wǎng)站加速服務(wù)提供商北京快網(wǎng),北京快網(wǎng)將為艾肯家電網(wǎng)提供提全站CDN加速服務(wù)。記者了解到,目前國內(nèi)比較大的門戶網(wǎng)站為現(xiàn)實網(wǎng)站的高速訪問,早已使用了CDN網(wǎng)絡(luò)加速。目前,包括騰訊、新浪、搜狐、網(wǎng)易、酷六、紅袖添香等眾多網(wǎng)站都采用了北京快網(wǎng)的CDN網(wǎng)絡(luò)加速服務(wù)這一服務(wù)。據(jù)《中國互聯(lián)網(wǎng)年度綜合報告2009-2011》數(shù)據(jù)顯示,預(yù)計至2011年互聯(lián)網(wǎng)市場規(guī)模將達到1300億,互聯(lián)網(wǎng)總用戶數(shù)將達到6億。網(wǎng)民數(shù)量的持續(xù)提升同時也讓互聯(lián)網(wǎng)服務(wù)發(fā)展如火如荼,視頻、SNS、垂直網(wǎng)站等新興網(wǎng)站層出不窮,在帶來全新商機的同時,也讓互聯(lián)網(wǎng)帶寬、服務(wù)器等資源捉襟見肘。而CDN服務(wù)提供商
9月29日消息,據(jù)國外媒體報道,雅虎董事會成員、國際上最大的CDN服務(wù)商Akamai總裁大衛(wèi)·肯尼(DavidKenny)公開表示有意競選雅虎CEO。國際上最大的CDN服務(wù)商Akamai總裁大衛(wèi)·肯尼知情人士透露,肯尼目前還在管理Akamai的業(yè)務(wù),但確定要公開競選雅虎CEO。該人認(rèn)為,肯尼對雅虎內(nèi)部發(fā)生的一切非常清楚,知道自己在干什么。昨天,肯尼曾與雅虎產(chǎn)品團隊工作人員進行數(shù)小時長談。近日,他還曾與包括私募公司在內(nèi)的雅虎投資方、股東交換了意見。某科技媒體認(rèn)為,肯尼適宜擔(dān)
提起優(yōu)酷,喜歡看網(wǎng)上視頻的人大概沒有不知道的。創(chuàng)辦于2006年的優(yōu)酷,因著“快者為王”的產(chǎn)品理念,以“快速播放,快速發(fā)布,快速搜索”的特性,滿足了互聯(lián)網(wǎng)用戶日益增長的多元化互動需求,從而成為國內(nèi)視頻網(wǎng)站中的領(lǐng)軍企業(yè)。支持優(yōu)酷實現(xiàn)快速、優(yōu)質(zhì)用戶體驗的,是優(yōu)酷背后強大的數(shù)據(jù)中心和IT技術(shù)能力。據(jù)優(yōu)酷CTO姚鍵介紹,優(yōu)酷每年的數(shù)據(jù)增長率大概都在50%。為了應(yīng)對不斷增長的巨大流量帶來挑戰(zhàn),2010年,優(yōu)酷對位于北京的主數(shù)據(jù)中心進行了改造。簡化的二層網(wǎng)絡(luò)姚鍵表示,由于優(yōu)酷提供的視頻業(yè)務(wù)對網(wǎng)絡(luò)設(shè)備提出了時延小、可大規(guī)模擴展的要求,因此對網(wǎng)絡(luò)交換設(shè)備的選型十分重要。考慮到主數(shù)據(jù)中心的戰(zhàn)略地位,網(wǎng)絡(luò)規(guī)劃設(shè)計需
本文介紹介紹了10大前沿運營商級網(wǎng)絡(luò)技術(shù):GPON,云計算,云手機,CDN,集裝箱數(shù)據(jù)中心,高壓直流供電,蒸發(fā)式冷卻,風(fēng)光互補基站,RFID。一、GPONGPON技術(shù)發(fā)源于1995年形成的ATMPON(既APON),最早由FSAN標(biāo)準(zhǔn)組織提出,經(jīng)ITU-T指定,2004年形成最終標(biāo)準(zhǔn)。一直與EPON處于競爭地位。在亞太地區(qū)一直被壓制,2010年開始發(fā)力,目前新增份額已經(jīng)開始超越EPON。中移動專寵GPON,中電信、中聯(lián)通也開始青睞GPON。GPON為運營商提供了更大的分光比、2倍于EPON的下行帶寬,在FTTH中優(yōu)勢尤為明顯。中國移動研究院網(wǎng)絡(luò)研究所所長助理李晗——“GPON的DFB+APD提