DEDE的采集速度不會太快,但正常速度也不算太慢。比如電影頁面,代碼不太復(fù)雜,有一兩張圖片,過濾代碼可能有十多條,采集5000個頁面的正常速度大概是2個小時。但有時候會變得非常非常慢,每變化一個頁面都要花5-10分鐘,有時候連服務(wù)器都連不上。經(jīng)過反復(fù)測試,發(fā)現(xiàn)導(dǎo)致采集速度慢的原因有以下幾個:
1、data/tplcache/中的數(shù)據(jù)被塞滿了。
當(dāng)采集變慢后,我重啟服務(wù)器、重啟數(shù)據(jù)庫、重啟web、清空后臺的緩存、清空瀏覽器緩存,幾乎都不起作用。最后查看data/tplcache/文件夾下,嚇了我一跳,居然有5萬多條記錄,歷次的臨時文件、采集記錄全都在這里。把這些刪除后,再重啟所有、清空所有,重來,速度一下子變正常了。
2、導(dǎo)入的采集規(guī)則會出錯
從另一個DEDE程序中導(dǎo)入采集規(guī)則,在后臺測試時一切正常,但采集時就是不對,要么說采不到鏈接,要么速度非常非常慢,要么采到的鏈接根本不是指定的頁面。把這個規(guī)則稍微修改一下,保存,再重新采集,就正常了。
此文由 網(wǎng)站目錄_網(wǎng)站網(wǎng)址收錄與提交入口 編輯,未經(jīng)允許不得轉(zhuǎn)載!: