javascript和JQuery焦点图和代码特效大全
当前最流行的开源CMS网站系统大全
当前位置:主页 > 编程开发 > PHP编程 >

PHP实现缓存的存储与读取

来源:IT技术网编辑:素还真发布于:2013-07-03人围观Php实现缓存存储读取

从数据缓存的角度来说,缓存分为数据缓存和网页缓存,网页缓存是一次性读取,一次性输出的,这个是没有办法,而且也很少看到那个网站的源代码体积几百K的,更不用说超过1024k了;剩下的就是数据缓存,缓存的数据类型无非就是字符串、数组、json、序列化等,一般序列化和JSON数据也是数组转换过来的,我觉得也太麻烦了。如果你真的有超过1MB的数据需要缓存,但是你还在内存中对数据进行格式化,我觉得你完全是要逆天了。

我用一个简单的案例来说说我这个大缓存的存储与读取。

案例:采集

现在采集可以设置从多少页采集到多少页,那么我是不是可以先获取所有的内容页,将内容页网址全部缓存后一条条处理?如果你没有巧妙的读取缓存的思想,而是用平常的一次性读取、一次性处理的思想的话,那绝对要悲剧。几千几万条数据放在缓存里面,也会被你骂成13B了。

现在开始构造缓存,我构造的缓存如下: 

 

<?php 0000000000http://www.xxxx.cc/detail/?1.html
http://www.xxxx.cc/detail/?2.html
http://www.xxxx.cc/detail/?3.html
http://www.xxxx.cc/detail/?4.html
http://www.xxxx.cc/detail/?5.html

不得不解释一下,<?php是防下载,后面的十位数字是表示文件指针移动到哪里来了,是从后面的数据开始算起的,构造代码如下(文件大致为80MB):

 

$file_handle = fopen("./file.php", "w+");
fwrite($file_handle, '<?php 0000000000');
for ($index = 1; $index <= 2000000; $index++) {
    fwrite($file_handle, 'http://www.xxxxx.cc/detail/?'.$index.'.html'."\r");
}
fclose($file_handle);

下面讲讲整个数据的读取原理:

  1. 首先将上次缓存读取的指针位置读取出来,读取完之后,指针的位置应该为16
  2. 因为我存储的指针位置恰好是减去了16存储的,那么我在获取到指针位置后,就可以直接跳到指定存储指针
  3. 设置好要读取的行,每遇到一个\r,则计数器+1,一直读取完想要的行数后,跳出
  4. 获取目前的指针位置,然后将目前的指针位置存储到第6到16之间
  5. 当指针移动到文件尾部的时候,或返回false,也可以同时删除缓存。
我已经将读取处理过程写成了一个函数: 
//按行读取大文件
function BF($file, $line = 10, $offset = false){
    if (is_file($file)) {
        $fp = fopen($file, "r+");
        if ($offset === false) {
            fseek($fp, 6, SEEK_CUR);
            $num = '';
            for($i=0;$i<10;$i++){
                fseek($fp, 0, SEEK_CUR);
                $num .= fgetc($fp);
            }
            $offset = (int)$num;
        }
        fseek($fp, $offset, SEEK_CUR);
        $return = array();
        $readyline = 0;
        while (!feof($fp)){
            fseek($fp, 0, SEEK_CUR);
            $_tmp= fgetc($fp);
            if ($_tmp == "\r") {
                $readyline += 1;
            }
            if ($readyline >= $line) {
                break;
            }
            if (!isset($return[$readyline])) {
                $return[$readyline] = '';
            }
            $return[$readyline] .= $_tmp;
        }
        $offset = ftell($fp);
        fseek($fp, 6-$offset, SEEK_CUR);
        $offset = str_pad($offset-16, 10, 0, STR_PAD_LEFT);
        for($i=0;$i<10;$i++){
            fseek($fp, 0, SEEK_CUR);
            fwrite($fp, $offset{$i});
        }
        fclose($fp);
        return $return;
    } else {
        throw new Exception($file.'::不存在');
    }
}
效率测试代码(不要使用你2B的行为来个for循环,完全不符合处理实际需要):
$startTime = microtime(true);
$startMem = memory_get_usage();
$print = BF('./file.php', 10);
print_r($print);
echo '<br />runtime:'.round((microtime(true) - $startTime)*1000, 4).'ms<br />';
$size = memory_get_usage()-$startMem;
$unit=array('b','kb','mb','gb','tb','pb');
echo round($size/pow(1024,($i=floor(log($size,1024)))),2).' '.$unit[$i].'<br />';
我将指针移动到263563了,读取效率为:
runtime:5.5821ms
memory:2.67 kb

Php,实现,缓存,相关的文章
有时间的话来看看IT界的突发事件