memcached相关知识

一、Memcached一些特性和限制：

•在 Memcached中可以保存的item数据量是没有限制的，只有内存足够
•Memcached单进程最大使用内存在32位操作系统上为2G，要使用更多内存，可以分多个端口开启多个Memcached进程
•最大30天的数据过期时间,设置为永久的也会在这个时间过期，常量REALTIME_MAXDELTA60*60*24*30控制
•最大键长为250字节，大于该长度无法存储，常量KEY_MAX_LENGTH 250控制
•单个item最大数据是1MB，超过1MB数据不予存储，常量POWER_BLOCK 1048576进行控制，它是默认的slab大小
•最大连接数默认是1024，通过启动时使用 -c 参数来修改，settings.maxconns=1024 进行查看。

•跟空间占用相关的参数：settings.factor=1.25, settings.chunk_size=48, 影响slab的数据占用和步进方式
•memcached是一种无阻塞的socket通信方式服务，基于libevent库，由于无阻塞通信，对内存读写速度非常之快。
•memcached分服务器端和客户端，可以配置多个服务器端和客户端，应用于分布式的服务非常广泛。
•memcached作为小规模的数据分布式平台是十分有效果的。
•memcached是键值一一对应，key默认最大不能超过128个字 节，value默认大小是1M，也就是一个slabs，如果要存2M的值（连续的），不能用两个slabs，因为两个slabs不是连续的，无法在内存中 存储，故需要修改slabs的大小，多个key和value进行•存储时，即使这个slabs没有利用完，那么也不会存放别的数据。

•目前memcached支持C/C++、Perl、PHP、Python、Ruby、Java、C#、Postgres、Chicken Scheme、Lua、MySQL和Protocol等语言客户端。
•memcached本身的服务是用C语言编写的，启动非常简单：

 

参考：http://hi.baidu.com/34pc/blog/item/04cd3ccf111f182ff9dc61bf.html

 

 

二、Memcached主要的Java客户端有：

xmemcached

http://code.google.com/p/xmemcached/

http://interview.group.iteye.com/group/wiki/1825-xmemcached-java-memcached-client-api

 

memcached java client

http://www.whalin.com/memcached/#download

 

spymemcached

http://code.google.com/p/spymemcached/  

 

 

三、安装memcached 的win32版本  

 memcached for win32用于在win32平台测试，(请下载后面的memcached-1.2.1版本)。
http://www.iteye.com/topic/24505

最初版本： http://jehiah.com/projects/memcached-win32/

管理命令
memcached.exe -d install   安装服务
memcached.exe -d start     启动服务
memcached.exe -d stop      停止服务
memcached.exe -d shutdown  停止服务
memcached.exe -d uninstall 卸载服务

配置参数
memcached.ini文件指定的各参数及值可以根据需要做更改，默认的如下：
bind_addr=127.0.0.1   #指绑定的IP
listener_port=11212   #指监听的端口
memory=16             #内存大小，单位是M
max_conns=1024        #最大连接数
evict_to_free = 0     #关闭LRU算法，适用于存放session

 

 简单测试：

1、memcached 的win32版本：1.2.1

2、客户端：使用xmeecached 1.3.3

3、写一个jsp，一次初始化之后， 执行N次set()操作，jsp代码请看附件

MemcachedClient memcachedClient = ......;
String key=UUID.randomUUID().toString();
String value=UUID.randomUUID().toString();
memcachedClient.set(key, 0,value);

4、使用ab.exe测试

ab.exe -n 5000 -c 500 http://127.0.0.1:8080/MVC/cache_test.jsp

 

Server Software:        Apache-Coyote/1.1
Server Hostname:        127.0.0.1
Server Port:            8080

Document Path:          /MVC/cache_test.jsp
Document Length:        318 bytes

Concurrency Level:      500
Time taken for tests:   4.101 seconds
Complete requests:      5000
Failed requests:        0
Write errors:           0
Total transferred:      2625000 bytes
HTML transferred:       1590000 bytes
Requests per second:    1219.21 [#/sec] (mean)
Time per request:       410.100 [ms] (mean)
Time per request:       0.820 [ms] (mean, across all concurrent requests)
Transfer rate:          625.09 [Kbytes/sec] received

 

5、总结：

当时只有一台机器，memcached服务端（win32）,与客户端（jsp运行在tomcat）,与ab.exe,都在一台机器上，测试时CPU100% .

留下本次测试的结果，以后整好环境，在测试一下，用于对比。 

 

 

四、在Ubuntu上安装Memcached

1. 查自己的源里有没有memcache
   sudo apt-cache search memcache
2. 如果有,就安装

   sudo apt-get install memcache
   这时候会提示关联了 libevent0 ，是否安装? yes
   然后很顺利的就安装完了。
3. 如果第一步你的源里没有memcache.. 
   就要，去ubuntu的论坛里把各种官方源都添加进去把。
   记得 sudo apt-get update 一下
4.检验是否安装成功.
   安装成功之后,memcache就自己启动了.通过进程查看一下
   ps -aux    会查到一条记录
   /usr/bin/memcached -m 64 -p 11211 -u nobody -l 127.0.0.1
   显示的就是 memcached 的端口11211 用户nobody 地址 127.0.0.1

   表示安装成功。

 

五、在Linux上手动安装Memcached

  1、首先从memcached网站下载最新版的memcached源码包，同时去libevent下载最新的libevent源码。 

      基于libevent事件处理机制 http://www.monkey.org/~provos/libevent/
      memcached: http://memcached.org/
  2、解压下载回来的两个包。 
  3、由于memcached需要使用libevent我们需要首先安装libevent 
       cd libevent 
       ./configure --prefix=/usr/local 
       make 
       sudo make install (这一步必需要用sudo 执行，否则会因为没有权限而报错，因为在编译过程中需要新建目录) 
       如果中间有报错，请参照错误信息来配置或者增加需要的库。 

检测libevent 安装是否成功，输入：# ls -al /usr/lib | grep libevent  会出现如下结果（不同的机器可能有不同的输出）： 
XXXX@XXXXX:~$ ls -al /usr/lib |grep libevent
lrwxrwxrwx   1 root    root          21 2009-07-19 08:45 libevent-1.4.so.2 -> libevent-1.4.so.2.1.3
-rwxr-xr-x   1 root    root      301588 2009-07-19 08:45 libevent-1.4.so.2.1.3
-rw-r--r--   1 root    root      386638 2009-07-19 08:45 libevent.a
lrwxrwxrwx   1 root    root          26 2009-07-19 08:45 libevent_core-1.4.so.2 -> libevent_core-1.4.so.2.1.3
-rwxr-xr-x   1 root    root      115721 2009-07-19 08:45 libevent_core-1.4.so.2.1.3
-rw-r--r--   1 root    root      151618 2009-07-19 08:45 libevent_core.a
-rwxr-xr-x   1 root    root         860 2009-07-19 08:45 libevent_core.la
lrwxrwxrwx   1 root    root          26 2009-07-19 08:45 libevent_core.so -> libevent_core-1.4.so.2.1.3
lrwxrwxrwx   1 root    root          27 2009-07-19 08:45 libevent_extra-1.4.so.2 -> libevent_extra-1.4.so.2.1.3
-rwxr-xr-x   1 root    root      239933 2009-07-19 08:45 libevent_extra-1.4.so.2.1.3
-rw-r--r--   1 root    root      298406 2009-07-19 08:45 libevent_extra.a
-rwxr-xr-x   1 root    root         867 2009-07-19 08:45 libevent_extra.la
lrwxrwxrwx   1 root    root          27 2009-07-19 08:45 libevent_extra.so -> libevent_extra-1.4.so.2.1.3
-rwxr-xr-x   1 root    root         825 2009-07-19 08:45 libevent.la
lrwxrwxrwx   1 root    root          21 2009-07-19 08:45 libevent.so -> libevent-1.4.so.2.1.3

4、安装memcached 
    cd memcached 
    ./configure --with-libevent=/usr/local 
    make 
    sudo make install   (这一步必需要用sudo 执行，否则会因为没有权限而报错，因为在编译过程中需要新建目录)
    如果中间有报错，请参照错误信息来配置或者增加需要的库。 

检查memcached 是否安装成功(不同机器可能输出不同): s -al /usr/local/bin/mem* 
XXXX@XXXXX:~$ ls -al /usr/local/bin/mem*
-rwxr-xr-x 1 root root 210268 2009-07-19 08:46 /usr/local/bin/memcached

至此安装已经完成。

 

六、管理Memcached

1. 手动启动memcached
   memcached  -d  -m 128 -l 127.0.0.1 -p 11211 -u root
   以root用户，分配128M内存启动memcache
   memcached  -d  -m 128 -l 127.0.0.1 -p 11212 -u root
   在另外一个端口11212启动另外一个memcache实例

   例：

   /usr/local/bin/memcached -d -u nobody -m 1024 -p 11210 -l 10.11.12.70 -P /opt/memcached/pid/m11210.pid

 

2. 重启：先kill -9 掉进程，再执行启动相关参数的memcache

 

七、监视Memcached的状态

Memcached的命令：

存储命令set/add/replace/append/prepend/cas
读取命令get=bget?/gets
删除命令delete
计数命令incr/decr
统计命令stats/settings/items/sizes/slabs
 

使用命令： 

使用方法如下：telnet ip 端口，连接到memcached服务器。 退出telnet:quit
输入命令，例如：stats

可显示memcached服务的状态信息。

 

stats 命令 ，结果详细解释：
1.  pid: memcached服务进程的进程ID
2.  uptime: memcached服务从启动到当前所经过的时间，单位是秒。
3.  time: memcached服务器所在主机当前系统的时间，单位是秒。
4.  version: memcached的版本号。

5.  pointer_size：服务器所在主机操作系统的指针大小，一般为32或64.
6.  curr_items：表示当前缓存中存放的所有缓存对象的数量。不包括目前已经从缓存中删除的对象。
7.  total_items：表示从memcached服务启动到当前时间，系统存储过的所有对象的数量，包括目前已经从缓存中删除的对象。
8.  bytes：表示系统存储缓存对象所使用的存储空间，单位为字节。

9.  curr_connections：表示当前系统打开的连接数。
10. total_connections：表示从memcached服务启动到当前时间，系统打开过的连接的总数。

11. connection_structures：表示从memcached服务启动到当前时间，被服务器分配的连接结构的数量，这个解释是协议文档给的，具体什么意思，我目前还没搞明白。
12. cmd_get：累积获取数据的数量，这里是3，因为我测试过3次，第一次因为没有序列化对象，所以获取数据失败，是null，后边有2次是我用不同对象测试了2次。
13. cmd_set：累积保存数据的树立数量，这里是2.虽然我存储了3次，但是第一次因为没有序列化，所以没有保存到缓存，也就没有记录。
14. get_hits：表示获取数据成功的次数。
15. get_misses：表示获取数据失败的次数。
16. evictions：LRU算法移除的对象数量，用来释放内存。
17. bytes_read：memcached服务器从网络读取的总的字节数。
18. bytes_written：memcached服务器发送到网络的总的字节数。
19. limit_maxbytes：memcached服务缓存允许使用的最大字节数。总的可用储存空间大小 .与我们启动memcached服务设置的大小一致 。
20. threads：被请求的工作线程的总数量。这个解释是协议文档给的，具体什么意思，我目前还没搞明白。

八、Memcached主要启动参数
 启动方式：
-d   以守护程序（daemon）方式运行
-u root  指定用户，如果当前为 root ，需要使用此参数指定用户
-P /tmp/a.pid 保存PID到指定文件

内存设置：
-m 1024  数据内存数量，不包含memcached本身占用，单位为 MB
-M   内存不够时禁止LRU，报错
-n 48  初始chunk=key+suffix+value+32结构体，默认48字节
-f 1.25  增长因子，默认1.25
-L  启用大内存页，可以降低内存浪费，改进性能

连接设置：
-l 127.0.0.1  监听的 IP 地址，本机可以不设置此参数
-p 11211  TCP端口，默认为11211，可以不设置
-U 11211 UDP端口，默认为11211，0为关闭

并发设置：
-c 1024 最大并发连接数，默认1024，最好是200
-t 4  线程数，默认4。由于memcached采用NIO，所以更多线程没有太多作用
-R 20  每个event连接最大并发数，默认20
-C  禁用CAS命令（可以禁止版本计数，减少开销）