Ehcache集群同步

2018年07月23日

Ehcache 是一个用Java编写的缓存框架，可以直接集成到Java项目中，与Redis，Memcache等需要另外搭建服务的缓存框架相比，更加轻量，适合集群节点较少的中小型项目。

目前Ehcache主流的集群解决方案主要有RMI与JGROUPS。

RMI 基于JAVA JDK的RMI远程访问技术，无需引入第三方依赖，集群配置相对复杂
JGROPUPS 开源的纯JAVA编写的可靠的群组通讯工具，需要第三方jar包依赖，集群配置简单

假设集群中有A，B两台服务器，ip分别为192.168.1.1和192.168.1.2

服务器A put值

public class Ehcache1 {
    public static void main(String[] args) {
        System.setProperty("java.net.preferIPv4Stack", "true");
        System.setProperty("java.net.preferIPv6Addresses", "true");
        URL url = Ehcache1.class.getClassLoader().getResource("ehcache.xml");
        CacheManager manager = new CacheManager(url);
        final Cache cache = manager.getCache("userCache");
        ScheduledExecutorService scheduledThreadPool = Executors.newScheduledThreadPool(1);
        scheduledThreadPool.scheduleAtFixedRate(new Runnable() {
            private final AtomicLong acl = new AtomicLong(1);
            @Override
            public void run() {
                long value = acl.getAndIncrement();
                System.out.println("正在put,value值:" + value);
                cache.put(new Element("key", value));
            }
        }, 1, 1, TimeUnit.SECONDS);
    }
}

服务器A的代码为每隔一秒更新key值累加1

服务器B get值

public class Ehcache2 {
    public static void main(String[] args) {
        System.setProperty("java.net.preferIPv4Stack", "true");
        System.setProperty("java.net.preferIPv6Addresses", "true");
        URL url = Ehcache2.class.getClassLoader().getResource("ehcache.xml");
        CacheManager manager = new CacheManager(url);
        final Cache cache = manager.getCache("userCache");
        ScheduledExecutorService scheduledThreadPool = Executors.newScheduledThreadPool(1);
        scheduledThreadPool.scheduleAtFixedRate(new Runnable() {
            @Override
            public void run() {
                System.out.println("正在获取value:");
                Element element = cache.get("key");
                if(element!=null){
                    System.out.println(element.getObjectValue());
                }
            }
        }, 1, 1, TimeUnit.SECONDS);
    }
}

服务器B的代码为每隔一秒获取key的值

如果集群同步成功，那么B服务器就能get到A服务器put的值

RMI和JGROPUPS这两种方案，都分别有自动发现和手动配置两种模式。自动发现模式下，各个节点会自动去寻找局域网中同网段的节点，每个节点的配置都一样。而手动配置则根据配置文件中的IP去寻找对应的集群节点，每个节点的配置都不同。

RMI 自动发现

<ehcache>
    <cacheManagerPeerProviderFactory
        class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory"
        properties="peerDiscovery=automatic, 
                    multicastGroupAddress=230.0.0.1,
                    multicastGroupPort=4446, 
                    timeToLive=32" />
    <cacheManagerPeerListenerFactory
        class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory" />
    <cache name="userCache" maxElementsInMemory="10">
        <cacheEventListenerFactory
            class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"
            properties="replicateAsynchronously=true, 
                        replicatePuts=true, 
                        replicateUpdates=true,
                        replicateUpdatesViaCopy=true, 
                        replicateRemovals=true" />
        <bootstrapCacheLoaderFactory
            class="net.sf.ehcache.distribution.RMIBootstrapCacheLoaderFactory"
            properties="bootstrapAsynchronously=true" />
    </cache>
</ehcache>

其中multicastGroupAddress为组播地址，可以指定 D 类 IP 地址空间，范围从 224.0.1.0 到 238.255.255.255 中的任何一个地址。自动发现的方式，每个服务器上的配置文件都是一样的，集群中有新增节点或者删除节点的时候，无需改动配置文件。

RMI 手动配置 A节点

<ehcache>
    <cacheManagerPeerProviderFactory 
        class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory"
        properties="peerDiscovery=manual,rmiUrls=//192.168.1.2:1000/userCache" />
    <cacheManagerPeerListenerFactory 
        class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory"
        properties="hostName=192.168.1.1,port=1000,socketTimeoutMillis=2000" />
    <cache name="userCache" maxElementsInMemory="10">
        <cacheEventListenerFactory
            class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"
            properties="replicateAsynchronously=true, 
                        replicatePuts=true, 
                        replicateUpdates=true,
                        replicateUpdatesViaCopy=true, 
                        replicateRemovals=true" />
        <bootstrapCacheLoaderFactory
            class="net.sf.ehcache.distribution.RMIBootstrapCacheLoaderFactory"
            properties="bootstrapAsynchronously=true" />
    </cache>
</ehcache>

其中rmiUrls 中配置其他节点的地址和cache名称，多个节点的时候用||分割:

rmiUrls=//192.168.1.2:1000/userCache||//192.168.1.3:1000/userCache

cacheManagerPeerListenerFactory 中配置当前节点的ip和port，不能省略。节点B的配置，只要修改IP即可,其他配置一样：

 <cacheManagerPeerProviderFactory 
        class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory"
        properties="peerDiscovery=manual,rmiUrls=//192.168.1.1:1000/userCache" />
 <cacheManagerPeerListenerFactory 
        class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory"
        properties="hostName=192.168.1.2,port=1000,socketTimeoutMillis=2000" />

手动配置的方式，每个节点的配置都不一样，而且当集群中增加或者删除节点的时候，需要修改配置，较为复杂。不过自动发现的方式在多网卡多IP，虚拟机，禁止组播等环境限制下将会无法使用。

pom 加载 JGROUPS 依赖

<dependency>
    <groupId>org.jgroups</groupId>
    <artifactId>jgroups</artifactId>
    <version>3.6.9.Final</version>
</dependency>

<dependency>
    <groupId>net.sf.ehcache</groupId>
    <artifactId>ehcache-jgroupsreplication</artifactId>
    <version>1.7</version>
</dependency>

JGROUPS 自动发现

<ehcache>
    <cacheManagerPeerProviderFactory
        class="net.sf.ehcache.distribution.jgroups.JGroupsCacheManagerPeerProviderFactory"
        properties="connect=UDP(mcast_addr=231.12.21.132;mcast_port=45566;)"
        propertySeparator="::" />
    <cache name="userCache" maxElementsInMemory="10000">
        <cacheEventListenerFactory
            class="net.sf.ehcache.distribution.jgroups.JGroupsCacheReplicatorFactory"
            properties="replicateAsynchronously=true,
                        replicatePuts=true,
                        replicateUpdates=true,
                        replicateUpdatesViaCopy=true,
                        replicateRemovals=true" />
        <bootstrapCacheLoaderFactory
            class="net.sf.ehcache.distribution.jgroups.JGroupsBootstrapCacheLoaderFactory"
            properties="bootstrapAsynchronously=true" />
    </cache>
</ehcache>

JGROUPS自动发现，采用UDP广播，所有节点的配置均一样。

JGROUPS 手动配置 A节点

<ehcache>
    <cacheManagerPeerProviderFactory
        class="net.sf.ehcache.distribution.jgroups.JGroupsCacheManagerPeerProviderFactory"
        properties="connect=TCP(bind_addr=192.168.1.1;bind_port=1000):
            TCPPING(initial_hosts=192.168.1.1[1000],192.168.1.2[1000];port_range=1;timeout=5000;num_initial_members=2):
            MERGE2(min_interval=3000;max_interval=5000):
            FD_ALL(interval=5000;timeout=20000):
            FD(timeout=5000;max_tries=48;):
            VERIFY_SUSPECT(timeout=1500):
            pbcast.NAKACK(retransmit_timeout=100,200,300,600,1200,2400,4800;discard_delivered_msgs=true):
            pbcast.STABLE(stability_delay=1000;desired_avg_gossip=20000;max_bytes=0):
            pbcast.GMS(print_local_addr=true;join_timeout=5000)"
        propertySeparator="::" />
    <cache name="userCache" maxElementsInMemory="10000">
        <cacheEventListenerFactory
            class="net.sf.ehcache.distribution.jgroups.JGroupsCacheReplicatorFactory"
            properties="replicateAsynchronously=true,
                        replicatePuts=true,
                        replicateUpdates=true,
                        replicateUpdatesViaCopy=true,
                        replicateRemovals=true" />
        <bootstrapCacheLoaderFactory
            class="net.sf.ehcache.distribution.jgroups.JGroupsBootstrapCacheLoaderFactory"
            properties="bootstrapAsynchronously=true" />
    </cache>
</ehcache>

其中TCPPING(initial_hosts)配置所有节点的ip和port信息。每个节点的bind_addr和bind_port
需要配置本节点的ip和port信息，其他配置均一样。另外bind_addr和bind_port配置不能省略，否则有可能导致同步失败。

B节点中的配置只需要将ip改为如下即可：

"connect=TCP(bind_addr=192.168.1.2;bind_port=1000)"