用RxJava快速获取海量数据

作者：小鄧子 2015-08-21 10:06:09移动开发 试想，速获需要一些动态数据的取海时候，只要每次都请求网络就可以了。量数但是速获，更有效率的取海做法是，把联网得到的量数数据，缓存到磁盘或内存。速获

试想，需要一些动态数据的量数时候，只要每次都请求网络就可以了。速获但是取海，更有效率的量数做法是，把联网得到的速获数据，缓存到磁盘或内存。取海

具体的量数说，计划如下：

1. 偶尔的联网操作，只为获取***数据。

   

2. 尽可能快的读取到数据（通过获取之前缓存的网络数据）。

我将通过使用 RxJava，来实现这个计划。

基本模式

为每一个数据源（网络，磁盘和内存）创建Observable<Data>，使用concat()和first()操作符，构造一个简单的实现方式。

concat()操作符持有多个Observable对象，并将它们按顺序串联成队列。 first()操作符只从串联队列中取出并发送***个事件。因此，如果使用concat().first()，无论多少个数据源，只有***个事件会被检索出并发送。

// Our sources (left as an exercise for the reader) 
Observable<Data> memory = ...;   
Observable<Data> disk = ...;   
Observable<Data> network = ...; 
 
// Retrieve the first source with data 
Observable<Data> source = Observable   
  .concat(memory, disk, network) 
  .first(); 

这种模式的关键在于concat()操作符只有需要数据的时候才会订阅所有的Observable数据源。由于first()操作符会较早的停止检索队列，所以，如果存在缓存数据，就没有必要访问较慢的数据源。 也就是说，如果memory返回结果，就不必担心disk和network会被访问。相反地，如果内存和磁盘都没有数据，才执行网络请求。

注意concat()所持有的Observable数据源，是按照一个接一个的顺序被检索的。

持久化数据

很明显，下一步是缓存数据。如果不把网络请求后的结果缓存到磁盘，磁盘访问后的结果缓存到内存，那么这根本不就不叫缓存。接下来要写的代码就是，网络数据的持久化操作。

我的解决方案是，让每个数据源在发送完事件后，都保存或者缓存数据。

Observable<Data> networkWithSave = network.doOnNext(new Action1<Data>() {  
 @Override public void call(Data data) {  
 saveToDisk(data); 
 cacheInMemory(data); 
 } 
}); 
 
 Observable<Data> diskWithCache = disk.doOnNext(new Action1<Data>() {  
 @Override public void call(Data data) {  
  cacheInMemory(data); 
 } 
}); 

现在，如果你使用networkWithSave和diskWithCache，数据将会在加载后自动保存。

（这個策略的另一个优势在于networkWithSave和diskWithCache可以在任何地方被使用，不局限于我们的多数据模式下。）

陈旧的数据

不幸的，现在我们保存数据的那些代码，执行的有点过头了。无论数据是否过时，它总是返回相同的数据。我们希望做到，偶尔连接服务器抓取***的数据。

解决方法在于，使用first()操作符进行过滤。就是设置它拒绝接收毫无价值的数据。

Observable<Data> source = Observable 
    .concat(memory, diskWithCache, networkWithSave) 
    .first(new Func1<Data, Boolean>() {  
      @Override public Boolean call(Data data) {  
        return data.isUpToDate(); 
      } 
    }); 

现在，我们只需要发送被断定为***数据的事件就OK了。因此，只要有一个数据源的数据过期，就继续检索下一个数据源，直到找到***数据为止。

first()和takeFirst()操作符的比较

对于这种设计模式，first()和takeFirst()操作符可以二选其一。

两种调用方式的区别在于，如果所有数据源的数据均过期，没有任何的有效数据作为事件发送，first()会抛出NoSuchElementException异常（译者注：first()操作符均 return false），而takeFirst()操作符则直接调用完成操作，不会抛出任何异常。

使用哪个操作符，完全取决于是否需要明确处理缺失的数据。

代码示例

可以从这里检出，以上所有代码的实现示例：https://github.com/dlew/rxjava-multiple-sources-sample。

如果需要一个真实示例，检出 Gfycat App，它在获取数据的时候使用了这种模式。项目并没有使用以上展示的所有功能（因为不需要），但是，示范了concat().first()的基本用法。

责任编辑：倪明 来源： 简书 rxjava数据

(责任编辑：休闲)