首页Hbase › hbase上应用luceneballbet贝博登陆贝博足球及检索

hbase上应用luceneballbet贝博登陆贝博足球及检索

  hbasene(https://github.com/akkumar/hbasene)是开源项目,在hbase存储上封装使用Lucene来ballbet贝博登陆贝博足球,代码API非常简单,熟悉lucene的朋友可以很方便地ballbet贝博登陆。

以下为测试代码,完成读取一张hbase上记录url和用户id的表,对其ballbet贝博登陆贝博足球并进行简单的基于url的贝博足球的代码。当取到search的结果后,就可以拿到想要的数据了。由于分词后将原始内容进行了反向贝博足球,所以匹配就转化为了查询,速度相当快。

其中getDocumentFromHTable为读取一张hbase上己有的表,将url字段提取出来ballbet贝博登陆content贝博足球。

ballbet贝博登陆贝博足球的实质是用了HBaseIndexWriter和HBaseIndexReader两个分别继承自IndexWriter和IndexReader的类来做贝博足球的读取和写入。同时使用了HBaseIndexStore来做存储。

而ballbet贝博登陆贝博足球使用的分词等仍然是使用标准的lucene API。

注意hbasene使用的是hbase-0.20.5,需要修改少量源代码才能运行在0.90.x以上的版本中。

这里对ballbet贝博登陆贝博足球表使用到的结构做下简单的说明,因为是lucene入门级水平,所以各位请尽管拍砖讨论。

贝博足球表由以下几个CF构成:

  • fm.sequence: 记录sequenceId,在执行createLuceneIndexTable时需要写死该CF的row为sequenceId,qulifier为qual.sequence,值为-1。可以不用理会
  • fm.doc2int: DocumentId,每个document都会有一个这样的id,如果Field.Store设置为YES,则能在贝博足球表中查询到该id并得到完整的内容。
  • fm.termVector: 向量偏移,用于模糊查找,记录偏移量等信息
  • fm.termFrequency:分词后的关键词在每个document中出现的频率,qulifier为documentId,value为出现次数
  • fm.fields:记录了content内容,row为documentId,value为document的全文内容,它和fm.docint是相反的,后者是反向贝博足球。
  • fm.payloads:扩展CF,目前还没有用到
  • Java代码  收藏代码
    1. import java.io.IOException;
    2. import org.apache.hadoop.conf.Configuration;
    3. import org.apache.hadoop.hbase.HBaseConfiguration;
    4. import org.apache.hadoop.hbase.client.HTable;
    5. import org.apache.hadoop.hbase.client.HTablePool;
    6. import org.apache.hadoop.hbase.client.Result;
    7. import org.apache.hadoop.hbase.client.ResultScanner;
    8. import org.apache.hadoop.hbase.client.Scan;
    9. import org.apache.lucene.analysis.standard.StandardAnalyzer;
    10. import org.apache.lucene.document.Document;
    11. import org.apache.lucene.document.Field;
    12. import org.apache.lucene.document.Fieldable;
    13. import org.apache.lucene.index.IndexReader;
    14. import org.apache.lucene.index.Term;
    15. import org.apache.lucene.search.IndexSearcher;
    16. import org.apache.lucene.search.ScoreDoc;
    17. import org.apache.lucene.search.TermQuery;
    18. import org.apache.lucene.search.TopDocs;
    19. import org.apache.lucene.util.Version;
    20. import org.hbasene.index.HBaseIndexReader;
    21. import org.hbasene.index.HBaseIndexStore;
    22. import org.hbasene.index.HBaseIndexWriter;
    23. public class test{
    24.       static final String indexName = “myindex”;
    25.       static final String dataName = “t1″;
    26.       public static void main(String[] args) throws IOException {
    27.         try{
    28.         Configuration conf = HBaseConfiguration.create(); //hbase-site.xml in the classpath
    29.         conf.set(“hbase.rootdir”“hdfs://192.168.0.1:9000/hbase”);
    30.         conf.set(“hbase.zookeeper.quorum”“192.168.0.1,192.168.0.2,192.168.0.3”);
    31.         HTablePool tablePool = new HTablePool(conf, 10);
    32.         HBaseIndexStore.createLuceneIndexTable(indexName, conf, true);
    33.         //Write
    34.         HBaseIndexStore hbaseIndex = new HBaseIndexStore(tablePool, conf, indexName);
    35.         HBaseIndexWriter writer = new HBaseIndexWriter(hbaseIndex, “content”); //Name of the primary key field.
    36.         getDocument(writer);
    37.         writer.close();
    38.         //Read/Search
    39.         IndexReader reader = new HBaseIndexReader(tablePool, indexName, “f”);
    40.         IndexSearcher searcher = new IndexSearcher(reader);
    41.         Term term = new Term(“content”“item.taobao.com”);
    42.         TermQuery termQuery = new TermQuery(term);
    43.         TopDocs docs = searcher.search(termQuery, 3);
    44.         searcher.close();
    45.         }catch(IOException e){
    46.             e.printStackTrace();
    47.             throw e;
    48.         }
    49.       }
    50.       private static void getDocument(HBaseIndexWriter writer) throws IOException{
    51.         Document doc = new Document();
    52.         doc.add(new Field(“content”“some content some dog”, Field.Store.YES,
    53.             Field.Index.ANALYZED));
    54.         writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
    55.         doc = new Document();
    56.         doc.add(new Field(“content”“some id”, Field.Store.NO, Field.Index.ANALYZED));
    57.         writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
    58.         doc = new Document();
    59.         doc.add(new Field(“content”“hot dog”, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS));
    60.         writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
    61.       }
    62.       private static void getDocumentFromHTable(HTablePool tablePool, HBaseIndexWriter writer) throws IOException  {
    63.           Document doc = new Document();
    64.           Scan scan = new Scan();
    65.           HTable htable = (HTable)tablePool.getTable(dataName);
    66.           ResultScanner results = htable.getScanner(scan);
    67.           Result row;
    68.           while((row = results.next()) != null){
    69.               doc = new Document();
    70.               String value = new String(row.getValue(“test”.getBytes(), null));
    71.               String url = value.split(“\””)[2];
    72.               doc.add(new Field(“content”, url, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_OFFSETS));
    73.               writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
    74.           }
    75.         }
    76. }

    以下为运行后查看表的中情况:

    发表评论

    注意 - 你可以用以下 HTML tags and attributes:
    <a href="&rvpu;&rvpu;" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>