首页 › 分类存档 › Hbase

hbase上应用luceneballbet贝博登陆贝博足球及检索

lidasheng 2016年7月8日 Hbase 0
  hbasene(https://github.com/akkumar/hbasene)是开源项目，在hbase存储上封装使用Lucene来ballbet贝博登陆贝博足球，代码API非常简单，熟悉lucene的朋友可以很方便地ballbet贝博登陆。

以下为测试代码，完成读取一张hbase上记录url和用户id的表，对其ballbet贝博登陆贝博足球并[......]

Read more

利用python访问Hbase（Thrift模块安装与测试）

lidasheng 2016年5月18日 Hbase 0

hadoop环境介绍：

master服务：node1

slave服务器：node2，node3，node4

mysql服务器：node29

Thrift安装在node1服务器上！

相关软件版本：

hadoop版本：hadoop-0.20.2

sqoop版本：[......]

Read more

hbase命令

lidasheng 2016年5月18日 Hbase 0
导出文件：
./hbase org.apache.hadoop.hbase.mapreduce.Driver export ‘bmx-dev-system1_bmx-cms_Code’ file:///dataDisk/hbaseCopy/localCopy/bmx-dev-system1_bmx[......]

Read more

Hadoop 2.6 日志文件和MapReduce的log文件研究心得

lidasheng 2016年5月17日 Hbase 0

Hadoop 2.6包含两个大部分：DFS和Yarn，而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manager里面运行的JVM部分。所以整个系统（不考虑加装ZooKeeper的HA的情况）的log是分别放在3个log里面的。

1. 对于DFS的lo[......]

Read more

MapReduce的jobstatus分析

lidasheng 2016年5月17日 Hbase 0

下面是一个完整的mapreduce job status，现通过文字来说明mapreduce消耗的资源情况及名词含义。

2016-01-07 15:37:06  INFO Job:1383 – Job job_1443106373325_140563 completed successfull[......]

Read more

HBase 定期备份

lidasheng 2016年5月17日 Hbase 0

转载一份使用Export与Import定期备份的Python代码。每月15日做一次完整备份，每天进行一次增量备份。

import time
import datetime
from datetime import date
import sys
import os

tablena[......]

Read more