cloudera公司提供了方便的一键启动的虚拟机，参考：https://www.cloudera.com/downloads/quickstart_vms/5-13.html

平时一般使用vmware虚拟机，这里就用vmware举例了，可以看到cloudera官方还支持virtual box, kvm, docker image等虚拟机系统，可以自行选择

获取hue虚拟机

单击"GET IT NOW"，然后填一个问卷单就可以下载了，下载完成后可以检查下文件大小，约5.76GB是下载ok的

完整项目代码已上传github：https://github.com/neatlife/my-tlpi-book

获取可用环境

可以使用虚拟机安装一个linux系统进行linux系统开发，虽然mac os和linux非常相似，但是和linux还是有很多小区别的，装虚拟机是最省事的
这里使用elementary os，下载地址参考：https://elementary.io/zh_CN/

安装时，选linux 4.x以上的内核版本即可

完整案例代码已上传github: https://github.com/neatlife-learn/myhive

获取可用的hive实例

可以使用docker一键启动参考：https://github.com/big-data-europe/docker-hive

git clone https://github.com/big-data-europe/docker-hive.git hive
cd hive
docker-compose pull
docker-compose up -d

执行docker-compose ps查看启动效果

可以看到hive-server已经成功启动并在10000端口监听了

然后可以使用命令: docker-compose exec hive-server /opt/hive/bin/beeline -u jdbc:hive2://localhost:10000

进入hive命令行终端进行操作了，常见的sql语句一般都支持，比如show databases show tables desc tableName等，操作效果如下：

使用sqoop导入mysql数据到hive

准备测试数据

在mysql中准备需要导入hive的数据，可以自行生成，这里使用已经存在的user_words表，内容如下

完整代码已上传github：https://github.com/neatlife/mypiclabel

安装依赖库

requirements.txt如下

scikit-learn==0.21.2

然后执行pip install -r requirements.txt

导入依赖库

完整案例代码已上传github：https://github.com/neatlife/myairflow

获取airflow实例

可以使用docker一键启动

git clone https://github.com/puckel/docker-airflow
cd docker-airflow
docker-compose -f docker-compose-LocalExecutor.yml up -d

访问ip:8080查看效果

可以看到airflow已经可用了

编辑dag文件

这个dag文件就是用来定义任务和任务之间的先后、依赖关系的。

完整案例代码已上传github：https://github.com/neatlife/mySparkLikes

完整项目代码已上传github：https://github.com/neatlife/mykafka

可以通过下面的步骤快速上手这个kafka

获取一个可用的kafka实例

可以使用docker一键启动一个kafka集群，参考：https://github.com/simplesteph/kafka-stack-docker-compose

git clone https://github.com/simplesteph/kafka-stack-docker-compose.git
cd kafka-stack-docker-compose
docker-compose -f full-stack.yml up -d

操作效果如下

使用命令docker-compose -f full-stack.yml ps获取可以kafka监听的端口

ansible作为目前批量linux机器远控工具的老大、其易用性、管理成本低等远远超过了同类的Fabric等工具。

准备测试机器，这里就拿已有的kubernetes的机器做测试，机器和ip分配参考：java微服务 k8s生产环境搭建, 注意下面案例中的k8s机器的ip段已经改成 192.168.10，机器列表如下

安装ansible

执行下面的命令在部署机上安装ansible

pip install pip --upgrade -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
pip install --no-cache-dir ansible -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

也可以使用docker一键启动

alias ansible="docker run --rm --name ansible -v ${HOME}/.ssh/config:/home/ansible/.ssh/config:ro -v ${HOME}/.ssh/known_hosts:/home/ansible/.ssh/known_hosts:ro -it williamyeh/ansible:alpine3 ansible"
ansible --version