Hadoop 3安装
首先安装jdk8,然后下载安装包: 创建hadoop账号: 创建hadoop用户密码: 切换到hadoop用户,配置ssh免密登录: 创建环境变量: 加入下面配置: 修改core-site.xml: 修改配置文件hdfs-site.xml: 修改配置文件map ...
ZooKeeper入门
服务启动: 可以通过zkCli.sh进入命令行: 列出节点数据: 删除节点及子节点: 添加认证用户: 设置权限: 删除权限: 跳过权限检查: 编辑zoo.cfg,插入: 保存配置后重启。 java客户端库: 参考:
使用IDEA开发spark应用
参考: IntelliJ IDEA 2021.1.2配置spark,并编写第一个scala程序WordCount在idea 2021 上 配置本地 scala 2.12 spark 3.0.2 开发环境IDEA开发Spark应用程序