经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 大数据/云/AI » 人工智能基础 » 查看文章
ambari+ bigtop 编译、打包、部署步骤总览
来源：cnblogs　　作者：zhangxuhui　　时间：2024/7/31 14:57:32　　对本文有异议

1 ambari + bigtop 构建大数据基础平台

1.1 参考：

1.2 参考

amabri

bigtop

打包部署

2 ambari+bigtop编译、打包、部署

操作步骤

  • 时间：2024-07-18
  • 环境准备：
    • 系统centos7
    • yum源
    • 系统基础组件
    • 防火墙、selinux设置、句柄数，时区
    • java、scala、maven、gradle、ant、nodejs、环境配置
  • 编译步骤：
    • 编译ambari：最新分支branch-2.8
    • 编译ambari-metrics：最新分支branch-3.0
    • 编译bigtop：最新分支barnch-3.3，此处采用branch-3.2
    • 打包：将以下文件copy到目标目录
      • ambari-server（ambari）
      • ambari-agent（ambari）
      • ambari-metrics-collector(ambari-metrics)
      • ambari-metrics-grafana(ambari-metrics)
      • ambari-metrics-hadoop-sink(ambari-metrics)
      • ambari-metrics-monitor(ambari-metrics)
      • bigtop打包出来的大数据组件(bigtop)
    • ambari+bigtop部署
      • 服务器准备：4c-16G-60G三台
      • 环境检查：操作系统、默认语言、时区、机器名、域名解析、网络、防火墙关闭、selinux关闭、limits句柄数、禁用交换分区、unmask设置、磁盘挂载
      • 基础设置：免密、基础软件、ntp服务、离线镜像源+httpd服务，
      • 数据库安装、ambari元数据库配置
      • 创建并配置bigtop的yum源
      • 安装启动ambari-server，初始化（生成表）

2.0 基础环境准备

2.1 ambari编译

2.2 ambari-metrics编译

2.3 bigtop编译

2.4 制作发版镜像

  1. #创建bdp3.2文件夹-所有rpm包将都拷贝到这个文件夹
  2. mkdir -p bdp3.2
  3.  
  4. #将ambari包拷贝
  5. mkdir -p bdp3.2/ambari  # 存放ambari项目打包出来的rpm包
  6. cp ambari/ambari-server/target/rpm/ambari-server/RPMS/x86_64/ambari-server-2.8.0.0-0.x86_64.rpm bdp3.2/ambari/
  7. cp ambari/ambari-agent/target/rpm/ambari-agent/RPMS/x86_64/ambari-agent-2.8.0.0-0.x86_64.rpm bdp3.2/ambari/
  8.  
  9. #将ambari-metrics包拷贝,# 存放ambari-metrics项目打包出来的rpm包
  10. mkdir -p bdp3.2/ambari-metrics
  11. cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-collector/RPMS/x86_64/ambari-metrics-collector-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/
  12. cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-grafana/RPMS/x86_64/ambari-metrics-grafana-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/
  13. cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-hadoop-sink/RPMS/x86_64/ambari-metrics-hadoop-sink-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/
  14. cp ambari-metrics/ambari-metrics-assembly/target/rpm/ambari-metrics-monitor/RPMS/x86_64/ambari-metrics-monitor-3.0.1-1.x86_64.rpm bdp3.2/ambari-metrics/
  15.  
  16. #将bigtop包拷贝
  17. mkdir -p bdp3.2/bigtop-3.2.1 # 存放bigtop项目打包出来的rpm包
  18. cp -r bigtop/output/* bdp3.2/bigtop-3.2.1
  19.  
  20. # 制作镜像源,在bdp3.2 目录下生成repodata（也可以将文件拷贝到安装位置后，再制作镜像源）
  21. createrepo bdp3.2/
  22. # bdp3.2.tar.gz,将是最终发版的包
  23. tar zcvf bdp3.2.tar.gz bdp3.2 
  25. # yum源模板
  26. vim ambari.repo  #必须是此文件名，安装ambari-agent时，界面有检查项
  27. # BIGOP-3.2.1 必须是固定字符串，大写。ambari安装大数据组件时，有检查项，否则找不到数据源，3.2.1 是bigtop.bom 中的base_version
  28. # http://172.16.76.107/chdp3.2 替换成自己的地址，确保访问地址后，能看到上边ambari，ambari-metrics，bigtop-3.2.1 这三个目录
  29. [BIGOP-3.2.1]
  30. name=BIGOP-3.2.1
  31. baseurl=http://172.16.76.107/bdp3.2
  32. failovermethod=priority
  33. enabled=1
  34. gpgcheck=0

2.5 使用镜像|镜像测试

搭建yum源服务器

  1. #将bdp3.2.tar.gz 复制到目标服务器
  2. tar zxfv bdp3.2.tar.gz 
  3. ln -s /to/your/path/bdp3.2  /var/wwww/html
  4. systemctl restart httpd  # 重启httpd服务
  5. systemctl enable httpd.service # 开机自启
  6. 访问：http://${yum_hosts}/bdp3.2, 查看根目录下是否有ambari，ambari-metrics，bigtop-3.2.1，repodata四个文件夹

客户机访问bdp3.2的yum源

  1. 1）客户机添加yum源
  2. vim /etc/init.d/ambari.repo # 内容参考上边的yum源模板
  3. [BIGOP-3.2.1]
  4. name=BIGOP-3.2.1
  5. baseurl=http://172.16.76.107/bdp3.2  ## 请替换此处IP
  6. failovermethod=priority
  7. enabled=1
  8. gpgcheck=0
  9. 2）客户机刷新yum缓存（务必执行此操作，否则安装时不会报错，也安装不上）
  10. yum clean all
  11. yum makecache
  12. 3）查看是否能够访问bdp3.2上的安装包，
  13. yum search ambari-server
  14. 4）查看bigtop源下的包有哪些（注意，若是只有两三个，可以去掉wc -l，看一下是具体那几个）
  15. /usr/bin/yum list available --showduplicates --disablerepo=* --enablerepo=BIGTOP-3.2.0  |wc -l 
  16. /usr/bin/yum list available --showduplicates --disablerepo=* --enablerepo=BIGTOP-3.2.1  |wc -l

bdp3.2 压缩包文件结构预览

  1. bdp3.2/
  2. ├── ambari
  3. │   └── x86_64
  4. │       ├── ambari-agent-2.8.0.0-0.x86_64.rpm
  5. │       └── ambari-server-2.8.0.0-0.x86_64.rpm
  6. ├── ambari-metrics
  7. │   └── x86_64
  8. │       ├── ambari-metrics-collector-3.0.1-1.x86_64.rpm
  9. │       ├── ambari-metrics-grafana-3.0.1-1.x86_64.rpm
  10. │       ├── ambari-metrics-hadoop-sink-3.0.1-1.x86_64.rpm
  11. │       └── ambari-metrics-monitor-3.0.1-1.x86_64.rpm
  12. ├── bigtop3.2.1
  13. │   ├── bigtop-ambari-mpack
  14. │   │   ├── bigtop-ambari-mpack-2.7.5.0-1.el7.src.rpm
  15. │   │   └── noarch
  16. │   │       └── bigtop-ambari-mpack-2.7.5.0-1.el7.noarch.rpm
  17. │   ├── bigtop-groovy
  18. │   │   ├── bigtop-groovy-2.5.4-1.el7.src.rpm
  19. │   │   └── noarch
  20. │   │       └── bigtop-groovy-2.5.4-1.el7.noarch.rpm
  21. │   ├── bigtop-jsvc
  22. │   │   ├── bigtop-jsvc-1.2.4-1.el7.src.rpm
  23. │   │   └── x86_64
  24. │   │       ├── bigtop-jsvc-1.2.4-1.el7.x86_64.rpm
  25. │   │       └── bigtop-jsvc-debuginfo-1.2.4-1.el7.x86_64.rpm
  26. │   ├── bigtop-select
  27. │   │   ├── bigtop-select-3.2.1-1.el7.src.rpm
  28. │   │   └── noarch
  29. │   │       └── bigtop-select-3.2.1-1.el7.noarch.rpm
  30. │   ├── bigtop-utils
  31. │   │   ├── bigtop-utils-3.2.1-1.el7.src.rpm
  32. │   │   └── noarch
  33. │   │       └── bigtop-utils-3.2.1-1.el7.noarch.rpm
  34. │   ├── flink
  35. │   │   ├── flink_3_2_1-1.15.3-1.el7.src.rpm
  36. │   │   └── noarch
  37. │   │       ├── flink_3_2_1-1.15.3-1.el7.noarch.rpm
  38. │   │       ├── flink_3_2_1-jobmanager-1.15.3-1.el7.noarch.rpm
  39. │   │       └── flink_3_2_1-taskmanager-1.15.3-1.el7.noarch.rpm
  40. │   ├── hadoop
  41. │   │   ├── hadoop_3_2_1-3.3.6-1.el7.src.rpm
  42. │   │   └── x86_64
  43. │   │       ├── hadoop_3_2_1-3.3.6-1.el7.x86_64.rpm
  44. │   │       ├── hadoop_3_2_1-client-3.3.6-1.el7.x86_64.rpm
  45. │   │       ├── hadoop_3_2_1-conf-pseudo-3.3.6-1.el7.x86_64.rpm
  46. │   │       ├── hadoop_3_2_1-debuginfo-3.3.6-1.el7.x86_64.rpm
  47. │   │       ├── hadoop_3_2_1-doc-3.3.6-1.el7.x86_64.rpm
  48. │   │       ├── hadoop_3_2_1-hdfs-3.3.6-1.el7.x86_64.rpm
  49. │   │       ├── hadoop_3_2_1-hdfs-datanode-3.3.6-1.el7.x86_64.rpm
  50. │   │       ├── hadoop_3_2_1-hdfs-dfsrouter-3.3.6-1.el7.x86_64.rpm
  51. │   │       ├── hadoop_3_2_1-hdfs-fuse-3.3.6-1.el7.x86_64.rpm
  52. │   │       ├── hadoop_3_2_1-hdfs-journalnode-3.3.6-1.el7.x86_64.rpm
  53. │   │       ├── hadoop_3_2_1-hdfs-namenode-3.3.6-1.el7.x86_64.rpm
  54. │   │       ├── hadoop_3_2_1-hdfs-secondarynamenode-3.3.6-1.el7.x86_64.rpm
  55. │   │       ├── hadoop_3_2_1-hdfs-zkfc-3.3.6-1.el7.x86_64.rpm
  56. │   │       ├── hadoop_3_2_1-httpfs-3.3.6-1.el7.x86_64.rpm
  57. │   │       ├── hadoop_3_2_1-kms-3.3.6-1.el7.x86_64.rpm
  58. │   │       ├── hadoop_3_2_1-libhdfs-3.3.6-1.el7.x86_64.rpm
  59. │   │       ├── hadoop_3_2_1-libhdfs-devel-3.3.6-1.el7.x86_64.rpm
  60. │   │       ├── hadoop_3_2_1-libhdfspp-3.3.6-1.el7.x86_64.rpm
  61. │   │       ├── hadoop_3_2_1-libhdfspp-devel-3.3.6-1.el7.x86_64.rpm
  62. │   │       ├── hadoop_3_2_1-mapreduce-3.3.6-1.el7.x86_64.rpm
  63. │   │       ├── hadoop_3_2_1-mapreduce-historyserver-3.3.6-1.el7.x86_64.rpm
  64. │   │       ├── hadoop_3_2_1-yarn-3.3.6-1.el7.x86_64.rpm
  65. │   │       ├── hadoop_3_2_1-yarn-nodemanager-3.3.6-1.el7.x86_64.rpm
  66. │   │       ├── hadoop_3_2_1-yarn-proxyserver-3.3.6-1.el7.x86_64.rpm
  67. │   │       ├── hadoop_3_2_1-yarn-resourcemanager-3.3.6-1.el7.x86_64.rpm
  68. │   │       ├── hadoop_3_2_1-yarn-router-3.3.6-1.el7.x86_64.rpm
  69. │   │       └── hadoop_3_2_1-yarn-timelineserver-3.3.6-1.el7.x86_64.rpm
  70. │   ├── hbase
  71. │   │   ├── hbase_3_2_1-2.4.17-1.el7.src.rpm
  72. │   │   ├── noarch
  73. │   │   │   └── hbase_3_2_1-doc-2.4.17-1.el7.noarch.rpm
  74. │   │   └── x86_64
  75. │   │       ├── hbase_3_2_1-2.4.17-1.el7.x86_64.rpm
  76. │   │       ├── hbase_3_2_1-master-2.4.17-1.el7.x86_64.rpm
  77. │   │       ├── hbase_3_2_1-regionserver-2.4.17-1.el7.x86_64.rpm
  78. │   │       ├── hbase_3_2_1-rest-2.4.17-1.el7.x86_64.rpm
  79. │   │       ├── hbase_3_2_1-thrift2-2.4.17-1.el7.x86_64.rpm
  80. │   │       └── hbase_3_2_1-thrift-2.4.17-1.el7.x86_64.rpm
  81. │   ├── hive
  82. │   │   ├── hive_3_2_1-3.1.3-1.el7.src.rpm
  83. │   │   └── noarch
  84. │   │       ├── hive_3_2_1-3.1.3-1.el7.noarch.rpm
  85. │   │       ├── hive_3_2_1-hbase-3.1.3-1.el7.noarch.rpm
  86. │   │       ├── hive_3_2_1-hcatalog-3.1.3-1.el7.noarch.rpm
  87. │   │       ├── hive_3_2_1-hcatalog-server-3.1.3-1.el7.noarch.rpm
  88. │   │       ├── hive_3_2_1-jdbc-3.1.3-1.el7.noarch.rpm
  89. │   │       ├── hive_3_2_1-metastore-3.1.3-1.el7.noarch.rpm
  90. │   │       ├── hive_3_2_1-server2-3.1.3-1.el7.noarch.rpm
  91. │   │       ├── hive_3_2_1-webhcat-3.1.3-1.el7.noarch.rpm
  92. │   │       └── hive_3_2_1-webhcat-server-3.1.3-1.el7.noarch.rpm
  93. │   ├── kafka
  94. │   │   ├── kafka_3_2_1-2.8.2-1.el7.src.rpm
  95. │   │   └── noarch
  96. │   │       ├── kafka_3_2_1-2.8.2-1.el7.noarch.rpm
  97. │   │       └── kafka_3_2_1-server-2.8.2-1.el7.noarch.rpm
  98. │   ├── phoenix
  99. │   │   ├── noarch
  100. │   │   │   └── phoenix-5.1.3-1.el7.noarch.rpm
  101. │   │   └── phoenix-5.1.3-1.el7.src.rpm
  102. │   ├── solr
  103. │   │   ├── noarch
  104. │   │   │   ├── solr_3_2_1-8.11.2-1.el7.noarch.rpm
  105. │   │   │   ├── solr_3_2_1-doc-8.11.2-1.el7.noarch.rpm
  106. │   │   │   └── solr_3_2_1-server-8.11.2-1.el7.noarch.rpm
  107. │   │   └── solr_3_2_1-8.11.2-1.el7.src.rpm
  108. │   ├── spark
  109. │   │   ├── noarch
  110. │   │   │   ├── spark_3_2_1-3.2.3-1.el7.noarch.rpm
  111. │   │   │   ├── spark_3_2_1-core-3.2.3-1.el7.noarch.rpm
  112. │   │   │   ├── spark_3_2_1-datanucleus-3.2.3-1.el7.noarch.rpm
  113. │   │   │   ├── spark_3_2_1-external-3.2.3-1.el7.noarch.rpm
  114. │   │   │   ├── spark_3_2_1-history-server-3.2.3-1.el7.noarch.rpm
  115. │   │   │   ├── spark_3_2_1-master-3.2.3-1.el7.noarch.rpm
  116. │   │   │   ├── spark_3_2_1-python-3.2.3-1.el7.noarch.rpm
  117. │   │   │   ├── spark_3_2_1-sparkr-3.2.3-1.el7.noarch.rpm
  118. │   │   │   ├── spark_3_2_1-thriftserver-3.2.3-1.el7.noarch.rpm
  119. │   │   │   ├── spark_3_2_1-worker-3.2.3-1.el7.noarch.rpm
  120. │   │   │   └── spark_3_2_1-yarn-shuffle-3.2.3-1.el7.noarch.rpm
  121. │   │   └── spark_3_2_1-3.2.3-1.el7.src.rpm
  122. │   ├── tez
  123. │   │   ├── noarch
  124. │   │   │   └── tez_3_2_1-0.10.2-1.el7.noarch.rpm
  125. │   │   └── tez_3_2_1-0.10.2-1.el7.src.rpm
  126. │   └── zookeeper
  127. │       ├── x86_64
  128. │       │   ├── zookeeper_3_2_1-3.6.4-1.el7.x86_64.rpm
  129. │       │   ├── zookeeper_3_2_1-debuginfo-3.6.4-1.el7.x86_64.rpm
  130. │       │   ├── zookeeper_3_2_1-native-3.6.4-1.el7.x86_64.rpm
  131. │       │   ├── zookeeper_3_2_1-rest-3.6.4-1.el7.x86_64.rpm
  132. │       │   └── zookeeper_3_2_1-server-3.6.4-1.el7.x86_64.rpm
  133. │       └── zookeeper_3_2_1-3.6.4-1.el7.src.rpm
  134. └── repodata
  135.     ├── 15cc6a5320a9f6e38cda7b8ec54e7e28ed527df25ee6f56c1bf20cfa421dfe73-other.sqlite.bz2
  136.     ├── 1a5c0f03d6edae3170255a282d113afe9b22f654f246ea308f162e14234cf5f8-filelists.sqlite.bz2
  137.     ├── 28cb1ff79328b8ebeaa55021078984e8da908081b0b389e4037d9b1e5854ae22-primary.xml.gz
  138.     ├── 5066ad167311131c46e983c0d66c4901b92a4e862b11aff3492f02f90ec2eb36-other.xml.gz
  139.     ├── 617177ba2b017e6e6b4a62b157fe3441ea97b74455d60792e78471f938b86cb8-filelists.xml.gz
  140.     ├── 7ea377d3a0b59ffaaef9661cb7dd3f2144bd7bc27da1a11070b6d78d5116dddd-primary.sqlite.bz2
  141.     └── repomd.xml
  142. 37 directories, 103 files

2.6 ambari 安装

安装中可能出现的问题及解决方案

  • 问题1：yum install ambari-server后出现以下日志，软件没有安装成功，也没有任何反应
    • 解决方案：yum clean all && yum makecache
  1. Loaded plugins:aliases,changelog,fastestmirror, kabi, langpacks, tmprepo, verify, versionlock
  2. Loading support for RedHat kernel ABI
  • 问题2：yum源配置
    /etc/yum.repos.d/ambari.repo （必须为此名称，安装过程有校验）
  1. [BIGTOP-3.2.1]   # 必须为此名称，和ambari-server中的配置一致，包含大小写，下一行同理
  2. name=BIGTOP-3.2.1
  3. baseurl=http://192.168.76.107/chdp3.2
  4. failovermethod=priority
  5. enabled=1
  6. gpgcheck=0

原文链接：https://www.cnblogs.com/piaolingzxh/p/18334212

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

人工智能基础热门文章

  • yolov5 AssertionError: Image Not Found解决方案daily-
  • 如何注册chatgpt，如何使用chatgpt，以及chatgpt无法访问的原因。chatgpt问题总结。
  • 并行Louvain社区检测算法 - orion-orion
  • 《Deep Learning》(深度学习)中文版PDF免费下载
  • 斗地主AI出牌助手--在线调用斗地主AI，实现自动斗地主
  • ChatGPT 1.0.0安卓分析，仅限国内分享
  • ChatGPT3.5使用体验
  • 0902-用GAN生成动漫头像
  • 记录：tf.saved_model 模块的简单使用（TensorFlow 模型存储与恢复）
  • ML.NET教程之客户细分(聚类问题)

    • 人工智能基础推荐文章

  • 【LLM训练系列】NanoGPT源码详解和中文GPT训练实践
  • 解密Prompt系列36. Prompt结构化编写和最优化算法UNIPROMPT
  • RealNet：从数据生成到模型训练的最新工业异常检测 | CVPR 2024
  • 再探GraphRAG：如何提升LLM总结能力？
  • AI 大模型时代呼唤新一代基础设施，DataOps 2.0和调度编排愈发重要
  • QWen2-72B-Instruct模型安装部署过程
  • AI编程助手那些事儿
  • FP分数规划在无线通信中的应用
  • ambari+ bigtop 编译、打包、部署步骤总览
  • ComfyUI插件：ComfyUI Impact 节点（二）

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号