如何搭建临时代理服务器,满足编译需求

分类
故障描述

  交付内网场景,需要调用公网资源。满足编译需求

故障分析

  无

处理过程

1.笔记本电脑上网
2.安装squid
3.Linux配置下列代理即可;

# 在 /etc/profile 文件中增加如下三项。
export proxy="http://{proxy_server_ip}:8080"
export http_proxy=$proxy
export https_proxy=$proxy

# 使配置生效
shell> source /etc/profile

建议/总结

  无

 

 

 

 

tftpd64-包含dhcp、tftp、dns、sntp、syslog以及tftp客户端

工具名称
tftpd64
工具介绍

Tftpd64是一个免费、轻量级、开源的IPv6就绪应用程序,包括DHCP、TFTP、DNS、SNTP和Syslog服务器以及TFTP客户端。

TFTP客户端和服务器完全兼容TFTP选项支持(tsize、blocksize和timeout),在传输数据时可实现最大性能。一些扩展功能,如目录功能、安全调优、界面过滤;进度条和早期确认增强了TFTP协议对客户端和服务器的有用性和吞吐量。包含的DHCP服务器提供无限的自动或静态IP地址分配。

Tftpd64也作为Windows服务提供。

Windows 32位请使用tftpd32。

该工具用于搭建临时dhcp服务器非常适用。方便快捷部署服务器bmc地址。

下载地址

SecureCRT默认会话标准配置

分类
故障描述

  无

故障分析

  无

处理过程

    SecureCRT是我们常用的远程工具,为规范配置,默认会话标准配置规范如下:

     1.创建SecureCRT日志目录;例如d:\crtlog\

     2.选项>编辑默认会话

     3.日志文件处配置为:D:\crtlog\%S\%Y%M%D%h%m.txt,并选中在连接上开始记录日志、半夜时启用新日志。

如下图所示

crt.session.config
建议/总结

  无

Linux集群SSH免密登陆

故障描述

  无

故障分析

  无

处理过程

      Linux集群规模20台,需相互间免密登陆。

      先选择一台主机保存所有主机的密钥,然后将密钥复制到所有主机。

1.登陆每台主机创建ssh.pub:

[root@master-1 ~]# ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa
Your public key has been saved in /root/.ssh/id_rsa.pub
The key fingerprint is:
SHA256:Z0rzrrX1DA+Yjw6S9iFnoGQfQc9NVn1PXEXHohC/gno root@jumpserver
The key's randomart image is:
+---[RSA 3072]----+
|      .   +o.. +B|
|     . o +..  o *|
|      . o .... +.|
|       . .  ..  .|
|    o o S + .    |
|   o o * * +     |
|    . B E = +    |
|     . B = = *   |
|        oo= . +  |
+----[SHA256]-----+

 

2. 每台主机执行ssh-copy-id root@master-1复制到Master-1

3.登陆Master-1将密码复制到所有主机:

scp .ssh/authorized_keys root@master-2:/root/ssh.txt

scp .ssh/authorized_keys root@master-3:/root/ssh.txt

scp .ssh/authorized_keys root@node-1:/root/ssh.txt

....

4.登陆每台主机,将ssh.txt追加到.ssh/authorized_keys即可。

cat /root/ssh.txt >> /root/.ssh/authorized_keys

建议/总结

  无

ambari 2.7.6+hdp 3.1.5安装kafka 3.0.0版本

分类
故障描述

  无

故障分析

  无

处理过程

hdp 3.1.5默认集成kafka2,客户需要安装kafka3

安装如下:

cd /opt
wget http://vpn.coremtech.com:20080/kafka3/kafka_2.12-3.0.0.tgz
wget http://vpn.coremtech.com:20080/kafka3/server.properties
wget http://vpn.coremtech.com:20080/kafka3/start.txt
tar zxvf kafka_2.12-3.0.0.tgz
cp server.properties kafka_2.12-3.0.0/config/
vi kafka_2.12-3.0.0/config/server.properties
# change id
mkdir /data-a/kafka3-logs
/opt/kafka_2.12-3.0.0/bin/kafka-server-start.sh  -daemon /opt/kafka_2.12-3.0.0/config/server.properties

 

建议/总结

  一个zk环境,支持两个不同kafka版本,仅需要zk连接器后加新的命名即可。例如master:2181/kafka3

安装flume

分类
故障描述

  安装flume组件

故障分析

  无

处理过程

cd /opt
wget http://vpn.coremtech.com:20080/apache-flume-1.11.0-bin.tar.gz
tar zxvf apache-flume-1.11.0-bin.tar.gz
mv ./apache-flume-1.11.0-bin ./flume
echo "export FLUME_HOME=/opt/flume" >> /etc/profile
echo "export PATH=\$PATH:\$FLUME_HOME/bin" >> /etc/profile
source /etc/profile
cd /opt/flume/conf
cp flume-env.sh.template flume-env.sh
"change java_home
flume-ng agent --conf /opt/flume/conf/
 

建议/总结

  无

Hbase Version提示org.apache.hadoop.hbase.util.GetJavaProperty

分类
故障描述

  客户安装flume执行flume-ng verion提示org.apache.hadoop.hbase.util.GetJavaProperty。hbase version也提示该错误。

故障分析

  hbase bug,详见:https://reviews.apache.org/r/69299/diff/2/?expand=1

处理过程

进入hbase/bin目录

cp hbase.distro hbase.distro-bak //先备份原有文件

vi hbase.distro

切到182行,在add_to_cp_if_exists “${HBASE_HOME}/hbase-server/target” 这里下面加上两行

        # Needed for GetJavaProperty check below
    add_to_cp_if_exists "${HBASE_HOME}/hbase-server/target/classes"

把下面大概186,187行的

    #add the hbase jars for each module
    for f in $HBASE_HOME/hbase-jars/hbase*.jar; do
        if [[ $f = *sources.jar ]]
      then
        : # Skip sources.jar
      elif [ -f $f ]
      then
        CLASSPATH=${CLASSPATH}:$f;
      fi
    done
这部分注释掉

切到大概310行左右,在

  if [ -n "${HADOOP_IN_PATH}" ] && [ -f "${HADOOP_IN_PATH}" ]; then

下面加上一段:

  # If built hbase, temporarily add hbase-server*.jar to classpath for GetJavaProperty
  # Exclude hbase-server*-tests.jar
  temporary_cp=
  for f in "${HBASE_HOME}"/lib/hbase-server*.jar; do
    if [[ ! "${f}" =~ ^.*\-tests\.jar$ ]]; then
      temporary_cp=":$f"
    fi
  done

然后把

  HADOOP_JAVA_LIBRARY_PATH=$(HADOOP_CLASSPATH="$CLASSPATH" "${HADOOP_IN_PATH}" \ 
改成

  HADOOP_JAVA_LIBRARY_PATH=$(HADOOP_CLASSPATH="$CLASSPATH${temporary_cp}" "${HADOOP_IN_PATH}" \
即可。

详见附件文件

建议/总结

  无