How to use etcd as Spider meta info

• CB-Spider 서버는 nutsdb(LFS) 또는 etcd를 메타 정보로 선택 운영할 수 있으며,
• etcd를 메타 정보로 활용하는 방법은 다음과 같다.

• 운영 환경

  • Ubuntu 18.04
  • CB-Spider Server 동일 노드에 etcd 서버 운영

• ETCD 서버 컨테이너 가동

  export ETCD_SERVER=localhost;
  sudo docker run --rm -d --name etcd \
  --publish 2379:2379 \
    --publish 2380:2380 \
    --env ALLOW_NONE_AUTHENTICATION=yes \
    --env ETCD_ADVERTISE_CLIENT_URLS=http://${ETCD_SERVER}:2379 \
    bitnami/etcd:3.3.27
  

• CB-Spider 서버 설정

  • Spider meta 정보 운영 저장소를 etcd로 설정

  vi $CBSPIDER_ROOT/conf/store_conf.yaml
  

    ...
  storetype: ETCD                    <=========
    ...
  etcdserverport: "localhost:2379"   <=========