How to use etcd as Spider meta info

• CB-Spider 서버는 nutsdb(LFS) 또는 etcd를 메타 정보로 선택 운영할 수 있으며,
• etcd를 메타 정보로 활용하는 방법은 다음과 같다.

• 운영 환경

  • Ubuntu 18.04
  • CB-Spider Server 동일 노드에 etcd 서버 운영

• 동일 노드에 ETCD 서버 가동 방법

  • (1) 설치/실행 방법

    sudo apt install etcd-server
    

  • (2) 컨테이너 실행 방법

    export ETCD_SERVER=localhost;
    sudo docker run --rm -d --name etcd \
    --publish 2379:2379 \
      --publish 2380:2380 \
      --env ALLOW_NONE_AUTHENTICATION=yes \
      --env ETCD_ADVERTISE_CLIENT_URLS=http://${ETCD_SERVER}:2379 \
      bitnami/etcd:3.3.27
    

• CB-Spider 서버 설정 방법

  • Spider meta 정보 운영 저장소를 etcd로 설정

  vi $CBSPIDER_ROOT/conf/store_conf.yaml
  

    ...
  storetype: ETCD                    <=========
    ...
  etcdserverport: "localhost:2379"   <=========