Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[Tencent] Something wrong when creating cb-user and more... #650

Closed
powerkimhub opened this issue May 16, 2022 · 3 comments
Closed

[Tencent] Something wrong when creating cb-user and more... #650

powerkimhub opened this issue May 16, 2022 · 3 comments
Labels
bug Something isn't working CloudDriver

Comments

@powerkimhub
Copy link
Member

@choryang @dogfootman @dev4unet

  • 증상: I/O Rule 검증 시험이 All Pass하다 Fail 나다가 불안정함

  • 분석 결과 Key 관련 2가지 이슈와 연관 이슈 1가지가 존재합니다.

    • 확인 부탁드립니다.

  • [Issue-I] 이전 Test 완료 후 clear 시 Key가 안지워진 경우

    • VM 삭제 후 key 삭제 시에 보통 한동안 사용 중인 VM 존재 오류 발생합니다.
    • 이 경우를 위해서 검증 시험에서는 보통 30번(약 30sec) 시도로 거의 삭제 되었습니다.
    • Tencent 경우 반복 시험을 여러번 해보니, 30회 이상 시도에도 삭제되지 않고 버티는 경우가 종종 발생했습니다.
    • 이 경우 이미 동일 Key가 존재하기 때문에 Key 생성시에 local에 저장하는 private 키가 받아지지 않으며,
    • 이후 ssh 명령 실행 오류로 Rule 검증 시험 일부 Fail 상태
    • Test Scriipt 내 삭제를 120회 시도로 늘려서 해결 (이 껀은 이슈 요청 보다는 현황 공유입니다.)

  • [Issue-2] VM 내부 cb-user Key 설정 이슈

    • tencent는 cloud-init을 이용하여 다음 스크립트를 태워서 cb-user 계정을 추가하고 있습니다.
      • cb-spider/cloud-driver-libs/.cloud-init-tencent
      • 이중 VM 내부에서 다음 명령 실행이 성공하거나 못하거나에 따라
        • 외부에서 cb-user 계정 접근이 가능했다 못했다 하는 현상이 발생하고 있습니다.
        • curl -s http://169.254.0.23/latest/meta-data/public-keys/0/openssh-key > /home/cb-user/.ssh/authorized_keys
      • 문제가 발생할때 VM 내부 현황(cb-user 계정 로그인 불가능, ubuntu 계정으로 로그인 후 확인) 
          cat /home/cb-user/.ssh/authorized_keys
  
  <html>
    <head>
      <title> 404 - Not Found </title>
      <body>
            <h1> 404 - Not Found </h1>
      </body>
    </head>
  </html>
    • 추정: cloud-init meta 정보 서버가 올라오기 전에 culr fetch가 요청되는 걸로 보입니다.
      • 동일 VM에 들어가서 curl fetch를 실행해보면 해당 Key를 잘 가져 옵니다.
    • 관련 사항 확인 및 보완 부탁드립니다.

  • [Issue-3] VM 반환 정보 중 Key Systme ID 공백

    • 다음과 같이 VM 생성시 반환되는 VM 정보에 Key에 대한 SystemId가 없이 올라오는 경우가 많습니다.
    • Issue-2와 연관된 이슈일 수도 있겠습니다. 점검 부탁드립니다.
    ...

SecurityGroupIIds:
- NameId: SG-Rules-Test-SG01
  SystemId: sg-nln0ezar
KeyPairIId:
  NameId: SG-Rules-Test-keypair-01
  SystemId: ""   <============================= ???
...
@powerkimhub powerkimhub added bug Something isn't working CloudDriver labels May 16, 2022
@powerkimhub powerkimhub mentioned this issue May 16, 2022
Closed
@dogfootman
Copy link
Contributor

1번항목을 위해 VM 삭제 상태확인과 관련 리소스 삭제를 체크할 수 있는지 확인해보도록 하겠습니다.

2번항목은 우선 key 가져오기 전 2~3초정도 delay를 주어 호출해 보는 것은 어떨까요?
접속할 cb-user를 추가하는 방법을 tencent에 물어보았습니다. 답변오는대로 가능한 방안을 공유해 드리겠습니다.

3번항목의 경우에도 2번항목과 연관이 있어보이는데
우선 상황을 재현해 보도록 하겠습니다.

@powerkimhub
Copy link
Member Author

@dogfootman

  • 2번 항목의 경우 가급적 sleep 보다는 cloud-init 구문을 이용하여
  • cloud-init meta server 상태 체크나, curl 반환 값 check 등을 이용하는 게 좋을 것 같습니다.
  • 아시는 바와 같이, 부하에 따라 delay는 보장할 수 없기 때문입니다.

@powerkimhub
Copy link
Member Author

@choryang @dogfootman @dev4unet

[Issue-2] VM 내부 cb-user Key 설정 이슈 재연 관련


  • SG 시험관련 부분을 제외시키고
  • 순수한 VM 생성만 시험해보았습니다.

  • Sequential 여러 VM 생성 시험: 관련 증상 없음

    • 순차 5개: 1~2회
    • 순차 10개 등: 수회

  • Parallel 여러 VM 생성 시행: 관련 증상 없음

    • 동시 10개 : 2~3회
    • 동시 20개: 2~ 3회
    • 동시 50개: 1회
    • 동시 생성 요청시 이슈: RequestLimitExceeded(초당 10회 요청 처리 제약)
      • 이 이슈는 타 CSP들도 가지고 있는 안정화 정책이므로,
      • 추후 별도 이슈로 열 예정입니다.
      • 현재는 동시 10개 요청하고 3초 쉬었다고 동시 10개 요청하는 식으로...

  • 둘 중 하나인 듯합니다.

    • (1) 공교럽게 Tencent 유지보수 등과 겹쳤거나, 일시적인 현상
    • (2) SG 검증 시험 패턴에 의한 영향

  • (1)은 좀더 지켜보는 수 밖에 없을 것 같습니다.

  • (2)의 경우는 제가 좀 더 시간을 두고 제가 다시 확인해보도록 하겠습니다.

    • 그래도, Tencent에 문의하셨던 계정 추가 방법에 대한 답이 온다면,
    • 공식 추천 방법으로 변경하는 것은 고려해볼만 하겠습니다.

[Issue-3] VM 반환 정보 중 Key Systme ID 공백

  • 이 부분은 정상적인 상태에서도 안 올라오고 있습니다.
  • 확인 부탁드립니다.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
bug Something isn't working CloudDriver
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@powerkimhub @dogfootman