정상: 텐 센트 의 "설 보위 전"

2021 년 설 은 전국 적 으로 '그 자리 에서 설 을 쇠 자' 는 호소 로 처음으로 추석 밤 을 맞 아 가족 들 과 만 나 지 못 한 사람들 이 많 았 다.그리고 추 방 명 에 게 섣달 그믐날 밤 은 회사 에서 이미 다반사 가 되 었 습 니 다. 지난 9 년 동안 그의 제야 시간 은 모두 동료 들 과 함께 보 냈 습 니 다.

예전 에 쭈 팡 밍 과 동료 들 은 하 이 디 라 오의 배달 음식 을 회사 에 배달 하 는 습관 이 있 었 습 니 다. 여러분 들 은 훠 궈 한 끼 를 지난 한 해 를 마무리 하 였 습 니 다. 하지만 올 해 는 새로운 빌딩 으로 이사 해서 불 을 켤 수 없어 서 회사 맞은편 에 있 는 한 식당 에 가서 밥 을 먹 을 수 밖 에 없 었 습 니 다.

섣달 그믐날 저녁 식사 라 는 것 은 모든 과정 이 평 화 롭 고 술 을 마 시 는 사람 이 없고 식사 시간 도 오후 5 시 30 분부 터 6 시 30 분 까지 한 시간 정도 밖 에 되 지 않 았 다. 식 사 를 마치 고 모두 빠르게 일터 로 돌 아 왔 다.사고 가 나 지 않 으 면 저녁 7 시 에 사용자 들 이 붐 을 일 으 킬 것 이 고 그 다음 시간 에 그들의 임 무 는 사용자 들 의 붐 을 감시 하고 다가 올 수 있 는 돌발 적 인 흐름 에 대응 하 는 것 이다.

새해 의 종소리 가 울 리 면서 추 방 명 앞 에 있 는 모니터 프로그램 은 모든 것 이 정상 적 이 었 다. 그들 은 마침내 한숨 돌 릴 수 있 었 다. 왜냐하면 또 1 년 이 지 났 기 때문이다.

추 팡 밍 은 현재 텐 센트 기초 구조 부 자체 연구 업무 센터 의 총 감 입 니 다. 그 가 속 한 부서 의 주요 직책 은 텐 센트 내부 자체 연구 업무 의 연구 와 개발 을 바탕 으로 하 는 것 입 니 다. 쉽게 말하자면 이 부 서 는 텐 센트 가 90% 가 넘 는 업 무 를 접 속 했 습 니 다. 사용자 가 평소에 사용 하 는 텐 센트 제품, 예 를 들 어 위 챗, QQ 등 바 텀 기술 기반 은 모두 이와 관련 되 어 있 습 니 다.

한편, '춘 보' 는 춘 절 중 보 의 약칭 이다. 추 팡 밍 은 21 세기 경제 보도 에 텐 센트 의 제품 은 사교 제품 을 위주 로 하고 사교 제품 은 반드시 핫 이 슈 사건, 관건 적 인 순간 과 중점 적 인 보호 시간 이 있 을 것 이 라 고 말 했다. 그 중에서 춘 절 은 도전 이 가장 크 고 임 무 를 가장 중시 하 는 보호 시간 이다.

텐 센트 내부 에서 '춘 보' 사업 을 시작 한 것 은 2013 년 설 부터 시작 됐다 고 한다.텐 센트 윈 부 총재, 텐 센트 인 프 라 구조 부 샤 오 지 립 사장 은 기자 와 의 인터뷰 에서 설날 의 절정 기 는 PC 인터넷 시대 에 있 었 다 고 밝 혔 다. 그러나 그 때 는 사용자 가 인터넷 에 접속 하 는 것 이 그리 편리 하지 않 았 기 때문에 그 당시 의 고봉 은 추석 이 아니 라 중학교 4 학년 이나 5 학년 이 었 다. 여러분 들 이 설 을 보 내 고 일 을 시작 한 후에 일부 사진 을 QQ 공간 에 올 려 서 분 리 를 해 야 한다 고 말 했다.누.. 그런데 전체적으로 그 때 는 보장 부담 이 크 지 않 았 어 요.

그러나 2012 년 부터 특히 위 챗 이 등장 하면 서 모 바 일 인터넷 의 열풍 이 불 기 시작 하면 서 사용자 들 의 소통 이 더욱 실시 간 으로 이 루어 지면 서 진정한 설날 의 절정 기 를 탄생 시 켰 다.이것 이 진정한 고봉 이 라 고 말 하 는 이 유 는 과거 PC 인터넷 시대 에 비해 그 피크 수 치 는 수백 배 에 달 하 는 성장 세 를 보 였 기 때 문 입 니 다. 물론 이런 큰 차 이 는 기술 보장 에 종사 하 는 직원 들 에 게 많은 비참 한 추억 을 남 겨 주 었 습 니 다.

뜻밖의 끊 임 없 는 '춘 보'

추 방 명 에 게 2013 년 은 그 가 처음으로 '춘 보' 를 겪 었 는데, 그것 도 그 가 가장 고 통 스 러 웠 던 한 해 였 다.

그 당시 2011 년 1 월 에 발표 한 위 챗 은 빠르게 발전 하고 있 었 다. 2012 년 3 월 에 위 챗 의 사용자 수가 1 억 명 을 돌 파 했 고 2013 년 초 에 위 챗 의 사용자 수가 3 억 명 을 돌파 했다.한편, 추 팡 밍 은 위 챗 채 팅 사진 과 채 팅 영상 시스템 의 연구 개발 담당자 입 니 다. 앞에서 말 한 바 와 같이 2013 년 까지 텐 센트 내부 에 명확 한 '춘 보' 개념 이 없 었 고 추 팡 밍 도 이렇게 빨리 성장 하 는 제품 을 본 적 이 없 었 습 니 다. 그래서 그의 머 릿 속 에 위 챗 이 갑자기 '큰 체증' 이 일어 날 줄 은 몰 랐 습 니 다.

2013 년 추석 에 전체 모 바 일 소 셜 네트워크 서비스 가 뜨 거 운 배경 에서 사람들 이 모 바 일 에서 의 상호작용 이 점점 빈번 해 졌 다.위 챗 에서 사용자 들 은 다양한 단체 채 팅 을 하면 서 새해 인사 영상 을 단체 로 보 내기 시작 했다.소 셜 미디어 제품 의 매력 은 열 변, 열 전, 열 전 백 에 있 지만 기술자 에 게 이런 열 변 은 공포 의 높 은 병발 을 가 져 온다.

추 방 명 은 2013 년 추석 에 세배 동 영상 이 갑자기 6, 7 배 증 가 했 던 것 을 회상 하 며 이미 그들의 비축 물 을 넘 어 섰 다.당시 갑 작 스 러 운 동 영상 물 량 을 앞 두 고 추 방 명 은 속수무책 이 었 다. 예비 방안 을 마련 하지 않 았 기 때문에 서버 자원 을 일시 적 으로 조달 할 수 없 었 다. 시스템 전체 가 무 너 지지 않도록 강등 하 는 방법 을 취 할 수 밖 에 없 었 다.

여기 서 등급 을 낮 추 는 것 은 사용자 가 동 영상 을 보 내 는 크기 를 제한 하 는 것 을 말 합 니 다. 처음에 10 조 이상 의 동 영상 이 보 내지 못 하도록 제 한 했 고 나중에 6 조, 4 조, 2 조 가 되 었 습 니 다. 전체 등급 을 낮 추 는 과정 은 당일 저녁 7 시 부터 10 시 까지 3 시간 동안 지 속 됩 니 다.추 방 명 에 따 르 면 저녁 8 시가 넘 을 때, 그들 은 거의 70 ~ 80% 의 사용자 가 영상 을 보 내 는 것 을 제한 하 였 는데, 이것 은 매우 무 서운 것 이 라 고 한다. 그 사이 에 그들 도 대량의 사용자 로부터 신 고 를 받 았 으 나, 그 당시 에는 확실히 속수무책 이 었 다. 다만 이러한 거 친 방식 으로 유량 의 피크 를 견 딜 수 밖 에 없 었 다.

2013 년 설날 의 쓰 라 린 경험 을 바탕 으로 텐 센트 내부 에서 '춘 보' 준 비 를 시작 했다.추 방 명 은 "춘 보" 프로젝트 의 준비 주 기 는 기본적으로 매년 10 월 부터 2 ~ 3 개 월 정도 지속 된다 고 소개 했다.준비 과정 에서 제품 과 기술 팀 은 먼저 설 기간 의 제품 게임 방법 을 대체적으로 확정 한 다음 에 이런 게임 방법 에 따라 각 제품 이 얼마나 대역 폭 과 저장 을 해 야 하 는 지 를 평가한다.

물론 이 럴 때 제품 이 자원 수 요 를 제기 하 는 만큼 모두 만족 할 수 있 는 것 이 아니 라 추 방 명 팀 은 수요 와 자원 을 중심 으로 균형 을 잡 을 것 입 니 다. 그 목적 은 자원 이 유한 한 상황 에서 기술 의 향상 과 유연성 전략 을 통 해 각 제품 의 사용자 체 검 사 를 확보 하 는 것 입 니 다.

그러나 2015 년 설 에 '춘 보' 준 비 를 했 는데 의외로 발생 했다.2014 년 10 월 에 위 챗 에 작은 영상 기능 이 등장 하여 친구 권 과 채 팅 화면 을 공유 할 수 있 기 때문에 '춘 보' 를 앞 두 고 10 월, 11 월 에 위 챗 동 영상의 사용자 수가 많 지 않 고 예상 할 때 도 그 수량 에 따라 수 십 배의 용량 을 주 었 다.

그런데 2015 년 추석 이 되자 위 챗 동 영상 은 기대 이상 의 최고 치 를 기록 했다.봄 밤 이 시작 되 기 한 시간 가량 동 영상 발 표 량 이 급증 하면 서 시스템 이 고장 나 기 시작 했다.추 방 명 과 동료 들 이 긴급 확장 을 시 작 했 지만, 당시 위 챗 동 영상 시스템 은 텐 센트 동 영상 을 재 활용 하 는 시스템 이 었 기 때문에 UGC 가 아 닌 PGC 에 더 치 우 쳐 처리 과정 도 더욱 복잡 해 졌 다.

추 방 명 은 당시 색인 모듈 을 긴급 확대 한 후 색인 은 문제 가 없 었 으 나 양 이 계속 증가 함 에 따라 전단 접속 모듈 에 또 문제 가 생 겼 다 고 회상 하 며 접속 모듈 을 처리 한 후 다른 영상 처리 모듈 은 또 안 되 었 다.

"그래서 그날 밤 에 도 문 제 는 약 3 시간 동안 계속 되 었 습 니 다. 우리 가 확대 할 수 있 는 곳 을 모두 넓 힌 후에 사용자 의 고봉 은 이미 지 났 습 니 다."추 방 명 은 시스템 전체 가 영향 을 받 지 는 않 았 지만 사용자 에 게 는 추석 영상 체험 이 좋 지 않다 고 말 했다.그래서 2015 년 설 이후 텐 센트 인 프 라 구조 부 는 전체 영상 시스템 의 구 조 를 조정 하고 영상 장면 을 최적화 시 켰 다.

보너스 압력 을 견디다

2015 년 설날 에 위 챗 동 영상 이 가 져 온 긴급 상황 을 제외 하고 텐 센트 '춘 보' 는 실제 적 으로 또 다른 시험 인 위 챗 보너스 의 봄 저녁 상호작용 도 맞이 했다.

쇼 즈 립 은 기자 에 게 2014 년 11 월 쯤 에 위 챗 결제 팀 에 따 르 면 설 에 춘 완 과 합작 하여 보너스 행 사 를 진행 해 야 한 다 는 것 을 알 게 되 었 고 고객 규모 가 매우 클 것 이 라 고 말 했다.당시 설 이 두 달 밖 에 남지 않 았 다 는 것 은 쇼 지 립 팀 에 큰 시련 이 었 다.

쇼 즈 립 은 그 당시 에 직면 한 문 제 는 주로 세 가지 가 있 었 다 고 말 했다. 먼저 원래 의 보너스 시스템 은 반드시 사용 할 수 없 었 다. 원래 의 시스템 은 원래 회사 내부 에서 몇 만 명 을 대상 으로 사용 되 었 기 때문에 지금 은 10 억 명의 사용자 에 게 보너스 선물 을 보 내 려 면 시스템 전체 가 다시 해 야 한다.

그 다음 에 설날 의 보너스 행 사 는 봄 저녁 에 방송 하 는 형식 으로 사용자 로 하여 금 보너스 쟁탈 에 참여 하 게 하 는 것 이다. 이 안의 도전 은 시스템 이 얼마나 많은 방 문 량 을 적재 해 야 할 지 예측 하기 어렵다."얼마나 스트레스 를 받 아야 할 지 모 르 겠 어 요. 이 건 사실 구 조 를 하 는 거 예요. 하지만 우 리 는 그 당시 에 참고 할 게 없 었 어 요."쇼 즈 립 설.

마지막 으로 이번 기술 보장 업 무 는 성공 만 을 허락 하고 실 패 를 허락 하지 않 는 다. "만약 에 실패 하면 전 국민 앞에서 망신 을 당 하 는 것 이기 때문에 기술적 인 부담 이 그 어느 때 보다 클 것 이다."

이 두 달 이 안 되 는 시간 에 샤 오 지 립 은 텐 센트 기초 구조 부의 훙 바 오 시스템 팀 과 위 챗 결제 팀 을 데 리 고 밤 을 꼬박 새 우 며 선전 텐 센트 빌딩 에 머 물 렀 다. 매일 저녁 12 시 에 버 전 을 제출 하고 새벽 1 시 에 테스트 를 시작 했다. 아마 새벽 3 시 에 결 과 를 내 고 다음 날 에 어떻게 최적화 하고 개조 하 는 지 연구 했다.

2015 년 2 월 10 일 까지 모든 보너스 시스템 이 대체적으로 확정 되 었 다.그러나 추석 3 일 전 까지 만 해도 전체 팀 은 코드 를 바 꾸 고 있 었 다. 반복 적 인 테스트 과정 에서 위험 을 가 져 올 수 있 는 부분 을 발견 하면 쇼 지 립 은 팀 으로 하여 금 이 를 고 치 게 만 들 었 다. '우 리 는 모든 위험 을 없 애 야 한다.'

결국 텐 센트 의 2015 년 춘 완 보너스 행 사 는 원만 하 게 이 루어 졌 고 위 챗 결제 도 이번 합작 으로 모 바 일 결제 분야 에서 알 리 페 이에 대한 추 구 를 완성 했다.위 챗 공식 데이터 에 따 르 면 2015 년 추석 당일 에 위 챗 레 드 백 의 전체 수량 은 10.1 억 번 에 달 했 고 저녁 8 시 부터 다음날 새벽 0 시 48 분 까지 춘 완 위 챗 의 전체 수량 은 110 억 번 에 달 했다.

텐 센트 기초 구조 부 기술 운영 센터 의 샤 오 웨 이 감독 은 21 세기 경제 보도 기자 에 게 훙 바 오 시스템 에 있어 기대 이상 의 커 다란 데이터 압력 을 받 으 면 그들 도 등급 을 낮 추 는 방법 을 취 할 것 이 라 고 말 했다. 예 를 들 어 금액 에 대해 제한 을 하면 동시 발병량 을 신속하게 낮 출 수 있다.

또한 샤 오 클 라 이 프 의 소개 에 따 르 면 전체 훙 바 오 시스템 은 마치 깔때기 처럼 모든 층 을 걸 러 내 고 있 기 때문에 홍 바 오 를 뺏 는 '쟁탈' 은 사용자 의 발 병 량 이 가장 많 고 그 다음은 철거 이다. 마지막 에 진정한 거래 부분 을 기다 리 면 사실은 사용자 의 발 병 량 이 많이 줄 어 들 었 다.

최근 몇 년 간 위 챗 레 드 백 의 발전 속도 도 빨 랐 지만 2015 년 처럼 10 만 급 에서 10 억 급 으로 비약 적 인 성장 세 는 더 이상 나타 나 지 않 았 다.현재 위 챗 보너스 의 사용자 수 는 위 챗 의 사용자 수 에 가 까 워 졌 고 설 기간 에 동시 발행량 의 증가 도 상대 적 으로 안정 적 이다. 텐 센트 의 보너스 시스템 에 있어 현재 의 주요 업 무 는 시스템 을 계속 최적화 시 키 고 원가 와 자원 을 낮 추 는 것 이다.

'춘 보' 가 정상 상태 로 변 하 다

추 방 명 은 기자 에 게 텐 센트 의 지난 9 년 간 의 '춘 보' 를 돌 이 켜 보면 크게 두 단계 로 나 눌 수 있다 고 알려 주 었 다. 첫 번 째 단 계 는 2013 년 부터 2016 년 까지 적재 능력 이 부족 한 단계 라 고 할 수 있다.

그 동안 업무 가 신속히 발전 하 는 원인 도 있 었 고 텐 센트 자체 의 기술 구조 가 완선 하지 않 은 원인 도 있 었 다. 한 마디 로 하면 시스템 능력 이 업무 의 성장 을 지탱 하지 못 해서 각종 고장 이 발생 했다.그래서 이 시기 에 주요 업 무 는 바로 적재 능력 을 향상 시 키 는 것 이다. 하드웨어 설 비 를 증가 하 는 동시에 기술 수단 도 계속 성능 을 향상 시 켜 야 한다.

두 번 째 단 계 는 2016 년 이후 입 니 다. 이 단 계 는 지난 몇 년 동안 의 침전 과 최적화 에 텐 센트 의 적재 능력 에 문제 가 없 었 습 니 다. 이때 해 야 할 일 은 바로 더 잘 하려 는 것 입 니 다.사용자 가 제품 체험 에 대한 요구 가 계속 증가 함 에 따라 텐 센트 도 시스템 의 정상 적 인 운행 을 확보 하 는 토대 에서 적재 능력 을 계속 최적화 시 켜 야 한다. 예 를 들 어 과거 에 기술 에 대한 요 구 는 서비스 가 30 분 을 초과 하 는 것 을 거절 할 수 없다. 그러나 지금 은 서 비 스 를 거부 하 는 상황 이 발생 하지 않 고 기술 에 대한 요 구 는 서비스 가 되 는 시간 이 5 분 을 초과 하지 못 한다.

올해 의 '춘 보' 는 쇼 지 립 이 전체적으로 체험 해 보 니 매우 순조롭다. 모든 절정 기 는 예측 범위 안에 있다.그래서 쇼 즈 립 이 이 끄 는 텐 센트 인 프 라 구조 부 에 있어 '춘 보' 와 같은 중요 한 순간 에 보장 업 무 는 기 존의 업무 조건 에서 스트레스 가 안정 되 었 고 경계해 야 할 것 은 갑 작 스 러 운 관건 적 인 순간 이다.

예 를 들 어 2020 년 초 에 새로운 전염병 발생 으로 인해 2019 년 말 에 야 진출 하 게 된 텐 센트 회 의 는 중요 한 시 기 를 맞 았 다.텐 센트 컨 벤 션 팀 의 목표 에 따 르 면 2020 년 말 DAU 가 5 만 명 에 이 를 것 으로 예 상 됐 으 며, 2 월 중순 에는 텐 센트 컨 퍼 런 스 와 함께 온라인 사용자 가 400 만 명 을 돌파 해 1000 배 에 달 하 는 것 으로 나 타 났 다.

이런 큰 폭 의 성장 은 텐 센트 기초 구조 에 커 다란 도전 을 가 져 왔 다.쇼 즈 립 은 사실 기술적 인 측면 에서 만 온라인 사용자 수백 만 의 업무 텐 센트 가 많은 데 이런 업 무 를 수행 하 는 것 도 그리 어 려 운 문제 가 아니 라 고 말 했다.그러나 그 당시 상황 이 급 한 이 유 는 전염병 상황 의 영향 을 받 아 그들 은 충분 한 물리 적 자원 을 찾 지 못 했다. 예 를 들 어 운영 업 체 의 BGP 광대 역 이 만족 하지 못 하고 외부 네트워크 의 IP 주소 도 만족 하지 못 했다. 일부 설비 공급 업 체 는 다시 작업 을 하지 못 하고 각종 설비 도 공급 하지 못 했다.

이때 이런 하드웨어 문 제 는 소프트웨어 를 통 해 해결 할 수 밖 에 없다.쇼 즈 립 은 IP 주소 가 부족 하면 포트 로 재 활용 하 는 기술 을 사용 해 야 한다 고 말 했다. 새로운 기계 가 공급 되 지 못 하면 전국 각지 에서 서버 를 모 아서 가상 화 나 소프트웨어 구조 로 다시 맞 추 는 방식 으로 텐 센트 회의의 업 무 를 먼저 지탱 하도록 한다.

바로 이런 조건 이 매우 어 려 운 상황 에서 텐 센트 회 의 는 100 만 핵 확 대 를 마 쳤 다.사실 텐 센트 회의의 긴급 확 대 는 2015 년 춘 완 보너스 행사 에 대비 하 는 것 보다 훨씬 어 려 운 일이 다. 전혀 준비 하지 않 은 상태 에서 한 번 의 도전 이기 때문이다.한편, 텐 센트 가 스트레스 를 견 딜 수 있 었 던 것 은 과거 에 '춘 보' 와 같은 중요 한 순간 을 너무 많이 겪 었 기 때문이다.

추 방 명 은 현재 고장 발생 빈도 와 유지 안정성 으로 볼 때 기술 보장 업무 가 더욱 쉬 워 졌 다 고 밝 혔 다. 모두들 백 전 을 겪 었 기 때문에 많은 직원 들 이 2013 년 '춘 보' 에서 지금까지 일 하면 서 모든 업무 의 성능 과 수요 에 대해 잘 알 고 있다.그래서 지금 큰 상황 이 발생 한 것 은 주로 생각 하지 못 했 기 때 문 이지 만 사실은 이런 예상 치 못 한 상황 도 점점 적어 지고 있다.