인프라 수기
새벽 장애 대응 타임라인
-
DB 복제 지연, 새벽 긴급 복구의 밤
지연은 오초에서 오분으로 불어났고, 알림은 멈추지 않았다. 추적, 전환, 복구, 그리고 복기. 타임라인을 통째로 기록한다. 명령어와 설정 조각은 댓글에 있습니다. 실행 전에 테스트 환경에서…
-
데이터센터 이전 체크리스트: 서버 이백 대의 서른 시간
계획부터 롤백 절차까지 모든 단계에 담당자를 적었다. 실제로는 서른한 시간이 걸렸다. 그 남은 한 시간에 무슨 일이 있었는지는 본문에 답이 있다. 명령어와 설정 조각은…
-
나의 운영 자동화 로드맵: 스크립트에서 플랫폼까지
첫해엔 스크립트, 둘째해엔 파이프라인, 셋째해엔 플랫폼. 세 시기의 투자 대비 성과와, 절대 생략해서는 안 됐던 단계의 기록. 명령어와 설정 조각은 댓글에 있습니다. 실행 전에…
-
인증서 만료로 터진 전 사이트 장애, 책임은 프로세스에 있었다
잊혀진 인증서 한 장과 오후 세 시의 장애. 기술적 복구는 십 분이면 끝났지만, 프로세스의 수습에는 석 달이 걸렸다. 명령어와 설정 조각은 댓글에 있습니다. 실행…
-
홈랩: 낡은 본체 한 대로 돌리는 일곱 가지 서비스
낡은 본체를 버리지 않고 파일 동기화, 사진 백업, 다운로드 서버 등 일곱 가지 서비스를 올렸다. 전력량, 소음, 안정성을 장기 기록 중이다. 명령어와 설정 조각은…
-
네트워크 지연 추적기: ping부터 패킷 캡처까지의 사흘
사용자는 느리다고 하고 모니터링은 정상이라고 한다. 사흘간 네 가지 각도로 파고들었고, 마지막엔 캡처 이미지 한 장에서 답을 찾았다. 명령어와 설정 조각은 댓글에 있습니다. 실행…





