nsurlsessiond data download 모니터링
nsurlsessiond 가 엄청나게 많은 데이터를 다운받고 있었다. 원인 및 해결책 소프트웨어 업데이트 자동 다운로드 기능 때문임. Settings > Software Update > Advanced > uncheck – “Download when available” 체크를 해제하면 즉시 Mac에서의 불필요한 데이터 통신이 사라집니다.
2010, 2022
Author Archives: HYEONG HWAN, MUN
0610, 2022
DevOps 짧은 후기
DevOps 란? 일반적으로는 Build, Test, Deploy 하는것을 데브옵스라고 한다. 막상 해보면 별거 없다. 모두 자동으로 동작하고, test를 제외하고는 규정이 정해져있기 때문에 머리 쓸 일도 많지 않다. 나는 Deploy 및 Deploy 후의 Ops 부분의 업무만 하려고 이것저것 해봤는데, Infrastructure 라는게 Dev가 뒷받침 되어 있어야 하더라. 즉!! Ops를 하려면 Dev도 잘 알아야함. 개발을 모르는 기획자와 일하면 일이 많이 힘들다. 개발을 모르는 디자이너와 일하면 일이 많이 힘들다. 인프라스트럭쳐 관리자도 개발을 알아야 하더라. A와 B서버가 서로 통신하는 이유를 알려면, Ops 인원이 코드를 직접 봐야하고 분석해야 한다. 이미 잘 돌아가는 대충 만들어진 소프트웨어의 인프라를 개선할때에는 생각보다 엄청 고생해야 한다. 예시 소프트웨어에, 링크 주소를 입력하면 해당페이지의 meta 데이터를 읽어와서 표시해주는 기능이 있다. 이 기능 때문에 서버의 outbound 443, 80 이 열려있다. 그리고…
1309, 2022
AWS Managed IDS/IPS
오늘 보안리포트 검토하다가 발견한것. 어떻게 감지하는 것인지는 모르겠지만, SSH Brute Force 를 감지했다. 클라우드를 관리하다보면 내가 생성하지 않은 리소스도 관리해야할 경우가 종종 있다. 저 리소스를 확인결과, 나보다 직급이 높은 사람이 만든 것이더라. 아무튼 검토 후 적절히 처리하였음. 클라우드 관리는 Human Error 를 잘 살펴보아야 한다. — 덧붙여서, 나는 불필요한 계정에 대해서 Read Only Access 권한을 설정했는데, 나보다 직급이 높은 분이 root 계정을 사용해서 Administrator Access 로 권한을 수정하셨더라. (Cloudtrail 및 관리툴에 기록이 나옴) 나 이외에, 리소스 생성하는 것도 아닌데 왜 이런것을 하는건지 모르겠음. 관리자급 인원이라고 최고관리자 권한을 주는건가. 따지려다가 말았음.
0509, 2022
XDR monitoring
여러가지를 Detect 하고 Response 한다고해서 XDR 이라고 부른다. 모니터링 이것저것 한다고 보면 됨. Linux Server XDR List Process activity File activity Network activity Connection activity Domain query activity 미리 짜여진 (pre-configured) XDR 에는, 백신(Anti-malware), IPS/IDS 등이 있다. 각종 이벤트를 감지해서 동작하는것들.
0808, 2022
IPS(IDS), Firewall(WAF) 차이점
오늘도 ISO 27001 교육을 받았다. 하나씩 듣다보면 너무나 당연한 것들을 말하곤 한다. ISMS 및 ISMS-P 관련 교육이다. 정보는 중요하고, 개인정보는 더 중요하다. Human error를 줄이게하고, Script kiddy 로 부터 시스템을 보호하는게 나의 주요 업무. 아래의 보안 용어를 혼용해서 쓰기도 한다. IPS라는 단어에 모든걸 포함하고 사용하는 경우도 있더라. 네트워크 보안 1. WAF (Web Application Firewall) OWASP TOP 10 A01:2021-Broken Access Control A02:2021-Cryptographic Failures A03:2021-Injection A04:2021-Insecure Design A05:2021-Security Misconfiguration A06:2021-Vulnerable and Outdated Components A07:2021-Identification and Authentication Failures A08:2021-Software and Data Integrity Failures A09:2021-Security Logging and Monitoring Failures A10:2021-Server-Side Request Forgery OWASP TOP 10 을 막는 소프트웨어. 트래픽을 해석해야 하기 때문에 Application Layer(Layer 7) 에서 동작한다. 내 편견일 수도 있는데, 비 전공자는 이것에 대하여 설명해주어도 이해를 못하더라. (왜 잘못된 요청까지 처리해야하느냐? 그…
0108, 2022
2023년 FOMC 일정 및 금리 예측
FOMC는 Federal Open Market Committee(연방공개시장위원회)를 뜻한다. 요즘의 한국 사람이면 알아야 할 내용이다. 아무튼 FOMC 2023년 회의 날짜는 다음과 같다. 그리고 한국시간 기준으로 기준금리 발표시간 적었다. 정확히 정각에 발표한다. CME Group Fed Fund Futures 를 바탕으로한 금리 예측도 적어두었다. 가까운 미래의 예측값은 거의 맞고, 6개월 이상의 먼 미래 예측값은 미세한 차이가 있을 수도 있음. https://www.cmegroup.com/ko/markets/interest-rates/cme-fedwatch-tool.html 뉴스만 보면, 장기불황 이야기가 나오는데, 어떻게 대처해야 할지 모르겠다. 서울 홍대 쪽에서 일하고 있는데, 홍대쪽 빈 상가 엄청나게 많다. 점심 먹으러 갈만한 곳들이 많지 않다. 맛집이 망해가는걸 보니 요즘 불황이 체감이 되고 있다. 위 영상도 한번 살펴보자. 이렇게 불황속에 살게되는 것인가. 참고 : https://twobbang.tistory.com/3
2707, 2022
AWS Graviton3과 클라우드 비용관리 (C7g, t5g 인스턴스)
내가 다니는 회사의 (내가 관리하는 클라우드 인프라) 한달 AWS 이용요금은 약 2500만원이다. 주력 인스턴스는 t3a 이며, 소수의 c5 도 섞어서 사용하고 있다. 이정도로 비용이 커지면, 클라우드 리소스를 하나 생성하기 전에 정말 많은 검토를 해야한다. 그리고 월 사용 비용이 커진것의 장점은, 신규 AWS 서비스가 출시 되었을 때 거리낌없이 테스트 해볼수 있는 것이다. 크게 테스트 해봐도 월 이용요금에서 티가 안나기 때문이다. 그리고 공식행사의 초대장이 부여되기도 하더라. 전용 어카운트 매니저가 할당된다. 아무튼 이 글에서는 AWS Graviton3 에 대해서 설명하도록 하겠다. AWS 회사에서 지난 2015년에 ARM설계회사 Annapurna Labs(안나푸르나 랩스)를 인수했다. 그 후 자체적으로 CPU를 설계하기 시작했다. AWS 자체개발 CPU 브랜드명은 “AWS Graviton” (그래비톤 CPU) 이다. Apple 의 M1 칩과 비슷한 경우인데, 하나의 회사에서 Hardware 와 Software 를 모두 관리하니, 최적화된 설계가 가능해지는 것이다. Apple…
2107, 2022
Ubuntu – No space left on device 장애 처리
리눅스 사용 중에 No space left on device 장애 대응 방법에 대해 설명한다. 1. 증상 이미지 캐시 서버에서 서비스 불능 장애가 발생했다. 2. 장애 대응 1) 서버 이상 징후는 없어보였다. 2) 문제가 발생한 코드 단위로 디버깅하였고, 캐시 파일이 생성되지 않는 것을 확인하였다. 3) 해당 서버의 ssh shell 로 접속하였고, 수동으로 캐시 생성 작업을 진행해 보았다. mkdir: cannot create directory ‘test’: No space left on device # df -h disk free space 는 충분했다. TIP : 만약 디스크 공간을 다 소비했을 경우, 사용할 수 있는 명령어는 rm 뿐이다. 무조건 무언가를 삭제해야 한다. 나의 경우 이럴 때를 대비하여 swap 메모리를 설정해둔다. 문제가 발생하면 swap을 해제하고(삭제하고) 서버를 정상화 시킨다음 장애 대응을 계속 진행한다. 디스크 공간이 충분한데 왜 생성이 되지 않는…
1807, 2022
Google Pagespeed 를 사용하여 사이트 최적화하기 (캐시서버 구축하기)
이 글을 통해 소스코드를 바꾸지 않고 나의 웹서비스를 최적화 하는 방법에 대해 알아보도록 합시다. 어느정도 리눅스를 다루어본 경험이 있다고 가정하고 설명합니다. 웹서비스의 가장 끝단에 필터를 설치하여 최적화를 진행합니다. 이렇게 동작하는 서비스 예시로는 Cloudflare가 있습니다. 사용자 <=> 필터(또는 프록시) <=> 웹서버 결과물 1. Ubuntu OS에 Apache, PHP 설치 Apache 만 설치해도 됩니다. 다만 일반적으로 PHP 웹서비스와 함께 사용합니다. MYSQL 같은 DB는 설치하지 않아도 됩니다. – Ubuntu 18.04 LTS – https://blog.lael.be/post/7264 – Ubuntu 20.04 LTS – https://blog.lael.be/post/10608 – Ubuntu 22.04 LTS – https://blog.lael.be/post/11072 2. MY CDN 소스코드 설치 사용 예제 코드입니다. 이것을 사용하지 않고 나만의 웹사이트에 바로 적용할 수도 있습니다. – https://blog.lael.be/post/7605 3. Google PageSpeed 설치 공식 사이트 : https://www.modpagespeed.com/doc/download Google PageSpeed 프로젝트는 Google 에서 적극적으로 개발하고 있는 Open…
1407, 2022
Logging, Tracing, Metric 의 개념 및 차이점
시스템 관리자이든 개발자이든 동작 중인 소프트웨어의 작동 방식을 이해하고 싶을 것입니다. 단일 마이크로서비스 부터 방대한 모놀리식 시스템에 이르기까지 Logging, Tracing 및 Monitoring은 모두 시스템의 정확성을 보장하고, 문제가 발생할 때 무엇이 잘못되었는지 추적하고, 전체 기능을 개선하는 데 도움이 되는 모든 방법입니다. 중요한 것은 Logging, Tracing 및 Monitoring이 동일한 프로세스이며, 다른 단어가 아니라는 것 입니다. 단지 각각 고유한 방식으로 작동하는 것입니다. 이러한 작업들의 목적 Investigate(Diagnostics) 가 목적입니다. 조사할 수 있고, 진단할 수 있는 것이 목적입니다. Investigate 후 장애상황 발생시, Alarm과 연동하면 MTTD를 줄일 수 있습니다. (Tracing 사용시 MTTR도 줄일 수 있음) Logging 이란? 로깅의 목적은 오류 보고 및 관련 데이터를 중앙 집중식으로 추적하는 것입니다. 로깅은 큰 응용 프로그램에서 사용해야 하며 특히 중요한 기능을 제공하는 경우 작은 응용 프로그램에서 사용할 수…
0707, 2022
서버 모니터링 툴 검토
모든 서비스 서버에 설치할 관리툴을 검토하는 중입니다. 서버 자체의 모니터링, 서비스의 모니터링, 보안기능 위주로 보고 있습니다. 적절한 환경에서 테스트중. 아직 마음에 쏙 드는것을 찾지 못했다. 일부는 유료로 테스트중이고, 일부는 trial 만 진행했다. Solutions Architect 라는게 특별한 일을 하는 사람은 아니고, 이렇게 이것저것 사용해보고, 나중에 다른사람의 문제를 듣고 원스톱으로 해결할 수 있는 솔루션을 구축하거나 말해주는 사람이다. 1. clamav 무료 백신 프로그램 2. trendmicro 이것저것 다되는 솔루션. 방화벽 관리가 마음에 든다. 3. ElasticSearch 기능이 엄~~청 많다. 특히 로그분석에 엄청 특화되어 있다. 4. whatap 5. jennifer 6. site24 이것도 기능이 엄청 많은 올인원 솔루션이다. 여기 apm 은 whatap apm 보다 성능도 떨어지고 비싸다. 7. datadog 8. New Relic 결론 : 서비스들 마다…
0407, 2022
일과시간 이외의 서버접속
여러가지 모니터링 / 보안 소프트웨어를 테스트 해보고 있다. 괜찮은 항목이 있어서 메모할겸 적어봄. Successful login during non-business hours. Successful login during weekend.
1406, 2022
hosts 파일의 퍼미션 권한이 없으면
ISMS-P 작업중임. hosts 파일의 퍼미션 권한이 없으면 다른 프로그램이 인터넷 통신을 못함. 딜로이트와 sg시큐리티컨설팅 에서는 hosts 파일을 600 으로 바꾸라고 가이드하고 있음. systemd-resolved 가 root가 아닌 권한으로 동작하므로 name resolution 이 실패해버린다. 가이드대로 처리하면 이름 해석이 안되서 통신 문제가 발생함. 이것이 탁상 행정인가? 어떻게 해결하지. 서버 운영시 내부 서버가 통신해야 할것은, ELB, NTP, DNS, Database . /etc/hosts 파일의 퍼미션은 644 로 설정해도 된다고 한다. non-root Process 의 network 통신을 위해서 600 대신 644로 하는게 맞는듯.
1005, 2022
AWS IVS 를 사용하여 Low Latency Live Streaming 구현하기
작성중. 솔루션즈 아키텍트 나 또한 AWS Solutions Architect 자격증을 취득하였기 때문에, SA라고 칭하도록 하겠다. SA는 클라우드 컴퓨팅이 도입되면서 나타난 포지션이다. Infra Structure 또한 Software Service 처럼 다루어지기 시작하면서, 이 서비스들을 사용해서 얼마나 잘 설계했느냐가 중요한 요점이 되었다. SA는 요구사항을 이해하고 서비스들을 설계하는 일을 하는 사람이다. 인프라는 단순히 서버 한대를 말하는 것이 아니다. CPU, RAM, DISK 를 넘어서, 네트워크 장비, 글로벌 통신망, 미디어 장비, 심지어 위와 같이 인공위성 또한 Infra 에 포함된다. 참고로 1분당 12000원을 내면 인공위성을 사용할 수 있다. (사용처 : 일기예보, 항공뷰 등) 라이브 스트리밍 지금 이렇게 가볍게 블로그에 글을 쓸 수 있는 것은, 이미 다 구축하였고, 국내 대기업들 상대로 2년이상 무사히 운영중 이기 때문이다. COVID19이 터지기 두달 전에 개발완료 했었는데, 다행히(?) COVID19이 터지고, 비대면 수요가 엄청 증가하면서…
0105, 2022
Ubuntu desktop 1일 사용 후기
아직도 소프트웨어 지원이 부족하네요. 사용하는데에, 개발자 정도의 지식수준이 필요합니다. 폰트 문제도 있습니다. 안되는걸 되게 할 수는 있는데, 너무 많은 고통이 필요합니다. 역시 컴퓨터는 mac 이 최고인것 같네요! 한줄 결론 : 괜히 이상한 짓 하지 말자.