중앙 집중식 로깅 구현하기 – rsyslog

HYEONG HWAN, MUN/ 1월 13, 2022/ 미분류/ 0 comments

초고를 쓰고 틈틈이 다듬도록 하겠습니다. 현재는 trial and error 에 대해 적었음.   ubuntu 20.04 를 사용했음. Ubuntu 의 기본 System Log 는 /etc/rsyslog.d/50-default.conf 파일을 따른다. # vi /etc/rsyslog.d/50-default.conf   혹시나 기록하고 싶지만 주석(#)에 의해 막혀져 있는 것이 있다면 주석을 제거하고 # service rsyslog restart 혹시 현재 생성되지 않은 로그파일이 있다면, 그 파일은 기록할 내용이 있을때 생성된다. (빈 파일이 즉시 생성되지는 않음)     https://itragdoll.tistory.com/79 주로참고 https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=skddms&logNo=221204436898 도움 https://ujuc.github.io/2018/03/01/rsyslog_-_templates/ 슈벌 문서 포맷팅 때문에 보기가 매우 불편한 글이다.       서버에서 vi rsyslog.conf   == syslog 의 표준포트는 514 번임. 과거에는 udp 514 이었는데 udp 자체가 un reliable 이어서, tcp 도 나오고 여럿 나온듯.   UDP, TCP, TLS or RELP You can send RFC-3164 and RFC-5424 compatible syslog to Logs…

뉴인 회사 소개 및 채용 안내

HYEONG HWAN, MUN/ 1월 5, 2022/ 미분류/ 1 comments

제가 다니고 있는 회사의 소개 및 채용 안내 입니다. 소개 상세 페이지  : https://newin.notion.site/5f55a39cc3ad46908eaf7f87eb049501 뉴인 회사 소개   2020 09 Newin Japan 일본 법인 설립(요코하마) 터치클래스, 교육부 주최 ‘제16회 에듀테크 콘테스트’ 솔루션 부문 최우수상 08 터치클래스, 일본 시즈오카현 이러닝 솔루션 보급 사업 시범 사업 솔루션 선정 07 뉴캠퍼스, 130개 고객사 돌파 02 NIPA 주관 ‘SW고성장클럽 200 예비고성장’ 2차년도 지원 기업 선정   2019 12 터치클래스, ATD 2019 Japan Summit 참가, 단독 부스 개설 및 세션 발표 05 터치클래스, 2019 ATD ICE 참가, 단독 부스 개설 및 세션 발표 04 NIPA 주관 ‘SW 고성장클럽 200 예비고성장’ 지원 기업 선정 03 nPlayer, Mac(OS X) 버전 출시   2018 12 nPlayer, 애플 앱스토어 올해의 인기 유료앱 17위(아이폰), 4위(아이패드) 선정 04 터치클래스, 자체 과정 노동법…

서비스에 적절한 IOPS 수치 계산 하기 – 디스크 성능 측정하기

HYEONG HWAN, MUN/ 1월 3, 2022/ 미분류/ 0 comments

이 글을 통해 IOPS 의 개념에 대해 알아보고, 나에게 필요한 IOPS 값을 추정해 보도록 하겠습니다. 글 고치는중   파일 복사에 대해 생각해보기 A 위치에서 B 위치로 파일을 복사할 경우, 그 복사의 결과는 다음과 같습니다. 파일을 10746개(92.46 GB)를 복사했습니다. 124초 걸림. (745 MB/s)     길게 쓰려고 했는데 짧은 내용만 적어봅니다.   sysbench –test=fileio –file-total-size=12G prepare sysbench fileio –file-total-size=12G –file-test-mode=rndrw –time=100 –max-requests=0 run   TEST CASE 1 : t3a.medium(2Core 4GB RAM), NVMe SSD,  100 IOPS 기록속도가 129MB/s 로 나왔다. 너무 높음. 4697 IOPS / s. 이고 약 15MB/s 처리를 한다. 예상치보다 너무 높아서 doc 를 살펴봄. https://aws.amazon.com/ko/blogs/aws/new-ssd-backed-elastic-block-storage/ https://aws.amazon.com/ko/blogs/aws/new-burst-balance-metric-for-ec2s-general-purpose-ssd-gp2-volumes/       여러가지 테스트해봤는데 일반적으로 다음의 비례식이 성립되더라.   100 = 129.26 MiB/sec   1000 IOPS = 8 MBPS 일반적으로 쓸만한 SSD(EVO…

ALB 타겟그룹 기능을 사용해서, ALB에 고정IP 할당하기

HYEONG HWAN, MUN/ 12월 13, 2021/ 미분류/ 0 comments

Floating ip (유동아이피) IP가 어떤 한 장치에 고정되어 있지 않고, IP 가 여러 장치에 번갈아가며 할당될 수 있다.   Auto scailing 장치를 교체하거나, 트래픽 처리량이 많거나, 유지보수를 할 때, 새 IP장치가 추가되고 -> health check 가 끝나면 -> 기존의 목표한 장치 및 IP 가 제거된다. 이 작업이 시작될 때 로드밸런서는 IP 가 2개 => 3개 => 2개 가 된다. 유연한 트래픽 처리를 위해서 스케일링이 가능한 로드밸런서에는 고정IP 할당이 안된다.   원래는 고정IP 할당이 안되었었는데, 네트워크 로드밸런서 라는 상품이 추가되었고, 이것은 IP 고정을 설정할 수 있더라. 그리고 Global Accelerator 라는 것으로도 고정IP 할당이 가능하다. NLB를 통한 고정IP 방식은 Zone 당 1개의 IP 를 사용한다. Global Accelerator 는 2개의 Unicast IP를 할당받는다.     Global Accelerator 가 세팅이 편하니 먼저 설명하겠음. 라우터…

[MYSQL] 왜 insert 에 실패해도 auto_increment 값이 증가할까?

HYEONG HWAN, MUN/ 11월 23, 2021/ 미분류/ 0 comments

https://stuffdrawers.tistory.com/11 https://dev.mysql.com/doc/refman/5.6/en/innodb-auto-increment-handling.html#innodb-auto-increment-lock-modes bulk insert시 필요한 row 보다 182% 더 많이 auto increment 를 할당받는다. -> 21.11.24 : 확인해 봤더니 bulk row 의 binary 값 대로 할당하더라. 예시 : truncated table 에서 insert ~ select 대상이 8192(이진수 10 0000 0000 0000) 이라면, mysql innodb_autoinc_lock_mode 가 1일 경우, 11 1111 1111 1111 (16383) 개를 할당한다-항상홀수.  (고속 insert를 위해서 그러는듯) 그래서 실행 결과는 8192 row inserted, next auto increment Number 는 16384 임(16383개 소모했으므로). Boundary Test 해봤음. 8191 row 대상으로 bulk insert 할 경우, 1 1111 1111 1111 (8191)이 할당되서, next auto increment Number 는 8192 임. (빈공간 전혀 없음) 따라서 빈공간은 0 ~ 99.99% 정도 생길 수 있다. 그런다고 innodb_autoinc_lock_mode 을 0 으로 바꿔서 인덱스숫자 크기를 줄이기에는 성능저하가 너무크므로, auto increment 컬럼의…

Ubuntu 20.04 LTS 에서 웹서버(Apache + PHP + MySQL) 구성하기

HYEONG HWAN, MUN/ 11월 15, 2021/ 미분류/ 3 comments

이 글에서는 Ubuntu 20.04 LTS 운영체제에서 APM 웹서버를 구축하는 방법에 대해 설명하도록 하겠습니다. 저는, Ubuntu 9.04 버전부터 10년 넘게 구축 방법을 작성/유지보수 하고 있는데, 그동안 별 문제가 없었습니다. 또한, 설치 성공 후기 글이 많으니 올바르게 설명하고 있는 것 같습니다. 혹시라도, 구축 중 문의사항이 생기면 댓글이나 Contact 로 알려주세요. 일반 사업체 및 실무 서비스에서 사용할 수 있는 안정적인 구축 방법을 설명 하겠습니다. LTS 란 무엇인가? * LTS 버전이란? Long Term Support 의 약자입니다. Ubuntu Canonical Group에서 10년간의 패키지 유지보수, 업데이트를 제공합니다. 개별 소프트웨어의 버그나, 보안상의 문제가 생기면 (해당 소프트웨어의 Lifetime이 끝났을지라도) Ubuntu Canonical Group 에서 유지보수를 제공합니다. 현재 무료 리눅스 배포판 중에서 10년 업데이트를 지원하는 운영체제는 Ubuntu 뿐입니다. * 왜 10년 업데이트? Kiosk나 기타 Embeded 기기에서 제품설계 및 구축 운용까지 몇년(1~4년)이 걸립니다. 제품 출시…

FIDO2 / WebAuthn 알아보기

HYEONG HWAN, MUN/ 10월 26, 2020/ 미분류/ 2 comments

최근 라엘이는 개인정보 보호와 익명화, 암호화, 보안 통신의 방법에 대해서 관심을 가지고 있으며, 이와 관련된 새로운 기술들에 대해 알아보고 있다. 이 글에서는 작년 2019년 3월 4일에 W3C 웹 표준으로 지정된 FIDO2 (WebAuthn)에 대해 알아보도록 하겠다. * 먼저 읽어보기 암호를 없애려는 Microsoft의 노력 빅뉴스: FIDO2/ WebAuthn이 후보 제안 상태에 도달! – https://www.microsoft.com/ko-kr/microsoft-365/blog/2018/04/12/big-news-in-our-drive-to-eliminate-passwords-fido2-webauthn-reaches-candidate-recommendation-status/ Microsoft Identity Division 프로그램 관리 부문 이사 Alex Simons 에 따르면, Microsoft는 Windows 10의 아주 초기 단계부터 암호를 없애기 위해 노력해 왔다고 한다. 또한, 암호 없는 미래는 빠르게 다가오고 있으며, Microsoft는 이러한 시대가 도래하기를 기대하고 있다고 한다.   용어의 뜻을 알아보도록 하자. FIDO 는 Fast IDentity Online 의 약자이며, 온라인 상의 빠르고 안전한 인증을 의미한다. (F + 아이도 = 파이도) 읽을 때는 페스트-아이덴티티-온라인 또는 파이도라고 부른다.   기존의 ID, Password 방식의 가입과 인증은 사용자에게 반복적인 ID, Password 입력을 강요했고,…

Amazon RDS 지정 시간 복구(PITR) 사용하기

HYEONG HWAN, MUN/ 10월 23, 2020/ 미분류/ 0 comments

글을 틈틈히 작성/수정중입니다. 이 글에서는 RDS 특정 시점 복구(PITR)의 원리 및 수행하는 방법에 대해 설명하도록 하겠습니다.   특정 시점 복구(PITR)가 필요한 이유 PITR은 Point in Time Recovery 의 약자입니다. 한글로 번역하자면 시점(Point in time) 복구(Recovery)라는 의미입니다. 치명적인 서비스 장애는 예고를 하지 않고 일어나고 피해가 크기 때문에, 이 상황에 대한 대비책을 마련해 두어야 합니다. PITR은 예기치 않은 장애를 예방하는 것이 목적이 아니고, 장애가 일어났을때 효율적으로 대처하기 위한 것이 목적입니다. 위험 관리 전략의 RMMM (https://blog.lael.be/post/205 또는 자세한 내용은 구글 참조)의 Management 에 해당하는 것으로 위험이 이미 일어났으며 이 때의 처리 방법에 대해 논의해야 합니다.   서비스 장애가 발생 했을 경우 대처 방법 시스템 서비스 엔지니어(SE)는 장애가 발생했을 경우, RPO(복원시점목표), RTO(복원시간목표)를 결정하고 내부에 통보해야 합니다. 예를 들어서, 1시간마다 백업하는 시스템에서, 10:30에 장애가 발생했다면, “30분전에 백업한 데이터로…

아이패드 프로 유심 활성화하기 (데이터쉐어링)

HYEONG HWAN, MUN/ 10월 18, 2020/ 미분류/ 3 comments

  드디어 샀습니다! 아이패드 프로! Apple 2020년 iPad Pro 12.9 4세대 !! 제 블로그 주제와는 맞지 않지만, 다른분께도 도움이 될 듯하여, 글을 작성합니다.   통신사에 데이터쉐어링이라고, 휴대폰 데이터를 나눠 쓸 수 있게 해주는 서비스가 있습니다. 이용료는 무료(0원)입니다. 유심을 신청하고 공기계 여러곳에 넣어서 테스트해 보았습니다.   데이터 쉐어링 메인 회선의 기본제공 데이터를 나누어 쓰는 무료 요금제. 폰 데이터 쉐어링과 패드형 데이터 쉐어링이 있다.   Baseband Processor 무선 통신을 위한 전화기 모듈. 모든 휴대폰, 아이패드를 제외한 태플릿 폰에 포함되어 있다.   USIM (유심) 가입자 식별 도구. 유심시리얼번호(ICCID) + 가입자번호(IMSI) 로 구성된다.   문제의 상황 셀룰러 네트워크는 통화가 되는 휴대폰 네트워크와, 안되는 통신용 네트워크가 있음. 아이패드에는 Baseband Processor 가 없어서, 휴대통신장치 인식이 잘 안된다. 즉, 다음의 경우가 발생한다. 공 유심(new usim) -> 아이패드 …

제 수채화 그림입니다.

HYEONG HWAN, MUN/ 10월 10, 2020/ 미분류/ 3 comments

글로 설명하는 것은, 보여주면서 설명하는 것보다 어렵습니다. 특히 추상적인 개념의 경우, 도식화(Diagram) 없이는 설명이 매우 어려운 경우도 있습니다. 얼마전부터 이러한 그림 그릴 수 있는 도구에 대해서 알아보고 있습니다. “내리와 인성의 IT 이야기“의 김인성님처럼 IT 설명과 그림을 접목시켜보려고 합니다. 이로써 “글쟁이 공대생 라엘” 에서 “그림그리는 글쟁이 공대생 라엘“이 되려고 합니다. 이번에 아이패드PRO 가 잘 나왔다고 해서 살펴보고 있습니다. 이것저것 사면 거의 150만원정도 하더군요. 주변에 말해보니 “사면 쓰지도 않을것 돈낭비 하지 말라“라고 조언을 받았습니다. 그리하여 집 근처의 드로잉 카페에 가서 조금 더 생각해보고 있습니다.   도화서가 라는 드로잉 카페인데, 커피값 이외에 3500원을 내면, 그림 도구를 빌려주네요. 아이패드프로 구매는 조금 더 그림 그려본 다음에 결정해야겠습니다.  

AWS 솔루션즈 아키텍트 어소시에이트(SAA) 자격증 취득 후기

HYEONG HWAN, MUN/ 7월 5, 2020/ 미분류/ 3 comments

대학생이 수능공부를 하지 않으며, 취업한 사람이 토익공부를 하지 않는다. 나 역시 AWS를 6년정도 다루었고, 작년에 reinvent 도 참가하였고, 잘 사용하고 있으므로, 이러한 AWS 자격증에 대해 관심이 별로 없었다. 지난주 목요일 점심 시간에, 내가 다니는 회사의 영업부 차장님과 밥을 먹었는데, “AWS 자격증을 따두면 좋다더라“라는 말을 하셨다. 이 말을 듣고, 식사 후 바로 접수를 하였다. 1. 시험 설명 https://aws.amazon.com/ko/certification/certified-solutions-architect-associate/ 이 페이지에 방문한 다음 개략적인 소개를 확인할 수 있다. 정말로 저런게 인증되고 검증되는지는 잘 모르겠는데, 원래 IT 자격증이라는게, 없으면 아쉽고 있어도 쓸데없는 것 아니겠는가. (대표적으로 정보처리기사) 우측 하단의 “샘플 문항 다운로드“를 해 보았다. 10문항이 있는데, 풀어보고 10개 다 맞길래 바로 접수했다. 시험은 너무 당연한 것을 물어보는데, 그렇다고 지식이 없다면 맞출수는 없는 것들이었다. 운전면허시험을 예시로 들자면 Q) 다음 중 신호체계를 무시할 수 있는 차량은?…

시스템 엔지니어와 RTO(재해복구목표) 마인드

HYEONG HWAN, MUN/ 7월 5, 2020/ 미분류/ 4 comments

진행 중이던 프로젝트가 잘 마무리 되었고, 여유가 생겨서 글을 작성해본다. 회사에서 여러가지 업무를 하고 있는데, 그 중 하나가 인프라 관리이다. 내가 구성한 인프라는 기본적으로, 외부 공격을 차단하고, 부하를 측정해서 자동으로 서버가 추가되고(auto scaling), 주기적인 패치와, 주기적인 교체가 이루어지게 설정되어있다. 한번 제대로 구성한 다음, 별로 신경 쓰지 않는다. (물론 메신저에 notification이 오게 설정해 두었다.) 웹서비스는 고객에게 uptime 을 보장해주어야 한다. 따라서 이러한 인프라 관리자도 항상 uptime 을 감시하고, 대응할 준비가 되어 있어야 한다. 예전에, 어느 회사의 장애감지에 완전 무감각한 시스템을 본적이 있었는데, 충격이 잊혀지지가 않더라. 장애가 발생하고, 고객이 “사이트가 안떠요”라고 전화를 하면 그때부터 알고 처리하더라. 서버도 IDC에서 코로케이션을 받고 있어서, 직접 OP실과 통화를 해야했고, 장애 처리도 빨라야 10분, 늦으면 30분 정도 걸리더라. (나는 이러한 처리에 충격을 받아서, 클라우드 이전을 가이드하고 직접…

AWS reinvent 2019 참가후기

HYEONG HWAN, MUN/ 3월 4, 2020/ 미분류/ 5 comments

요즘 코로나 덕분에, 생전 처음으로 재택근무라는걸 해보고 있습니다. 자고 일어나면 자동 출근이네요. 직주근접은 이런 것인가! 덕분에 많은 명상을 하고 있습니다. 조금 늦은 AWS reinvent 2019 참가 후기를 작성해 본다. 원래 블로그에 낙서장처럼 대충 작성하는데 요즘엔 Awesome devblog 피드를 통해 많이들 봐주셔서 조금 더 시간을 할애하여 작성해본다. (awesome devblog 커밋로그에 따르면, 내 블로그는 개발 블로그 카테고리가 추가된 후 가장 처음으로 등록된 블로그이다.) < AWS reinvent Badge. 회사명 가림 > 라엘이는 지난 2019년 12월 2일 부터 12월 6일 까지 열리는 AWS reinvent 2019 에 참가하였다. 공식적인 명칭은 참가자(ATTENDEE)이다. 나는 군대 대신 프로그래머로 병역특례를 했기 때문에 초급 시절때부터, IDC에 가서 고가의 서버장비나 네트워크 장비들을 세팅하곤 했다. 클라우드 컴퓨팅에 관심이 많으며, AWS 가 아닌 다른 클라우드도 많이 써보고 있다. 일찍부터 클라우드 관련 리뷰를 작성해두었고,…

개인서버를 새로 구축하고 있습니다.

HYEONG HWAN, MUN/ 2월 17, 2020/ 미분류/ 18 comments

저는, 클라우드서버를 무척 좋아하지만, 물리 서버를 다룰수 있기 때문에, 많은 서비스를 개인서버에서 운영하고 있습니다. 군대 대신 프로그래머로 병역특례를 했기 때문에 초급 시절때부터, IDC에 가서 고가의 서버장비나 네트웍장비들을 세팅하곤 했습니다. 아무튼 최근 개인서버가 노후화 되고, 최신 고사양의 서버가 필요하게 되어 새로 견적을 짜고 구매했습니다. < 위의 견적 그대로 구매한 부품들. 미개봉 >     장점은? 클라우드 서버 대신 이러한 개인서버를 사용하면 극강의 고사양을 쓸 수 있습니다. 즉 물리적인 제한치만큼 사용가능합니다. 보통 클라우드서버 CPU 가 2.0Ghz ~ 2.6Ghz 사이인데, 저 서버는 4.5Ghz 이상입니다. 또한 제한 없이 계속 사용할 수 있죠. 클라우드 서버의 예시를 들자면 Linode dedicate VM의 CPU 가 2.0Ghz 이고, Vultr High frequency VM의 CPU 가 3.8Ghz 입니다. 파일 I/O또한 제 현재 서버(삼성 850 PRO)가 500MB/s 인데, 새 서버(삼성 970 EVO…

AWS RDS Failover, Scale-in, Serverless

HYEONG HWAN, MUN/ 12월 25, 2019/ 미분류/ 0 comments

Database writer-reader 모델에서 Master node 에 장애가 발생했을시 조치하는 방법에 tier failover 가 있다. (writer-reader, master-slave 라는 단어를 혼용해서 사용하겠다.) Master node 에 장애가 발생하면, Reader 중에서 가장 적합한 것을 찾아 Master 로 승격시켜야 한다. 이 경우 모든 Reader 에 tier 를 정하고 가장 순위가 높은 tier 를 찾으면 master 로 승격시킨다.   AWS RDS 에서 failover 인스턴스를 고르는법 tier 가 가장 높은 것 (1이 가장 높고 15가 가장 낮다.) 같은 tier 에 2개 이상의 instance 가 있는 경우, 현재의 master 와 동일한 instance type 의 장치를 고른다. tier 도 같고 instance type 도 같다면 무작위로 하나를 선택한다.   내가 해보고 싶었던 것은 Reader(slave)의 어느 하나의 instance 를 Master 로 승격시키고 싶어졌다. 현재의 Master 는 트래픽을 전혀 받고 있지 않았다.…