용팔이 세상,

첫 걸음, 실행, 행동하다

dragon82 — Sun, 17 Nov 2024 23:34:42 +0900

저는 예전에도 그랬고 지금도 여전히 생각만 하는 사람입니다.

주식이 이정도면 많이 빠졌으니 지금 투자하면 수익이 날것 같은데???
이제는 지방 부동산이 한번쯤 오를것 같은데??
운동을 하면 좋을것 같은데??

생각만 하고 바라기만하고 그냥 그렇게 하루하루 똑같이 살아갑니다.
정작 생각만 하던 것들을 실행을 했으면??

우리나라 1위 기업 삼성전자가 4만원 후반까지 떨어졌지만 투자할 생각만하고 행동에 옮기지 않았기에 7퍼센트 가량의 수익은 상상속에서만 끝났습니다.

행동에 옮기지 않음으로써 수익도 못 얻었지만 투자금을 잃을까 전전긍긍하는 불안감도 느끼지 않습니다.
몇년동안이나 전 이렇게 생각만하고 바라기만하고 정작 첫걸음도 떼지 않고 있었습니다. 저는 언제 바뀔까요?

그런데 이상합니다.
저만 그런게 아니라 주변에 많은 사람들이 행동하지는 않고 있습니다.
다들 그런거라고 자위하고 그냥 안주한다면 제 삶도 나아지지 않을뿐더러 앞으로 남은 내 인생이 불쌍하게 여겨집니다.

꾸준히 모은 용돈중 일부로 부동산 멤버쉽을 신청했습니다.
3개월간 강의도 듣고 오프라인 모임도 참석하고 앞으로 가능성이 있는 아파트 단지 리스트도 만들어보고
해당 단지에 와이프와 함께 임장도 가고..실제로 매수하기위한 자금계획을 처음부터 끝까지 세워보고...

그 결과 이번에 서울에 등기를 하게 되었습니다.
지방 실거주 1채 포함하면 2주택이 되었네요.

앞으로 제 삶을 변화시키기 위한 첫 걸음을 떼어 보았습니다.
생각으로 머물던 것을 실제로 실행해보고 처음부터 마지막까지 결과를 내어보았습니다.

나아지고자 하는 생각은 살아가는데 있어서 많은 도움을 줍니다.
다만 생각으로만 그친다면 시간이 지남에도 변화되지 않는 자신을 보면서 힘들어하겠죠.
노출되는것이 중요합니다.
삶을 변화시키기 위한 여러가지 생각들에 많이 노출되고
노출이 되다보면 결국 언젠가는 행동을 하기 마련입니다.
저는 반드시 제 삶이 앞으로 나아질거라고 생각합니다.
왜냐면 대부분은 생각하지 않고 실행하지 않기때문입니다.

그렇기때문에 생각하고 실행하기 시작한 저의 삶은 앞으로 확연하게 나아질것이라 확신하고 있습니다.

다음에는 첫 부동산 매수 실패 경험과 두번째 서울 부동산 매수 경험을 올려보겠습니다.

2023년 2회/4회 위험물산업기사 필기/실기 합격수기

dragon82 — Fri, 1 Dec 2023 23:13:44 +0900

올초 1회차 산업안전기사 필기/실기를 동차합격한 이후
산업안전기사와 시너지가 좋은 위험물산업기사를 준비하게 되었습니다.
위험물에 대해서는 문외한이었지만 이번 위험물산업기사를 준비하면서
위험물을 알아가고 화학식 반응식도 이해하고 외우면서 나름 꽤 재밌었던 준비였다고 생각합니다.
재밌게 준비한 결과 위험물산업기사 필기는 2회차에 합격했고 사정상 2회에 바로 실기를 공부하지는 못했고
4회차에 실기를 준비해서 아직 합격발표는 나지 않았지만 가채점 73점이라 합격이라고 생각하고 있습니다.
합격사진은 12월 3일 합격발표나면 올리도록 하겠습니다!

그럼 필기부터 공부방법을 말씀드릴게요
CBT만 활용해서 공부하시는분들도 계시지만 저는 어떤 자격증이라도 최소한 교재비 정도는 투자해야한다고 생각해서
필기교재를 구입했습니다.
다만 두꺼운건 거부감이 들어 얇은 ㄹㅆ교재를 구매했습니다.
필기 공부의 핵심은 기본서 이론을 보고 과년도 기출을 들어가는것이 아닌
"기본서 이론을 공부하지 않고 바로 과년도 기출 회독을 한다" 입니다.
물론 위험물산업기사의 기본서 이론이 두껍지는 않지만 기본서의 내용을 핵심요약한 부분이 과년도 기출입니다.
핵심요약본인 과년도 기출을 반복해서 진행했음에도 불구하고 특정 문제유형이나 개념에 대해서 부족하다고 생각이들면
그때 기본서 이론이든 유투브든 찾아서 해당 내용을 공부하는겁니다.
기본서 이론을 공부한 다음 과년도 기출을 들어가는것보다 공부시간을 효율적으로 사용할 수 있습니다.
과년도 기출은 7년정도 회독하는것이 무난합니다.
과목이 3과목이라 문제수가 60문제 밖에 되지 않기에 부담이 별로 없어요
다만 일반화학이라는 과목이 있는데 비전공자 분들은 좀 어렵게 느껴지실거에요
저도 화학을 처음 접했기때문에 제일 어렵게 다가온 과목이었는데
마찬가지로 시간이 약입니다.
정복할 대상, 과목, 양이 딱 정해져있기에 한번 두번 세번 읽다보면 이해되거나? 외워지거나? 둘중에 하나입니다.
정리를 해보면
1. 이론은 공부하지 않는다.
2. 과년도 기출 최소 7개년을 회독한다.
3. CBT 사이트에서 본인이 공부한 7개년에 대한 랜덤모의고사를 평균 85~90점 이상이 나올때까지 푼다.
4. 3번이 충족이 되면 합격입니다.
저는 위 공부방법을 활용해 시험시간 10분도 안걸려서 문제를 다풀고 나왔고 합격을 하였습니다.

위험물산업기사 필기 합격!

실기는 필기와는 다르게 과년도 기출 회독전에 사전에 암기해야할 부분이 있습니다.
대다수의 분들이 필수 암기 반응식 80개 또는 100개를 외우지만
저는 그건 너무 공부의욕도 안나고 어렵다고 생각합니다.
반응식을 따로 외우고 기출을 들어가지 않으셔도 됩니다.
사전에 암기해야할 부분은 반응식이 아닌 "1~6류 위험물의 특징, 품명, 물질명, 화학식, 지정수량, 위험등급"입니다.
과년도 기출 들어가시기전에 2~3일정도 저 부분을 미리 암기하고 과년도 들어가면 정말정말 편합니다.
당연히 반응식도 외우고 가면 좋지만 그러기에는 너무 시간이 많이 들기때문에
최소한 위에서 말씀드린 부분은 사전에 공부하시고 과년도 기출 회독하시면 됩니다.
당연히 2~3일 암기하셔도 바로바로 안떠오를수도 있는데 저 부분은 실기 시작부터 끝까지 계속 틈틈히 보셔야합니다.
우선 사전에 윗부분을 암기하셨으면 과년도 기출 회독을 시작합니다.
처음에는 7개년정도 시작하시는게 좋고 7개년을 마스터하셨으면 1개년씩 1개년씩 늘려가는게 좋습니다.
과년도 회독시 예를들어 7개년을 한다고 하면
2016 -> 2017 -> 2018 ~~~~~2022년 순으로 과년도 회독하시는게 좋습니다.
많은 분들이 최신회차부터 내려가는게 좋다고 하지만
위험물산업기사는 2020년 이전에는 실기시험 문제수가 보통 12문제고 많아야 13~14문제라서 금방금방 할 수 있기에
공부에 대한 부담이 많이 들지않기때문에 이전회차부터 시작해서 최신회차로 가는걸 추천합니다.
저 같은 경우는 16년도부터 시작해서 2022년 4회차까지 회독을 계속 진행했습니다.
2023년 1,2회 같은 경우는 실기시험 일주일전에 모의고사겸 풀기위해서 아껴두었습니다.
자 그러면 반응식은 언제, 얼마만큼의 양을 외우냐?
"기출을 회독하면서 나오는 반응식을 정리를 해서 그 반응식만 외웁니다"
저는 7개년으로 시작해서 최종적으로는 15개년을 공부했습니다.
08년부터 2022년까지 (2023년은 모의고사겸 풀었기에 회독개년수에서 제외했습니다.)
15개년치 나오는 반응식 (중복제외)을 A4지에 다 적었습니다.
그래봤자 80개 조금 넘는 수준입니다.
A4 4장정도에 적은 다음에 출퇴근시나 그럴때 짬날때 틈틈히 봤습니다.
이게 좋은점은 반응식도 기출문제기 때문에 반응식을 보는것도 기출공부의 일종이라
기출 회독의 속도가 기하급수적으로 빨라집니다.

정리해보겠습니다.
1. 1~6류 위험물의 특징, 품명, 물질명, 화학식, 지정수량, 위험등급을 2~3일 암기한다.
2. 과거년도부터 최신년도까지 7개년정도를 먼저 회독한다.
3. 2번이 어느정도 익숙해졌으면 1개년씩 추가해서 자기가 감당가능한 개년까지 회독을 한다.
4. 회독하면서 나오는 반응식은 중복을 제외하고 따로 정리해서 출력해서 틈틈히 암기한다.
5. 보면 바로 답나올정도로 기출 회독을 한다.
6. 시험 일주일 또는 삼사일전에 가장 최신회차 2회차 정도 모의고사 친다.

실기공부방법은 이렇게 마치도록 하겠습니다.
사실 기사 자격증들의 중요한점은 시험장 가서 긴장하지 않는것입니다.
긴장하지 않는다는것은 실수하지 않는다는것입니다.
이번 2023년 4회차같은 경우 위험물산업기사 실기가 신출이 굉장히 많이 나왔는데도
결국 기존 기출 공부를 잘했다면 신출을 다 버리더라도 합격점수가 나옵니다.
근데 신출을 다 틀려도 기존기출에서 실수를 하면 합격을 할 수가 없습니다.
그래서 시험 준비하시는분들은 시험장가셔서 긴장하지 마시고
실수를 최대한 하지않는다는 마음으로 잘 보고 오시면 좋을것 같습니다.
다들 준비하시는 시험 합격하시길 기원하겠습니다.
행복하세요~!

위험물기사 실기 합격 사진

2023년 1회 산업안전기사 필기/ 실기 합격수기

dragon82 — Mon, 1 May 2023 09:50:05 +0900

회사에서 안점담당을 맡게되어 업무를 진행하다보니 산업안전기사의 필요성을 느껴
올 1회차에 산업안전기사 필기/실기를 응시하게 되었고
필기는 합격 , 실기는 필답형+작업형 합쳐서 가채점이 78점 가량되어 실수가 조금 있다하더라도
무난하게 합격할 것 같습니다.

제가 했던 필기공부방법 말씀드릴게요
산업안전기사 하면서 이론 공부하기에는 너무 시간도 오래걸리고 방향성에 맞지 않습니다.
과년도 기출책을 구매하시든 CBT를 통해서 바로 기출을 푸시든 2가지중에 한가지 방법으로
우선 5개년도 이상을 한번 쭉 풀어봅니다.
당연히 많이 틀리고 머리속에 남는것도 별로 없을거에요
다만 학교다닐때 도덕문제처럼 무조건 맞출수 있는 문제들이 있습니다.
그런것들은 오답정리시 과감하게 재껴주세요.
과년도 5개년 한번 풀었다면 오답을 따로 정리해주세요
오답정리에 시간이 많이 소요됩니다.
오답정리가 5개년이 끝났다면 그 오답만 계속해서 봅니다.
저는 시험 3일전까지 오답만 봤던것 같아요
그담 시험 3일전부터는 다시 과년도 기출을 보시는데 CBT를 통해서
5개년이면 5개년, 7개년이면 7개년 이렇게 범위를 정해서 랜덤으로 문제가 나오도록 해서 풀어봅니다.
저는 이 단계에서 평균 90점정도 점수가 계속 나왔던것 같습니다.
그렇게 계속 시험날까지 과년도 늘려가면서 저는 최종 7개년정도를 봤습니다.

이론은 공부하지 않는다
과년도는 5개년 이상
오답 정리가 핵심이며 시험 3일전까지 오답정리본만 본다
시험 3일전부터는 CBT의 랜덤모의고사를 계속 풀어본다

위 방법으로 평균 74점대로 필기시험을 합격하였습니다.

산업안전기사 필기 합격사진

여기서부터는 실기공부 방법입니다.
실기는 크게 필답형 , 작업형 2가지로 나뉘는데 필답시험을 치루는 날까지는 필답형만 공부하시면 됩니다.
작업형도 양이 조금 있지만 이번에 시험을 쳐보니 추세가 작업형에 필답문제가 절반이상 출제되는 추세라서
필답형만 제대로 공부하면 합격에는 무리가 없다고 생각해서 필답에 무조건 집중을 하셔야 합니다.
저는 12개년이 있는 실기 과년도책을 구매를 했고 1회독때는 12년치를 하루에 1개년씩 외웠습니다.
시간 투자는 출퇴근시 각30분씩 , 그리고 주 3~4일정도는 퇴근후 1~2시간정도 공부를 따로 했습니다.
1회독때는 계산문제는 크게 신경안하고 풀었던것 같아요
1회독을 마치고는 바로 2회독 진행하지는 않았고 한글파일에 12개년치를 중복제외하고 쭉 보기좋게 정리했습니다.
그리고 2회독때부터는 그 정리본을 가지고 계속 회독을 했고 나중에는 회독이 의미가 없을 정도로
모든 문제가 문제만 보면 바로 답이 튀어나올정도가 됐어요
그리고 계산문제만 따로 푼적이 있었는데 하루 4시간정도 시간잡고 계산문제 전체를 다 풀었는데
정말정말 계산문제는 쉽습니다. 거의 보너스라고 보시면 되요
그렇게 필답을 잘 공부를 하신후에 모두CBT라는 어플의 랜덤모의고사 기능을 통해
지속적으로 랜덤한 문제들을 계속 풀고 풀고 또 풀었습니다.
그렇게 공부하고 4월 23일 필답형 시험을 치고 가채점한 결과 55점 만점에 43점정도 득점을 했어요
필답을 치고나서 밤부터 작업형 공부를 시작했는데
제가 산 과년도책에 206문제 작업형 문제가 뒤에 따로 있어서 그것만 공부했습니다.
사실 매일 공부한것도 아니고 3일정도 공부했는데 206문제 2번정도 회독했어요
그리고 4월 29일 작업형 시험을 치뤘는데 가채점결과 45점 만점에 35점 정도가 나와서
필답 + 작업형 합쳐서 78점가량 받아 합격은 확실해보입니다.
실기 공부 요약은 아래와 같습니다.

실기 과년도 책을 구매하고 12개년 1회독을 한다
2회독을 바로 하지않고 한글파일에 12개년을 보기좋게 잘 정리한다
정리본을 가지고 무한 회독한다
모두 CBT의 랜덤모의고사 기능으로 랜덤으로 나오는 문제를 계속 푼다
작업형은 필답형 끝나고 과년도책에 따로 수록되어 있는 것을 계속 본다
작업형에 필답형 문제가 절반이상 출제되었기에 필답을 꼼꼼히 한다

이제 저는 다음으로 위험물산업기사를 공부할 예정입니다.
여러분들도 제가 했던 방법대로 공부하시면 산업안전기사는 크게 어려운 자격증이 아니니만큼 수월하게 취득하실 수 있을거에요
6월 9일 합격발표 나면 합격사진은 추후 인증하겠습니다.
그럼 위험물산업기사에서 또 봬요 :D

산업안전기사 실기 합격사진 첨부합니다.

2022년 2회 전기기사 실기 최종 합격수기

dragon82 — Mon, 25 Jul 2022 10:00:20 +0900

IT에서 타 직종으로 이직을 한 후 벌써 4년 가까이 흘렀습니다.
이직을 하고 근무를 하면서 미래를 봤을때 전기기사 자격증이 꼭 필요했습니다.
다만 전기기사 자격증이 기사 자격증중에 가장 어렵다는 평이 많아
단순히 그냥 해볼까? 라는 마음으로 시작하기는 참 어려웠습니다.
그런 걱정과 고민을 넘어서 저는 작년초에 전기기사 필기시험 준비를 시작했습니다
전기기사 필기는 아래와 같이 5과목으로 구성되어 있습니다.

1. 회로이론 및 제어공학
2. 전기자기학
3. 전력공학
4. 전기기기
5. 전기설비기술기준 및 한국전기설비규정

전기기사 필기 첫 공부과목인 회로이론책의 첫장...첫장입니다.
처음보는 기호들이 나오고 수학공식이 나오는데 처음부터 자신감을 많이 잃었습니다.
하지만 이미 시작했고 주변에도 많이 알려놓은 상태라 그만둘수가 없었습니다.

공부 하면서 정말 괴로웠습니다.
많은 공식과 어려운 이론들을 강의로 접하고 복습하고 필기하고 다시 복습하고
그렇게 5과목 완강을 하고 부족한건 몇번씩 더 보고나니 2달반이 지나있었습니다.
필기 시험이 1달앞으로 다가온 상태라 과년도 기출책을 구매해서 보기 시작했습니다.
근 3달을 이론공부에 매달렸음에도 불구하고 1회차에 100문제인 기출문제중 제 실력으로 풀 수 있는건
고작 10문제 내외였습니다.
저만 이런건지 다른사람들도 이런건지 제가 느린건지 부족한건지 정말 고민이 많았던 시기네요.
그냥 "모두다 그렇다, 원래 이렇다, 이게 정상이다" 이렇게 생각하기로 했습니다.
그리고 기출 과년도를 천천히 풀기 시작했습니다.
1회가 100문제였는데 이 100문제를 풀고 문풀 강의를 보고 오답을 정리하는 공부방법을 선택했고
이 공부방법대로하니 하루에 1회차 정도가 제 한계였습니다.
그렇게 1회차 1회차씩 진도를 나갔고 결국 7개년 정도 풀었을때 드디어 평균 60점이 넘었습니다.
100문제중 60문제 이상을 맞춘거죠
정말 보람있고 기뻣습니다.
그 이후 100문제중 75~85문제 이상을 맞추는걸 목표로 하고 계속 풀었습니다.
최종적으로 7개년(총 22회차)을 4회독했고 대부분 회차는 75~85점 이상이 나와서
정말 어려운 회차가 아니라면 합격할 수 있겠다라는 생각을 하고 시험장으로 갔습니다.
시험은 회로이론과 제어공학 과목을 제외하면 크게 어려운 과목은 없었습니다.
시험을 무사히 치르고 집에와서 가채점을 하니 회로이론 및 제어공학이 딱 과락을 면한 40점이었습니다.
시험장에서 답안 체크도 몇번 확인했고 40점중에서 크게 논란있는 문제가 없었기때문에
합격을 확신하였고 점심부터 숙성회와 맥주를 시켜 와이프와 장모님의 축하속에 맛있는 점심을 했습니다.

필기 최종 합격
가채점대로 회로이론과 제어공학은 딱 과락을 면한 40점을 받았습니다.

필기를 합격한 이후 첫 실기시험은 회사일이 바쁜 관계로 응시하지 못했습니다.
그래서 그 해 마지막 시험이었던 3회차 실기시험을 접수하고 공부를 시작했습니다.
공부방법은 실기이론 - 실기과년도 문제풀이 강의보면서 문제 유형체크 - 혼자 실기 과년도 20년치 풀어보기
위와 같은 방법으로 실기 공부를 시작했고 역시 마찬가지로 처음 문제 유형 익히는것과 오답노트 만드는데 시간이 많이 걸렸습니다.
다만 이렇게 처음 시간들여놓으면 이후 2회독 3회독때는 정말 수월하게 공부를 할 수 있기때문에 처음이 힘들더라도
저는 위와 같은 방법으로 공부하였습니다.
두달동안 20개년 과년도 기출을 총 5회독을 하고 시험장에 들어갔습니다.
정말 합격할 자신감이 있었기 때문에 크게 긴장을 하지 않았지만
시험 시작전 파본검사때 문제들을 확인하면서 완전히 달라졌습니다.
처음보는 문제들이 굉장히 많았고 그 문제들이 굉장히 어려워보였습니다.
그때부터 굉장히 긴장되고 떨렸지만 침착하게 문제들을 풀었습니다.
하지만 가채점결과 50점초반으로 합격을 하지 못했고 실제 결과도 마찬가지였습니다.

다음시험은 22년 5월달이라 7개월 정도 후였고 그때문에 모든 계획히 7개월이 밀려서
굉장히 심적으로 힘들었습니다.

22년 첫시험은 5월 7일에 치뤄졌고 그 시험에 무조건 합격하기 위해 굉장히 많은 시간 공부에 투자했고
새로 바뀐 법령인 KEC도 굉장히 많은 부분들 공부하였습니다.
내가 합격 못하면 이건 말이 안되는거라고 생각하면서 시험을 치르고 나왔습니다.
치르고 나오면서 무조건 합격이라고 생각했지만
집에와서 가채점을 하면서 굉장히 실수를 많이했고
한문제에 당락이 결정되는 상황이 되었습니다.
시험 결과 발표까지 한달이상이 남았었고 그 한달이라는 시간동안 많은 커뮤니티를 오가며
합격일지 불합격일지 확인하고 고민하였습니다.
합격 발표일 9시 정각에 큐넷에 접속해서 결과를 확인했는데

결과는 57점으로 불합격...
부분점수를 하나도 받지 못했다.

이때 정말 나도 힘들었지만 와이프도 고생을 많이 했습니다..
저당시 갓 7개월정도된 딸의 육아를 많이 도와주지 못했기에
와이프가 고생을 많이 했고 와이프도 결과에 실망을 많이 했습니다.
저도 저 자신에게 실망을 많이 했고 힘들었습니다.
전기기사가 뭐라고 작년부터 나를 이렇게 힘들게 할까?
때려치고 싶지는 않았지만 정말 빨리 합격하고 치우고 싶었습니다.
다행히 한달 조금더 지나면 2회 전기기사 실기시험이 있었기에
딱 한달정도만 더 고생해보자 라는 마음으로 2회 실기시험을 준비하였습니다.

이때는 공부방법을 바꿨습니다.
1. 전기기사 실기 과년도 34개년 기출
2. 전기산업기사 최근 6개년 기출 + 3회이상 출제되었던 기출
3. 새로 개정된 KEC 이론 및 예상문제

위 범위를 한달동안 죽어라 반복했고
2022년 7월 24일 치뤄진 2회 전기기사 실기시험 당일...
오전 5시에 일어나서 샤워를하고 초코바 4개와 공부자료들을 챙겨서 독서실로 향했고
독서실에서 기사가 아닌 산업기사 핵심문제들과 KEC 예상문제를 훑었습니다.
7시 30분에 독서실에서 나와 실기시험장인 충남대로 향했고 가서 9시전까지 다시 이론을 훑었습니다.
9시가 지나서 설명을 듣고 파본검사를 진행했습니다.
초반부의 문제들은 신출이었고 시퀀스가 많이 나와 굉장히 당황했지만
뒷부분의 문제들은 대부분 익숙한 문제들이라 마음이 많이 안정이 되었고
실제 시험 시작인 9시 30분이되자마자 우선 뒷부분부터 보기 시작했습니다.
제일 먼저 한건 확실히 풀수 있는 문제들의 점수가 총 합격점수인 60점이 넘는지 확인했고
뒷부분부터 체크하니 확실히 풀수 있는 문제의 배점이 70점이 넘었고 때문에 차분히 문제를 풀 수 있었습니다.
지금은 가채점 후 결과발표를 기다리고 있으며 약 한달간 결과를 기다려야합니다.
하지만 이번에는 가채점이 70점이 넘기때문에 합격이 확실시 되는 상황이라 마음이 좀 편합니다.
이제 앞으로 전기공사기사를 공부해야할지 아니면 전기공사도면 공부를 지금부터 시작해야할지
아니면 산업안전기사나 소방쌍기사를 따야할지 확실히 정하지는 않았지만
뭐가 됐든 드디어 전기기사를 땃다는 기쁨이 아직은 좀 큰거 같습니다.
지금 전기기사 공부하시는 많은 수험생 분들이 계시겠죠
전기기사는 어렵지만 포기하지 않고 꾸준히 치면 합격하는 시험입니다.
시간이 지나감에 대해서 후회하지는 않지만 해야할 일을 하지 못하고 지나가버린 시간에 대해서는
굉장한 후회가 드는게 사실입니다.
그런 후회를 하지 않도록 하루하루 최선을 다해서 기사 공부를 해나가길 응원하겠습니다.
9월 2일 전기기사 최종 합격 후 사진을 업데이트 하겠습니다.
다들 감사합니다.

전기기사 실기 합격하였습니다.
합격사진 업로드합니다.

nvidia-docker 컨테이너에서 사용중인 Gpu 제거하기

dragon82 — Thu, 7 Sep 2017 17:57:48 +0900

안녕하세요 :D

오늘은 지구에서 가장 핫한 IT키워드중 하나인 Docker를 주제삼아 포스팅 하려고

합니다. 요즘 Docker로 개발환경을 구성하는 개발회사들이 굉장히 많아졌고

저희팀 또한 모든 개발환경이 Docker로 구성되어 있습니다.

즉 각각의 Docker Container에 서비스에 맞는 개발환경이 구성되어 있는거죠.

때문에 본의 아니게 Docker 삽질을 굉장히 많이 했습니다...

IT의 매력중 하나는 삽질이니까 괜찮아요...하하

Container는 Host와 매핑된 정보를 가지고 있습니다. 때문에 기동시에는

이 정보를 가지고 있는 파일을 참조하게 됩니다. 그렇다면

질문: GPU 4개를 사용중인 Docker Container는 GPU를 1개 제거한다면

기동이 될까요 안될까요?

정답은 "설정파일을 수정하지 않는 이상 기동이 안된다"입니다.

테스트를 하기위해 4개중 1개의 GPU를 제거하고 Container를 기동했을때

"linux runtime spec devices: error gathering device information while adding

custom device /dev/nvidia3"

이라는 에러메시지를 확인할 수 있었고 GPU를 제거하면서 /dev/nvidia3

디바이스에 대한 정보를 수집할 수 없기때문에 에러가 나는것으로 보여집니다.

그렇다면 정상적으로 Container를 기동하기 위해서는 어떻게 해야 할까요?

저는 우선 Container의 정보를 확인하기 위해 docker inspect "컨테이너명"

이라는 명령어를 실행했습니다. 실행결과 JSON형식으로 Container의 정보가

쭉 나오는데 첫째로는 Container의 id를 확인했고 그 다음으로는 아래와 같이

호스트에 매핑된 디바이스의 정보를 확인하였습니다.

{

"PathOnHost": "/dev/nvidia0",

"PathInContainer": "/dev/nvidia0",

"CgroupPermissions": "rwm"

},

{

"PathOnHost": "/dev/nvidia1",

"PathInContainer": "/dev/nvidia1",

"CgroupPermissions": "rwm"

},

{

"PathOnHost": "/dev/nvidia2",

"PathInContainer": "/dev/nvidia2",

"CgroupPermissions": "rwm"

},

{

"PathOnHost": "/dev/nvidia3",

"PathInContainer": "/dev/nvidia3",

"CgroupPermissions": "rwm"

}

보이시나요? 에러메시지에서 나온 "/dev/nvidia3" 디바이스가 보입니다.

GPU 4개가 nvidia0 ~ 3 번으로 네이밍되서 존재하는거 같네요.

GPU는 4개에서 3개가 되었기때문에 더이상 "/dev/nvidia3" 이라는

디바이스는 존재하지 않습니다. 따라서 Container에서 저 "/dev/nvidia3" 이라는

디바이스에 대한 모든걸 지우면 Container를 기동할 수 있지 않을까 라는 생각을

했고, 시도해보기 위해 Container id에 해당하는 폴더로 이동하였습니다.

아래의 그림에서 생성된 Container들에 대한 폴더가 Container id 형식으로

되어 있는걸 확인할 수 있습니다.

root@tensorflow01:/var/lib/docker/containers# ls

1c7389693206f3593f77faebb8d1215ad9e06ee75b6a6517f84117c95c971e7c 
92ec8766bc24a033e36a119c03357b48dbba4ca83b9eea29772b84463d81822e 
d6a993a2acefd47c90c6ccdf0f8b312f1bf4d47fcfb95c524d554f0edd00bd27 
2f69ad48485ffc78778dda9eb148c82b765bf3b4f2b7dd7f901c446030a2b267 
95ca02b1ebb1d268f0e46a0edad37573a3c46761a4437c5cb925c5f639b99108 
fd2523d96b4b7e05ddd5e6aef8dc3631a3e57f2a92b65754483f562e8e28a00e
36a6486dca688e4318aa4024a4b69c65a3fbfb2e474603480cd9fb04225d9360 
aeee6be051b9d03b02a75f26e26b9f7857addbdb86450d72f6af29c5db077471
43435870ccd8c5013de396997d811d2e1ed6c0c6b270b87102389658e5040412 
c684858e1fff035ea27632065aa15c4ccd159a08a8120c41f0e508395e87385c

실행불가였던 Container에 해당하는 폴더로 이동 후 내부에 존재하는 파일의

리스트를 확인해봅니다.

bfb2e474603480cd9fb04225d9360# ls

36a6486dca688e4318aa4024a4b69c65a3fbfb2e474603480cd9fb04225d9360-json.log
checkpoints
config.v2.json
hostconfig.json
hostname
hosts
resolv.conf
resolv.conf.hash
shm

여기서 hostconfing.json이라는 파일이 보이실텐데요. 바로 이 파일이 호스트와

컨테이너간의 매핑정보를 가지고 있습니다.

따라서 이 파일내에 "/dev/nvidia3" 디바이스의 정보만 삭제한다면 Container는

기동이 가능할꺼 같네요.

"Devices" :[{"PathOnHost":"/dev/nvidiactl","PathInContainer":"/dev/nvidiactl","CgroupPermissions":"rwm"},
{"PathOnHost":"/dev/nvidia-uvm","PathInContainer":"/dev/nvidia-uvm","CgroupPermissions":"rwm"},
{"PathOnHost":"/dev/nvidia-uvm-tools","Path InContainer":"/dev/nvidia-uvm-tools","CgroupPermissions":"rwm"},
{"PathOnHost":"/dev/nvidia0","PathInContainer":"/dev/nvidia0","CgroupPermissions":"rwm"},
{"PathOnHost":"/dev/nvidia1","PathInContainer":"/dev/nvidia1","CgroupPermissions ":"rwm"},
{"PathOnHost":"/dev/nvidia2","PathInContainer":"/dev/nvidia2","CgroupPermissions":"rwm"}
{"PathOnHost":"/dev/nvidia3","PathInContainer":"/dev/nvidia3","CgroupPermissions":"rwm"}],

"Devices" 라는 key의 Value들이 매핑된 디바이스의 정보인데요. "/dev/nvidia3"

에 해당하는 Value만 삭제한 후 hostconfig.json 파일을 저장하신 뒤 Container를

기동하시면 Container가 잘 실행이 되는걸 확인하실 수 있습니다.

리소스 재분배 혹은 기타 다른 이유로 인해 GPU를 제거하는 경우가 그렇게 많지는

않으실테지만 만약 그런 설계가 필요하신 경우 이렇게 매핑된 디바이스의 정보를

삭제함으로써 기존의 Container를 사용하실 수 있습니다.

GPU를 새로 추가할때는 자동으로 config에 추가되는거 같은데, 제거할때는

그렇게 안되는거 같아요. 이런식으로 Docker에 대한 삽질을 또 하나 끝냈습니다.

부디 이 정보로 도움을 받으시는분들이 계셨으면 좋겠어요. :)

파이썬 Paramiko 모듈을 이용한 커스텀 SFTP모듈 만들기!

dragon82 — Tue, 11 Jul 2017 20:02:55 +0900

import os
import sys
import paramiko
import threading
import time

'''
사용중인 logger가 있으시다면 아래 logger 변수에 할당해주시기 바랍니다.
만약 없다면 applogger의 Logger를 디폴트로 사용합니다.
'''
logger = None
_loggerflag = False

if logger is None:
    from applogger import Logger
    _loggerflag = True
    logger = Logger(logtype='STREAM',loglevel='DEBUG').UseLogger()

'''
테스트를 위한 사용자정보 딕셔너리
(추후 다른 모듈과 연동될때는 DB든 JSON이든 사용자 정보를 아래와 같이 
딕셔너리 형태로 받아옵니다.)
'''
info = {
    
    0:{
        'hostname':'', # 스트링
        'port': 22, # 인트
        'username': '', # 스트링
        'password': '', # 스트링
        'src': [''], # 리스트
        'dst': [''] # 리스트
    },
    
    1:{
        'hostname':'', # 스트링
        'port': 22, # 인트
        'username': '', # 스트링
        'password': '', # 스트링
        'src': [''], # 리스트
        'dst': [''] # 리스트
    }

}


class UseSFTP(threading.Thread):

    def __init__(self, hostname, port, username, password, src, dst):
        threading.Thread.__init__(self)
        self.hostname = hostname
        self.port = port
        self.username = username
        self.password = password
        self.src = src
        self.dst = dst


    def ConnectSFTP(self):
        '''
        원격지 SSH와 SFTP 클라이언트를 반환하는 함수
        '''
        ssh = None
        sftp = None
        try:
            ssh = paramiko.SSHClient()
            ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
            ssh.load_host_keys(os.path.expanduser(os.path.join("~", ".ssh", "known_hosts")))
            ssh.connect(hostname=self.hostname, port=self.port, username=self.username, password=self.password)
            sftp = ssh.open_sftp()
            
        except Exception as e:
            if _loggerflag is True:
                logger.warning('{}'.format(e))
            else:
                print(e)
            ssh = None
            sftp = None
        return ssh, sftp        


    def GetFileSize(self,file):
        '''
        파일 사이즈 출력해주는 함수
        '''
        if file < 1024:
            return str(file) + "byte"
        elif file < 1024*1024:
            return str(file/1024) + "kbyte"
        elif file < 1024*1024*1024:
            return str(file/1024/1024) + "mbyte"


    def PrintSummury(self,hostname,totaltime,filesize,filename):
        '''
        전송 정보 요약해서 출력해주는 함수, _loggerflag가 True일 경우에만 사용됩니다.
        '''
        if len(filename) > 1:
            for i in range(len(filename)):
                logger.info('{} Transmission file: {}'.format(hostname,filename[i]))
        else:
            logger.info('{} Transmission file: {}'.format(hostname,filename))
        logger.info('{} Transmission size: {}'.format(hostname,filesize))
        logger.info('{} Transmission time: {} seconds'.format(hostname,totaltime))
        logger.info('{} Transmission Complete'.format(hostname))


    def TransferDir(self):
        '''
        로컬에서 원격지로 디렉토리 전송을 담당하는 함수
        '''
        try:
            error = ''
            flag = True
            # 소스경로
            self.src[0] = os.path.abspath(self.src[0]) + '/'
            parent = os.path.expanduser(self.src[0])
            ssh, sftp = self.ConnectSFTP()
            totaltime = ''
            filesize = 0
            totalsize = 0
            fileindex = self.src[0][:self.src[0].rfind('/')].rfind('/')
            srcdir = self.src[0][fileindex:self.src[0].rfind('/')]
            # 배포경로 
            self.dst[0] = os.path.abspath(self.dst[0]) + srcdir
            # 배포경로 생성 
            stdin, stdout, stderr = ssh.exec_command('mkdir -p %s' % self.dst[0])
            # exec_command가 non-blocking이라 blocking으로 ssh.exec_command의 결과를 대기
            exit_status = stderr.channel.recv_exit_status()
            
            # ssh.exec_command명령에서 에러가 발생한 경우에 진입
            if exit_status is not 0:
                flag = False
                error = 'exit_status is 1'
                return flag, error
            
            # ssh와 sftp가 이상없이 연결되었을 경우에 진입
            if ssh is not None and sftp is not None:
                starttime = time.time()
                for dirpath, dirnames, filenames in os.walk(parent):
                    remote_path = os.path.join(self.dst[0], dirpath[len(parent):])
                    try:
                        sftp.listdir(remote_path)
                    except IOError:
                        sftp.mkdir(remote_path)
                    except Exception as e:
                        if _loggerflag is True:
                            logger.warning('{}'.format(e))
                        else:
                            print(e)

                    for i in range(len(filenames)):
                        filesize = filesize + os.path.getsize(dirpath+'/'+filenames[i])
                        sftp.put(os.path.join(dirpath, filenames[i]), os.path.join(remote_path, filenames[i]))

                endtime = time.time()
                totaltime = '%.02f' % (endtime - starttime)
                if _loggerflag is True:
                    self.PrintSummury(self.hostname,totaltime,self.GetFileSize(filesize),self.src)
                else:
                    pass

            else:
                flag = False
                error = 'SSH & SFTP CONNECTION is FAIL'
                return flag, error

        except Exception as e:
            flag = False
            error = e
            return flag, error


    def TrasferFiles(self):
        '''
        로컬에서 원격지로 파일 전송을 담당하는 함수
        '''
        error = ''
        flag = True
        # 소스경로
        self.dst[0] = os.path.abspath(self.dst[0]) + '/'   
        # ssh & sftp 클라이언트 연결     
        ssh, sftp = self.ConnectSFTP()
        totaltime = ''
        filesize = 0
        totalsize = 0
        try:
            # 배포경로 생성 
            stdin, stdout, stderr = ssh.exec_command('mkdir -p %s' % self.dst[0])
            # exec_command가 non-blocking이라 blocking으로 ssh.exec_command의 결과를 대기
            exit_status = stderr.channel.recv_exit_status()

            # ssh.exec_command명령에서 에러가 발생한 경우에 진입
            if exit_status is not 0:
                flag = False
                error = 'exit_status is 1'
                return flag, error

            # ssh와 sftp가 이상없이 연결되었을 경우에 진입
            if ssh is not None and sftp is not None:
                starttime = time.time()
                # src 개수만큼 반복하면서 원격지에 파일 전송                
                for i in range(len(self.src)):
                    filesize = filesize + os.path.getsize(self.src[i])
                    if not os.path.isfile(self.src[i]):
                        if _loggerflag is True:
                            logger.info('No Such File...')
                        else:
                            print('No Such File...')
                        return
                    elif len(stderr.readlines()) == 1:
                        if _loggerflag is True:
                            logger.warning('No Such Directory...')
                        else:
                            print('No Such Directory...')
                        sftp.mkdir(self.dst[0], mode=511)
                    else:
                        filename_index = self.src[i].rfind('/')
                        filename = self.src[i][filename_index+1:]
                        sftp.put(self.src[i], self.dst[0]+filename)

            else:
                flag = False
                error = 'SSH & SFTP CONNECTION is FAIL'
                return flag, error

            endtime = time.time()
            totaltime = '%.02f' % (endtime - starttime)

            if _loggerflag is True:
                self.PrintSummury(self.hostname,totaltime,self.GetFileSize(filesize),self.src)
            else:
                pass

        except IOError as e:
            flag = False
            error = e
            return flag, error

        except Exception as e:
            flag = False
            error = e
            return flag, error


    def SendToRemote(self):
        '''
        파일전송인지 폴더전송인지 구분한 후 전송함수 호출을 담당하는 함수
        '''
        # 소스가 파일 전송일 경우
        if os.path.isfile(self.src[0]) or len(self.src) > 1:
            self.TrasferFiles()
        
        # 소스가 폴더 전송일 경우
        elif not os.path.isfile(self.src[0]) and len(self.src) < 2:
            self.TransferDir()


    def run(self):
        '''
        스레드 Run 담당하는 함수
        '''
        try:
            self.SendToRemote()

        except Exception as e:
            logger.warning('{}'.format(e))


def GetInformation(info):
    '''
    SFTP 전송관련 정보들을 담은 dict를 반환하는 함수
    '''
    infolist = []
    idx = len(info)
    for i in range(idx):
        infolist.append(info[i])
    
    return infolist


def Validation():

    flag = True
    data = GetInformation(info)
    
    for i in range(len(data)):
        if len(data[i]['hostname']) < 1:
            logger.critical('%d hostname 입력되지 않았습니다' % i)
            flag = False
        if data[i]['port'] is None:
            logger.critical('%d port 입력되지 않았습니다' % i)
            flag = False
        if len(data[i]['username']) < 1:
            logger.critical('%d username 입력되지 않았습니다' % i)
            flag = False
        if len(data[i]['password']) < 1:
            logger.critical('%d password 입력되지 않았습니다' % i)
            flag = False
        if len(data[i]['src']) < 1:
            logger.critical('%d src 입력되지 않았습니다' % i)
            flag = False
        if len(data[i]['dst']) < 1:
            logger.critical('%d dst 입력되지 않았습니다' % i)
            flag = False
            
    return flag, data
    
def main():
    '''
    배포대상 서버의 수만큼 스레드가 생성되며 스레드를 시작시키는 메인함수
    self, hostname, port, username, src, dst)
    '''
    flag, data = Validation()


    if flag is True:
        for i in range(len(data)):
            clss = UseSFTP(data[i]['hostname'],
                            data[i]['port'],
                            data[i]['username'],
                            data[i]['password'],
                            data[i]['src'],
                            data[i]['dst'])

            clss.start()


if __name__ == "__main__":
    '''
    아래와 같이 메인함수를 호출하여 테스트 하시면 됩니다.
    '''
    if _loggerflag is True:
        logger.info('START SFTP Module :D')
    else:
        print('START SFTP Module :D')
    main()
    if _loggerflag is True:
        logger.info('END SFTP Module!!')
    else:
        print('END SFTP Module!!')

파이썬 로깅모듈을 이용한 커스텀 logger 만들기

dragon82 — Wed, 21 Jun 2017 15:15:33 +0900

Python logging 라이브러리를 활용해서 Custom Logger를 아래와 같이 간단하게 만들어보았습니다.

개발할때 중요한게 참 많지만 그중에서 디버깅과 로깅은 정말 중요하다고 할 수 있죠.

적절한 로깅은 디버깅을 한결 편리하게 해주니 우리모두 로깅을 남발하지 말고 적절하게 사용합시다 :D..

from __future__ import absolute_import
import os,sys
from logging import getLogger, StreamHandler, FileHandler, Formatter, DEBUG, INFO
from logging.handlers import TimedRotatingFileHandler

class Logger(object):

    def __init__(self, logtype=None, logname=None, loglevel=None, filename=None \
                                ,rollover=None, interval=None, backupcount=None):
        self.logtype = logtype
        self.logname = logname
        self.loglevel = loglevel
        self.filename = filename
        self.rollover = rollover
        self.interval = interval
        self.backupcount = backupcount
        self.defaultformat = Formatter('[%(asctime)s] %(process)d %(levelname)s in %(module)s: %(message)s')
    
    def SetDefault(self):
        if self.logtype == None:
            self.logtype = 'ALL'
        if self.logname == None:
            self.logname = 'AppLog'
        if self.loglevel == None:
            self.loglevel = 'DEBUG'
        if self.filename == None:
            self.filename = 'LoggerApp.log'
        if self.rollover == None:
            self.rollover = 'm'
        if self.interval == None:
            self.interval = 10
        if self.backupcount == None:
            self.backupcount = 10

    def FLogHandler(self):        
        logpath = os.path.dirname(__file__) + '/' + self.filename
        logdir = os.path.dirname(logpath)
        if not os.path.exists(logdir):
            os.makedirs(logdir)
        fhandler = TimedRotatingFileHandler(logpath, when=self.rollover \
                        ,interval=self.interval, backupCount=self.backupcount)
        fhandler.setFormatter(self.defaultformat)
        return fhandler

    def SLogHandler(self):
        shandler = StreamHandler()
        shandler.setFormatter(self.defaultformat)
        return shandler

    def UseLogger(self):

        # 사용자 입력값이 없다면 디폴트 설정으로 logger 적용
        self.SetDefault()

        # getLogger객체 생성 및 logging level 설정
        logger = getLogger(self.logname)
        logger.setLevel(self.loglevel)

        # logtype에 따라 Handler 설정
        if self.logtype == 'FILE':
            fhandler = self.FLogHandler()
            logger.addHandler(fhandler)

        elif self.logtype == 'STREAM':
            shandler = self.SLogHandler()
            logger.addHandler(shandler)

        elif self.logtype == 'ALL':
            fhandler = self.FLogHandler()
            shandler = self.SLogHandler()
            logger.addHandler(fhandler)
            logger.addHandler(shandler)

        return logger


if __name__ == "__main__":
    logger = Logger(rollover='H', interval=5, backupcount=5).UseLogger()
    logger.debug('LOGGING TEST')

PE format 상세분석

dragon82 — Wed, 2 Nov 2016 14:55:04 +0900

안녕하세요 :)

저번 포스팅에서는 RVA to RAW 관련 개념들을 정리했었는데

이번 포스팅에선 PE file format을 상세분석 하도록 하겠습니다.

사실 이 포스팅이 먼저였어야 하는데 말이죠!ㅎㅎ

아직까지도 PE에 대해서 초보지만 PE 분석하는 프로그램을 만들면서

하나하나 파싱해나가니깐 그래도 좀 친숙하게 PE가 다가오더라구여

그래서 이번에도 자신감을 가지고 가보도록 하겠습니다.

1. PE란 무엇인가?

-Portable Executable의 약자로 Win32 운영체제가 돌아가는 시스템이면 어디서든 실행이 가능한 파일을

말합니다.

-PE 파일의 종 류는 아래와 같습니다.

드라이브: SYS, 오브젝트파일: OBJ, 라이브러리: DLL, OCX, 실행파일: EXE, SCR

2. PE구조 한눈에 보기!

출처 - <Windows 시스템 실행파일의 구조와 원리 8page>

1) IMAGE_DOS_HEADER

2) DOS stub code

3) IMAGE_NT_HEADER

3-1) PE signature

3-2) IMAGE_FILE_HEADER

3-3) IMAGE_OPTIONAL_HEADER

4) IMAGE_DATA_DIRECTORY

5) IMAGE_SECTION_HEADERS

5-1) IMAGE_SECTION_HEADER

5-2) IMAGE_SECTION_HEADER

5-3) IMAGE_SECTION_HEADER

5-4) IMAGE_SECTION_HEADER

........

6) SECTION_DATA

PE구조는 간단히 위와같이 구성되어 있습니다.

그럼 지금부터 하나하나 살펴보도로 하겠습니다.

3. IMAGE_DOS_HEADER

- IMAGE_DOS_HEADER 구조체

typedef struct _IMAGE_DOS_HEADER {

WORD e_magic;

WORD e_cblp;

WORD e_cp;

WORD e_crlc;

WORD e_cparhdr;

WORD e_minalloc;

WORD e_maxalloc;

WORD e_ss;

WORD e_sp;

WORD e_csum;

WORD e_ip;

WORD e_cs;

WORD e_lfarlc;

WORD e_ovno;

WORD e_res[4];

WORD e_oemid;

WORD e_oeminfo;

WORD e_res2[10];

LONG e_lfanew;

} IMAGE_DOS_HEADER, *PIMAGE_DOS_HEADER;

-IMAGE_DOS_HEADER 는 "64byte"이며, 눈여겨 볼 필드는 아래와 같습니다

1) WORD e_magic; = IMAGE_DOS_HEADER의 시그니쳐이자 식별자로써 ASCII "MZ"로 고정.

여기서 "MZ"는 도스를 설계한 사람중 한명인 Mark Zbikowski의 이니셜입니다

2) LONG e_lfanew; = IMAGE_NT_HEADER 의 시작 offset을 가지고 있습니다.

개인적으로 PE 분석 프로그램 만들기 위해 파싱할때

이 값을 기준으로 잡을정도로 중요한 필드입니다!

<IMAGE_DOS_HEADER>

4. DOS stub code

- 별로 의미있는 부분은 아닙니다만은 설명을 하고 넘어 가자면 예전 DOS시절에 쓰였던 부분으로

ASCHII 값으로 "This program cannot be run in DOS mode." 라는 문장을 나타냅니다.

시작점에서 IMAGE_DOS_HEADER의 크기인 64byte만큼 떨어진 곳에서부터 시작이 되며

크기가 가변적이라 IMAGE_DOS_HEADER 구조체의 e_lfanew 필드를 참조하여 끝을 알 수 있습니다.

<DOS stub code>

5. IMAGE_NT_HEADER

-IMAGE_NT_HEADER 구조 체

typedef struct _IMAGE_NT_HEADERS{

DWORD Signature;

IMAGE_FILE_HEADER FileHeader;

IMAGE_OPTIONAL_HEADER OptionalHeader;

} IMAGE_NT_HEADERS, *PIMAGE_NT_HEADERS;

5-1) PE signature

DWORD signate; 필드를 나타내며, 4byte로 구성됩니다.

PE를 나타내는 식별자이며, IMAGE_DOS_HEADER에 MZ와 마찬가지로

ASCHII값으로 "PE\x00\x00"의 고정값을 지닙니다.

IMAGE_NT_HEADER의 시작점이자 식별자이며, 그렇기에 당연히 이전 e_lfanew 필드가 가르키는

값에서부터 4byte의 입니다!

아래 사진에서 0x000000D8 지점(e_lfanew값)이 DWORD signature의 시작지점이고 값은 PE인걸 확인할 수 있습니다.

<DWORD signature>

5-2) IMAGE_FILE_HEADER

-IMAGE_FILE_HEADER 구조체

typedef struct _IMAGE_FILE_HEADER {

WORD Machin;

WORD NumberOfSections;

DWORD TimeDateStamp;

DWORD PointToSymbolTable;

DWORD NumberOfSymbols;

WORD SizeOfOptionalHeader;

WORD Characteristics;

} IMAGE_FILE_HEADER, *PIMAGE_FILE_HEADER;

5-2-1) Machin

- 해당필드는 파일이 어떤 CPU에서 동작하고 있는지를 알려줍니다.

대표적으로 3가지만 살펴보겠습니다.

Intel386: 0x14c

Intel64: 0x0200

AMD64: 0x8664

5-2-2) NumberOfSections

- 해당필드는 IMAGE_SECTION_HEADERS 구조체내의 섹션의 수를 나타냅니다.

그럼 확인 해볼까요?

<NumberOfSections>

필드의 값은 4며, PEview로 확인해본 결과 섹션의 개수도 4인걸 확인 할 수 있습니다.

5-2-3) SizeOfOptionalHeader

- 해당 필드는 IMAGE_FILE_HEADER 다음에 이어지는 IAMGE_OPTIONAL_HEADER

구조체의 바이트 수를 알려줍니다.

OBJ파일이면 해당값이 0이며, 실행 파일일 경우 32비트는 0xE0(224)byte

64비트는 0xF0(240)byte입니다.

5-2-4) Characteristics

- 해당 필드는 파일의 특성을 알려줍니다.

특성의 종류에 대해서 아래에서 살펴보고 저희가 분석중인 calc.exe는 어떤 특성을 가지고

있는지 알아보겠습니다.

<WinNT.h 의 Characteristics 값>

0x0001 // Relocation info stripped from file.

0x0002 // File is executable (i.e. no unresolved externel references).

0x0004 // Line nunbers stripped from file.

0x0008 // Local symbols stripped from file.

0x0010 // Agressively trim working set

0x0020 // App can handle >2gb addresses

0x0080 // Bytes of machine word are reversed.

0x0100 // 32 bit word machine.

0x0200 // Debugging info stripped from file in .DBG file

0x0400 // If Image is on removable media, copy and run from the swap file.

0x0800 // If Image is on Net, copy and run from the swap file.

0x1000 // System File.

0x2000 // File is a DLL.

0x4000 // File should only be run on a UP machine

0x8000 // Bytes of machine word are reversed.

그럼 calc.exe의 특성값을 확인해보겠습니다.

<calc.exe의 characteristics>

0x0102의 값을 가지고 있고, 내용은 실행파일이며 32비트를 사용한다네요 :)

그럼 이제 다음으로 중요한 헤더인 IMAGE_OPTIONAL_HEADER로 가보겠습니다!!

5-3) IMAGE_OPTIONAL_HEADER

-IMAGE_OPTIONAL_HEADER 구조체

typedef struct _IMAGE_OPTIONAL_HEADER {

// ## Standard fields ##

WORD Magic;

BYTE MajorLinkerVersion;

BYTE MinorLinkerVersion;

DWORD SizeOfCode;

DWORD SizeOfInitializedData;

DWORD SizeOfUninitializedData;

DWORD AddressOfEntryPoint;

DWORD BaseOfCode;

DWORD BaseOfData;

// ## NT additional fields ##

DWORD ImageBase;

DWORD SectionAlignment;

DWORD FileAlignment;

WORD MajorOperatingSystemVersion;

WORD MinorOperatingSystemVersion;

WORD MajorImageVersion;

WORD MinorImageVersion;

WORD MajorSubsystemVersion;

WORD MinorSubsystemVersion;

DWORD Win32VersionValue;

DWORD SizeOfImage;

DWORD SizeOfHeaders;

DWORD CheckSum;

WORD Subsystem;

WORD DllCharacteristics;

DWORD SizeOfStackReserve;

DWORD SizeOfStackCommit;

DWORD SizeOfHeapReserve;

DWORD SizeOfHeapCommit;

DWORD LoaderFlags;

DWORD NumberOfRvaAndSizes;

IMAGE_DATA_DIRECTORY DataDirectory[IMAGE_NUMBEROF_DIRECTORY_ENTRIES];

} IMAGE_OPTIONAL_HEADER32, *PIMAGE_OPTIONAL_HEADER32;

5-3-1) Magic

-해당 필드는 IMAGE_OPTIONAL_HEADER를 나타내는 시그니처 정보를 담고있습니다.

32비트는 0x010B이며, 64비트는 0x020B입니다. ROM파일은 0x0107입니다.

5-3-2,3) AddressOfEntryPoint, BaseOfCode

-해당 필드는 Entry Point의 RVA값을 나타냅니다.

즉 프로그램에서 "최초로 실행되는 코드"라고 생각하시면 편해요.

여기서 코드의 시작점과 최초로 실행되는 코드는 다릅니다.

최초의 코드는 아래에서 설명할 BaseOfCode필드인데 코드의 시작점이고,

최초로 실행되는 코드는 코드의 맨 처음은 아니지만 디버거 실행시 최초로 실행되는

코드입니다. 즉 디버거 실행시 젤 위에 있는 코드 주소값이 아래에서 설명 할

BaseOfCode이며, 디버거에서 Module Entry Point라고 지정되있는 최초 실행지점이

바로 AddressOfEntryPoint입니다.

근데 중요한게 AddressOfEntryPoint나, BaseOfCode 둘다 RVA 값이니깐

Imagebase값을 더해줘야 VA 값이 된다는 사실!!

<이전 포스팅에서 RVA to RAW, VA, RVA, RAW등을 정리했습니다.

참고하시면 좋을 것 같아요..!>

5-3-4) Imagebase

-해당 필드는 가상 메모리에 로드된 파일의 시작주소로써, 즉 가상메모리에 PE파일이

mapping된 시작주소이자 RVA의 기준이되는 주소값입니다.

일반적으로 실행파일은 0x00400000의 값을 가지며 DLL은 0x10000000의 값을

가집니다.

절대적인 값이 아니며, 링크 시 옵션 /BASE를 함으로써 변경 될 수 있습니다.

<Imagebase>

5-3-5) SectionAlignment

-"Alignment"라는 단어는 가지런함, 정렬의 의미를 지닙니다.

즉 섹션을 정렬할것이다라고 필드명을 보고 추측할 수 있겠네요.

메모리상에서 섹션 크기의 최소단위입니다.

아래에서 보면 0x1000값을 가지는데 4096byte로 계속 정렬된다고 보면 됩니다.

<SectionAlignment>

5-3-6) FileAlignment

-해당 필드는 SectionAlignment와 비슷합니다. 하드디스크상에서 섹션크기의

최소단위 입니다.

5-3-7) SizeOfImage

-해당 필드는 PE 파일을 메모리에 로드할 때 확보 해야 할 크기를 나타냅니다.

Imagebase가 가르기는 값에서 PE 파일의 마지막 섹션 끝까지의 크기이며, 혹 PE 파일이

메모리에 매핑될 때 크기가 조금씩 틀려질 수 있기 때문에 보통은 PE 파일의 크기보다

크다. 그리고 이 필드의 값은 SectionAlignment 값의 배수가 되어야 합니다.

5-3-8) SizeOfHeader

-해당 필드는 IMAGE_DOS_HEADER부터 Section_table들의 바이트를 모두 합친 값.

시작주소에서 이 필드의 값만큼 떨어진 곳에 첫번째 섹션의 데이터가 시작합니다.

이 필드의 값은 FileAlignment 값의 배수가 되어야 합니다.

5-3-9) MajorSubsystemVersion, MinorSubsystemVersion

-해당 필드들은 PE를 실행할 때 필요한 subsystem의 최소 버전을 나타냅니다.

값이 4인데 window NT 4.0이상의 기반에서 PE가 돌아갈 수 있기때문입니다.

/SUBSYSTEM이라는 명령어로 해당 값을 변경 할 수 있습니다.

5-3-10) Subsystem

-해당 필드는 PE파일이 어떤 기반인지를 알려줍니다. 3가지정도만 알면 되는데

0x01: .sys 류의 드라이파일

0x02: GUI (그래픽 유저 인터페이스)

0x03: CUI (콘솔 유저 인터페이스)

6. IMAGE_DATA_DIRECTORY

-IMAGE_DATA_DIRECTORY 구조체

typedef struct _IMAGE_DATA_DIRECTORY {

DWORD VirtualAddress;

DWORD Size;

} IMAGE_DATA_DIRECTORY, *PIMAGE_DATA_DIRECTORY;

#define IMAGE_NUMBEROF_DIRECTORY_ENTRIES 16

이 구조체 배열의 엔트리는 16이며, 그 중에서 사용하는 엔트리는 15개입니다.

구조체를 보니 각 요소요소들은 주소값과 크기를 가지고 있겠네요 :)

-Directory Entries

#define IMAGE_DIRECTORY_ENTRY_EXPORT 0 // Export Directory

#define IMAGE_DIRECTORY_ENTRY_IMPORT 1 // Import Directory

#define IMAGE_DIRECTORY_ENTRY_RESOURCE 2 // Resource Directory

#define IMAGE_DIRECTORY_ENTRY_EXCEPTION 3 // Exception Directory

#define IMAGE_DIRECTORY_ENTRY_SECURITY 4 // Security Directory

#define IMAGE_DIRECTORY_ENTRY_BASERELOC 5 // Base Relocation Table

#define IMAGE_DIRECTORY_ENTRY_DEBUG 6 // Debug Directory

#define IMAGE_DIRECTORY_ENTRY_COPYRIGHT 7 // (X86 usage)

#define IMAGE_DIRECTORY_ENTRY_ARCHITECTURE 7 // Architecture Specific Data

#define IMAGE_DIRECTORY_ENTRY_GLOBALPTR 8 // RVA of GP

#define IMAGE_DIRECTORY_ENTRY_TLS 9 // TLS Directory

#define IMAGE_DIRECTORY_ENTRY_LOAD_CONFIG 10 // Load Configuration Directory

#define IMAGE_DIRECTORY_ENTRY_BOUND_IMPORT 11 // Bound Import Directory in headers

#define IMAGE_DIRECTORY_ENTRY_IAT 12 // Import Address Table

#define IMAGE_DIRECTORY_ENTRY_DELAY_IMPORT 13 // Delay Load Import Descriptors

#define IMAGE_DIRECTORY_ENTRY_COM_DESCRIPTOR 14 // COM Runtime descriptor

//중요한 몇몇 필드만 살펴보도록 하겠습니다. 이 배열의 엔트리들에 대해서는

차후에 좀 더 상세하게 포스팅 하도록 하겠습니다.//

6-1) IMAGE_DIRECTORY_ENTRY_EXPORT

-EXPORT_TABLE의 시작번지와 크기를 가지고 있습니다.

6-2) IMAGE_DIRECTORY_ENTRY_ IMPORT

-IMPORT_TABLE의 시작번지와 크기를 가지고 있습니다.

6-3) IMATE_DIRECTORY_ENTRY_RESOURCE

-RESOUSE_TABLE의 시작번지와 크기를 가지고 있습니다.

6-4) IMAGE_DIRECTORY_ENTRY_TLS

[출처] 하큐어 - http://www.hacure.com/b/it_tip-101ㅁㄴㅇㄴㅇㅁㄴㅇ

-Thread Local Storage(TLS)섹션에 대한 포인터를 가지고 있습니다.

6-5) IMAGE_DIRECTORY_ENTRY_IAT

-IAT(Import Address Table)의 시작 번지를 가르킵니다.

7. IMAGE_SECTION_HEADER

-IMAGE_SECTION_HEADER 구조체

typedef struct _IMAGE_SECTION_HEADER {

BYTE Name[IMAGE_SIZEOF_SHORT_NAME];

union {

DWORD PhysicalAddress;

DWORD VirtualSize;

} Misc;

DWORD VirtualAddress;

DWORD SizeOfRawData;

DWORD PointerToRawData;

DWORD PointerToRelocations;

DWORD PointerToLinenumbers;

WORD NumberOfRelocations;

WORD NumberOfLinenumbers;

DWORD Characteristics;

} IMAGE_SECTION_HEADER, *PIMAGE_SECTION_HEADER;

-섹션헤더는 각 섹션들의 구체적인 정보들이 담긴 영역입니다.

섹션의 개수는 앞에서도 알려드린 바와 같이 IMAGE_FILE_HEADER안에 NumberOfSection의

값으로 알 수 있습니다.

이제 각각의 섹션테이블에 대해 알아보도록 하겠습니다!!

7-1) Name

-해당 필드는 섹션의 이름을 ASCII값으로 표현하고 있습니다.

이름을 나타내는 ASCII값은 8자로 제한이됩니다.

<Section Name>

7-2) PhysicalAddress or Virtual Size

-union이라는 사실에 주목을 해야합니다.

왜냐하면 PE파일인지 OBJ파일인지 두가지 경우에 따라서 값이 틀려지기 때문이죠

OBJ의 경우는 값이 0으로 고정되고, PE인 경우는 코드와 데이터의 실제 바이트 수를 담고 있는데

FileAlignment로 정렬되기 전의 실제 바이트 수를 담고 있습니다.

7-3) VirtualAddress

-해당 필드는 메모리상에 파일이 로드되었을때 섹션이 시작되는 주소를 RVA값으로 담고 있습니다.

제 파일에서는 0x00001000의 값을 가지고 있네요.

7-4) PointerToRawData

-해당 필드는 파일상에서 해당 섹션이 시작하는 실제 Offset값입니다.

VirtualAddress가 가르기는 주소값과 같을 수도 다를 수도 있습니다.

그럼 실제로 파일상에서 해당 섹션의 offset이 맞는지 아래 그림에서 확인 해보겠습니다

<PointerToRawData>

<File상에서 실제 해당 섹션의 시작점>

확인 결과 PointerToRawData가 가르키고 있는 주소 값이 파일 상에서 해당 섹션이 시작하는 주소값

과 동일하다는 것을 알 수 있습니다.

7-5) SizeOfRawData

-해당 필드는 파일상에서 섹션의 크기에 대한 정보를 가지고 있는데 7-2) 필드에서 살펴본

VirtualSize의 값은 FileAlignment로 정렬하지 않은 실제 데이터의 바이트 수를 나타낸거라면

SizeOfRawData의 값은 Filealignment로 정렬한 값의 배수를 나타내고 있습니다.

PE파일이 아닌 OBJ파일의 경우라면 값은 0으로 고정됩니다.

7-6) Characteristics

-해당 필드는 해당 섹션의 특성들을 나타내고 있습니다.

아래 그림에서 해당 필드의 값을 확인 해보겠습니다.

<Characteristics>

0x00000020 - IMAGE_SCN_CNT_CODE: 섹션에 코드가 포함되어 있다는것을 의미합니다.

0x20000000 - IMAGE_SCN_MEM_EXECUTE: 섹션이 실행 가능하다는 것을 의미합니다.

0x40000000 - IMAGE_SCN_MEM_READ: 섹션이 읽기가 가능하다는 것을 의미합니다.

이 특성들 이외에 전체를 알고 싶다면 아래 링크의 웹페이지 마지막 Characteristics를 확인하세요.

http://msdn.microsoft.com/en-us/library/windows/desktop/ms680341(v=vs.85).aspx

8. 상세분석을 바탕으로 만들어본 PEprint.exe

- 이론으로만 가지고 있으면 금방 까먹을 것 같아서 파이썬으로 간단하게 만들어봤습니다 :D

9. 참고문헌

-Windows 시스템 실행파일의 구조와 원리 (이호동 저)

RVA to RAW

dragon82 — Wed, 2 Nov 2016 14:54:45 +0900

PE 분석글을 쓰기에 앞서 RVA, RAW, VA에 대해서 포스팅을 하겠습니다.

컴퓨터는 한가지의 작업만 하는게 아니기에 메모리나 디스크의 주소공간들은 연속해서 사용되어지지 않습니다.

때문에 사용가능한 주소공간들이 비연속적 (띄엄 띄엄) 존재하게 됩니다.

그래서 가상공간에 메모리를 만들어서 (32비트 환경에서는 4G의 크기를 가집니다) 거기서 연속된 주소공간을

재구성합니다.

1. VA (Virtual Address)

가상메모리상에서 연속된 주소공간을 가르킵니다.

RVA + Imagebase 공식으로 구할 수 있습니다.

- Imagebase 값 (400000)

- RVA 값 (1000)

- RVA + Imagebase = VA 값 (401000)

2. RVA (Relative Virtual Address)

가상메모리에 로드된 파일에서의 상대적인 가상 주소값을 의미합니다.

물리메모리 => 가상공간에 메모리를 할당해서 파일을 로드함 => 가상메모리상의 로드된 파일에서 다시 0x00000000으로 시작하는 가상주소를 사용함

혹시 이해가 되실까요? .....ㅠㅠ

3. RAW

물리적인 장치속의 파일에서 주소값을 가르킵니다.

RVA - VA + Point to raw data 가 구하는 공식입니다.

위 공식에서 VA + Point to raw data 는 section header속의 값입니다.

USER32.dll의 RAW값을 구해보겠습니다.

- RVA 값 (342EA)

- VA, Point to rawdata 값 (각 2d000)

해당 파일에서는 VA와 Point to raw data 값이 동일하네요.

그리고 위 RVA값이 342EA인데, 해당값은 rdata 섹션내에 속하기 떄문에 rdata섹션에서

VA와 Point to raw data를 구했습니다.

- RVA - VA + Point to raw data = RAW 값 (342EA)

해당 주소값에 USER32.dll이 존재하는걸 확인 할 수 있습니다.

4. PE파일의 Optional header 내에 Address of entry point 값은 무엇을 의미할까?

entry point 의 RVA값을 의미합니다.

5. 그렇다면 VA의 entry point를 구하려면?

Address of entrypoint + Imagebase가 구하는 공식입니다.

- Address of enrtypoint (28dca) + Imagebase (400000) = VA entrypoint(428dca)

- immunity debugger로 확인한 entry point값

마무리

PE 상세분석중에 제가 개념들이 헷갈려서 정리를 하는 목적이 큽니다.

PE분석기를 python으로 제작하고 있는데 상세분석하는 과정을 포스팅 할 예정입니다

순서를 보면 PE 상세분석중에 현재 포스팅이 올라왔어야 하는건데 ㅎㅎ

부족한 포스팅 읽어주셔서 매우매우 감사합니다 ! :)

Pcap 파싱하기

dragon82 — Wed, 2 Nov 2016 14:54:07 +0900

1. Pcap 파일이란 무엇인가?

-Packet capture의 약자로 네트워크 트래픽을 캡쳐하기 위한 API로 구성되어 있습니다.

윈도우 시스템에서는 Winpcap이며, 리눅스 시스템에서는 libpcap입니다.

네트워크 트래픽을 분석하기에 아주 용이한 라이브러리의 모음이라고 볼 수 있습니다.

-Pcap file format

[글로벌헤더] + [패킷헤더 + 패킷데이터] + [패킷헤더 + 패킷데이터] ......

[글로벌헤더]

*magic_number: pcap 시그니쳐이며, "0xa1b2c3d4"의 고정값을 가집니다. (32bit)

*version_major, version_minor: pcap파일의 버전을 나타냅니다.(각 16bit)

*thiszone: GMT와 localT의 차이를 나타낸 필드. (32bit)

*sigfig: 0으로 값이 고정되어 있습니다. (32bit)

*snaplen: 캡쳐된 패킷의 길이를 나타냅니다. 보통은 65535값을 가집니다. (32bit)

*network: 데이터 링크 타입을 나타냅니다 OSI7layer에서 2계층을 명시합니다. (32bit)

[패킷헤더]

*ts_sec: 패킷이 언제 캡쳐되었는지를 나타냅니다. (32bit)

*ts_usec: ts_sec을 microseconds로 나타낸 값입니다. (32bit)

*incl_len: pcap에 저장된 패킷데이터의 길이를 나타냅니다. 이 값은 아래 설명 할 orig_len과

글로벌헤더 내의 snaplen보다 결코 클 수 없습니다.

*orig_len: 네트워크에서 캡쳐되었을때 패킷 데이터의 길이입니다. 만약 이 값과 incl_len의 값이 다르다면

글로벌헤더 내의 snaplen의 값으로 패킷 사이즈가 결정됩니다.

2. Pcap 파일을 알기위한 전초전

HxD를 이용하여 pcap속으로 들어가서 하나하나 살펴보도록 하겠습니다.

pcap에서 첫번째 패킷데이터는 어디서부터 시작될까요?

정답은 글로벌헤더+패킷헤더 만큼의 사이즈 이후부터 패킷데이터가 시작합니다.

위 그림을 보시면 빨간 테두리로 둘러싸인 값들이 [글로벌헤더(24byte) + 패킷헤더(16byte)] 입니다.

이 값 이후에 " 00 1C 42 00 00 18 ......" 시작되는 값들이 실제 패킷데이터 부분입니다.

아래 그림에서 와이어샤크로 확인해보도록 하겠습니다.

[글로벌헤더(24byte) + 패킷헤더(16byte)] 이후에 나오는 값들과 위 그림에서 와이어샤크로 확인한 값과

동일한 것을 확인할 수 있습니다.

즉 pcap file은 처음에 [글로벌헤더]가 나온이후 [패킷헤더 + 패킷데이터] + [패킷헤더 + 패킷데이터]의

과정을 반복하면서 마지막 패킷까지 이루어져 있습니다.

지금부터는 패킷데이터들을 살펴볼텐데 대표적으로 [Ethernet frame], [IP frame], [TCP frame]

을 살펴보도록 하겠습니다.

-Ethernet frame: 데이터링크 계층에서 사용되는 대표적인 프로토콜

*preamble: 호스트들과의 비트 동기화를 위해 존재합니다. 물리계층에서 추가되어졌습니다.

*SFD: start of frame delimiter의 약자로 프레임의 시작을 알리는 필드입니다.

다음 필드로 목적지주소 (DA)가 이어진다는 걸 알려줍니다.

*Destination Address: 목적지 주소 입니다.

*Source Address: 출발지 주소 입니다.

*EtherType: 상위계층의 프로토콜 정보를 알려줍니다.

*Data: 데이터부분입니다.

*FCS: frame check sequence의 약자로 전송시에 수신측의 에러검출을 위해 존재합니다.

// preamble, SFD, FCS는 패킷 캡쳐 범위 밖입니다.//

// DA , SA, EtherType은 Ethernet header부분에 해당됩니다//

-IP frame: IP계층에서 사용되는 대표적인 프로토콜

*Version: 버전을 나타내는 필드로 현재는 4버전을 사용하고 있다.

*Header Length: 헤더의 길이를 나타내는 필드로 20 ~ 60byte까지 가변적인 값을 가집니다.

워드 단위로 헤더 길이를 표시합니다.

*Type Of Service: 서비스의 우선순위를 나타내는 필드이지만 IPv4에선 사용되지 않습니다.

*Total Packet Length: IP패킷 전체의 길이를 바이트 단위로 나타냅니다.

*Identifier: fragment 되었을때 어떤 원본 패킷에 일부인지를 확일 할 수 있는 식별자입니다.

*Flags: 3비트의 크기를 가지는데 1번째 비트는 0으로 고정된 값을 가지며

2번째 비트: 0과 1로 구분되며 0은 fragment 가능, 1은 fragment 불가능

3번째 비트: 0과 1로 구분되며 0은 마지막 조각, 1은 뒤에 조각이 더 있음

*fragment offset: 분할된 조각의 순서를 알려주는 필드이다.

분할된 조각의 시작점 위치에서 8을 나눈 값을 가지게 되는데 예를 들어

1500바이트의 패킷이 512바이트의 패킷 3개로 fragment되었다고 가정할때

1번째 패킷은 0바이트 부터 시작하기에 fragment offset의 값이 0이되고

2번째 패킷은 512부터 시작하기에 512/8하면 fragment offset의 값이 64가 된다.

*Time to live: 간단하게 말하면 IP패킷의 수명으로 볼 수 있는데 , 1 ~ 255까지의 값을 가지며,

라우터를 지날 때 마다 1의 값이 감소한다.

*Protocol ID: 상위계층의 프로토콜 타입을 지정해주는 필드입니다.

1: ICMP

2: IGMP

6: TCP

17: UDP

*Header Checksum: 헤더에 대한 오류검출을 하는 필드입니다. 목적지에서 이 필드를 확인하여 결과가

틀리다면 패킷을 버립니다.

*Source IP Address: 출발지 IP주소입니다.

*Destination IP Address: 목적지 IP주소입니다.

*IP Header Options: IP헤더의 필수적인 부분은 아닙니다. 그냥 옵션이 필요하다면 정의할 수 있습니다.

// 별다른 옵션이 추가가 안된다면 기본적으로 20byte로 구성됩니다.//

-Tcp frame: 전송계층에서 사용되는 대표적인 프로토콜 중 하 나

IP가 목적지까지 패킷을 전송 후 TCP는 패킷의 누락

또는 순서의 정렬등을 책임집니다.

때문에 Tcp는 신뢰성있는 프로토콜이라고 불리며, 연결지향적입니다.

각 필드들을 설명하기 전에 MTU와 MSS에 대해서 간단히 설명하겠습니다.

//MTU: Maximum Transmission Unit의 약자로 한번의 프레임에 전송할 수 있는

최대크기의 데이터 또는 패킷이며, 보통은 1500의 크기를 가집니다.

MSS: Maximum Segment size의 약자로 TCP가 한번에 전송 할 수 있는 최대크기의 데이터를 말합니다.

이 값은 MTU값에 의해 좌우되는데 MSS = MTU - IPheader + Tcpheader 의 공식을 가집니다.//

각 필드들을 설명하겠습니다.

*Sourse Port: 출발지 포트주소입니다.

*Destination Port: 목적지 포트주소입니다.

*Sequence Number: 예로 1500byte 패킷을 전송할 때 MSS의 크기가 100이라고 하면 15개의

세그먼트로 쪼개져서 전송이 됩니다. 이때 Sequence Number가 각각의 세그먼트의

첫번째 바이트에 해당하는 값을 번호로 붙입니다. 1번째 패킷은 0~99 까지니깐

"0", 2번째 패킷은 100~199니깐 "100" 3번째는 "200"

*Acknowledgement Number: 전송 받은 패킷에 대한 응답인데 위 예를 그대로 이어 가겠습니다.

1번째 패킷을 전송 받은 수신자는 0 ~ 99 까지의 데이터를 받았기때문에

다음은 100 ~ 199까지의 데이터가 필요로 하게 됩니다.

그래서 100이라는 Ack Number를 응답패킷으로 보내게 됩니다.

즉 받은 패킷의 양 + 1의 값을 더하여 Ack number가 구성되는거죠

Sequence 와 Ack Number가 이해가 되셨나요??..되셨으면 좋겠어요

*HLEN: TCP세그먼트의 길이를 나타냅니다.

*Reserved: 예약필드인데 나중에 사용하기 위해 예약되어 있으며 0으로 세팅되어 있습니다.

*Codebits: 6개의 비트로 이루어져 있고 세그먼트의 용도와 내용을 결정하는 필드입니다.

URG: 긴급 데이터라는 뜻이며, 이 비트값이 채워지면 순서에 상관없이 먼저 송신됩니다.

ACK: Ack number의 유무를 알리는 비트이며, 0은 Ack num이 없다는 뜻이며 1은 있다는 뜻

입니다. SYN패킷 이후 세그먼트들은 전부 이 비트값이 1로 채워집니다.

PSH: 이 비트값이 세팅되면 수신측은 받는 즉시 Application단으로 송신해야합니다.

RST: 연결장비에 문제가 생겼으므로 초기화를 진행해야 한다는 뜻이며, 이 값이 채워지면

연결이 종료됩니다.

SYN: TCP연결을 할 때 양 호스트간 순서번호를 동기화 하는 목적으로 사용됩니다.

FIN: 송신측이 데이터 송신을 마쳤다는 뜻이며 연결 종료를 요청한다는 뜻입니다.

*Window Size: 흐름제어를 위해 사용되는 필드로 상대편에게 자신의 여유 버퍼크기를 지속적으로

알려주는 역할을 합니다.

*CheckSum: 전송중에 Tcp segment 데이터는 훼손이나 변조가 될 수가 있는데 이를 확인하기 위한

필드입니다.

*Urgent Pointer: Codebits의 URG비트와 같이 사용되며, 긴급데이터의 마지막 바이트 순서번호입니다.

*Option & Padding: Option 필드는 말그대로 Tcp 헤더에 옵션을 추가하는거고 Padding은

이 Option필드가 32의 배수가 되지 않으면 0을 추가하여 배수가 되도록 정렬하는

역할을 합니다.

// 별다른 옵션이 추가가 안된다면 기본적으로 20byte로 구성됩니다. //

3. Pcap parser 만들기!

제가 만들 파일은 TCP에서 80port(http) 통신할때 전송하는 파일을 제가 원하는 폴더에

드랍시키는것입니다. 과정중에 각 패킷별로 Layer정보도 print 하도록 하겠습니다.

그럼 하나하나 파싱을 시작해볼게요.

1) Layer2 information

Lay2는 Ethernet frame속의 Ethernet header 필드를 사이즈에 맞게 파싱합니다.

목적지주소(6byte) + 출발지주소(6byte) + 상위계층 프로토콜타입 (2byte) 입니다.

위에서도 설명했듯이 패킷데이터는 [글로벌헤더 + 패킷헤더] 다음에 존재합니다.

1번째 패킷은 [글로벌헤더 + 패킷헤더] + [해당 패킷 데이터의 길이] 만큼의 값을 가지겠네요.

2번째 패킷은 [글로벌헤더 + 패킷헤더] + [1번째 패킷 데이터의 길이] 만큼의 값 다음에 존재하게 됩니다.

//배열을 선언하여 각 패킷의 순서, 길이, 데이터를 구하는 코드입니다.

idx라고 표현한 값이 파일 사이즈보다 작을때까지 (즉 데이터사이즈가 파일사이즈보다 커지기 전까지)

pkg_list()는 푸틴이 진행되면서 1번째 인자로 인덱스를, 2번째 인자로 길이를, 3번째 인자로 데이터를

저장하게 됩니다.

그리고 idx에는 idx + PKG_H_SIZE(패킷 헤더사이즈) + pkg_length(패킷 데이터길이)가더해지면서 각 패킷의 순서를 매겨가게 됩니다.

목적지주소: data[0:6]

출발지주소: data[6:12]

상위계층 프로토콜 타입: data[12:24]

1번째 사진은 와이어샤크로 확인한 1번째 패킷의 이더넷 부분입니다.

목적지주소와 출발지주소 그리고 프로토콜 타입의 값들과 아래 사진에서 보시는

제가 파싱한 값과 일치하는걸 확인 할 수 있습니다.

2) Layer 3 information

Lay3는 IP frame속의 IP header 필드를 사이즈에 맞게 파싱합니다.

IP정보는 [글로벌헤더 + 패킷헤더] + [Ehternet Size] 다음에 위치하게 됩니다.

여기서 Ethernet header는 위에서도 언급했듯이 패킷 데이터 = Ethernet frame속의 Ethernet header필드입니다.

data[0:14]까지가 Ethernet 정보를 담고 있기때문에 data[14:34]까지가 IP 정보를 가지고 있습니다.

하지만 저희는 Total packet length, protocol type, source ip, destination ip 필드만 프린트하도록 하겠습니다.

Total Packet Length: data[ETHER_SIZE+2:ETHER_SIZE+4]

source IP: data[ETHER_SIZE+12:ETHER_SIZE+16]

destination IP: data[ETHER_SIZE+16:ETHER_SIZE+20]

protocol IP: data[ETHER_SIZE+9:ETHER_SIZE+10]

Total Packet Length = 0x005f = int(95)

source IP = 0x0a.d3.37.03 = int(10.211.55.3)

destination IP = 0x6d.65.48.1b = int(109.101.72.27)

protocol ID = 0x11 = int(17)

값들이 정확하게 파싱되었습니다.

참고로 위 IP들은 쉬프트연산을 이용하여 오른쪽으로 이동시켜줘야합니다.

왜냐면 0a.d3.37.03 으로 끊어서 형변환을 해서 프린트 하기 위함이죠

아니면 0x0ad33703이 한번에 변환되서 엄청난 값이 프린트될거에요.

3) Layer 4 information

Lay4는 TCP정보를 파싱합니다.

TCP정보는 [글로벌헤더 + 패킷헤더] + [Ehternet Size] + [IP Size] 다음에 위치하게 됩니다.

source port, destination port, sequence number, code bits(flag information)필드를 프린트 하겠습니다.

source port: data[ETHER_SIZE+IP_SIZE:ETHER_SIZE+IP_SIZE+2]

dst port: data[ETHER_SIZE+IP_SIZE+2:ETHER_SIZE+IP_SIZE+4]

sequence number: 시퀀스 넘버는 와이어샤크상에서 특별한 값을 가집니다.

보안상의 문제로 인하여 랜덤한 값 4바이트가 바이너리에 저장되게 되는데요

어차피 그래도 특정한 값은 들어가니깐 그 값을 기준으로 넥스트 시퀀스 넘버와

에크넘버를 구하면 됩니다.

넥스트 시퀀스 넘버를 구하는 공식은 시퀀스넘버 + segment length 값입니다.

와이어샤크로 확인해보겠습니다.

첫번째 사진부터 살펴보시면 Tcp segment length가 "604"이고 Sequence Num이 "1"입니다.

그리고 Next Sequence Num은 "605"라고 되어있습니다. 바이너리 값을 한번 확인해주세요

시퀀스 넘버인 00 00 00 01이 아닌 c5 9a 86 9e 라는 랜덤한 값이 들어가 있습니다.

그럼 두번째 사진을 살펴보실까요?

2번째로 단편화된 패킷입니다. 시퀀스넘버가 "605"부터 시작되는걸 확인할 수 있습니다.

그리고 바이너리 값도 아까 첫번째 사진에서 본 값에서 헥스값으로 "604"만큼의 값이 증가한 걸

알 수 있습니다.

그럼 Ack Num은 어떻게 될까요?

1번째로 단편화된 패킷에서 시퀀스 넘버는 "1", 당연히 Ack num은 "0"이겠죠?

Next Sequence값이 "605"이기 때문에 1번째 패킷을 받은 수신자측은 "605"의 Ack num을

응답 패킷에 담아 보내게 됩니다.

"605"의 Ack num을 응답패킷으로 날리는걸 확인 할 수 있습니다.

바이너리상에 Ack num은 2번째 사진에서 Sequence Num인 "605"와 동일하겠죠?

동일하네요.

아까 위 Tcp frame에서 확인 한 내용입니다. 하지만 실제로 이 부분이 제일 까다롭습니다.

단편화된 세그먼크들을 순서에 맞게 정렬하여 하나의 파일로 만드는 작업이 제일 시간도

많이 걸리고 고생했습니다..ㅠㅠ 제가 완전 초보라서 진짜 어떻게 해야 할지 막막했습니다.

Sequence 와 Ack number는 이렇게 넘길게요

Code bits(Flag information): data[ETHER_SIZE+IP_SIZE+13:ETHER_SIZE+IP_SIZE+14]

flags는 FIN = 0x01,SYN = 0x02,RST = 0x04,PSH = 0x08

ACK = 0x10,URG = 0x20

이렇게 변수를 선언한 후 바이너리상에 저장된 flag의 합을 얻어와서

위 변수 값들이 속해있으면 print 되도록 구성했습니다.

TCP정보를 포함하고 있는 패킷을 확인해보겠습니다.

flag값이 SYN 하나밖이네요. 아마 처음 시작하는 패킷인가 봅니다.

그럼 Code bits 값이 0x02가 바이너리상에 저장되어 있겠네요 와이어샤크로 확인해보겠습니다.

와이어샤크에서 확인 한 결과 정확하게 SYN값이 저장되어 있네요.

이렇게해서 Layer4까지 파싱해서 print하는건 완료되었습니다.

이젠 TCP 80port http상에서 전송중인 파일을 로컬로 저장시키는 작업을 진행하겠습니다.

4. pcap상에서 전송되는 파일 로컬로 저장시키기!

이번 작업에서는 아래 2가지를 중점으로 진행하겠습니다.

- 단편화된 세그먼트들 순서 정렬하여 하나의 파일로 합치기

- 각 파일의 시그니쳐를 저장하고 그 시그니쳐를 기반으로 파일의 종류를 결정하기

http1.1에서는 커넥션이 끊어지지않고 연결되어있는데 그렇다면 본문내용이 얼마만큼인지,

어디가 끝인지를 어떻게 확인할까요? 2가지 방식이 있는데 1번째는 Contents-Length를 보여주는 방식입니다.

1) 단편화된 세그먼트 정렬하여 하나의 파일로 합치기

*단편화된 세그먼트들이 최종적으로 하나로 합쳐졌을때 Contents-Length 값은 단편화된 세그먼트들을

모두 합친값.

*헤더값을 제외하고 데이터만 뽑기 위해서는 "\r\n\r\n" 값 이후의 값들을 Dump합니다.

http헤더값을 제외한 후 진짜 데이터시작부분 (파일 시그니쳐 부분)부터 Dump해야

데이터만 추출되기 때문입니다. http헤더 마지막에 0d0a = "\r\n"이 나오고 파일시그니쳐 앞에

0d0a = "\r\n"이 한번더 나오는데 즉 2번연속 0d0a0d0a = "\r\n\r\n"값 이후로 파일시그니쳐가

바로 시작됩니다. 이 포인트를 기준으로 잡습니다.

*len(dump)의 값을 변수로 잡아줍니다.

*Next Sequence Number를 구하는 공식은 아래와 같습니다.

현재 패킷의 Sequence Number + Total Packet Length - [글로벌헤더 + 패킷헤더]입니다.

즉 현재 패킷에서 Next Sequence Number를 구할 수가 있습니다.

와이어샤크상에선 표시되지만 정작 바이너리상에선 Next Seqence Number는 저장되어있지 않습니다.

*패킷 카운트만큼 반복 루틴을 이용하여 현재 시퀀스 넘버와 넥스트시퀀스 넘버가 같다면

현재 dump file에 해당 찾은 패킷의 dump를 더하고 루틴을 계쏙해서 반복해나갑니다.

언제까지 반복할까요?

Contents-Length와 len(dump)의 값이 같아질떄까지 반복합니다.

저 두 값이 같아졌다는 말은 단편화된 세그먼트들이 최종적으로 합쳐졌다는 의미입니다.

여기서 break문을 걸고 파일을 로컬로 저장하면 완료입니다.

위 사진은 단편화된 세그먼트들이 최종적으로 합쳐졌을때의 Contents-Length값입니다.

확인해보도록 하겠습니다.

위 Content-Length값과 와이어샤크로 확인한 9992번째 패킷의 Contents-length값이 "2059829"로

동일한 것을 확인할 수 있습니다.

넥스트 시퀀스 넘버를 가진 패킷을 찾으면 "\r\n\r\n"이후로 dump를 뜨고 기존의 dump에 더해주는 과정을 계속 반복합니다

Content length와 len(dump)값이 같아 질 때까지.

같아지면 로컬에 파일을 저장합니다.

위 사진은 실제로 http헤더의 마지막에 "\r\n\r\n"이 존재하는 모습입니다 이후로 데이터만 존재하게 됩니다.

2)file Signature

* http://forensic-proof.com/archives/300 에서 파일시그니쳐들을 확인하실 수 있습니다.

예로 위의 시그니쳐들을 전역 변수로 선언하였습니다.

시그니쳐를 찾는 함수입니다.

"\r\n\r\n"을 분기점으로 이후에 바로 파일 시그니쳐가 나오기때문에 위와같이 코드를 작성하였습니다.

예로 png mp4 gif mp3 파일만 등록해놨습니다.

이렇게 프로그램을 구성하고 최종적으로 pcap속의 파일들을 추출 해봤습니다.

패킷속에 gif png파일들은 다 추출되네요..

시그니쳐들을 더 추가하시면 그리고 패킷속에 해당 파일들이 존재한다면 다 추출이 될거같습니다.

파일의 이름도 파일 종류별로 폴더에 정리하는것도 해주면 좋겠다는 생각이 듭니다.

여기까지 pcap파일의 구성과 각각의 내용을 파싱해보고 또 전송된 파일들을 로컬로 저장시키는것 까지

해보았습니다.

많이 부족하고 두서도없고 정리도 잘안되어있지만 열심히 했으니 혹시라도 정말

이 포스팅을 보고 참고를 하는 분들이 계시다면 얼마나 감사할까요

너무 허접해서 소스 전부를 못올리는점 양해부탁드리고

이렇게 포스팅을 마치도록 하겠습니다.

감사합니다..^^