AI 모의해킹 직접 써본 후기, 드러난 7가지 한계

AI 자율 모의해킹 도구를 구축만 해보는 글은 많습니다. 그래서 이번엔 다르게, 인가받은 대상에 실제로 끝까지 돌려 보고 무엇이 되고 무엇이 안 되는지를 직접 확인했습니다. 결론부터 말하면, "명령 한 번이면 끝"이라는 기대와 현실은 꽤 멀었습니다. 이 글은 완주 후기이자, 지금 이 기술의 현주소를 정리한 기록입니다.

📌 3줄 요약

· AI 자율 모의해킹은 쓸모가 있지만, 사전 설정·오탐 검수·수동 점검 병행이 필수인 "보조 도구"입니다.

· 실전에서 7가지 한계가 드러났습니다: 턴 제한, 사전 설정, 오탐, 인가 판단 불가, 2차 인증, 컨텍스트 망각, 증거 판단 부재.

· 학술 연구도 "완전 자율 침투 테스트는 아직 멀었다"고 결론 내립니다.

※ 본 글은 실무에서 겪은 유형을 일반화한 기록이며 특정 조직·서비스와 무관합니다. 점검은 소유자 사전 인가를 받은 대상과 본인 소유의 연습 환경에서만 진행했고, 대상·조직·계정·주소 등 식별 정보는 모두 바꾸거나 뺐습니다.

---

🤔 "명령 한 번이면 끝" 아닌가요?

자율 모의해킹 도구를 처음 접하면 이런 기대를 하게 됩니다. "대상만 지정하면 AI가 알아서 전부 점검하고 보고서까지 주겠지." 저도 그렇게 시작했습니다. 그런데 실제로 완주해 보니, 도구가 혼자 한 일보다 사람이 옆에서 한 일이 훨씬 많았습니다.

계정을 준비하고, 목표를 상세히 쓰고, 비교할 값을 직접 넣고, 실행 상한을 조정하고, 결과의 오탐을 걸러내고, 도구가 못 본 영역을 수동으로 점검했습니다. 도구는 "넓게 훑어 후보를 뽑는" 역할이었고, 판단과 책임은 전부 사람 몫이었습니다.

---

⚠️ 실전에서 드러난 7가지 한계

직접 끝까지 돌리며 확인한 한계들입니다. 일부는 흔히 언급되지만, 몇 가지는 실제로 써봐야 체감되는 것들이었습니다.

한계	실제로 겪은 모습
1. 대화(턴) 제한	작업 종류별 대화 횟수 예산이 정해져 있어, 상한을 올려도 한 실행에 사실상 한 화면씩만 점검됐습니다. 여러 화면을 여러 번 나눠 돌려야 했습니다.
2. 사전 설정 부담	계정 준비, 상세한 목표 작성, 비교할 값 주입, 상한 조정까지 사람이 미리 많이 세팅해야 제대로 돌았습니다.
3. 오탐	"Critical 취약점"으로 보고된 것이 실은 정상 동작이었습니다. 결과를 그대로 믿으면 안 됩니다.
4. 정상·인가 판단 불가	"이 동작이 정상인가, 이 계정이 봐도 되는가"는 권한 모델과 인가 범위를 아는 사람만 판단할 수 있습니다. 도구는 "보였다"만 압니다.
5. 2차 인증	OTP를 받을 통로가 없어 2차 인증 뒤는 사실상 점검이 어렵습니다.
6. 컨텍스트 망각	실행이 길어지면 앞 내용을 잊고, 실행을 이어 붙이기도 까다로워 매번 처음부터 다시 시작하게 됐습니다.
7. 증거·난이도 판단 부재	"증거가 충분한가", "어느 경로가 유망한가"를 스스로 가늠하지 못해, 쉬운 것 하나를 확인하면 멈추는 경향이 있습니다.

💡 학술 연구도 같은 결론

2026년 발표된 LLM 침투 테스트 에이전트 연구들도 같은 한계를 지적합니다. 에이전트가 컨텍스트 소비를 감시하지 못해 공격 체인을 완성하기 전에 컨텍스트를 소진하고, 작업 난이도를 실시간으로 판단하지 못해 가치가 낮은 경로에 매달린다는 것입니다. 결론도 분명합니다. "완전 자율 침투 테스트는 아직 멀었다."

---

💡 "취약점 없음"을 그대로 믿어도 될까

실습에서 점검한 모든 화면이 "발견 없음"으로 나왔습니다. 여기서 많은 분이 안심하지만, 이게 바로 가장 조심해야 할 지점입니다. "발견 없음"은 "안전함"이 아니라 "이 좁은 범위에서 이 방법으로는 안 보였음"일 뿐입니다.

이번 "발견 없음"에는 이런 한정이 붙습니다.

• 로그인 후의 읽기(조회)만 봤습니다. 쓰기·수정·삭제 권한 경계는 안 봤습니다.
• 조직 파라미터 조작 같은 한 가지 유형만 봤습니다. 세션 로직, 권한 상승, 비즈니스 로직은 제외됐습니다.
• 결제 탭 등 민감 기능과 일부 화면은 아예 점검하지 않았습니다.
• 응답 크기만 비교했습니다. 크기가 같아도 내용이 다를 가능성을 완전히 배제하진 못합니다.

즉 "취약점이 없다"가 아니라 "점검한 범위에서, 이 방법으로는 교차 접근이 안 됐다"가 정확한 표현입니다. 자동 점검 결과에 의구심을 갖는 것은 실수가 아니라, 오히려 반드시 필요한 태도입니다.

---

🛠 그래서 어디에 쓰면 좋은가

한계를 알고 나면 쓸 자리가 분명해집니다. 역할을 나누는 것이 핵심입니다.

AI 자율 도구에 맡기면 좋은 일	사람이 맡아야 하는 일
인증 전 영역 정찰, 넓고 빠른 표면 훑기	오탐·정상 여부 최종 판정
점검 아이디어·다음 단계 제안	권한·인가 범위 해석
단순 반복 확인(여러 표면 동일 패턴 점검)	2차 인증·세션·권한 상승·비즈니스 로직

🚫 하지 말 것

인가 없이 돌리지 마세요. 그리고 "AI가 점검했으니 안전하다"는 결론을 내리지 마세요. 자동 점검은 수동 점검을 대체하는 것이 아니라, 수동 점검의 출발점을 넓혀 주는 것입니다.

---

🎉 정리

AI 자율 모의해킹을 끝까지 써본 결론은 이렇습니다. 지금은 "자동 점검기"가 아니라 "똑똑한 조수"입니다. 넓게 빠르게 후보를 뽑아 주지만, 턴 제한에 걸리고, 사전 설정을 요구하고, 오탐을 내고, 인증 뒤를 못 보고, 정상·인가 여부는 판단하지 못합니다. 그 빈자리를 사람이 채우고 최종 판정을 내릴 때 비로소 쓸모가 완성됩니다.

그러니 "AI가 점검했으니 끝"이 아니라, "AI가 초벌을 했으니 이제 사람이 본다"가 맞는 사용법입니다. 자동화의 발전은 빠르지만, 적어도 지금은 사람의 판단을 대신하지 못합니다.

✅ 현실적 사용 체크리스트

· 인가·범위를 문서로 정하고, 인가된 대상에만 돌린다

· 작업을 작게 나누고 실행 상한·실시간 관찰을 건다

· 접근통제는 권한이 다른 2개 계정으로 비교한다

· 모든 발견은 권한 모델에 비추어 사람이 재확인한다

· "발견 없음"은 점검 범위에 한정해 해석한다

· 인증 뒤·권한 상승·비즈니스 로직은 수동으로 보완한다

💬 자주 묻는 질문

Q. 그래도 쓸 가치가 있나요?
있습니다. 정찰과 후보 발굴을 빠르게 해 주고, 다음에 뭘 볼지 아이디어를 줍니다. 다만 "점검자"가 아니라 "조수"로 쓸 때의 이야기입니다.

Q. 설정을 잘하면 한계가 사라지나요?
사전 설정을 잘하면 오탐과 중단은 줄일 수 있습니다. 하지만 2차 인증, 인가 판단, 증거 충분성 같은 한계는 설정으로 해결되지 않습니다. 이건 구조적·기능적 한계입니다.

Q. 앞으로 완전 자동화가 될까요?
빠르게 발전 중이지만, 2026년 현재 학술 연구도 "완전 자율 침투 테스트는 아직 멀었다"고 봅니다. 당분간은 사람과 함께 쓰는 도구입니다.

🔗 참고 자료

· PentestGPT 공식 저장소: https://github.com/GreyDGL/PentestGPT
· LLM 침투 테스트 에이전트의 한계 분석(2026): https://arxiv.org/abs/2602.17622
· PentestGPT 원논문(USENIX Security 2024): https://www.usenix.org/system/files/usenixsecurity24-deng.pdf
· OWASP Top 10:2025 A01 접근통제 실패: https://owasp.org/Top10/2025/A01_2025-Broken_Access_Control/

---

이 시리즈의 1편은 구축, 2편은 사내망 인증서 오류, 3편은 자율 점검의 한계와 오탐 사례를 다뤘습니다. 이 글은 그 전체를 완주한 뒤의 종합 후기입니다.

※ 본 글은 실무 유형을 일반화한 기록으로, 특정 조직·서비스와 무관합니다.