범죄 해커들이 인공지능을 이용해 실제로 작동하는 제로데이 취약점을 만들어냈습니다

구글의 위협 인텔리전스 그룹은 일요일, 인공지능 모델의 도움을 받아 제작된 것으로 추정되는 최초의 제로데이 취약점을 발견했다고 밝혔습니다.

구글이 클라우드 블로그에 발표한 보고서에 따르면, 한 범죄 해킹 그룹이 오픈 소스 웹 관리 도구의 2단계 인증(2FA)을 우회하기 위해 파이썬 스크립트를 작성했습니다. 구글은 대규모 악용이 시작되기 전에 해당 업체와 협력하여 이를 막았습니다.

구글은 코드 패턴을 통해 해당 취약점을 인공지능과 연결시켰습니다

구글은 자사의 제미니 모델을 탓하지 않았습니다. 분석가들은 코드에서tron된 구조적 패턴이 인공지능의 개입을 강력하게 시사한다고 지적했습니다.

구글은 "이러한 공격의 구조와 내용을 바탕으로, 공격자가 인공지능 모델을 활용하여 이 취약점을 발견하고 악용했을 가능성이 매우 높다고 확신한다"고 밝혔습니다.

해당 파이썬 스크립트는 비정상적으로 상세한 교육용 문서 문자열, 허황된 CVSS 심각도 점수, 그리고 대규모 언어 모델 출력에서 흔히 볼 수 있는 형식을 가지고 있었습니다.

여기에는 체계적인 도움말 메뉴와 교과서 스타일로 작성된 깔끔한 색상 구성이 포함됩니다.

구글은 해킹 그룹의 이름이나 공격 대상이 된 특정 도구를 공개하지 않았습니다.

국가 지원을 받는 해커들이 취약점 연구에 AI 모델을 사용합니다

구글의 보고서는 단일 제로데이 취약점 사례에 그치지 않습니다.

구글의 위협 인텔리전스 그룹에 따르면, 중국과 북한과 연계된 해커들이 인공지능을 이용해 소프트웨어 결함을 찾아내고 악용하는 데tron관심을 보이고 있다.

UNC2814로 알려진 중국 위협 그룹은 통신 및 정부 기관을 공격합니다. 이 그룹은 구글이 '페르소나 기반 탈옥'이라고 부르는 기술을 사용합니다.

해당 그룹은 AI 모델 에게 선임 보안 감사관처럼 행동하도록 지시한 다음, TP-Link와 Odette의 파일 전송 프로토콜(FTP) 구현에서 사용되는 임베디드 장치 펌웨어를 분석하여 원격 코드 실행 취약점을 찾아내도록 했습니다.

해당 그룹은 AI 모델을 선임 보안 감사관으로 활용한 후, TP-Link 임베디드 장치 펌웨어와 Odette 파일 전송 프로토콜 구현에서 원격 코드 실행 취약점을 검색하도록 지시했습니다.

중국과 연관된 또 다른 그룹은 Strix와 Hexstrike라는 도구를 사용하여 일본의 한 IT 기업과 동아시아의 주요 사이버 보안 회사를 공격했습니다.

북한의 APT45 그룹은 다른 접근 방식을 취했습니다. 알려진 CVE 항목을 재귀적으로 분석하고 개념 증명 익스플로잇을 검증하기 위해 수천 건의 반복적인 프롬프트를 전송했습니다.

구글은 이 방법이 "인공지능의 도움 없이는 관리하기 비현실적인 더욱 강력한 공격 수단들을 만들어낸다"고 밝혔습니다

AI는 새로운 형태의 악성 소프트웨어와 회피 기술을 가능하게 합니다

구글 보고서는 취약점 연구 외에도 다른 AI 위협을 다루고 있습니다.

러시아 해커로 추정되는 사람들이 인공지능을 이용해 변이형 악성코드와 난독화 네트워크를 구축했습니다. 이 악성코드는 개발 주기를 단축하고 탐지를 회피하는 데 도움을 줍니다.

구글은 또한 PROMPTSPY라는 악성코드에 대해 경고했는데, 이는 자율 공격 방식으로의 전환을 의미한다고 설명했습니다. 이 악성코드는 AI 모델을 사용하여 시스템 상태를 해석하고 피해자 환경을 조작하는 명령을 동적으로 생성합니다. 공격자는 운영상의 의사 결정을 모델 자체에 맡길 수 있습니다.

이제 공격자들은 특수 미들웨어와 자동화된 계정 등록 시스템을 통해 익명화된 프리미엄 등급의 언어 모델 접근 권한을 확보합니다. 이러한 서비스를 통해 해커들은 체험 계정을 활용하여 활동 자금을 조달함으로써 사용 제한을 대규모로 우회할 수 있습니다.

구글이 TeamPCP(UNC6780으로도 알려짐)로 trac하는 한 그룹이 AI 소프트웨어의 의존성을 공격 대상으로 삼아 더 광범위한 네트워크로 침투하기 시작했습니다. 이들은 손상된 AI 도구를 발판으로 삼아 랜섬웨어를 배포하고 금전을 갈취합니다.

구글은 자사의 AI 도구를 방어적으로 사용한다고 밝혔습니다. 구글은 소프트웨어 취약점을 식별하는 AI 에이전트인 빅 슬립(Big Sleep)dent과 제미니(Gemini)의 추론 방식을 활용하여 결함을 자동으로 패치하는 코드멘더(CodeMender)를matic.

구글은 또한 악의적인 목적으로 제미니를 오용하는 것이 적발된 계정은 비활성화한다고 밝혔습니다.

이 글을 읽고 계시다면 이미 앞서 나가고 계신 겁니다. 뉴스레터를 구독하시면 더욱 유익한 정보를 받아보실 수 있습니다.