LEE HEEYEON
프로젝트로 돌아가기
LLM · 실행 기반 검증

LLM 생성 코드 검증 프레임워크

생성 코드를 실제 컴파일·실행하고 Sanitizer 결과를 다시 피드백하는 검증 파이프라인을 연구했습니다.

실행 기반 피드백 루프
LLM 생성 C/C++ 코드 검증
역할
연구·구현 (3인 팀)
기간
2024.08 – 2024.12
팀
3인 학부 캡스톤 프로젝트
담당 영역
  • C/C++ 문제·코드 데이터 수집·가공 참여
  • 실행 및 Sanitizer 결과를 피드백으로 연결하는 파이프라인 구현 참여
  • 정량 지표 기반 성능 검증 참여
PythonQwen 2.5 Coder familyLoRAC++ Sanitizer
01

핵심 문제

LLM이 생성한 코드는 겉으로는 그럴듯해도 실제로 컴파일·실행하면 오류가 드러나는 경우가 있습니다. 모델 성능 자체보다, 생성 결과를 실행 근거로 검증하고 그 결과를 다시 리뷰에 반영하는 품질 개선 프로세스를 설계하는 데 초점을 둔 연구성 프로토타입입니다.

LLM 생성 코드를 그대로 신뢰하면 컴파일·실행 단계의 오류를 놓칠 수 있습니다.

정적인 정답 비교만으로는 런타임 메모리 오류 같은 문제를 잡기 어렵습니다.

품질을 정량적으로 검증할 데이터셋과 지표 체계가 필요했습니다.

02

시스템 구조

자연어 요구사항을 정형화해 C/C++ 코드를 생성하고 컴파일 실행 및 Sanitizer 결과를 코드 리뷰에 전달해 수정 피드백과 재생성으로 이어지며 외부 지표로 평가하는 구조도
03

트러블슈팅과 의사결정

정적 비교에서 실행 기반 검증으로 확장하면서 파이프라인 복잡도와 검증 범위를 함께 다뤘습니다.

정적 비교가 놓치는 런타임 오류

문제

생성 코드가 정답과 유사해 보여도 실행 시 오류가 나는 경우가 있었습니다.

CHECKED

정적 비교와 실제 실행 결과의 차이를 사례별로 확인했습니다.

선택

실제 컴파일·실행과 C++ Sanitizer 결과를 리뷰 과정에 다시 전달하는 실행 기반 피드백 루프를 구성했습니다.

선택 이유

실행 근거를 검증에 사용하면 정적 비교가 놓치는 런타임 오류를 반영할 수 있습니다.

TRADE-OFF

컴파일·실행·Sanitizer 실행 환경을 갖춰야 해 파이프라인 복잡도가 커집니다.

VERIFIED

DebugBench, CodeJudge 등 지표로 피드백 전후 결과를 비교했습니다.

04

검증과 한계

검증

  • C/C++ 문제·코드 기반 학습 데이터셋을 구축했습니다.
  • DebugBench, CodeJudge 등 지표로 검증 파이프라인의 효과를 비교했습니다.

한계

  • 연구성 프로토타입 단계로, 프로덕션 수준의 안정성은 확보하지 않았습니다.
  • 일부 모델·데이터 규모 관련 기록이 상충해 세부 수치는 보수적으로 다룹니다.
05

확인 가능한 자료

sanitizer.py