레고GPT는 자연어 텍스트 설명을 입력하면, 실제로 사람이 조립할 수 있는 물리적으로 안정적인 레고 구조물을 자동으로 설계해 주는 인공지능 모델이다.
즉, 단순한 이미지 생성이 아니라, “이 문장에 맞는 레고 브릭 배치와 조립 순서”를 설계하고, 그 결과물을 3가지 형식(output.png, output.txt, output.ldr)으로 제공한다.
개발진: 카네기멜론대학교 연구진
논문: 2025년 arXiv에 공개된 ‘Generating Physically Stable and Buildable LEGO Designs from Text’
기본 모델: 메타의 Llama-3.2-1B-Instruct 모델을 미세조정하여 사용
학습 데이터: 4만7천 개 이상의 물리적으로 안정적인 레고 구조물과 설명을 담은 StableText2Lego 데이터셋
안정성 검증: Gurobi 라이선스를 사용해 각 설계의 물리적 안정성을 수학적 최적화로 분석
설계 방식: 텍스트를 받아 브릭의 종류(높이, 너비), 위치(x,y,z 좌표), 색상까지 포함하는 레고 조립 토큰을 순차적으로 생성
출력 파일:
output.png : 렌더링된 이미지
output.txt : 텍스트 기반 브릭 위치 및 크기 정보
output.ldr : LDraw 포맷으로, LDraw 호환 프로그램에서 열 수 있음
설치 및 실행
Python 기반이며 uv 프로젝트 관리자를 이용해 의존성 설치 가능
Gurobi 라이선스 필요(학술용 무료 신청 가능)
ImportLDraw 모듈을 설치하면 렌더링 기능 사용 가능
Hugging Face에서 모델 가중치를 자동 다운로드하여 추론 가능
커맨드 라인 인터페이스로 텍스트 입력 → 레고 설계도 생성
사용 예시
bash
복사
uv run infer
Enter a prompt, or to exit: Table featuring a flat rectangular surface over four evenly spaced legs.
Enter a filename to save the output image (default=output.png): output.png
Enter a generation seed (default=42): 42
결과 생성에 약 1분 이상 소요
출력물은 이미지, 텍스트, LDraw 형식으로 저장됨
텍스트 파일에 브릭별 크기와 위치가 상세히 기록돼 있음
주요 특징 요약
기능 설명
물리적 안정성 수학적 최적화와 시뮬레이션으로 무너지지 않는 설계 생성
텍스트 → 설계도 자동 변환 자연어 설명을 레고 브릭 배치와 조립 토큰으로 변환
다양한 출력 형식 지원 이미지, 텍스트, LDraw 포맷으로 결과 제공
텍스처 및 색상 지원 브릭 색상 지정 가능, 시각적 리얼리즘 제공
오픈소스 및 데모 공개 GitHub 및 Hugging Face에서 코드와 모델, 데모 서비스 공개
활용 가능 분야
레고 팬들의 창작 활동 지원
로봇 팔을 활용한 자동 조립 시스템 연구
AI 기반 물리 설계 및 자동화 기술 개발
교육용 및 프로토타이핑 툴
참고 및 출처
프로젝트 웹사이트 : https://avalovelace1.github.io/LegoGPT/
공식 GitHub: https://github.com/AvaLovelace1/LegoGPT
프로젝트 페이지 및 데모: https://huggingface.co/spaces/cmu-gil/LegoGPT-Demo
논문(arXiv): arXiv:2505.05469
Gurobi 라이선스: https://www.gurobi.com/academic-license/
레고GPT는 자연어만으로 실제 조립 가능한 레고 구조물을 설계하는 혁신적인 AI 기술로, 창작의 문턱을 크게 낮췄다.
물리적 안정성을 보장하는 설계 방식과 다양한 출력 형식 지원으로 실생활과 연구, 교육 등 다양한 분야에서 활용 가능하다.
앞으로 레고GPT를 기반으로 한 자동 조립 로봇이나 맞춤형 설계 서비스 등 새로운 가능성이 기대된다. AI와 창의성이 만나 만들어낼 미래가 더욱 궁금해지는 시점이다.