GTP-OSS, OpenAI가 GPT-2 이후 최초의 오픈 웨이트 언어 모델인 GPT-OSS를 공개했습니다.

oss-120b와 oss-20b 두 모델로 구성된 이번 릴리즈는 Apache 2.0 라이선스 하에 제공되며, 비슷한 규모의 오픈 모델 대비

추론 작업에서 뛰어난 성능을 보여주고 소비자 하드웨어에서의 효율적인 배포를 위해 최적화되었습니다.

” 하루가 빠르게 진화되는 AI들을 보면서 여러분은 어떤 생각을 하시나요?

AI로 시작해서 AI로 끝나는 제가 드릴 수 있는 말은 딱 1가지 입니다. ‘ 검증 또 검증’ _J “

• 자 복잡하죠? 쉽게 말해서
• -OpenAI가 무료로 사용할 수 있는 강력한 AI 모델 두 개를 공개했어요.
• 큰 모델은 80GB, 작은 모델은 16GB 메모리만 있으면 개인 컴퓨터에서도 실행 가능합니다.
• 즉, 무료로 다운 받아서 사용하는 모델이다. 이미지 생성 등은 않되는 텍스트 기반 모델
  
  

1. GPT-OSS 모델 개요

1-1. 핵심 성능과 특징

GPT OSS는 두 개의 핵심 모델로 구성됩니다.

gpt-oss-120b는 1,170억 개의 총 매개변수를 보유하며 토큰당 51억 개의 매개변수를 활성화하고, gpt-oss-20b는 210억 개의 총 매개변수로

토큰당 36억 개의 매개변수를 활성화합니다.

특히 주목할 점은 gpt-oss-120b가 OpenAI o4-mini와 거의 동등한 성능을 달성하면서도 단일 80GB GPU에서 효율적으로 작동할 수

있다는 것입니다.

gpt-oss-20b는 OpenAI o3-mini와 비슷한 결과를 제공하면서도 16GB 메모리의 엣지 디바이스에서 실행 가능합니다.

1-2. 훈련 방식과 안전성

이 두 GPT-OSS 모델은 o3 및 다른 이전 시스템을 포함한 OpenAI의 가장 고급 내부 모델을 기반으로 한 강화 학습과 기법을 조합하여 훈련되었습니다.

OpenAI는 포괄적인 안전 훈련과 평가를 통해 모델을 검증했으며, 준비성 프레임워크에 따라 악의적으로 파인 튜닝된 버전까지 테스트하여 안전성을

확보했습니다.

2. 기술적 아키텍처와 특징

2-1. Mixture-of-Experts 구조

각 GPT OSS 모델은 Mixture-of-Experts(MoE)를 활용하는 트랜스포머로, 입력 처리에 필요한 활성 매개변수 수를 크게 감소시켰습니다.

gpt-oss-120b는 36개 계층에 128개의 전문가를 보유하며 토큰당 4개의 전문가를 활성화하고, gpt-oss-20b는 24개 계층에

32개의 전문가를 보유합니다.

2-2. 고급 기술적 구성 요소

두 모델 모두 GPT-3와 유사한 덴스 및 로컬 희소 어텐션 패턴을 교대로 사용하며, 추론과 메모리 효율성을 위해 그룹 크기 8의 그룹화된 멀티 쿼리

어텐션을 채택했습니다.

위치 인코딩으로는 Rotary Positional Embedding(RoPE)을 사용하며, 최대 128k의 컨텍스트 길이를 기본 지원합니다.

[본문 내용 전체 보기]

3. 성능 평가와 벤치마크 결과

3-1. 뛰어난 추론 및 도구 사용 능력

GPT-OSS 모델들은 표준 학술 벤치마크에서 인상적인 성능을 보여줍니다.

oss-120b는 경쟁 코딩(Codeforces), 일반 문제 해결(MMLU 및 HLE), 도구 호출(TauBench)에서 OpenAI o4-mini와 비슷하거나

더 우수한 성능을 달성했습니다.

특히 의료 관련 쿼리(HealthBench)와 경쟁 수학(AIME 2024 & 2025)에서는 o4-mini를 뛰어넘는 결과를 보였습니다.

oss-20b 역시 작은 규모임에도 불구하고 OpenAI o3-mini와 비슷하거나 더 나은 결과를 달성했습니다.

3-2. 사고 사슬(CoT)과 추론 수준 조절

OSS 모델들은 OpenAI o-시리즈와 마찬가지로 레이턴시와 성능의 균형을 맞추는 세 가지 추론 수준(낮음, 중간, 높음)을 지원합니다.

개발자들은 시스템 메시지에서 간단한 문장 하나로 reasoning_effort를 설정할 수 있어 용도에 맞는 최적화가 가능합니다.

4. 광범위한 플랫폼 지원과 가용성

4-1. 다양한 배포 옵션

GPT OSS 모델들은 Hugging Face에서 무료로 다운로드할 수 있으며, MXFP4 형식으로 기본 양자화되어 제공됩니다.

이는 gpt-oss-120b를 80GB 메모리 내에서, gpt-oss-20b를 16GB 메모리 내에서 실행 가능하게 합니다.

출시에 앞서 OpenAI는 Hugging Face, Azure, vLLM, Ollama, llama.cpp, LM Studio, AWS, Fireworks, Together AI, Baseten,

Databricks, Vercel, Cloudflare, OpenRouter 등의 선도적인 배포 플랫폼과 협력했습니다.

4-2. 하드웨어 최적화와 파트너십

하드웨어 측면에서는 NVIDIA, AMD, Cerebras, Groq 등 업계 최고 기업들과 협력하여 다양한 시스템에서 최적화된 성능을 보장합니다.

Microsoft는 OSS-20b 모델의 GPU 최적화 버전을 Windows 장치에 적용하며, ONNX Runtime을 통해 VS Code용 Foundry Local 및

AI Toolkit에서 사용할 수 있습니다.

5. 안전성과 Red Teaming Challenge

5-1. 포괄적인 안전 접근법

GPT OSS 모델의 안전성은 사전 훈련 단계에서부터 시작됩니다.

CBRN(화학, 생물학, 방사선학, 핵) 관련 유해 데이터를 사전에 걸러내고, 사후 훈련에서는 숙고적 정렬과 지침 계층을 사용하여 안전하지 않은

프롬프트 거부 및 프롬프트 추출 방어 능력을 훈련했습니다.

특히 주목할 점은 OpenAI가 악의적인 파인 튜닝 시나리오를 직접 평가했다는 것입니다.

생물학 및 사이버 보안 데이터로 모델을 파인 튜닝하여 공격자의 방식을 시뮬레이션한 결과, 악의적으로 파인 튜닝된 모델도 높은 기능 수준에는

도달하지 못함을 확인했습니다.

5-2. 50만 달러 규모의 Red Teaming Challenge

더 안전한 오픈소스 생태계 구축을 위해 OpenAI는 OSS 모델을 대상으로 한 Red Teaming Challenge를 주최할 예정입니다.

전 세계 연구원, 개발자, 애호가들이 새로운 안전 문제를 파악하도록 돕는 이 챌린지에서는 50만 달러의 상금이 수여됩니다.

OpenAI의 OSS 출시는 단순한 오픈소스 모델 릴리즈를 넘어, AI 민주화와 혁신 가속화를 위한 의미 있는 발걸음입니다.

특히 신흥 시장이나 리소스가 제한적인 소규모 조직들에게 강력한 AI 도구에 대한 접근성을 제공한다는 점에서 그 가치가 더욱 빛납니다.

개발자와 연구자들이 이 모델들을 활용해 어떤 혁신을 만들어낼지 기대해봅니다.

좋아요 한번 눌러주시면 큰 힘이 됩니다 >>>>>ata-src=”https://s.w.org/images/core/emoji/16.0.1/svg/1f44d.svg” />

오늘도 행복한 하루 되시고 J의 [다른 글 보기] !!!

그리고 스치면 반하리! 아시나요? 스레드 친구해요^^ 스하리 반하리 프로젝트~

[스치면 반하리]