빠르게 발전하는 인공지능 분야에서 대규모 언어 모델(LLM)은 소프트웨어 개발을 포함한 다양한 분야에 큰 영향을 미쳤습니다. 최근 발전된 기술 중 하나는 중국 AI 기업 DeepSeek에서 개발한 오픈소스 코드 언어 모델인 DeepSeek-Coder V2입니다. 이 모델은 코드 인텔리전스 분야에서 오픈소스 모델과 폐쇄소스 모델 간의 격차를 메우는 것을 목표로 합니다.
DeepSeek-Coder V2란 무엇인가요?
DeepSeek-Coder V2는 코드 생성 및 이해와 관련된 작업을 수행하도록 설계된 오픈 소스 전문가 혼합(MoE) 코드 언어 모델입니다. DeepSeek-V2의 중간 체크포인트에서 6조 개의 토큰을 추가로 사전 학습하여 코딩 및 수학적 추론 기능을 향상하는 동시에 일반 언어 작업에서도 유사한 성능을 유지합니다.
주요 기능 및 혁신
확장된 언어 지원
DeepSeek-Coder V2는 프로그래밍 언어 지원을 86개에서 338개로 대폭 확대했습니다. 이를 통해 다양한 코딩 환경과 프로젝트에 적용 가능성이 더욱 넓어졌습니다.
확장된 컨텍스트 길이
모델의 컨텍스트 길이가 16K 토큰에서 128K 토큰으로 확장되어 컨텍스트를 잃지 않고 더 큰 코드베이스와 더 복잡한 작업을 처리할 수 있게 되었습니다.
연장 교육:
DeepSeek-V2의 중간 체크포인트에서 추가로 6조 토큰을 사전 학습하여 코딩 및 수학적 추론 기능을 강화했습니다.
벤치마킹 및 성과 지표
DeepSeek-Coder V2는 다양한 벤치마크에서 인상적인 결과를 달성했습니다.
- : 정확도는 90.2%로 기능적 코드 조각을 생성하는 데 높은 능숙성을 나타냅니다.