매개변수

480억개의 총 매개변수와 30억개의 활성 매개변수를 가진 전문가 혼합(MoE) 아키텍처인 키미 리니어(Kimi Linear)에 주의 잔차를 적용한 결과, 기존 대비 연산 효율은 1.25배 향상되면서도 추론 지연 증가는 거의 없었다....

이를 통해 조 단위 매개변수를 갖는 초거대 AI 모델의 추론 처리량을 최대 35배까지 향상시킬 수 있다는 설명이다. 엔비디아는 LPU 256개를 묶은 LPX 랙을 베라 루빈에 탑재했다. 특히 그록3 LPU는 삼성전자 파운드리...

초거대 언어 모델들의 우열을 가릴 때 주로 매개변수 규모 등 기술적 지표가 활용되지만 실제 수익성은 사실상 전적으로 토큰 소모량에 의해 결정된다는 게 업계의 평가다. 우 CEO는 “지금은 수십억 개의 AI 에이전트가...

젠슨 황 CEO는 “파라미터(매개변수)가 조(兆) 단위인 최고급 AI 모델 추론 처리량을 35배 늘리고, 지연 시간을 절반으로 줄일 수 있다”고 강조했다. ◇ 삼성·SK하이닉스 부스도 방문 젠슨 황 CEO는 기조연설 뒤 미국...

대외 변수에 대응하기 위해 이상일 시장을 단장으로 하는 비상경제 대응 TF를 구성했다. 시는 상·하수도... ▷ 감염병 예방교육 확대…청소년부터 시민까지 에이즈·성매개감염병 예방교육을 학교 중심에서 대학생과 일반...

이 장치는 최대 1조 매개변수 규모의 AI 모델을 클라우드를 거치지 않고 로컬에서 실행할 수 있도록 설계됐으며, 748기가바이트(GB)의 통합 메모리와 20페타플롭스(PFLOPS)의 연산 성능을 갖춘 것이 특징이다....

국가 및 기업의 데이터 유출 우려를 불식시키기 위해, 자국 내 통제 가능한 안전한 인프라 위에 5190억 매개변수(향후 1조 수준 확대 목표) 규모의 독자 모델 'A.X K1(에이닷엑스 케이원)'과 산업용 서비스를 통합...