"돈먹는 하마 초거대AI…20% 비용 줄인 인프라 서비스 출격"

“초거대AI를 회사 업무에 활용하고 싶어도 돈이 너무 많이 들죠. 저희가 AI 반도체(NPU) 개발사인 리벨리온과 함께 저비용 AI 인프라 서비스를 시작합니다. 5분의 1 이상 비용이 줄어듭니다.”

윤동식 KT클라우드 대표는 18일 그랜드 인터컨티넨탈 서울 파르나스에서 열린 ‘KT 클라우드 서밋 2023’에서 “챗GPT가 아무리 뛰어나도 우리 회사 데이터를 누구나 다 볼 수 있게 오픈할 수 있는 게 아니라서 기업들은 대화형 인공지능, 생성형AI 시대를 어떻게 준비할 까 많이 고민할 것”이라며, KT가 준비한 AI 풀스택(Full-Stack)서비스를 소개했다.

AI 풀스택이란 AI 반도체 등 인프라부터 고객에게 제공하는 AI 응용 서비스까지 전 과정을 아우르는 제품과 서비스를 의미한다. KT와 KT클라우드, 투자회사인 AI반도체 회사 리벨리온, AI 인프라 솔루션 기업 모레가 협업해 제공한다.

5월 말 리벨리온 AI반도체 서비스

올해 관심을 두는 것은 △5월 말 출시될 리벨리온의 반도체 아톰(ATOMTM)이 적용된 KT클라우드 서비스와 △정부가 데이터센터를 국산 AI 반도체로 구축하는 ‘NPU 팜’ 사업 △KT의 초거대 AI 서비스인 ‘믿음’의 육아상담 서비스(오은영 AI 육아상담 X 초거대 AI 믿음) 등이다.

윤 대표는 “리벨리온에서 보드를 만들고 있어 5월 말쯤이면 리벨리온 칩이 KT클라우드에서 돌아가는 것을 보실 수 있을 것”이라면서 “(엄청난 컴퓨팅 파워가 드는) 초거대 AI는 전력비용이 많이 드는데 리벨리온 칩은 가성비가 뛰어나다”고 자신했다. 그러면서 “정부가 저전력·저비용 AI 인프라로 한국의 클라우드 산업을 키우기로 했는데 도움이 많이 될 것 같다”면서 “NPU팜 구축 사업에 뛰어들었고, 광주 센터 등에도 저희 인프라가 들어가 서비스될 것으로 본다”고 언급했다.
 

KT의 종량제 GPU 서비스를 이용하는 스캐터랩 ‘이루다’

5월 말 출시될 것은 리벨리온이 만든 AI 반도체(신경망처리장치·NPU) ‘아톰’ 기반 서비스이지만, KT클라우드는 이미 AMD 그래픽처리장치(GPU)를 이용해 세계 최초 종량제 GPU 서비스인 하이퍼스케일 AI컴퓨팅(HAC)을 출시한 바 있다. ‘이루다’를 만든 스캐터랩이 130억 개 파라미터(매개변수)로 서비스를 만들면서, 96장(HAC GPU)을 이용 중인데, 비용을 상당히 줄였다고 한다.

신경망처리장치(NPU) 이어 지능형 메모리반도체(PIM)도 개발할 것

윤 대표는 “이루다는 벤처여서 GPU 서버에 수 많은 돈을 쏟아 부을 수 없어 HAC를 썼는데 상당히 비용을 줄일 수 있었다”면서 “전기료도 이슈인데, KT가 내부 인프라를 준비할 때는 1년 내내 신규 도입한 전체 랙에서 사용되는 전력이 수백 킬로와트 정도였지만, AI서비스가 들어오면서 1년 만에 몇 메가와트로 커졌다. KT클라우드는 저전력·저비용이 필요한 고객들에게 효율적인 AI 인프라 서비스를 제공할 수 있다”고 자신했다.

AI 특화 반도체인 NPU를 개발한 뒤에는 지능형 메모리 반도체(PIM·Processing in Memory)까지 개발하겠다고 했다. 그는 “저희의 시작은 NPU이지만 PIM도 계획하고 있다”며 “더 빠르게 연산하고 학습할 수 있는 PIM을 준비하고 있으며, 계획을 향후 발표드리겠다”고 말했다. PIM은 메모리 반도체에 연산 기능을 더한 지능형 메모리 반도체다. 

ㅡㅡ지우지 말아 주세요 ㅡㅡ

온라인카지노 커뮤니티 일등!! 온카 https://onca888.com