KAIST는 2024년 말에 대규모 언어 모델LLM 인프라의 운영 비용을 줄이는 기술을 개발했다. 이 기술은 고비용의 전용 서버 대신 개인 기기인 PC와 스마트폰을 AI 인프라로 활용할 수 있도록 한다.
연구팀은 이 기술을 통해 기존 AI 서비스의 연산비용을 68% 절감할 수 있다고 밝혔다. 이는 기술적 혁신으로서 산업 내 AI 확장 가능성을 높이는 데 기여한다.
이 기술은 전통적인 AI 서버가 고비용으로 인해 대중화가 어려웠던 문제를 해결한다. 기존에는 AI 모델을 실행하기 위해 전용 서버가 필요했고, 그 운영 비용은 연간 수백만 원 이상이었다.
그러나 KAIST 연구팀은 기기 내부의 하드웨어를 최적화해 AI 모델을 직접 실행할 수 있도록 했다. 이 과정에서 기기의 처리 능력을 활용해 대규모 모델의 연산을 가능하게 했다.
결과적으로 개인이 직접 사용하는 기기에서 AI 서비스를 실행할 수 있게 되었고, 이는 기존 인프라에 대한 의존도를 낮추는 데 기여했다. KAIST 연구팀은 “PC와 모바일 기기의 연산 능력을 AI 서버로 활용해 연산비용을 68% 절감할 수 있다”고 설명했다.
이는 기술적 실현 가능성을 입증한 사례로, 기업과 개인 모두가 AI를 저렴하게 접근할 수 있게 한다는 점에서 의미가 있다. 또, 연구팀은 기기의 처리 능력이 AI 모델 실행에 적합하다는 점을 강조하며, “이 기술은 기존 전용 서버보다 비용 효율성이 훨씬 높다”고 밝혔다.
이처럼 기기별 연산 성능을 정확히 분석한 결과, 기기의 사용이 AI 서비스 비용 절감에 기여한다는 점이 강조되었다. 이 기술은 특히 기업의 AI 인프라 비용 절감에 큰 영향을 미칠 것으로 보인다.
기업이 전용 서버를 구입하거나 유지보수를 위해 지출하는 비용이 고가였던 상황에서, 이 기술은 기업 내 기기들을 활용해 AI 서비스를 실행할 수 있게 한다. 이는 기업의 총 운영 비용을 줄이는 데 기여할 것으로 예상된다.
또한, 개인이 AI를 사용할 때도 비용이 크게 줄어들어, AI 기술의 대중화가 가능해질 전망이다. 향후 KAIST는 이 기술을 기반으로 더 나은 AI 모델 실행 환경을 구축할 계획이다.
연구팀은 “향후 개인 기기에서의 AI 서비스 운영 비용을 70% 이하로 낮추는 방향으로 개선할 것”이라고 밝혔다. 이는 AI 인프라의 비용 구조를 근본적으로 재편할 수 있는 기회를 제공한다
@Meerae AI 빅데이터 연구소 meerae.info@gmail.com