핵심 답변: AI 반도체는 인공지능의 의미 판단 자체를 실리콘에 저장한 칩이 아니다. 신경망이 요구하는 행렬곱·누산(MAC), 벡터 연산과 데이터 이동을 많은 연산기에 나눠 빠르고 효율적으로 실행하는 하드웨어다. 챗봇, 기계번역, 코딩 도우미는 입력을 토큰으로 바꾸고 같은 계열의 텐서 연산을 반복한다. CPU도 실행할 수 있지만 GPU·NPU·TPU 같은 가속기는 병렬 처리, 낮은 수치 정밀도와 메모리 재사용에 맞춘 구조로 처리량과 전력 효율을 높인다.
왜 행렬곱이 중심인가
신경망의 한 층은 입력 벡터에 가중치 행렬을 곱하고 편향과 비선형 함수를 적용한다. 합성곱도 펼쳐 보면 많은 곱셈과 덧셈의 묶음이고, Transformer의 어텐션과 피드포워드 층도 큰 행렬곱을 반복한다. 같은 연산을 서로 다른 데이터에 동시에 적용할 수 있어 수천 개의 작은 연산기를 병렬로 쓰기 좋다. 2017년 원 논문 Attention Is All You Need는 순환 구조 대신 어텐션을 중심으로 번역 성능과 병렬 학습 가능성을 보여 주었고, 이후 언어 모델의 핵심 토대가 됐다.
하지만 모델의 모든 단계가 행렬곱만으로 끝나지는 않는다. 토큰화, 데이터 전처리, 조건 분기, 샘플링, 메모리 관리와 네트워크 통신은 CPU와 시스템 소프트웨어의 역할이 크다. 따라서 ‘AI는 GPU에서만 돈다’는 말도 정확하지 않다. 실제 서버는 CPU, 가속기, 고대역폭 메모리, 저장장치와 네트워크가 협업한다.
CPU·GPU·전용 가속기 비교
| 하드웨어 | 설계 초점 | 장점 | 한계 |
|---|---|---|---|
| CPU | 다양한 명령과 낮은 지연, 복잡한 제어 | 범용성, 전처리·분기·운영체제 | 대규모 규칙적 병렬연산의 효율 제한 |
| GPU | 많은 스레드와 높은 병렬 처리량 | 학습·추론 생태계, 유연한 프로그래밍 | 전력·메모리·통신 병목, 작은 작업 지연 |
| NPU·TPU 등 ASIC | 텐서·행렬 연산과 데이터 재사용 | 특정 작업의 높은 처리량·전력 효율 | 지원 연산·정밀도와 소프트웨어 제약 |
| 엣지 가속기 | 저전력·짧은 응답·기기 내 처리 | 네트워크 없이 추론, 개인정보 이점 | 메모리와 모델 크기 제한 |
칩 안에서 가속이 일어나는 과정
- 모델 적재: 학습된 가중치를 외부 메모리에서 가져와 온칩 버퍼와 캐시에 배치한다.
- 연산 분할: 컴파일러가 텐서를 타일로 나누고 연산기 배열에 할당한다.
- 곱셈·누산: 여러 MAC 유닛이 입력과 가중치를 동시에 곱해 부분합을 누적한다.
- 데이터 재사용: 같은 가중치나 활성값을 가까운 메모리에서 반복 사용해 비싼 외부 이동을 줄인다.
- 집단 통신: 큰 모델은 여러 칩에 나뉘므로 부분 결과와 기울기를 고속 연결망으로 교환한다.
- 후처리: 정규화, 활성화, 샘플링과 토큰 변환을 거쳐 사용자 결과를 만든다.
오늘날 병목은 최대 초당연산수만으로 설명되지 않는다. 데이터를 DRAM에서 연산기로 옮기는 에너지가 산술 연산보다 클 수 있고, 가속기가 빨라도 메모리 대역폭이나 칩 간 통신이 따라오지 못하면 쉬는 시간이 늘어난다. 그래서 고대역폭 메모리, 칩렛, 고속 인터커넥트와 연산·메모리 배치 최적화가 함께 중요하다.
정밀도를 낮추면 왜 빨라지는가
일반 과학계산은 32비트 또는 64비트 부동소수점을 자주 쓰지만 신경망은 작업에 따라 16비트, 8비트 또는 더 낮은 표현을 사용할 수 있다. 비트 수를 줄이면 같은 면적에 더 많은 연산기를 넣고 메모리 전송량을 낮출 수 있다. 다만 양자화 오차가 누적되므로 학습과 추론, 층별 민감도에 맞춰 스케일을 정하고 정확도를 검증해야 한다. 낮은 정밀도가 모든 모델에서 손실 없이 통한다는 보장은 없다.
실제 사례: 1세대 TPU가 보여 준 것
Google의 2017년 데이터센터 논문은 2015년부터 배치된 추론용 전용 ASIC을 분석했다. 핵심은 65,536개의 8비트 MAC 행렬곱 장치와 소프트웨어가 관리하는 온칩 메모리였다. 당시 동일 데이터센터의 CPU·GPU와 비교해 생산 추론 작업에서 높은 처리량과 전력 효율을 보였다. 이 수치는 특정 세대·워크로드의 역사적 비교이지 오늘날 모든 TPU가 모든 GPU보다 일정 배수 빠르다는 보편 법칙은 아니다.
챗봇·번역·코딩 지원은 모두 Transformer 계열을 쓸 수 있지만 입력 길이, 배치 크기, 지연 요구와 출력 검증 방식이 다르다. 번역은 문장 쌍 품질, 코딩은 실행·테스트, 챗봇은 근거성과 안전을 별도로 평가해야 한다. 같은 칩에서 실행된다는 사실은 세 응용의 정확도가 같다는 뜻이 아니다.
오해하기 쉬운 점과 한계
- 반도체가 환각을 해결하지 않는다. 칩은 계산을 빠르게 할 뿐 데이터·학습목표·검증 문제를 자동 수정하지 않는다.
- TOPS만으로 제품을 비교할 수 없다. 정밀도, 희소성 조건, 메모리, 실제 이용률과 지연을 함께 봐야 한다.
- 학습과 추론은 같은 작업이 아니다. 학습은 역전파와 가중치 갱신, 큰 메모리와 통신이 필요하고 추론은 응답 지연·배치가 중요하다.
- 전용성이 항상 이득은 아니다. 모델 연산이 바뀌거나 작은 작업이면 범용 CPU·GPU가 더 유연하고 경제적일 수 있다.
활용과 시스템 한계
가속기는 클라우드 생성형 AI뿐 아니라 스마트폰 번역, 카메라 보정, 음성 인식, 차량 센서와 공장 검사에도 쓰인다. 기기 내 추론은 통신 지연과 일부 개인정보 전송을 줄이지만 모델 업데이트, 보안, 배터리와 열 설계가 필요하다. 대규모 학습은 전력·냉각·용수·반도체 공급망과 데이터센터 입지 영향을 낳으므로 성능당 에너지와 전체 수명주기 비용까지 평가해야 한다.
학습과 추론에서 데이터 흐름이 달라지는 이유
학습의 순전파는 입력으로 예측을 만들고 손실함수는 정답과의 차이를 계산한다. 역전파는 각 가중치가 손실에 미친 기울기를 구해 옵티마이저가 값을 갱신한다. 중간 활성값을 저장해야 하므로 같은 모델의 추론보다 메모리 사용량이 훨씬 커질 수 있다. 여러 가속기에 데이터나 모델을 나누면 기울기 동기화와 집단 통신이 추가된다.
추론은 정해진 가중치로 결과를 만든다. 생성형 언어 모델은 입력 토큰을 한꺼번에 처리하는 프리필과 새 토큰을 하나씩 만드는 디코딩의 성격이 다르다. 프리필은 큰 행렬곱의 병렬성이 높고, 디코딩은 이전 토큰의 키·값 캐시를 반복 읽어 메모리 대역폭과 단일 요청 지연이 중요하다. 동일한 초당연산량의 칩도 입력 길이와 동시 사용자 수에 따라 체감 속도가 달라진다.
성능표에서 반드시 확인할 항목
수치 정밀도가 INT8인지 FP16인지, 희소성을 가정한 최고치인지, 배치 크기와 입력 길이가 무엇인지 먼저 본다. 처리량은 초당 토큰 수가 높아도 첫 토큰 대기시간이 길 수 있다. 전력은 칩 소비전력만이 아니라 메모리, 호스트 CPU, 네트워크와 냉각을 포함한 시스템 수준에서 비교해야 한다.
소프트웨어도 하드웨어만큼 중요하다. 모델 연산이 컴파일러에 최적화되지 않으면 연산기의 상당 부분이 놀 수 있다. 커널 융합은 중간 데이터를 메모리에 썼다 다시 읽는 횟수를 줄이고, 연산 그래프 배치는 통신을 숨긴다. 프레임워크 호환성, 디버깅 도구, 수치 재현성과 보안 업데이트가 없으면 높은 사양도 실제 서비스로 연결되기 어렵다.
반도체 기술과 모델 기술을 분리해 평가하기
모델 품질이 좋아진 원인을 칩 하나에만 돌릴 수 없다. 데이터 규모와 정제, Transformer 구조, 학습 알고리즘, 분산 시스템과 인간 피드백이 함께 발전했다. 반대로 매개변수가 늘었다고 실제 추론 능력이 모든 과제에서 비례해 좋아지는 것도 아니다. 하드웨어는 가능한 실험 규모와 서비스 비용의 경계를 바꾸지만 어떤 답을 학습할지는 데이터와 목표함수가 결정한다.
제품 발표의 ‘몇 배 빠름’은 기준 장비, 소프트웨어 버전, 정밀도와 이용률이 같을 때만 의미가 있다. 원 논문의 역사적 벤치마크를 현재 제품 광고에 그대로 옮기거나 서로 다른 세대의 최고치를 비교해서는 안 된다. 실제 워크로드와 총소유비용으로 검증해야 한다.
메모리 병목을 줄이는 대표 방법
가중치와 활성값을 작은 블록으로 잘라 가까운 SRAM에서 재사용하면 외부 DRAM 왕복을 줄일 수 있다. 모델이 온칩에 다 들어오지 않으면 어떤 블록을 언제 불러올지 정하는 타일링이 중요하다. 캐시 적중률, 연속 접근과 데이터 배치가 나쁘면 연산기 수가 많아도 기다리는 시간이 늘어난다.
여러 칩에서는 데이터 병렬, 텐서 병렬, 파이프라인 병렬을 조합한다. 계산을 고르게 나누지 못하면 가장 느린 칩이 전체 단계를 지연시킨다. 통신과 계산을 겹쳐 숨기고, 연결망의 대역폭·지연과 장애 복구를 함께 설계해야 대규모 서비스가 안정적으로 동작한다.
자주 묻는 질문
GPU와 NPU 중 무엇이 더 좋은가요?
용도에 따라 다르다. GPU는 폭넓은 모델과 학습에 유연하고, NPU는 지원되는 추론 작업에서 전력 효율이 좋을 수 있다. 실제 모델·배치·지연으로 측정해야 한다.
AI 반도체에는 모델이 영구 저장되나요?
일부 엣지 기기는 가중치를 플래시에 저장하지만 대개 실행 때 메모리로 적재한다. 칩 구조와 모델 파일은 별개이며 소프트웨어 업데이트로 모델이 바뀔 수 있다.
행렬곱만 빠르면 충분한가요?
아니다. 메모리 이동, 정규화, 통신, 샘플링과 CPU 전처리가 병목이 될 수 있다. 전체 시스템에서 가장 느린 구간을 찾아야 한다.
더 낮은 비트는 항상 전기를 덜 쓰나요?
산술과 전송 비용을 줄일 가능성이 크지만 변환 오버헤드, 이용률과 재계산이 영향을 준다. 정확도 목표를 만족하는 실제 시스템 전력으로 검증해야 한다.
결론
AI 반도체의 본질은 ‘지능 칩’이라는 이름보다 반복되는 텐서 계산과 데이터 이동을 효율화하는 데 있다. 행렬연산 병렬성, 메모리 계층, 정밀도, 칩 간 통신과 컴파일러가 함께 성능을 만든다. 빠른 하드웨어는 챗봇·번역·코딩을 실시간에 가깝게 제공하지만 결과의 진실성·안전성은 별도의 모델·데이터·검증 문제다.
확인한 공식·원 논문 출처
- 미국 NIST, Hardware Accelerators for Neural Networks
- Google Research, 1세대 TPU 데이터센터 성능 원 논문
- Vaswani 외, Attention Is All You Need 원 논문
