14. GPU·NPU·추론 하드웨어 비교 — 장치 이름이 아니라 안정 축으로

이 장의 핵심 질문

• 하드웨어를 "H100 vs 어떤 칩"처럼 이름으로 비교하면 왜 금방 낡고 오해를 부르는가?
• 어떤 안정 축(memory·kernel·software·topology·power)으로 나눠야 오래가는가?
• LLM 추론에서 왜 FLOPS보다 메모리가 선택을 지배하는가?

앞 장과의 연결 — 13장에서 배포 사례가 특정 하드웨어(NVLink+IB 노드 등) 위에 올라탔다. 이 장은 그 하드웨어를 비교하는 축을 세운다. 단, 이 안내서는 벤더·칩을 추천하지 않는다(원칙 7). 선수 과정 ①의 memory-bound/compute-bound·인터커넥트·정밀도를 전제한다. 이 장으로 세 번째 묶음(③)을 닫는다.

먼저: 왜 칩 이름 비교가 함정인가

하드웨어 비교 자료는 "칩 A vs 칩 B, 어느 게 빠른가"로 흐른다. 11장의 엔진 비교와 같은 함정이 있다.

1. 금방 낡는다 — 새 세대가 계속 나온다(Hopper→Blackwell→그 이후, 여러 커스텀 칩). 오늘의 "가장 빠른 칩"은 내년에 바뀐다.
2. 워크로드로 뒤집힌다 — 같은 칩이 배치·시퀀스·모델 크기에 따라 이기기도 지기도 한다.
3. 단일 스펙(FLOPS)이 오도한다 — 특히 LLM 추론에서 연산 능력(FLOPS/TOPS)만 보면 틀린다(아래).

그래서 이 장은 칩 순위가 아니라, 세대가 바뀌어도 유효한 다섯 축으로 하드웨어를 읽는다.

다섯 개의 안정 축

1) memory — LLM 추론을 지배하는 축

LLM 추론, 특히 decode는 memory-bound다(07장): 토큰 하나를 만들 때마다 모델 전체(+KV)를 메모리에서 다시 읽는다. 그래서 하드웨어 선택을 지배하는 것은 FLOPS가 아니라 메모리 두 가지다.

• 메모리 용량(capacity) — 모델 + KV가 한 device에 들어가는가(01장의 capacity 한계). 용량이 크면 병렬화(sharding) 없이도 큰 모델을 올려 배포가 단순해진다.
• 메모리 대역폭(bandwidth) — 초당 몇 바이트를 읽는가. decode 속도(TPOT)를 직접 좌우한다.

📌 핵심 — 추론은 FLOPS가 아니라 메모리로 고른다 — 자기회귀 decode가 매 토큰 모델을 다시 읽으므로, 메모리 대역폭·용량이 선택을 지배한다. FLOPS(연산 능력)는 prefill(compute-bound)엔 중요하지만, 전체 추론 특성은 메모리가 결정한다. "이 칩이 FLOPS가 높다"만 보고 추론용으로 고르면 틀린다. (선수 과정 ①의 memory-bound 논의가 하드웨어 선택으로 직결된다.)

2) kernel — 연산을 어떻게 실행하는가

같은 연산도 하드웨어의 커널(kernel, 실행 단위 최적화) 성숙도에 따라 실효 성능이 다르다.

• 지원 정밀도·형식 — FP16·BF16·FP8·FP4 등 어떤 저정밀 형식을 하드웨어가 가속하는가(선수 과정 ①·②의 정밀도·양자화). 저정밀 지원은 메모리·처리량 이득으로 이어지지만 품질 절충이 따른다.
• 커널 최적화 성숙도 — 어텐션·GEMM 등 핵심 연산의 최적화된 커널이 그 하드웨어에 얼마나 잘 갖춰졌는가. 새 하드웨어는 스펙이 좋아도 커널이 미성숙하면 실효 성능이 안 나온다.

3) software — 생태계·툴링 성숙도

스펙이 같아도 소프트웨어 생태계가 실제 배포 가능성을 좌우한다.

• 엔진·프레임워크 지원 — 쓰려는 추론 엔진(11장)·서빙 층(12장)이 그 하드웨어를 지원하는가.
• 컴파일·런타임 스택 — CUDA 계열, XLA/JAX 계열, 벤더별 SDK(Neuron 등) 중 무엇을 쓰며 얼마나 성숙한가.
• 커뮤니티·운영 성숙도 — 문제 해결 자료·검증된 배포 패턴이 있는가.

⚠️ 경계 혼동 주의 — 스펙과 실효 성능은 다르다 — "이 칩이 대역폭 X TB/s"는 명목 스펙이다. 실제로 그 대역폭을 누리려면 성숙한 커널·소프트웨어가 있어야 한다(02장의 명목 vs 실효 논의와 같은 구조). 새 하드웨어·커스텀 칩은 스펙이 매력적이어도 소프트웨어 성숙도가 실효 성능의 병목일 수 있다. 스펙 표만 보고 결론 내리면 안 된다.

4) topology — 어떻게 연결되는가

단일 칩 스펙을 넘어, 여러 칩이 어떻게 묶이는가(02장의 fabric)가 분산 추론을 좌우한다.

• scale-up 도메인 크기 — 한 노드/랙 안에 몇 개 device가 고대역으로 묶이는가. TP(03장)·EP(05장)의 통신을 이 도메인 안에 가둘 수 있는가.
• scale-out 특성 — 노드 간 인터커넥트(InfiniBand·Ethernet)의 대역폭·지연.
• device 이름이 같아도 어떤 시스템에 어떤 topology로 담겼는가에 따라 분산 특성이 달라진다.

5) power — 전력·냉각

성능을 전력·냉각과 떼어 보면 오해한다.

• 전력(W)·성능당 전력(perf/W) — 같은 처리량을 내는 데 드는 전력. 비용·밀도·냉각을 좌우한다.
• 냉각 요구 — 고밀도 랙은 공랭을 넘어 액랭을 요구할 수 있다(02장 근거표의 랙 전력 참조).
• 전력은 비용·전력 주장(15장)의 핵심 분모 중 하나다.

flowchart TB
    HW{"하드웨어 비교"}
    HW --> M["① memory<br/>용량·대역폭<br/>→ 추론 선택 지배"]
    HW --> K["② kernel<br/>정밀도·커널 성숙도<br/>→ 실효 연산"]
    HW --> S["③ software<br/>엔진·스택·생태계<br/>→ 배포 가능성"]
    HW --> T["④ topology<br/>scale-up/out<br/>→ 분산 특성"]
    HW --> P["⑤ power<br/>전력·냉각<br/>→ 비용 분모"]

    classDef q fill:#fff3c4,stroke:#d4a017,color:#000
    classDef mem fill:#e9d8fd,stroke:#7c3aed,color:#000
    classDef comp fill:#cfe2ff,stroke:#2563eb,color:#000
    classDef sw fill:#c4f1f4,stroke:#0891b2,color:#000
    classDef comm fill:#ffe0b2,stroke:#e07b00,color:#000
    classDef pw fill:#d1f0d1,stroke:#16a34a,color:#000
    class HW q
    class M mem
    class K comp
    class S sw
    class T comm
    class P pw

🔬 증거 읽기 — 하드웨어 축 근거표 (확인일 2026-07-20)

conditions — 구체 칩의 정확한 용량·대역폭·전력 수치는 form factor·세대·모델별로 다르며 빠르게 갱신된다(02장 근거표 참조). does-not-support — 이 표는 특정 칩이 "추론에 최고"라거나 특정 벤더가 우월하다를 지지하지 않는다. 2차 자료의 칩 순위·가격·"몇 배" 주장은 특정 조건·시점의 산물이며 이 안내서는 옮기지 않는다. 커스텀 칩(TPU·Trainium 등)의 접근성·성능은 클라우드·워크로드·소프트웨어 적합성에 강하게 의존한다.

⚠️ 경계 혼동 주의 — TOPS/FLOPS 마케팅 수치 — 하드웨어 자료의 TOPS·FLOPS는 연산 상한이며, 특히 LLM decode의 memory-bound 특성을 반영하지 못한다. "이 칩이 N TOPS"는 추론 실효 성능을 예측하지 못한다. 메모리 대역폭·용량, 그리고 그것을 살리는 커널·소프트웨어를 함께 봐야 한다. 단일 마케팅 숫자로 순위 매기지 말라.

왜 "이름"이 아니라 "축"인가 — 종합

같은 다섯 축으로 보면, 어떤 새 칩이 나와도 스스로 물을 수 있다:

• 메모리 용량·대역폭은 내 모델·워크로드에 충분한가? (memory)
• 내가 쓰려는 정밀도·커널이 성숙하게 지원되는가? (kernel)
• 내 엔진·서빙 층이 이 하드웨어를 지원하는가? (software)
• TP·EP 통신을 담을 scale-up 도메인이 충분한가? (topology)
• 성능당 전력·냉각이 내 비용·밀도 제약에 맞는가? (power)

이 질문들은 칩 세대가 바뀌어도 유효하다. 칩 순위는 낡지만 축은 낡지 않는다.

⚖️ 절충 — 단순함(용량 큰 단일 device) vs 분산(작은 device 여럿) — 메모리 용량이 큰 device는 병렬화(sharding) 없이 큰 모델을 올려 배포를 단순하게 하지만(TP 통신 오버헤드 회피), 대개 더 비싸고 전력이 크다. 용량이 작은 device 여럿은 병렬화가 필요해 복잡하지만 유연할 수 있다. "큰 device 하나 vs 작은 device 여럿"은 모델 크기·워크로드·비용·소프트웨어 성숙도의 함수이며 일반해가 없다(조건 의존). 앞 묶음의 병렬화(①)가 왜 하드웨어 선택과 얽히는지가 여기서 드러난다.

세 번째 묶음(③) 정리 — 구현 층을 축으로 읽었다

flowchart LR
    SVC["SLO 계약 서비스<br/>(②묶음 결과)"] -->|"11: 엔진<br/>Paged/Radix/컴파일 축"| E["엔진 선택<br/>(조건부)"]
    E -->|"12: 서빙 층<br/>control/data path, engine-agnostic"| SL["서빙 층 도입"]
    SL -->|"13: 배포 사례<br/>explicit/inferred/unknown"| CASE["사례 해부"]
    CASE -->|"14: 하드웨어<br/>memory/kernel/sw/topology/power 축"| HW["하드웨어 이해<br/>(축 기반)"]

    classDef base fill:#cfe2ff,stroke:#2563eb,color:#000
    classDef step fill:#c4f1f4,stroke:#0891b2,color:#000
    classDef done fill:#d1f0d1,stroke:#16a34a,color:#000
    class SVC base
    class E,SL,CASE step
    class HW done

이 묶음(11–14)의 공통 규율: 구현 층(엔진·서빙·하드웨어)을 순위·추천이 아니라 안정적 비교 축으로 읽고, 사례는 explicit/unknown을 갈라 읽는다. 벤치마크 숫자·칩 순위·벤더 배수는 조건의 산물이라 옮기지 않았다.

이 묶음에서 확립한 재사용 어휘: PagedAttention/RadixAttention/컴파일 엔진(엔진 축), control/data path·engine-agnostic·NIXL(서빙 층), explicit/inferred/unknown/owner-reported(사례 읽기), memory/kernel/software/topology/power(하드웨어 축).

이제 배포는 "엔진 + 서빙 층 + 하드웨어 + SLO 계약"을 갖췄고, 그 각각을 조건과 함께 읽을 수 있다. 마지막 묶음(④·15–17)에서 이 모든 주장을 정량적으로 검증하고 근거 기반 기술 브리프로 종합한다.

이 장에서 배운 것

• 하드웨어를 칩 이름·순위로 비교하면 금방 낡고 워크로드로 뒤집힌다. 대신 다섯 안정 축으로 읽는다.
• 다섯 축: memory(용량·대역폭, 추론 선택 지배), kernel(정밀도·커널 성숙도), software(엔진·스택·생태계), topology(scale-up/out), power(전력·냉각·perf/W).
• LLM 추론은 decode의 memory-bound 특성 때문에 FLOPS가 아니라 메모리로 고른다. TOPS/FLOPS 마케팅 수치는 추론 실효 성능을 예측하지 못한다.
• 스펙 ≠ 실효 성능: 명목 대역폭을 누리려면 성숙한 커널·소프트웨어가 필요하다. 새 하드웨어·커스텀 칩은 소프트웨어 성숙도가 병목일 수 있다.
• "큰 device 하나 vs 작은 device 여럿"은 병렬화(①묶음)와 얽힌 절충이며 조건 의존이다.

🔎 이 장의 '지지하지 않는 결론' + 'unknown으로 남겨야 할 것'

• 지지하지 않는 결론 — "칩 X가 추론에 최고"라거나 "FLOPS가 높으니 추론도 빠르다"는 지지되지 않는다. 추론은 메모리가 지배하고, 최적 하드웨어는 워크로드·소프트웨어·비용의 함수다.
• unknown으로 남길 것 — 특정 칩의 최신 스펙·가격·특정 워크로드 실효 성능, 커스텀 칩의 실제 접근성·소프트웨어 적합성은 그 조건·측정 없이는 unknown. 2차 자료의 칩 순위·"몇 배"는 옮기지 않는다.

✍️ 확인 문제

1. 왜 LLM 추론(특히 decode)에서 FLOPS보다 메모리 대역폭·용량이 하드웨어 선택을 지배하는가? decode의 memory-bound 특성(07장)과 연결해 설명하라.

1. (스펙 vs 실효 유형) 어떤 새 칩이 "대역폭 X TB/s, Y TOPS"로 홍보한다. 이 스펙만으로 "추론에 좋다"고 결론 내리기 전에, memory 외 어떤 축(kernel·software·topology)을 확인해야 하는가? "스펙 ≠ 실효 성능"을 근거로 답하라.

1. (절충 유형) 메모리 용량이 큰 device 하나로 모델을 올리는 것과, 작은 device 여럿에 나눠(TP) 올리는 것의 절충을 설명하라. 이 선택이 왜 하드웨어만의 문제가 아니라 병렬화(①묶음)·소프트웨어 성숙도와 얽히는지 말하라.

이것으로 세 번째 묶음(③)을 마친다. 마지막 묶음(④)에서는 지금까지 계속 "조건과 함께 읽으라"고 한 정량 주장(비용·성능·전력)을 정면으로 다루고, 하나의 주장을 근거 기반 기술 브리프로 종합하는 데까지 나아간다.
다음 → 15. 비용·성능·전력 주장에 필요한 조건 — 분자·분모·이용률·시간·품질·SLO