Google Tensor 칩 — DarWINN NPU 액세스

Google Tensor NPU(DarWINN)용 직접 액세스 도구로, 두 세대에 걸쳐 리버스 엔지니어링되었습니다: Tensor G2(Pixel 7, 코드네임 Janeiro)와 Tensor G3(Pixel 8, 코드네임 Rio).

왜 만들었나

저는 폰에서 LLM 추론을 실행하려고 했고, Tensor NPU를 사용해 속도를 높이고 싶었습니다. 그러려면 NPU가 실제로 어떻게 구동되는지 리버스 엔지니어링해야 했습니다. 공개 API가 없고 Google Camera와 서명된 시스템 서비스만 사용할 수 있기 때문입니다.

그 과정에서 NPU는 두 세대 모두에서 LLM에 도움이 되지 않는다는 것을 알게 되었습니다: 언어 모델 디코딩은 메모리 대역폭 바운드이고, NPU는 CPU와 동일한 메모리 버스를 공유하므로 결국 더 빨라지지 않습니다(실제 트랜스포머 FFN 블록 기준 G2에서 NPU ~1.81 ms/블록 vs CPU ~1.57 ms, G3에서는 ~2.01 ms vs ~1.66 ms). 제 사용 사례에서는 두 칩 모두 막다른 길이었습니다 — LLM은 CPU에서 더 잘 실행됩니다.

하지만 액세스 도구 자체는 작동하며, NPU는 본래 만들어진 용도인 비전/CNN 모델(가중치가 온칩에 들어맞음)에서는 분명 강력한 가속기입니다. 제 프로젝트에는 도움이 되지 않았지만, 온디바이스 비전이나 NPU 연구를 하는 다른 사람들에게는 유용할 수 있어 MIT 라이선스로 공개합니다.

구성 내용

폰에서 로컬 LLM을 실행하고 싶다면 on-device-llm/부터 시작하세요 — 루트가 필요 없는 유용한 부분입니다. g2-pixel7//g3-pixel8/ 폴더는 NPU가 왜 사용되지 않는지, 잠긴 하드웨어에 어떻게 접근했는지 궁금한 사람들을 위한 것입니다.

두 칩의 NPU는 동일한 DarWINN API v2 인터페이스(AddInput/AddOutput/Submit)를 노출하지만 한 가지 중요한 차이가 있습니다: G2는 원시 텐서 포인터를 반환하는 반면, G3는 텐서를 불투명한 Buffer* 핸들로 래핑하며, 이 핸들은 자체 SizeBytes/MapToHost/FlushCache API를 통해서만 액세스해야 합니다. 실제로 무엇이 바뀌는지는 g3-pixel8/README_DEMO.md를 참조하세요.

간단히 말해 발견한 내용

• NPU는 G2와 G3 모두에서 루팅된 기기에서 Camera 앱과 동일한 권한으로 직접 구동할 수 있습니다.
• 커스텀 모델이 실행됩니다(G2에서 시연됨): int8 가중치, uint8 I/O, per-tensor 양자화 → google-edgetpu NNAPI 가속기를 통해 로드 가능합니다(per-channel 가중치는 거부됨).
• 연산 가속기이지 메모리 가속기가 아닙니다. 비전/CNN에 탁월합니다(가중치가 온칩 SRAM에 들어맞음). LLM 디코딩에는 도움이 되지 않습니다(대역폭 바운드이며 CPU와 LPDDR5 버스를 공유) — 두 세대 모두에서 확인됨.

환경

on-device-llm/은 Termux 외에 아무것도 필요 없습니다 — 루트 불필요. NPU 폴더에는 Magisk로 루팅된 Pixel 7(Tensor G2) 또는 Pixel 8(Tensor G3) · Android 14/16 · Frida 17.x · 대상 프로세스 com.google.android.GoogleCamera · libedgetpu_util.so가 필요합니다 — 연구와 학습을 위한, 자신의 하드웨어에 대한 기기 소유자 액세스입니다.

라이선스

MIT. 있는 그대로 공유되며 보증이 없습니다. 누군가에게 도움이 되기를 바랍니다.