Energy-Efficient On-Device RAG on a Mobile NPU: System Design and Benchmark on Snapdragon X Elite
Zhiyuan Cheng, Longying Lai
実装難易度
Hard
推論・学習コスト
High
想定用途
生成
概要
Retrieval-Augmented Generation (RAG) pipelines are compute-intensive, combining embedding, retrieval, reranking, and large language model (LLM) generation. Running them entirely on-device benefits privacy, latency, and offline use, but the energy cost of CPU inference is a major barrier. We present what is, to our knowledge, the first end-to-end RAG pipeline that runs all neural stages --…
何が新しいか
Retrieval-Augmented Generation (RAG) pipelines are compute-intensive, combining embedding, retrieval, reranking, and large language model (LLM) generation. Running them entirely on-device benefits…
何に使えるか
生成
実装情報
- Paper URL
- あり
実装チェックリスト
実装または配布ページ
要確認Paper onlyの可能性があるため再実装前提で確認してください。
一次情報リンク
OKPaper
検証しやすさ
要確認公式実装が見つからないため、論文から再実装する前提です。
計算資源
要確認学習や高解像度推論ではGPUメモリと実行時間に注意が必要です。
ライセンス
未取得配布元のLICENSE、モデルカード、Paperの利用条件を確認してください。
商用利用
未取得研究利用限定、データセット由来制限、API規約の有無を確認してください。
自社データで試すなら
製造業・材料開発のExcel/CSVデータに落とし込むための最初の手順です。
- 1まず自社データを、入力条件、目的変数、評価したい指標に分けて整理します。
- 2LightGBMやRandom Forestなどのベースラインを先に作り、この手法と比較します。
- 3評価指標はR2/RMSE、AUC、異常検知の再現率、実験回数削減率など、現場の意思決定に近いものを選びます。
- 4SHAPや特徴量重要度で、効いている因子が物理・化学・工程知識と矛盾しないか確認します。
実装難易度
Hard - 公式実装が見つからないため、論文から再実装する前提です。
必要リソース
- GPU目安: High
- データセット: 論文・リポジトリ側の指定を確認してください。
- 学習要否: 再学習や評価環境の準備が必要になる可能性があります。
- 学習や高解像度推論ではGPUメモリと実行時間に注意が必要です。
実務で使う場合の注意点
- ライセンスと商用利用条件は、Paper / GitHub / Hugging Face の配布元で確認してください。
- 精度、再現性、計算コストはデータセットや評価条件に依存します。
- 個人情報や機密データを扱う場合は、入力データの保存先と外部API利用条件を確認してください。
関連記事
A Lightweight Multi-Agent Framework for Automated Concrete Barrier Design
RC高架道路は安全と関連する構造計算に非常に重要な設計であるが、これまで従来手動で実施されてきた設計プロセスにおいて、複雑な非線形素材と力学的制約に関する設計ルールを満たすため、自動化が必要である。従来、LLMは構造計算
Helios — Helios: Real Real-Time Long Video Generation Model
長時間のビデオ生成を実現するためのモデルのサポートを紹介している。
PathRelax: Parallel-Path Relaxed Speculative Jacobi Decoding for Accelerating Auto-Regressive Text-to-Image Generation
The growing need for high-resolution image generation in autoregressive text-to-image models has resulted in e
One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA
External memory effectively grounds large language models (LLMs) and vision-language models (VLMs)-based quest