638 articles

Category

深層学習

Transformer、GNN、軽量化など、モデル実装や既存モデル改良に関係する深層学習技術を追います。

TransformerCNNRNN / LSTMグラフニューラルネットAttention機構正規化・最適化手法軽量化・量子化

人気記事

新着記事

未読 638
githubGitHubあり2026-09-09

transformers — 🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.

🤗 Transformersは、テキスト・ビジョン・音声など複雑なモデル定義をサポートするフレームワークで、インフェレンスターやトレーニングに使用できる。

深層学習Transformer分類テキスト音声
用途
機械学習モデル定義
難易度
Easy
コスト
High
githubGitHubあり2026-09-09

sglang — SGLang is a high-performance serving framework for large language models and multimodal models.

SGLangは、大規模言語モデルのサービングフレームワークです。このライブラリは、高性能なサービスフレームワークで、大規模言語モデルのサービングをサポートしています。

深層学習Transformer画像テキストマルチモーダル
用途
大規模言語モデルのサービングフレームワーク
難易度
Easy
コスト
High
githubGitHubあり2026-09-08

pytorch-image-models — The largest collection of PyTorch image encoders / backbones. Including train, eval, inference, export scripts, and pretrained weights -- ResNet, ResNeXT, EfficientNet, NFNet, Vision Transformer (ViT), MobileNetV4, MobileNet-V3 & V2, RegNet, DPN, CSPNet, Swin Transformer, MaxViT, CoAtNet, ConvNeXt, and more

PyTorchで使用できる画像エンコーダとバックボーンの最大のコレクションです。トレーニング、評価、推論など様々なスクリプトや事前の重み付きデータが含まれます。

深層学習Transformer分類画像
用途
PyTorchで使用できる画像エンコーダとバックボーン
難易度
Easy
コスト
High
githubGitHubあり2026-09-08

presidio — An open-source framework for detecting, redacting, masking, and anonymizing sensitive data (PII) across text, images, and structured data. Supports NLP, pattern matching, and customizable pipelines.

presidioは、テキスト、画像、構造化データを含む敏感データを検出、削除、マスク、アノニマイズするオープンソースフレームワークです。自然言語処理、パターンマッチング、カスタマイズ可能なパイプラインをサポートします。

表形式向き深層学習Transformer分類検出画像
用途
データのプライバシーを保護する
難易度
Easy
コスト
Low
githubGitHubあり2026-09-07

transformerlab-app — The open source research environment for AI researchers to seamlessly train, evaluate, and scale models from local hardware to GPU clusters.

kserveは、分散型生成的および予測性AI推論プラットフォームであり、可 scale, multi-framework デプロイをサポートして Kubernetes 上に展開されることができます。

深層学習Transformer
用途
AI研究者向けのオープンソース研究環境
難易度
Easy
コスト
Medium
githubGitHubあり2026-09-01

LLMs-from-scratch — Implement a ChatGPT-like LLM in PyTorch from scratch, step by step

この研究では、COVID-19臨床パスウェイズの予測監視を支援するために、パイプラインを構築しました。このパイプラインには、データリフティング、時間的再構成、イベントログの構築、プリフィックスベースの表現、予測モデルの整

深層学習Transformer生成
用途
医療機器へのアクセスを予測する
難易度
Easy
コスト
High
githubGitHubあり2026-09-01

FlashVSR — [CVPR 2026] Towards Real-Time Diffusion-Based Streaming Video Super-Resolution — An efficient one-step diffusion framework for streaming VSR with locality-constrained sparse attention and a tiny conditional decoder.

この研究では、ストリーミングでのビデオ超解像化を実現する一ステップのディフュージョンフレームワーク「FlashVSR」を提案しています。このフレームワークは、局所制限の疎注意と小さい条件的デコーダを組み合わせて、効率的に

深層学習軽量化・量子化動画
用途
ストリーミングでのビデオ超解像化の実現
難易度
Easy
コスト
High
githubGitHubあり2026-08-28

Causal-Forcing — [ICML 2026] Official codebase for "Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation" & Causal Forcing++

この論文では、Causal-Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive

品質予測/異常検知深層学習軽量化・量子化生成テキスト動画
用途
高品質のビデオ生成を実現する。
難易度
Easy
コスト
High
githubGitHubあり2026-08-21

aarambh-studio — 🦀 Decoder-only LLM built from scratch in pure Rust using Candle — no Python, no PyTorch. Gated DeltaNet + sparse attention, fine-grained MoE, native video/document understanding, long-horizon tool agents, quantization-aware training. Scales: Tiny (25M) to Large (1.3B).

Rust言語でCandleライブラリを利用して、PythonやPyTorchを使用せずにDecoder-only LLMを自作した。

深層学習軽量化・量子化テキスト動画マルチモーダル
用途
Decoder-only LLMをビルドする
難易度
Easy
コスト
High
githubGitHubあり2026-08-13

pytorch-grad-cam — Advanced AI Explainability for computer vision. Support for CNNs, Vision Transformers, Classification, Object detection, Segmentation, Image similarity and more.

このライブラリは、コンピューター ビジョンのための高度なAI解釈と可視化ソリューションです。このライブラリは、CNN、ビジョン トランスフォーム、分類、物体検出、分割、画像類似度など、さまざまなコンピューター ビジョンの

深層学習Transformer分類検出セグメンテーション
用途
AIの解釈と可視化ソリューション
難易度
Easy
コスト
Low
githubGitHubあり2026-08-13

OpenRLHF — An Easy-to-use, Scalable and High-performance Agentic RL Framework based on Ray (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)

OpenRLHFは、Ray上に構築された強化学習フレームワークです。このフレームワークは、PPO、DAPO、REINFORCE++など、様々な強化学習アルゴリズムをサポートしています。

深層学習Transformer画像
用途
強化学習フレームワーク
難易度
Easy
コスト
High
arxivPaper only2026-08-11

Predictive Allostatic Organization in Recurrent and Spiking Agents Under Partial Observability

この研究では、半推測状態の状況でアダプティブ行動を示すために、反射的な組織がどのように機能するかを調査する。これでは、現時点の観察だけを基に、内部状態が情報を保持できる計算プロパティを開発します。

深層学習RNN / LSTM分類
用途
計画的ストレス解消
難易度
Hard
コスト
Low
arxivPaper only2026-08-05

Effective pruning of task-trained recurrent neural networks using noisy fluctuations and connection rescaling

回帰ニューラルネットワークの接続を簡素化する方法がいくつか提案されてきたが、生物学的背景に基づいた方法は少ない。研究者たちは、これまでノイズから切断するノイズ-プルーンという方法を提案しており、これは再起動後の機能を最も

深層学習RNN / LSTM教師なし
用途
回帰ニューラルネットワークの接続切断
難易度
Hard
コスト
Low
arxivPaper only2026-08-04

Omega-S: A Functional Resilience Index for LLM Fine-Tuning

LLMが外部アクションを取り続けている場合、エージェントのメモリーが古くなったり誤った情報を持ったりする可能性があります。この問題を解決するために、この研究ではSafeCommitという技術を提案しています。SafeCo

深層学習正規化・最適化手法テキスト
用途
LLMによるメモリー・グランド・エージェントの安全なアクション
難易度
Hard
コスト
High
arxivPaper only2026-08-03

Divisive Normalization Shapes Low-Rank Slow Manifolds for Continuous Working Memory

この研究では、記憶を維持し更新する能力を強化するため、繰り返し神経ネットワークを用いて記憶の特性を分析しました。記憶を維持するための神経計算の一種として、ダイショビュールノーマリゼーション(Divisive Normal

深層学習Transformer
用途
瞬時記憶の能力を強化する
難易度
Hard
コスト
High
arxivPaper only2026-07-29

Reconstructing Backpropagation from Forward Fluctuations in Noise-modulated Neural Networks

回避可能な計算資源である雑音を扱い、学習と推論を行うための神経回路モデル(NNN)を提案。このモデルが学習し推論するための、伝達の反対方向の重みトランスポートの問題を回避できた。

深層学習正規化・最適化手法回帰
用途
人工神経回路のバックプロパゲーション復元
難易度
Hard
コスト
Medium
arxivPaper only2026-07-29

Neural Architecture Search for Traffic Prediction: A Survey of Methods, Challenges, and Future Directions

交通量の予測は、自律走行車や交通ルートの調整など、知能交通システムの基本機能である。この仕事では、大規模言語モデルのニュアラーキテクチャ探索を使用して交通量予測を改善し、交通量予測モデルを設計するために使用された手法と課

品質予測/異常検知深層学習Transformer
用途
交通量の予測
難易度
Hard
コスト
Medium
arxivPaper only2026-07-23

Search Hardness-Aware LLM-Based Problem Formulation for Expensive Simulation-Driven Design

シミュレーション駆動設計では、高精度なシミュレーションを少なくすることで設計を実現しています。既存の手法では、その問題に取り組むために最適化アルゴリズムが改善されてきましたが、問題の定義自体は検討されていません。この論文

深層学習軽量化・量子化生成
用途
コスト削減的なシミュレーション駆動設計
難易度
Hard
コスト
High
arxivPaper only2026-07-23

Weight-norm Criticality: A Mechanism for Loss Spikes Induced by the Normalization and Weight Decay

静的な制約の下で動的な可動体システムを生成するために、制約を考慮した流れを検討します。この方法は、シンボリック制約を使用して、生成された流れが構造的に可能であることを確認します。

深層学習正規化・最適化手法
用途
可動体システムを生成する
難易度
Hard
コスト
High
arxivPaper only2026-07-20

Scalable and Efficient Joint Spiking Embedding Predictive Architecture for Large-Scale Dynamic Graphs

動的グラフの構造と意味のパターンを捉えるため、最新の研究では、ラベル付けされたデータの欠如に対応するために、生成的または対比的のパラダイムを導入する。ただし、これらの方法は複雑なエッジレベルからの再構築の目標に依存し、グ

深層学習軽量化・量子化分類検出生成
用途
多階層グラフに対する埋め込み予測アーキテクチャ
難易度
Hard
コスト
High