MLinfo | 機械学習・AI論文まとめ

コンピュータビジョン物体検出分類検出セグメンテーション

supervision — We write your reusable computer vision tools. 💜

supervisionは、機械学習技術を活用して、ユーザー独自のコンピュータビジョンツールを作成することができる。

用途: オリジナルコンピュータビジョンツール
難易度: Easy
コスト: High

mediapipe — Cross-platform, customizable ML solutions for live and streaming media.

mediapipeは、クロスプラットフォームでカスタマイズ可能なライブおよびストリーミングメディア向けのMLソリューションを提供している。

MLOpsモデルデプロイ音声動画

用途: ライブおよびストリーミングメディア用MLソリューション
難易度: Easy
コスト: High

diffusers — 🤗 Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.

.diffusion モデルのライブラリ。画像・動画・音声生成に利用可能。

生成AI拡散モデル生成画像テキスト

用途: 画像・動画・音声生成
難易度: Easy
コスト: High

品質予測/異常検知コンピュータビジョンセグメンテーション分類検出画像

cvat — Computer Vision Annotation Tool (CVAT) is a leading platform for building high-quality visual datasets for vision AI. It offers open-source, cloud, and enterprise products, as well as labeling services, for image, video, and 3D annotation with AI-assisted labeling, quality assurance, team collaboration, analytics, and developer APIs.

CVATは、機械学習用の業界標準のデータエンジンです。さまざまなスケールのチームが使用し、さまざまなスケールのデータに対応しています。

用途: データのラベル付けと管理
難易度: Easy
コスト: High

コンピュータビジョンセグメンテーション分類画像動画

labelme — Image annotation with Python. Supports polygon, rectangle, circle, line, point, and AI-assisted annotation.

イメージを注釈するツール。ポリゴン、長方形、円、線、点などを注釈することができる。

用途: イメージ注釈
難易度: Easy
コスト: High

Sana — SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformer

SANAは、高解像度画像生成モデルSANAを紹介する本研究であり、低計算コストで優れた高解像度画像を生成できる。

用途: 高解像度画像合成
難易度: Easy
コスト: High

FastVideo — A unified inference and post-training framework for accelerated video generation.

FastVideoは、加速されたビデオ生成用の統合推論とポストトレーニングのフレームワークです。

深層学習軽量化・量子化生成動画

用途: ビデオ生成を加速する
難易度: Easy
コスト: High

LightX2V — Light Image Video Generation Inference Framework

zenmlは、データパイプラインからエージェントまで、AIプラットフォームです。

生成AI拡散モデル生成画像動画

用途: AI推論を軽量化したインフラ
難易度: Easy
コスト: High

Helios — Helios: Real Real-Time Long Video Generation Model

長時間のビデオ生成を実現するためのモデルのサポートを紹介している。

深層学習軽量化・量子化生成画像テキスト

用途: ビデオ生成
難易度: Easy
コスト: High

OpenWorldLib — Unified Codebase for Advanced World Models.

OpenWorldLibは、進化する世界モデルを提供する統一されたコードベースです。

コンピュータビジョン3D・点群生成動画3D

用途: 世界モデルを提供する
難易度: Easy
コスト: High

onnxruntime — ONNX Runtime: cross-platform, high performance ML inferencing and training accelerator

FastVideoは、加速されたビデオ生成用に統一された推論およびポストトレーニングフレームワークです。

MLOpsモデルデプロイ

用途: クロスプラットフォーム高性能ML推論用エンジンの実現
難易度: Easy
コスト: High

品質予測/異常検知コンピュータビジョンセグメンテーション生成画像テキスト

Echo-Memory: A Controlled Study of Memory in Action World Models

この研究では、エピソード記憶を制御するために、エピソード記憶モデルを設計および評価しました。エピソード記憶モデルは、エピソード内の重要な情報を記憶し、エピソード間の相関関係を特定することができます。

用途: エピソード記憶
難易度: Hard
コスト: High

Hybrid Robustness Verification for Spatio-Temporal Neural Networks

With AI increasingly deployed in safety-critical systems, providing formal robustness guarantees for the under

深層学習Transformer分類動画3D

用途: 分類
難易度: Hard
コスト: High

Do Video Foundation Models Understand Intuitive Physics? A Layerwise Probing Analysis

We study whether pretrained video foundation models encode intuitive-physics information in their frozen repre

自然言語処理埋め込み・検索動画

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?

動画大規模言語モデルを使用した質問に対する回答を研究。モデルの能力と限界を調査し、質問に対する答えを生成するための方法を提案した。

深層学習軽量化・量子化テキスト動画マルチモーダル

用途: 動画大規模言語モデルを使用した質問に対する回答
難易度: Hard
コスト: High

Conan-embedding-v3: Fusing Modality-Specific Models for Omni-Modal Embedding

この研究では、テキスト、画像、ビデオ、アウディオ等の異なるモダリティのデータを統合したオムニモダル検索システムを構築します。

自然言語処理ファインチューニング回帰検索画像

用途: オムニモーダル検索
難易度: Hard
コスト: High

Counterfactual Reasoning for Fine-Grained Evidence Disentanglement in VideoQA

この論文では、VideoQA が過度に信憑性の

コンピュータビジョンマルチモーダル検出画像動画

用途: ビデオQA に対するカウンターファクタルの推論
難易度: Hard
コスト: High

品質予測/異常検知自然言語処理大規模言語モデル動画強化学習

arxivGitHubあり2026-06-08

Claw-R1: A Step-Level Data Middleware System for Agentic Reinforcement Learning

Agentic reinforcement learning (RL) has become an important post-training paradigm for turning LLMs from stati

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

Driving Video Retrieval for Complex Queries with Structured Grounding

Video retrieval at scale is central to data curation and safety validation in autonomous driving, where users

コンピュータビジョンマルチモーダルテキスト動画

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

MilliVid: Hierarchical Latents for Long-Range Consistency in Video Generation

Video generative models have become increasingly powerful, but long-range consistency remains challenging to a

深層学習Transformer生成テキスト動画

用途: 生成
難易度: Hard
コスト: High

コンピュータビジョンセグメンテーション動画マルチモーダル

C$^3$ache: Accelerating World Action Models with Cross Inference Chunk Cache

ワールドアクションモデルを高速化するために、情報のキャッシュと伝達を提案します。

用途: ワールドアクションモデルを高速化するためのキャッシュと伝達
難易度: Hard
コスト: High

AHA-WAM:Asynchronous Horizon-Adaptive World-Action Modeling with Observation-Guided Context Routing

この論文では、ロボット手術の制御を改善するために、ロボットの視覚的シーンの動作と操作を同時にモデル化する方法を提案する。

深層学習Transformer画像テキスト動画

用途: リモートハンドリングの制御
難易度: Hard
コスト: High

品質予測/異常検知コンピュータビジョン動画認識検出画像テキスト

ArtiFact: A Large-Scale Multi-Modal Cultural Heritage Dataset

LLMを用いた臨床研究論文の草案作成を支援するために、生成されたテキストを検証するためのアーキテクチャを設計。これにより、虚偽の citaion、数字の不正確な記録、およびガイドライン違反が防がれます。

用途: 医学論文執筆のサポート
難易度: Hard
コスト: High

I Was Scrolling and Then I Saw a Pregnant Strawberry

AIのミニドラマ（または果実のドラマ）は、最近、ソーシャルメディアプラットフォーム上で広まった短い、アルゴリズム的かつ分散された生成AIビデオシリーズです。これらのビデオの視覚表現は、性的に見えると思われる果物が表現され

深層学習Transformer生成画像動画

用途: AIの小ドラマ
難易度: Hard
コスト: High

EgoTactile: Learning Grasp Pressure for Everyday Objects from Egocentric Video

Egocentricビデオを利用して手の圧力を推定できるモデル EgoTactile を提案している。

センサ/時系列自然言語処理RAG画像動画3D

用途: Egocentricビデオを利用した、手の圧力の推定
難易度: Hard
コスト: High

Decoding Pedestrian Crossing Intention from Egocentric Vision via Vision Language Models

Egocentric visionを使用して、ペダストリアンの歩く道に渡るのを予測する。Closed-ended visual question answering（VQA）問題に形式することで、ビジョン言語モデルを使用

深層学習TransformerQA画像テキスト

用途: ペダストリアンが歩く道に渡るのを予測する
難易度: Hard
コスト: High

See More, Think Deeper: Query-Expanded Visual Evidence and Answer-Clue Guided Reflection for Long Video Understanding

Recent advances in Video Large Language Models (Video-LLMs) have enabled performance on long-video understandi

自然言語処理大規模言語モデル生成画像テキスト

用途: 生成
難易度: Hard
コスト: High

Cross-Modal Masking for Robust Silent Speech Synthesis Using sEMG and Lipreading

この研究では、静黙の口承のシンセシスを実現するためのフレームワークを開発します。このフレームワークは、静黙の口承のシンセシスと精度を改善することができます。

センサ/時系列自然言語処理RAG生成音声動画

用途: 静黙の口承のシンセシス
難易度: Hard
コスト: High

品質予測/異常検知自然言語処理RAG生成画像テキスト

Latent Spatial Memory for Video World Models

Video world models that maintain 3D spatial consistency across generated frames typically rely on explicit poi

用途: 生成
難易度: Hard
コスト: High

コンピュータビジョン動画認識テキストマルチモーダル

MemoryVLA++: Temporal Modeling via Memory and Imagination in Vision-Language-Action Models

Temporal modeling is essential for robotic manipulation, as effective control requires both memory of past int

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

GenEyePose: Patient-Free, Knowledge-Based Saccadic Eye Movement Modeling for Digital Neurophysiologic Biomarker Development

Eye movements, including saccades, are widely regarded as highly sensitive and objective biomarkers of neuroph

深層学習Transformer分類検出生成

用途: 分類
難易度: Hard
コスト: High

説明可能深層学習Transformerテキスト動画

MAVIS: Multi-Agent Video Retrieval via Structured Video Understanding

The dominant paradigm in video retrieval relies on embedding-based full-corpus scanning, which suffers from in

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

品質予測/異常検知自然言語処理RAG生成テキスト音声

CineDance: Towards Next-Generation Multi-Shot Long-Form Cinematic Audio-Video Generation

The fidelity and structural diversity of training datasets fundamentally determine the capabilities of video g

用途: 生成
難易度: Hard
コスト: High

arxivGitHubあり2026-06-08

A VideoMAE-v2 Approach to Zero-Shot Traffic Accident Anticipation

Traffic accident anticipation -- predicting the likelihood of an imminent collision at every frame of a dashca

自然言語処理プロンプトエンジニアリング動画

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

品質予測/異常検知深層学習Transformer生成動画

SwiftVR: Real-Time One-Step Generative Video Restoration

Real-time video restoration (VR) for live streams requires high-resolution outputs under strict per-frame late

用途: 生成
難易度: Hard
コスト: High

コンピュータビジョンセグメンテーション生成画像動画

Prisma-World: Camera-Controllable Multi-Agent Video World Model

Video world models have made rapid progress in generating controllable visual experiences, but most of them st

用途: 生成
難易度: Hard
コスト: High

品質予測/異常検知自然言語処理大規模言語モデル画像テキスト動画

CapRL++: Unified Reinforcement Learning with Verifiable Rewards for Dense Image and Video Captioning

Image and video captioning are fundamental tasks that bridge the visual and linguistic domains, playing a crit

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

センサ/時系列コンピュータビジョン動画認識画像テキストマルチモーダル

IB-HFN: Information Bottleneck-Driven SAR-Optical Fusion Network for High-Fidelity Cloud Removal

Synthetic aperture radar (SAR)-assisted optical cloud removal aims to recover surface information obscured by

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

Self-supervised Learning Matters: A Simple Ensemble Solution for Micro-Gesture Recognition

In this paper, we present XInsight Lab's solution to the micro-gesture classification track of the 4th MiGA Ch

自然言語処理ファインチューニング分類埋め込み動画

用途: 分類
難易度: Hard
コスト: High

品質予測/異常検知深層学習Transformer生成テキスト動画

LiteVSR: Lightweight Adaptation of Frozen Diffusion Transformers for Video Super-Resolution

Adapting large-scale pre-trained video generators for Video Super-Resolution (VSR) in novel domains remains co

用途: 生成
難易度: Hard
コスト: High

品質予測/異常検知深層学習Transformer検出画像テキスト

arxivGitHubあり2026-06-08

Temporal-Aware Reasoning Optimization for Video Temporal Grounding

Multi-modal Large Language Models (MLLMs) have achieved remarkable progress in video temporal grounding with r

用途: 検出
難易度: Hard
コスト: High

CP4D: Compositional Physics-aware 4D Scene Generation

4D generation (\textit{i.e.}, dynamic 3D generation) has recently emerged as a rapidly growing research fronti

MI向き自然言語処理RAG生成画像テキスト

用途: 生成
難易度: Hard
コスト: High

Vision-Language Guided Hyperspectral Object Tracking via Semantics Fusion and Contextual Template Updating

Hyperspectral object tracking (HOT) leverages the rich spectral information provided by hyperspectral videos (

深層学習軽量化・量子化画像テキスト動画

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

Zero-Parameter Geometric Gating for Temporally Stable Low-Altitude UAV Video Semantic Segmentation

Video semantic segmentation for low-altitude UAVs requires temporal consistency, yet dense optical flow introd

コンピュータビジョンセグメンテーション画像動画

用途: セグメンテーション
難易度: Hard
コスト: High

コンピュータビジョンセグメンテーション生成画像テキスト

OmniGen-AR: AutoRegressive Any-to-Image Generation

Autoregressive (AR) models have demonstrated strong potential in visual generation, offering superior performa

用途: 生成
難易度: Hard
コスト: High

品質予測/異常検知深層学習軽量化・量子化生成画像動画

Ultra Flash: Scaling Real-Time Streaming Video Generation to High Resolutions

While recent autoregressive video diffusion models achieve remarkable streaming quality, they remain confined

用途: 生成
難易度: Hard
コスト: High

$ω$-EVA: Envision, Verify, and Act with Latent Interactive World Models

Embodied policies typically map current observations directly to actions, leaving candidate-action consequence

強化学習モデルベース生成画像動画

用途: 生成
難易度: Hard
コスト: High

MotionWAM: Towards Foundation World Action Models for Real-Time Humanoid Loco-Manipulation

World Action Models (WAMs) couple a video dynamics prior to the policy and have shown encouraging results on t

自然言語処理RAG画像動画マルチモーダル

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

表形式向きコンピュータビジョン動画認識テキスト動画マルチモーダル

Harnessing Streaming Video in the Wild

Vision-Language Models (VLMs) are increasingly required to process unbounded video streams in applications suc

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

Beyond Consistency: Preserving Temporal Structure in Zero-Shot Video Editing

Existing zero-shot video editing methods rely on pre-trained diffusion models, successfully achieving spatial

自然言語処理RAG画像動画

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

BioVid: Autoregressive Video Generation with Biological Behavior Semantic Comprehension

Existing video generation frameworks treat sequence duration as an externally prescribed parameter -- fixed fr

深層学習Transformer生成テキスト動画

用途: 生成
難易度: Hard
コスト: High

品質予測/異常検知自然言語処理大規模言語モデル画像テキスト音声

OmniCap-IF: Benchmarking and Improving Instruction Following Abilities for Omni-Video Captioning

While Omni-modal Large Language Models (OLLMs) have demonstrated impressive capabilities in jointly processing

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

Towards Accurate Emotion-Attributed Video Captioning via Fine-grained Emotion-Cause Pair Extraction

Emotional Video Captioning (EVC) is a challenging task that aims to generate factually accurate and emotionall

説明可能自然言語処理RAG生成画像動画

用途: 生成
難易度: Hard
コスト: High

When Video Misreads: Closed-Loop Distillation of Reading Heuristics for Exploratory Manipulation Trace QA

Exploratory manipulation often turns an apparent failed attempt into the key evidence for what to do next. For

深層学習軽量化・量子化分類動画マルチモーダル

用途: 分類
難易度: Hard
コスト: High

表形式向きコンピュータビジョン動画認識生成画像テキスト

DriveReward: A Comprehensive Dataset and Generative Vision-Language Reward Model for Autonomous Driving

Reward models play a pivotal role in reinforcement learning (RL) and multi-modal trajectory selection for auto

用途: 生成
難易度: Hard
コスト: High

品質予測/異常検知深層学習Transformer生成画像動画

arxivGitHubあり2026-06-07

OmniTryOn: Video Try-On Anything at Once!

Although video virtual try-on (VVT) has achieved significant progress, existing methods still exhibit two fund

用途: 生成
難易度: Hard
コスト: High

Reinforcing Temporal Answer Grounding in Instructional Video via Candidate-Aware Causal Reasoning

The task of temporal answer grounding in instructional video (TAGV), which aims to locate precise video segmen

深層学習Transformer画像テキスト動画

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

表形式向き品質予測/異常検知自然言語処理大規模言語モデルテキスト動画

CoVEBench: Can Video Editing Models Handle Complex Instructions?

While recent text-guided video editing models excel at elementary tasks (e.g., style transfer, object insertio

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

Video2Sim2Real: Full-Stack Autonomous Dexterous Skill Acquisition from a Single Human Video

Human manipulation videos are a convenient and intuitive source for robot learning. However, directly transfer

自然言語処理RAG動画3D

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

githubGitHubあり2026-06-07

SimpleTuner — A general fine-tuning kit geared toward image/video/audio diffusion models.

画像やビデオやオーディオディフュージョンモデルのファインチューニングを行うための、汎用的なファインチューニングキット。

自然言語処理ファインチューニング画像音声動画

用途: ディフュージョンモデルのファインチューニング
難易度: Easy
コスト: High

When No Answer Is Correct: Diagnosing Absent Answer Detection for MLLMs in Video Understanding

Multimodal large language models (MLLMs) have made substantial advancements in video understanding, yet the re

自然言語処理大規模言語モデル検出生成テキスト

用途: 検出
難易度: Hard
コスト: High

Decoupling Semantics and Logic: A Training-Free Coarse-to-Fine Pipeline for Video Retrieval-Augmented Generation

This paper presents our system description for the 2nd Workshop on Multimodal Augmented Generation via Multimo

深層学習軽量化・量子化生成検索画像

用途: 生成
難易度: Hard
コスト: High

Programmable Silicon Retina on Pixel Processor Array

Standard dynamic vision sensors approximate retinal processing by detecting temporal contrast changes, offerin

深層学習軽量化・量子化画像動画

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

TIDE: Task-Isolated Diffusion for Unified Video Editing and Generation

Recent advances in Diffusion Transformers have driven rapid progress in video generation and editing, yet thes

用途: 生成
難易度: Hard
コスト: High

Light-WAM: Efficient World Action Models with State-Fusion Action Decoding

World Action Models (WAMs) extend robot policy learning by incorporating future prediction as an additional tr

深層学習軽量化・量子化生成埋め込み動画

用途: 生成
難易度: Hard
コスト: High

MI向きコンピュータビジョンマルチモーダル画像テキスト動画

IMAGINE: Adaptive Schema-Imagery Enhanced Composition for Composed Video Retrieval

Composed Video Retrieval (CVR) is designed to retrieve a target video that matches a reference video modified

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

Trustworthy Visual Predicates for Robust Manipulation Understanding under Degradation

Manipulation understanding requires reliable relational evidence, such as contact, support, containment, motio

深層学習Transformer検出画像動画

用途: 検出
難易度: Hard
コスト: High

MI向き品質予測/異常検知自然言語処理大規模言語モデル生成画像テキスト

arxivGitHubあり2026-06-06

VideoWeaver: Evaluating and Evolving Skills for Agentic Long Video Generation

Recent agent frameworks such as Claude Code, Codex, and OpenClaw are strong at tool use and orchestration, but

用途: 生成
難易度: Hard
コスト: High

Uncertainty-Aware Intention Prediction for Human-to-Robot Assembly Teleoperation

In assisted teleoperation for human-robot collaboration, accurate intention prediction is critical for enablin

自然言語処理RAG分類検出セグメンテーション

用途: 分類
難易度: Hard
コスト: High

MotionVLA: Injecting Geometric Motion into Vision-Language-Action Model

Vision-language-action (VLA) models increasingly condition robot policies on history, depth, or 4D features to

自然言語処理RAG生成画像テキスト

用途: 生成
難易度: Hard
コスト: High

Continual Quadruped Robots Coordination via Semantic Skill Discovery

Multi-quadruped coordination has attracted increasing attention due to its enhanced payload capacity, broader

自然言語処理RAGテキスト動画強化学習

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

vla.cpp: A Unified Inference Runtime for Vision-Language-Action Models

Vision-Language-Action (VLA) policies are typically shipped as Python/PyTorch stacks that assume a workstation

自然言語処理大規模言語モデル動画マルチモーダル

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

EgoAERO: Learning Dexterous Manipulation from a Single Egocentric Video without Object Assets

Egocentric RGB-D videos offer a natural source of human dexterous manipulation demonstrations, but existing da

品質予測/異常検知数学・理論最適化動画

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

githubGitHubあり2026-06-06

DiT-Extrapolation — Official implementation for "RIFLEx: A Free Lunch for Length Extrapolation in Video Diffusion Transformers" (ICML 2025) , UltraViCo (ICLR 2026) and UltraImage

分類問題では、多くの場合、ラベルは存在しないため、従来の学習アルゴリズムでは困難に感じられるが、In-Context Multiple Instance Learningという手法を使用することで、低ラベル環境で効率的に

深層学習Transformer生成画像動画

用途: 多クラス分類タスク
難易度: Easy
コスト: High

MinNav: Minimalist Navigation Using Optical Flow For Active Tiny Aerial Robots

Navigation using a monocular camera is pivotal for autonomous operation on tiny aerial robots due to their per

自然言語処理ファインチューニング動画

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

センサ/時系列品質予測/異常検知コンピュータビジョン3D・点群生成テキスト動画

Dash2Sim: Closed-Loop Driving Simulation from in-the-wild Dashcam Videos

この論文では、ドライビングシミュレーションのためのフレームワークを提案しています。このフレームワークは、ドライビングシミュレーションを目的とした機械学習フレームワークです。このフレームワークは、大量のデータを扱う必要があ

用途: ドライビングシミュレーションのためのフレームワーク
難易度: Hard
コスト: High

自然言語処理ファインチューニング動画マルチモーダル

Robotic Policy Adaptation via Weight-Space Meta-Learning

Vision-Language-Action (VLA) models are emerging as a promising paradigm for robotic manipulation, enabling ge

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

QuadVerse: An Integrated Framework Aligning Visual-Physical Reality for Quadruped Simulation

この論文では、四足ロボットのシマイルのためのQuadVerseフレームワークを提案した。QuadVerseは、視覚的、物理的、動的なギャップを考慮したシマイルを用い、四足ロボットの実験環境とシマイルを統合した。

品質予測/異常検知自然言語処理RAG画像動画3D

用途: 四足ロボットのシマイル
難易度: Hard
コスト: High

品質予測/異常検知自然言語処理RAG画像動画マルチモーダル

LARA: Latent Action Representation Alignment for Vision-Language-Action Models

Visual-language action (VLA) models enable robots to predict actions directly from observations and language i

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

Dreaming when Necessary: Advancing World Action Models with Adaptive Multi-Modal Reasoning

World Action Models (WAMs) offer a promising approach to embodied intelligence, yet existing methods rely heav

深層学習軽量化・量子化画像テキスト動画

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

Think Like a Pilot: Fine-Grained Long-Horizon UAV Navigation

VLNベンチマークでは、ディシクリットな操作や粗い操作が使われ、UAVのヴィジョンラングジュアクション（VLJ）タスクでは短い操作が中心で、長時間飛行に対応できるfineグラINEDUAVナビゲーション（FLIGHT）ベ

コンピュータビジョンマルチモーダルテキスト動画

用途: ドローンの長時間飛行
難易度: Hard
コスト: High

MI向き自然言語処理大規模言語モデル生成画像テキスト

MMAE: A Massive Multitask Audio Editing Benchmark

We introduce MMAE, a Massive Multitask Audio Editing benchmark, serving as the first comprehensive evaluation

用途: 生成
難易度: Easy
コスト: High

huggingfaceGitHubありHugging Faceあり2026-06-05

Watch, Remember, Reason: Human-View Video Understanding with MLLMs

Video understanding is being rapidly transformed by multimodal large language models (MLLMs), as research move

深層学習軽量化・量子化画像テキスト音声

用途: 技術検証・論文読解補助
難易度: Easy
コスト: High

PaperFlow: Profiling, Recommending, and Adapting Across Daily Paper Streams

Scientific paper recommendation is typically evaluated as static ranking over a fixed candidate set, yet real

コンピュータビジョン動画認識

用途: 技術検証・論文読解補助
難易度: Easy
コスト: High

Stream3D-VLM: Online 3D Spatial Understanding with Incremental Geometry Priors

Despite advances in 3D scene understanding, existing 3D Large Multimodal Models operate in offline settings, r

深層学習軽量化・量子化生成画像テキスト

用途: 生成
難易度: Easy
コスト: High

Streaming Video Generation with Streaming Force Control

We introduce StreamForce, a streaming video generation framework that enables physically grounded control thro

深層学習軽量化・量子化生成動画

用途: 生成
難易度: Easy
コスト: High

品質予測/異常検知深層学習軽量化・量子化生成テキスト動画

githubGitHubあり2026-06-05

Causal-Forcing — [ICML 2026] Official codebase for "Causal Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive Video Generation" & Causal Forcing++

この論文では、Causal-Forcing: Autoregressive Diffusion Distillation Done Right for High-Quality Real-Time Interactive

用途: 高品質のビデオ生成を実現する。
難易度: Easy
コスト: High

品質予測/異常検知コンピュータビジョン3D・点群動画3D

What Matters When Cotraining Robot Manipulation Policies on Everyday Human Videos?

Human video datasets used for cotraining robot manipulation policies largely consist of curated demonstrations

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

品質予測/異常検知自然言語処理RAGセグメンテーションテキスト動画

VOLT: Vision and Language Trajectory Segmentation for Faster-than-Demonstration Policies

この研究では、フェスタースター自動運

用途: フェスタースター自動運転用の高速動作
難易度: Hard
コスト: High

ActiveMimic: Egocentric Video Pretraining with Active Perception

この研究では、人々が実際に操作を行っている場合に、人が視点を変更してカメラ動きを生み出しながら学習することの重要性を認識し、ActiveMimicというプレトランジングフレームワークを提案します。

自然言語処理ファインチューニング動画

用途: エゴセンティック動画
難易度: Hard
コスト: High

MotionDisco: Motion Discovery for Extreme Humanoid Loco-Manipulation

この研究では、ヒューマノイドロボットのロコマニパションのための MotionDisco を提案し、ロボットは接触を検出して自律的に行動することができるようになります。

深層学習軽量化・量子化テキスト動画強化学習

用途: ヒューマノイドロボットのロコマニパション
難易度: Hard
コスト: High

Robots Need More than VLA and World Models

Generalist robot intelligence is often framed as a policy-scaling problem: collect more robot demonstrations,

コンピュータビジョン3D・点群生成動画3D

用途: 生成
難易度: Hard
コスト: High

World-Language-Action Model for Unified World Modeling, Language Reasoning, and Action Synthesis

統合された視覚言語アクションモデルを提案し、これを用いたタスクの性能を向上させることができるようになる。

用途: 統合された視覚言語アクションモデル
難易度: Hard
コスト: High

コンピュータビジョンマルチモーダル異常検知テキスト動画

Towards a Data Flywheel for Embodied Intelligence in Logistics

Autonomous drivingでは、ロボットが視覚認識した情報に基づいて行動を決定する必要があるが、過去のデータで構築された空間モデルでは、ロボットの行動を予測することが困難であるため、空間モデルを構築することによ

用途: ロボットの行動予測に適した空間を構築
難易度: Hard
コスト: High

Physics in 2-Steps: Locking Motion Priors Before Visual Refinement Erases Them

Image-to-Video diffusion models leverage input images to generate visually stunning content, yet frequently pr

自然言語処理RAG生成画像動画

用途: 生成
難易度: Easy
コスト: High

LoomVideo: Unifying Multimodal Inputs into Video Generation and Editing

Developing unified video generation and editing models capable of interpreting interleaved multimodal inputs i

用途: 生成
難易度: Easy
コスト: High

huggingfaceGitHubありHugging Faceあり2026-06-04

Dream.exe: Can Video Generation Models Dream Executable Robot Manipulation?

Video generation models have made impressive strides in synthesizing visually compelling content, yet their ou

品質予測/異常検知自然言語処理RAG生成画像動画

用途: 生成
難易度: Easy
コスト: High

品質予測/異常検知自然言語処理大規模言語モデルテキスト動画

Towards One-to-Many Temporal Grounding

Temporal Grounding (TG) aims to localize video segments corresponding to a textual query. Prior research predo

用途: 技術検証・論文読解補助
難易度: Easy
コスト: High

Imagine Before You Predict: Interleaved Latent Visual Reasoning for Video Event Prediction

Video event prediction (VEP) requires models to infer unobserved future states from partial video evidence. Ex

自然言語処理大規模言語モデル画像テキスト動画

用途: 技術検証・論文読解補助
難易度: Easy
コスト: High

表形式向き自然言語処理大規模言語モデルテキスト動画3D

Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models

Multimodal Large Language Models (MLLMs) excel at 2D semantic understanding but lack intrinsic 3D awareness, r

用途: 技術検証・論文読解補助
難易度: Easy
コスト: High

githubGitHubあり2026-06-04

Awesome-Video-World-Models-with-AR-Diffusion — A Curated List of Awesome Video World Models with AR Diffusion: Covering Algorithms, Applications, and Infrastructure, Aimed at Serving as a Comprehensive Resource for Researchers, Practitioners, and Enthusiasts.

ビデオのワールドモデルを用いて、AR拡散式を含む幅広いアルゴリズム、アプリケーション、インフラが提供され、研究者や実務家など幅広い人々に役立つリソースとして提供される。

生成AI拡散モデル生成動画

用途: アンビシャスのためのビデオの世界モデル
難易度: Easy
コスト: High

VideoKR: Towards Knowledge- and Reasoning-Intensive Video Understanding

We introduce VideoKR, the first large-scale training corpus specifically designed to strengthen knowledge- and

自然言語処理ファインチューニング生成テキスト動画

用途: 生成
難易度: Easy
コスト: High

Flash-WAM: Modality-Aware Distillation for World Action Models

World-action models (WAMs) jointly generate future video and robot actions through iterative diffusion, achiev

深層学習軽量化・量子化動画

用途: 技術検証・論文読解補助
難易度: Easy
コスト: High

Video2LoRA: Parametric Video Internalization for Vision-Language Models

Processing video in vision-language models is expensive: each frame occupies hundreds of tokens, and inference

自然言語処理ファインチューニング要約QA画像

用途: 要約
難易度: Easy
コスト: High

品質予測/異常検知深層学習Transformer生成動画

Echo-Infinity: Learning Evolving Memory for Real-Time Infinite Video Generation

We present Echo Infinity, an autoregressive (AR) framework towards real-time infinite video generation that em

用途: 生成
難易度: Easy
コスト: High

M^3Eval: Multi-Modal Memory Evaluation through Cognitively-Grounded Video Tasks

As multi-modal models advance towards long-form video understanding, memory emerges as a critical capability.

自然言語処理RAG動画

用途: 技術検証・論文読解補助
難易度: Easy
コスト: High

GRAIL: Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors

Scaling humanoid loco-manipulation requires robot-compatible demonstrations across diverse objects, whole-body

コンピュータビジョン3D・点群生成画像動画

用途: 生成
難易度: Easy
コスト: High

githubGitHubあり2026-06-03

cs-video-courses — List of Computer Science courses with video lectures.

このリポジトリはコンピュータサイエンスのビデオコースの一覧を提供しています。

機械学習教師あり学習動画

用途: 教育資源の共有
難易度: Easy
コスト: High

A Cookbook of 3D Vision: Data, Learning Paradigms, and Application

3D vision has rapidly evolved, driven by increasingly diverse data representations, learning paradigms, and mo

自然言語処理RAG生成動画3D

用途: 生成
難易度: Easy
コスト: High

品質予測/異常検知自然言語処理大規模言語モデル生成テキスト動画

OVO-S-Bench: A Hierarchical Benchmark for Streaming Spatial Intelligence in Multimodal LLMs

Multimodal agents in robotics, AR, and autonomous driving must reason about places and layouts from continuous

用途: 生成
難易度: Easy
コスト: High

Eliciting Complex Spatial Reasoning in MLLMs through Wide-Baseline Matching

Wide-baseline matching (WBM) requires integrating geometric understanding, viewpoint changes, fine-grained per

自然言語処理大規模言語モデル生成画像テキスト

用途: 生成
難易度: Easy
コスト: High

AAD-1: Asymmetric Adversarial Distillation for One-Step Autoregressive Video Generation

We present AAD-1, an Asymmetric Adversarial Distillation framework for One-step autoregressive image-to-video

深層学習軽量化・量子化生成画像テキスト

用途: 生成
難易度: Easy
コスト: High

品質予測/異常検知自然言語処理大規模言語モデル画像テキスト動画

WebRISE: Requirement-Induced State Evaluation for MLLM-Generated Web Artifacts

Existing benchmarks for MLLM-generated web artifacts assess interaction through local evidence and miss the re

用途: 技術検証・論文読解補助
難易度: Easy
コスト: High

githubGitHubあり2026-06-02

Awesome-CVPR2026-CVPR2025-ICCV2025-CVPR2024-ECCV2024-AIGC — A Collection of Papers and Codes for CVPR2026/CVPR2025/ICCV2025/CVPR2024/ECCV2024 AIGC

CVPRに基づくAIを取り入れるための資料集を提供します。CVPR 2026、2025、2024、およびECCV 2024に基づくAIGCに関する研究論文とソフトウェアコードを含みます。

コンピュータビジョン3D・点群生成画像動画

用途: AIをCVPRに応用する
難易度: Easy
コスト: High

arxivPaper only2026-06-01

Identifiable Markov Switching Models with Instantaneous Effects and Exponential Families

Temporal systems often exhibit non-stationary behaviour, such as seasonal climate variation or glucose fluctua

センサ/時系列コンピュータビジョン動画認識検出時系列

用途: 検出
難易度: Hard
コスト: High

arxivPaper only2026-06-01

A Sheaf Framework for Strategic Multi-Agent Systems: From Consensus to Nash Equilibria

The coordination of heterogeneous autonomous agents in dynamic, adversarial environments requires simultaneous

コンピュータビジョン動画認識生成

用途: 生成
難易度: Hard
コスト: High

huggingfaceHugging Faceあり2026-06-01

AdaCodec: A Predictive Visual Code for Video MLLMs

Video is temporally redundant: adjacent frames usually share most objects, background, and layout. Yet existin

自然言語処理大規模言語モデル画像テキスト動画

用途: 技術検証・論文読解補助
難易度: Easy
コスト: High

huggingfaceGitHubありHugging Faceあり2026-06-01

Cosmos 3: Omnimodal World Models for Physical AI

We introduce Cosmos 3, a family of omnimodal world models designed to jointly process and generate language, i

用途: 生成
難易度: Easy
コスト: High

githubGitHubあり2026-06-01

Ditto — [CVPR'26 Highlight] Ditto: Scaling Instruction-Based Video Editing with a High-Quality Synthetic Dataset

[CVPR'26 Highlight] Ditto: Scaling Instruction-Based Video Editing with a High-Quality Synthetic Dataset

品質予測/異常検知生成AI拡散モデル動画

用途: 実装・検証基盤
難易度: Easy
コスト: High

arxivPaper only2026-05-31

Functional Clustering of Survival Data via Smoothed Log-Hazard Trajectories: A Risk-Dynamics Perspective

This paper investigates clustering in survival data by shifting the analytical focus from cumulative survival

説明可能コンピュータビジョン動画認識

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High

huggingfaceHugging Faceあり2026-05-30

SuperMemory-VQA: An Egocentric Visual Question-Answering Benchmark for Long-Horizon Memory

AI glasses present a compelling platform for AI agents to serve as personalized memory assistants. To be genui

深層学習Transformer分類QA画像

用途: 分類
難易度: Easy
コスト: High

huggingfaceGitHubありHugging Faceあり2026-05-29

OpenSTBench: Beyond Semantic Evaluation for Speech Translation

Speech translation systems increasingly span speech-to-text translation (S2TT), speech-to-speech translation (

品質予測/異常検知コンピュータビジョン動画認識生成テキスト音声

用途: 生成
難易度: Easy
コスト: High

arxivPaper only2026-05-28

Deep Binarized Photonic Reservoir Computing for Ultrafast Multimedia Signal Processing

We present a deep photonic neural network architecture based on ultrafast binary optical modulation from a dig

センサ/時系列コンピュータビジョン動画認識分類検出画像

用途: 分類
難易度: Hard
コスト: High

githubGitHubあり2026-05-28

openFrameworks — openFrameworks is a community-developed cross platform toolkit for creative coding in C++.

OpenFrameworksは、C++で構築されたクロスプラットフォームのツールキットで、クリエイティブコーディングのために使われます。このライブラリは、各種のデバイス上でプログラムを動作させることを容易にします。

コンピュータビジョン音声動画

用途: クリエイティブコーディングのためのクロスプラットフォームツールキット
難易度: Easy
コスト: High

arxivPaper only2026-05-27

CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras

Recognizing and continuously learning novel human actions without forgetting prior classes is a requirement fo

センサ/時系列深層学習CNN分類画像動画

用途: 分類
難易度: Hard
コスト: High

githubGitHubあり2026-05-27

nano-world-model — A Minimalist, Batteries-included Repository for Advancing World Model Science.

nano-world-modelは、ワールドモデルの研究や開発を支援するためのオープンソースプロジェクトです。

生成AI拡散モデル生成動画

用途: ワールドモデルの研究と発展
難易度: Easy
コスト: High

githubGitHubあり2026-05-27

memvid — Memory layer for AI Agents. Replace complex RAG pipelines with a serverless, single-file memory layer. Give your agents instant retrieval and long-term memory.

MemVidは、サーバーレスで単一ファイルの記憶層を提案し、AIエージェントが即時検索と長期的な記憶を持つようにする記憶層です。

自然言語処理大規模言語モデル生成テキスト動画

用途: AIエージェントの記憶を管理する
難易度: Easy
コスト: High

githubGitHubあり2026-05-26

Awesome-Video-Diffusion — A curated list of recent diffusion models for video generation, editing, and various other applications.

Awesome-Video-Diffusionは、Recent Diffusion Models for Video Generation, Editing, and Othersのリストを公開しています。

生成AI拡散モデル生成動画

用途: ビデオ生成や編集の問題を解決する
難易度: Easy
コスト: High

huggingfaceHugging Faceあり2026-05-24

WorldCraft: From Camera Navigation to Object Manipulation in Interactive Video World Models

Recent video-based world models have made pixel-space environments interactive at the camera level: users can

自然言語処理ファインチューニング生成画像動画

用途: 生成
難易度: Easy
コスト: High

arxivPaper only2026-05-21

Temporal Coding as a Substrate for Sensorimotor Object Inference: A Spiking Reinterpretation of Thousand Brains Architecture

この研究では、時間空間オブジェクト認識のためのお気に入りのサブストラットを開発するため、Spiking Reinterpretation of Thousand Brains Theoryという方法を提案しました。これは

センサ/時系列コンピュータビジョン動画認識分類

用途: 時間空間オブジェクト認識のためのお気に入りのサブストラットの開発
難易度: Hard
コスト: High

githubGitHubあり2026-05-21

LanPaint — High quality training free inpaint for every stable diffusion model. Supports ComfyUI

画像生成のためのHigh Quality Training Free Inpaintを提供します。このInpaintはStable Diffusionモデルに使用でき、ComfyUIもサポートしています。

品質予測/異常検知生成AI拡散モデル生成画像動画

用途: 画像生成
難易度: Easy
コスト: High

arxivPaper only2026-05-19

Scalable, Energy-Efficient Optical-Neural Architecture for Multiplexed Deepfake Video Detection

The rapid proliferation of AI-generated visual media has created an urgent need for efficient, trustworthy dee

深層学習Transformer検出画像動画

用途: 検出
難易度: Hard
コスト: High

githubGitHubあり2026-05-17

awesome-artificial-intelligence — A curated list of Artificial Intelligence (AI) courses, books, video lectures and papers.

awesome-artificial-intelligenceは、人工知能に関する教材、アートcles、講義等を集め、提供しているオープンソースプロジェクトです。

機械学習教師なし学習動画教師なし

用途: AIに関するリソースの集めと提供
難易度: Easy
コスト: High

arxivPaper only2026-05-16

A Truthful Multiunit Profit-Optimal Mechanism for Synthesizing Social Laws

This paper studies Social Law Synthesis (SLS) in strategic multi-agent environments as a new multi-unit mechan

コンピュータビジョン動画認識生成テキスト

用途: 生成
難易度: Hard
コスト: High

githubGitHubあり2026-05-14

VidCom2 — [EMNLP 2025 Main] Video Compression Commander: Plug-and-Play Inference Acceleration for Video Large Language Models

VidCom2は、ビデオ圧縮を改善するためのPlug-and-Playのインフェレンスアクセレレーションを備えたVideo Large Language Modelsです。

深層学習軽量化・量子化テキスト動画マルチモーダル

用途: ビデオ圧縮改善
難易度: Easy
コスト: High

arxivPaper only2026-05-12

Self-organized MT Direction Maps Emerge from Spatiotemporal Contrastive Optimization

The spatial and functional organization of the primate visual cortex is a fundamental problem in neuroscience.

深層学習Transformer画像動画3D

用途: 技術検証・論文読解補助
難易度: Hard
コスト: High