「multimodal」の検索結果
56 件🤗 Transformersは、テキスト・ビジョン・音声など複雑なモデル定義をサポートするフレームワークで、インフェレンスターやトレーニングに使用できる。
医学画像分析は、医療の診断や治療を支援するために画像に記載されたデータから情報を抽出する研究分野です。この研究では、foundation modelsを用い、医療画像分析のための新しいアプローチを提案しました。found
ユーザーの行動を認識し、オートエージェントを構築するためのツール。
データをロギング・ストーリング・クエリして視覚化できるSDKです。
SGLangは、大規模言語モデルのサービングフレームワークです。このライブラリは、高性能なサービスフレームワークで、大規模言語モデルのサービングをサポートしています。
この論文では、現在のVision-Language-Benchmark（VLB）を超える、MLLMがアクティブな観察を実演できるようにするためのバenchmark、ActiveVisionを提案する。このActiveVi
マルチモーダルAIに適したオープンレイクハウスフォーマットです。このフォーマットでは、パレットからデータを2行のコードで変換することができ、100倍速くなります。また、ベクトルインデックスやデータバージョニングが可能です
このリポジトリでは、AIモデルの互換性を確保するためのオープンスタンダードであるONNXを提供しています。
CVV または CWE への分類を実現し、バグ修正のために重要な手順となるCVEへの CWE 分類を自動化する。
オープンソースのAIオーケストレーションフレームワークです。LLMアプリケーションの構築に必要なパイプラインやエージェントワークフローの設計ができるようになっています。
3次元空間理解技術のための新しいアプローチであるVLM-IE3D（Vision-Language Models with Implicit and Explicit 3D geometry）を提案しました。VLM-IE3
A vision-language AI assistant returns its answer as a stream of generated tokens. Therefore, a safety guard t
Open-vocabulary semantic segmentation (OVSS) leverages textual semantics to segment objects beyond predefined
Infrared image super-resolution (IISR) mitigates the limitations imposed by low spatial resolution. Existing m
感情認識は、現代のアギを促進するために不可欠ですが、大規模
Large language models are increasingly used in K-12 education, but existing benchmarks mainly test exam questi
xtunerは、超大規模MoEモデルを高速にトレーニングするためのトレーニングエンジンです。
この研究では、抗原特異性抗体を設計するために、抗原および抗体の間でエピトープレベルでのペアリングが必要であることを考慮した、抗原特異性の抗体多モーダルファンデーションモデル（AAMFM）を提案しました。
Visible-infrared (VIS-IR) alignment is a key pre-training task for robust multi-sensor perception. Most existi
Attention Mechanism (AM) selectively focuses on essential information for imaging tasks and captures relations
Aims: Cardiovascular magnetic resonance (CMR) imaging enables non-invasive assessment of myocardial structure,
この研究では、可視化された質問への対応を評価するために、新しい方法を提案しました。この方法は、質問への回答の正確性だけでなく、質問への回答のパターンや特徴も評価することができます。
ReferTrack は、自然言語で対象の車両に付近する自動車を追従させるシステムである。このシステムでは、対象の車両に付近する自動車を認識する後、自動車の動きを予測する。
深層学習を用いた形状推定モデルを作成し、オープン平面曲線の形状を推定するための深層学習モデルを提案した。
Detectors for AI-generated video are evaluated offline. A clip is decoded to pixels and scored once, increasin
オリジナルのデータとZoom-Inのツールを組み合わせた方法、OmniReasonerを提案する。これにより、オリンモードルLLMsの長いオーディオビデオの論理的推論を改善できる。
Large-scale visual generators are increasingly capable but costly to train, fine-tune, and deploy. We introduc
Teaching videos are becoming a major medium for education, creating a growing need for scalable evaluation of
Video spatial reasoning is essential for navigation-oriented perception and long-video question answering, whe
Human-object centric video personalization (HOCVP) is a core task within subject-driven video generation. Howe
Real-time multimodal applications, including voice agents and interactive video generation, compose heterogene
Egocentric devices, such as wearable front-facing cameras, provide a unique perspective for capturing the cont
モデルをサービングするためのライブラリを紹介している。
Video multimodal large language models (MLLMs) can describe what happens in a video, but rarely identify when
We revisit dataset distillation from an outcome-centric perspective. Rather than aligning process surrogates (
Optical coherence tomography (OCT) imaging is essential for the diagnosis and treatment of retinal diseases. A
Becoming a cracked AI/ML Research Engineerには、AI/ML研究者のスキルと知識を高めるための手法が紹介されています。
Human vision is a closed loop: gaze is continuously redirected by intermediate hypotheses rather than a single
The post-training of Vision-Language-Action (VLA) models is essential due to the diversity of simulators, robo
We present S1-Omni, a unified multimodal reasoning model for scientific understanding, prediction, and generat
We present Audio-Visual Flamingo (AV-Flamingo), a fully open state-of-the-art audio-visual large language mode
ゼネレーティブAIに関連するリソースの一覧。
Skills are a useful abstraction for software agents, turning human and agent experience into reusable procedur
We present Xiaomi-Robotics-1, a foundational vision-language-action (VLA) model capable of (1) following diver
基礎モデルの前処理を行うためのライブラリ。最小限でシームレスにスケールできる。
Finetuning a pretrained vision-language model (VLM) on robot demonstrations via behavior cloning (BC) has beco
Building assistants that can continually watch the world, remember what they see, and reason over their accumu
Vision-language-action (VLA) models predict robot actions from visual observations and language instructions.
We introduce Self-Verified Reasoner (SVR-R1), a multi-turn RL framework that turns a model's own verification
Awesome Mixture of Experts (MoE): A Curated List of Mixture of Experts (MoE) and Mixture of Multimodal Experts
UniPicは、オープンソースの最先端の画像編集モデルの実装です。
GUI操作自動化に伴う停止判定、復讐、再検索に関する問題を解決し、 GUI操作自動化を実現するためのフレームワークを開発します。
Large language models (LLMs) have demonstrated growing competence in web page generation. However, existing te
この研究では、画像理解を強化する強化されたビジョンホルシックスモデル (VLM-R1) が提案されます。この modelは、画像を理解しやすくするように設計されています。
ビデオ diffusioin trasformerは、ビデオの長さに依存しない推論能力を持っているが、この長さのエキサポレーションは実際には困難なものである。RIFLExという手法を開発し、ビデオ長さのエキサポレーション
分析システムの性能を向上するための学習モデル開発を行う。