556 articles

Category

自然言語処理

LLM、RAG、埋め込み、ファインチューニングなど、AIアプリ実装に必要な自然言語処理技術を整理します。

大規模言語モデルRAGファインチューニングプロンプトエンジニアリング埋め込み・検索トークナイザ

人気記事

新着記事

未読 556件
githubGitHubあり2026-11-04

paperless-ngx — A community-supported supercharged document management system: scan, index and archive all your documents

paperless-ngxは、コミュニティによってサポートされたスーパーチャージドのドキュメント管理システムで、ドキュメントのスキャン・インデックス・アーカイブが可能である。

自然言語処理大規模言語モデル分類テキスト
用途
ドキュメント管理
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-04

prompt-in-context-learning — Awesome resources for in-context learning and prompt engineering: Mastery of the LLMs such as ChatGPT, GPT-3, and FlanT5, with up-to-date and cutting-edge updates.

このリポジトリはChatGPT、GPT-3、FlanT5などのLLMsの在り方や、in-context learningとprompt engineeringのリソースをまとめたものです。

自然言語処理大規模言語モデルテキスト
用途
LLMマスターへのリソース
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-04

unsloth — Local UI to run and train LLMs and diffusion models. Supports GGUF, MLX, Qwen3.8, DeepSeek-V4.1, MiniMax-H3, Gemma 4, FLUX and more.

Unsloth Studioは、オープンモデルのトレーニングと実行を支援するWebUIです。このライブラリは、Gemma4、Qwen3.5などのオープンモデルのテストとトレーニングを支援するために使われます。

自然言語処理大規模言語モデル生成画像テキスト
用途
オープンモデルのトレーニングと実行
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-04

wandb — The AI developer platform. Use Weights & Biases to train and fine-tune models, and manage models from experimentation to production.

Weights & Biasesは、AI開発を支援するプラットフォームです。このプラットフォームは、モデル開発から生産準備までを支援し、コストをコントロールし、モデルとデータへのアクセスを管理します。

自然言語処理ファインチューニング
用途
AI開発プラットフォーム
難易度
Easy
コスト
Medium
→
githubGitHubあり2026-11-04

ART — Agent Reinforcement Trainer: train multi-step agents for real-world tasks using GRPO. Give your agents on-the-job training. Reinforcement learning for Qwen3.6, GPT-OSS, Llama, and more!

ARTは、多段強化学習トレーナーです。このトレーナーは、GRPOを使用して、現実世界のタスクに対して、多段強化学習を行うことができます。

自然言語処理大規模言語モデル強化学習
用途
多段強化学習トレーナー
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-04

mlflow — The open source AI engineering platform for agents, LLMs, and ML models. MLflow enables teams of all sizes to debug, evaluate, monitor, and optimize production-quality AI applications while controlling costs and managing access to models and data.

このリポジトリでは、AIワークロードを管理するためのシステムであるSkypilotを提供しています。

品質予測/異常検知自然言語処理大規模言語モデル
用途
AIワークロードを管理するためのシステム
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-04

skypilot — The AI Compute Platform for frontier teams. SkyPilot turns fragmented AI compute into one AI supercomputer, so frontier AI teams build custom intelligence faster.

このリポジトリでは、AIアプリケーションをローカルに実行できるツールキットであるRunAnywhere-sdksを提供しています。

自然言語処理大規模言語モデル
用途
AIアプリケーションをローカルに実行できるツールキット
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-04

lance — Open Lakehouse Format for Multimodal AI. Convert from Parquet in 2 lines of code for 100x faster random access, vector index, and data versioning. Compatible with Pandas, DuckDB, Polars, Pyarrow, and PyTorch with more integrations coming..

マルチモーダルAIに適したオープンレイクハウスフォーマットです。このフォーマットでは、パレットからデータを2行のコードで変換することができ、100倍速くなります。また、ベクトルインデックスやデータバージョニングが可能です

自然言語処理大規模言語モデルマルチモーダル
用途
オープンレイクハウスフォーマット
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-03

prompts.chat — f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the community. Free and open source — self-host for your organization with complete privacy.

prompts.chatは、コミュニティが共有したChatGPT用のプロンプットを発見・収集できる場所で、無料でオープンソースで提供されている。

自然言語処理大規模言語モデル
用途
チャットGPT用のプロンプトを共有
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-03

qdrant — Qdrant - High-performance, massive-scale Vector Database and Vector Search Engine for the next generation of AI. Also available in the cloud https://cloud.qdrant.io/

このリポジトリでは、データとAIアルゴリズムを製品化するためのプラットフォームであるTaipyを提供しています。

自然言語処理埋め込み・検索生成画像
用途
AIアプリケーションを製品化するためのプラットフォーム
難易度
Easy
コスト
Low
→
githubGitHubあり2026-11-03

opencompass — OpenCompass is an LLM evaluation platform, supporting a wide range of models from OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek, etc, across 100+ datasets covering knowledge, reasoning, coding, science, language, long-context, and safety.

LLMを評価するプラットフォームであり、さまざまなモデルとデータセットをサポートする。

自然言語処理大規模言語モデルテキスト
用途
LLM評価
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-03

awesome-MLSecOps — A curated list of MLSecOps tools and resources for securing machine learning and AI systems - adversarial ML defense, LLM security, AI red teaming, model scanning, supply-chain protection, and MLOps pipeline security.

マルチモーダル理解技術のための新しいアプローチであるMIRRORを提案しました。MIRRORは、テキスト、図、テキストと図の組み合わせから等価な視点を提供することで、視覚的な推論や複雑な推論力を向上し、さまざまなモデルの

自然言語処理大規模言語モデル
用途
マルチモーダル理解技術の開発
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-03

Mooncake — Mooncake is the serving platform for Kimi, a leading LLM service provided by Moonshot AI.

この論文では、LLM を提供するために使用される Mooncake サービス プラットフォームについて説明しています。Mooncakeは、Kimi というリーディングのLLMサービスを提供するサービスです。Kimiは、M

自然言語処理大規模言語モデル
用途
LLM用サービングプラットフォーム
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-03

clearml — ClearML - Auto-Magical CI/CD to streamline your AI workload. Experiment Management, Data Management, Pipeline, Orchestration, Scheduling & Serving in one MLOps/LLMOps solution

このリポジトリでは、高スループットと低メモリ消費のLLMインフェレンザエンジンであるVLLMを提供しています。

自然言語処理大規模言語モデル
用途
高スループットと低メモリ消費のLLMインフェレンザ
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-03

kserve — Standardized Distributed Generative and Predictive AI Inference Platform for Scalable, Multi-Framework Deployment on Kubernetes

flyteは、高度に動的で堅牢なAIオーケストレーションプラットフォームであり、データ、モデル、コンピューティングを統合してAIワークフローを作成することができます。

自然言語処理大規模言語モデル生成
用途
エクスペリメントトラッカーを簡単にする
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-03

MOVA — A foundation model that generates synchronized video and audio in a single model

統計チャートの生成は、タブラーのデータから生成することが難しい。新しい作成フローでは、データのスクリーン、プロット提案、コード生成、レンダリング、検証による改良が含まれる。

自然言語処理ファインチューニング生成テキスト音声
用途
可視化された統計チャートの生成
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-03

unstructured — Convert documents to structured data effortlessly. Unstructured is open-source ETL solution for transforming complex documents into clean, structured formats for language models. Visit our website to learn more about our enterprise grade Platform product for production grade workflows, partitioning, enrichments, chunking and embedding.

ドキュメントを構造化するために使えるオープンソースのETLソリューション。

表形式向き自然言語処理大規模言語モデル画像テキスト表形式
用途
ドキュメントの構造化
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-03

compromise — modest natural-language processing

この研究では、自然言語処理の負担を減らすモジュラリティを目指しています。モジュラリティとは、システムを小さくて独立した部分に分割して、それぞれを簡素化することです。この研究では、文脈に応じてモジュラリティを変更できるメカ

自然言語処理分類音声
用途
自然言語処理の簡素化
難易度
Easy
コスト
Low
→
githubGitHubあり2026-11-03

trafilatura — Python & Command-line tool to gather text and metadata on the Web: Crawling, scraping, extraction, output as CSV, JSON, HTML, MD, TXT, XML

trafilaturaはPythonとコマンドラインツールで、Webからテキストとメタデータを取得して、CSV、JSON、HTML、MD、TXT、XML形式で出力を提供します。

表形式向き自然言語処理大規模言語モデルテキスト
用途
Web上から情報を取得してテキスト抽出する
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-02

ludwig — Low-code framework for building custom LLMs, neural networks, and other AI models

Ludwigは、LLM (Large Language Model) のカスタム化と構築のための低コストフレームワークです。このフレームワークは、ユーザーがカスタム LLM を構築し、トレーニングするのを容易にします。

自然言語処理大規模言語モデル
用途
LLMのカスタム化と構築のための低コストフレームワーク
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-02

RAG_Techniques — This repository showcases various advanced techniques for Retrieval-Augmented Generation (RAG) systems. Each technique has a detailed notebook tutorial.

医学画像に対する疾患検出モデルを開発し、臨床現場で早期検出と迅速な介入を容易にすることを目的としたフレームワークを提案します。

自然言語処理大規模言語モデル生成
用途
医学画像の疾患検出
難易度
Easy
コスト
High
→
githubGitHubあり2026-11-01

PyTorch-Tutorial-2nd — 《Pytorch实用教程》(第二版)无论是零基础入门,还是CV、NLP、LLM项目应用,或是进阶工程化部署落地,在这里都有。相信在本书的帮助下,读者将能够轻松掌握 PyTorch 的使用,成为一名优秀的深度学习工程师。

Pytorchの教科書としては非常に詳細で、実践的な方法を提示しています。

自然言語処理大規模言語モデル
用途
ゼロから入門する人や深度学習の工程をプロデュースして欲しい人
難易度
Easy
コスト
High
→
githubGitHubあり2026-10-29

Awesome-large-language-model-for-Prognostics-and-health-management — 用于预测性维护与健康管理的大型语言模型(故障诊断;寿命预测)

この論文では、予測性維护と健康管理のための大型言語モデルが使用されます。この modelは、故障診断や寿命予測などの問題を解決するように設計されています。

自然言語処理
用途
故障診断と寿命予測の問題を解決
難易度
Easy
コスト
Medium
→
githubGitHubあり2026-10-25

dafeiyu-cleaner — DeepSeek 蓝色大肥鱼消除计划:识别并清理 B 站(Bilibili)评论区中由 DeepSeek 大模型、AI Agent 驱动的机器人账号(大肥鱼)的 Chrome / Edge / Firefox 浏览器插件。离线规则 + DeepSeek API 精判,AI 评论检测、空间主页鉴定、鲸鱼娘一键清场。DeepSeek AI bot detector for Bilibili comments.

DeepSeek 蓝色大肥鱼消除计划:识别并清理 B 站(Bilibili)评论区中由 DeepSeek 大模型、AI Agent 驱动的机器人账号(大肥鱼)的 Chrome / Edge / Firefox 浏览器插件

自然言語処理大規模言語モデル検出
用途
検出
難易度
Easy
コスト
High
→
githubGitHubあり2026-10-16

BettaFish — 微舆:人人可用的多Agent舆情分析助手,打破信息茧房,还原舆情原貌,预测未来走向,辅助决策!从0实现,不依赖任何框架。

微舆は人人可用的多Agent舆情分析助手であり、情報茧房を打破して舆情の原貌を還元し、未来の走向を予測し、決策を助けることができます。

自然言語処理大規模言語モデル
用途
舆情分析助手の問題を解決する
難易度
Easy
コスト
High
→
githubGitHubあり2026-10-08

ai-agent-book — 《深入理解 AI Agent:设计原理与工程实践》(李博杰 著)开源主仓库:全书正文、编译版 PDF 与按章配套代码

この論文では、現在のVision-Language-Benchmark(VLB)を超える、MLLMがアクティブな観察を実演できるようにするためのバenchmark、ActiveVisionを提案する。このActiveVi

自然言語処理大規模言語モデルテキストマルチモーダル
用途
弁論の実際的な対象を形成するためにAIが活用される
難易度
Easy
コスト
High
→