Datasets

Datasets 是 Hugging Face 的数据集管理库：从 Hugging Face Hub 流式加载数万个人工智能数据集，支持大规模数据的内存外处理、快速筛选、切分与多进程映射，训练数据准备效率远超手写脚本。
与 Transformers 训练流程无缝集成，支持自定义数据集与 Arrow/Parquet 格式持久化。
适合场景：训练与微调的数据准备、数据清洗流水线、复现研究实验。
上手方式：pip install datasets，load_dataset 一行加载公开数据集。