Hugging Face 印度语系预训练扩展：2.8万亿Token与开放数据生成管线

Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline

Hugging Face 公开印度语系预训练扩展相关内容，涉及规模达2.8万亿Token的数据集，同步开放配套的数据生成流水线。