REPORT
LONETRAIL Technical Note2026.08.24

跑了4天终于把数据清洗完成了!

为了从头搓一个小模型,下载了约 270GB 数据集,4 天后洗完,产出 220GB 以上、约 3500 万条记录。清单如下。

贺煦修
Author:贺煦修
Tags:#技术
ANALYSIS

续下载了一点点的数据集,准备搓一个小的模型玩玩(约 270 GB) - 科技与创作 / AI - NodeLoc的 4 天后,也就是今天,终于清洗完成了!

AAI_IndustryCorpus_literature: 176 GB (2832 万条 ) sedthh_gutenberg_english: 28 GB (~4.6 万条 ) HiTZ_Multilingual-Medical-Corpus: 3.5 GB stjiris_portuguese-legal-sentences-v0: 7.9 GB ( 部分 ) BEE-spoke-data_gutenberg-en-v1-clean: 1.6 GB sedthh_gutenberg_multilang: 1.7 GB joelniklaus_legal-mc4: 545 MB AI-team-UoA_greek_legal_code: 254 MB BEE-spoke-data_fineweb-literature-100k: 424 MB ( 部分 ) rzgar_kurdish_sorani_literatures: ~13 MB, 22727 条 rzgar_kurdish_sorani_literatures_it: 894 MB izumi-lab_open-text-books: 87 MB CalvinU_project-gutenberg: 25569 条 Medilora_us_medical_license_exam_textbooks_en: 23 MB QingHong258_Ancient-Chinese-Language-CUZ: 24 MB Yotam_economics-textbook: 255 条 总产出约 220+ GB,约 3500 万条记录。

原发于 NodeLoc 论坛:https://www.nodeloc.com/t/topic/105018

贺煦修
贺煦修Author
Steam—
Spotify—
发布于:2026.08.24
Classified
Distribution Notice

跑了4天终于把数据清洗完成了!

Author贺煦修/2026.08.24/LT-2026-0824-DATA-C

本作品采用 CC BY-NC-SA 4.0 协议授权。允许分发、混剪、演绎,但不得用于商业用途,且必须基于相同协议分发并标注原作者。

Subscribe
Discussion
Archive_Ref
Copyright © 2025–2026 贺煦修的博客
Powered by Astro & Lonetrail
Licensed under CC BY-NC-SA 4.0

输入关键词搜索文章