📡 阿久数据源目录

按内容分类 · 多标签筛选 · 45+ 数据源

🕐 2026-07-06 👤 1人 · Mac Mini Pro 📍 中国网络
🏷️
🏠 房产居住

安居客 / 贝壳（房源数据）

爬虫 谨慎 中难度 住建
数据：二手房/租房价格、户型、小区信息、成交记录、房价走势曲线
中 列表页好抓 ⚠️ 个人研究
→ 区域房价分析、租房比价、武汉/上海二手房市场Agent报告
💼 招聘就业

BOSS直聘 / 猎聘（职位）

爬虫 谨慎 中难度 薪资 市场分析
数据：职位列表、薪资范围、公司信息、技能要求、岗位数量趋势
中 列表好抓，详情需登录 ⚠️ 个人研究
→ AI岗位市场分析、薪资分布、同行招聘动态
💻 开发 & AI 生态

GitHub API

API 低难度 推荐 代码 趋势
数据：仓库Star/Fork、Issue/PR、代码搜索、Trending、技术栈
低 REST+GraphQL · 5000/h ✅ 完全开放
→ 开源项目发现Agent、技术趋势分析、Skill化场景

Hugging Face API

API 低难度 推荐 模型 评测
数据：模型列表/下载量、数据集、Spaces应用、推理API
低 REST · 无公开限 ✅ 开放
→ AI模型发布监控、自动评测、模型排行榜工具

arXiv API

API 低难度 推荐 论文 学术
数据：论文标题/摘要/作者/分类、发表日期、PDF链接（200万+预印本）
低 REST Atom/JSON · 1req/3s ✅ 完全开放
→ 自动抓取AI论文→知识库→摘要简报（已有skill）

Hugging Face Datasets

开放数据 低难度 推荐 训练集 评测
数据：数十万公开数据集——文本/图像/音频/多模态/评测benchmark
低 pip install datasets ✅ 按许可使用
→ RAG评测集、模型benchmark、中文NLP数据集
🗺️ 地理 & 地图

高德地图 API

API 低难度 推荐 POI 中国
数据：POI搜索（地点/店铺）、路径规划、地理编码、行政区划、天气
低 REST · 30万次/天免费 ✅ 官方API
→ 中国POI数据最全的源，搭配OSM使用

百度地图 API

API 低难度 POI 中国 路况
数据：POI搜索、实时路况、地理编码、公交路线（坐标BD09需转换）
低 REST · 5000-20000次/天 ✅ 官方API
→ 高德的补充，覆盖不到的位置用百度查

天地图 API（国家级）

API 低难度 推荐 行政区划 中国
数据：中国行政区划、标准地名、地址编码/逆编码、瓦片服务（最权威的官方源）
低 REST · 额度宽松 ✅ 政府开放
→ 高德/百度的底层数据源，权威行政区划查询

OpenStreetMap Overpass

API 中难度 推荐 全球地图 ODbL
数据：全球道路网、建筑轮廓、POI、行政边界、水系、landuse（完整地球地图）
中 Overpass QL · 2 req/s ✅ ODbL
→ 最强大的免费地理源，可自建Nominatim做本地地址查询

Natural Earth 全球矢量图

开放数据 低难度 推荐 国界线 可视化
数据：国界线/海岸线/河流/城市点/地形阴影/时区（1:10m/1:50m/1:110m三级）
低 Shapefile下载即用 ✅ 完全公域
→ 地图可视化最佳基础数据，配ECharts/D3做地图页

国家地球系统科学数据中心

开放数据 中难度 气候 中国 科研
数据：中国土壤/气候/植被/DEM高程/土地利用（geodata.cn注册下载）
中 申请下载·通过率高 ✅ 国家科研共享
→ 中国区域气候/地形/经济地理分析权威源
📱 社交媒体

小红书（公开页面）

爬虫 低难度 强烈推荐 谨慎 笔记
数据：笔记标题/正文/图片、点赞收藏评论、博主主页、搜索列表
低 Scrapling/Playwright ⚠️ ToS禁止自动化
→ 🥇 最推荐的个人数据源！反爬弱、数据丰富、需求大

知乎（公开页面）

爬虫 低难度 谨慎 问答 长文
数据：问答内容、赞同数、评论、热榜、专栏文章（高质量长文素材）
低 JSON接口拦截 ⚠️ 个人使用灰色
→ 话题热度监控、RAG数据源、知识库构建
🎬 视频平台

Bilibili 开放 API

API 低难度 推荐 弹幕 UP主
数据：UP主信息、视频列表、播放/点赞/评论、弹幕、排行榜、搜索
低 HTTP GET · 5 req/s ✅ 公开
→ 竞品UP主监控、热门视频分析、弹幕情感分析

抖音/快手（网页版）

爬虫 高难度 不推荐 高风险 逆向
数据：视频播放/点赞/评论、博主主页、直播间信息（接口有X-Bogus签名）
高 需逆向签名算法 ⚠️ 灰豚核心业务
→ ⚠️ 不优先推荐，维护成本巨大，建议用灰豚导出数据做分析

抖音/小红书 个人后台

自有 中难度 推荐 流量 粉丝
数据：你自己的作品数据/粉丝分析/流量来源/收入（创作者后台导出）
中 后台导出+JS注入 ✅ 自己账号随便用
→ 个人内容分析工具：用户授权→自动拉→AI优化建议
🛒 电商 & 消费

灰豚/蝉妈妈 CSV 导出

自有 低难度 谨慎 付费 直播
数据：达人/商品排行、直播间数据CSV（自己在灰豚后台→导出→传给你）
低 CSV解析简单 ✅ 自己数据
→ 可做分析，但流程太绕，不推荐作为核心产品
📰 资讯 & 媒体

36氪 / 虎嗅 / RSS

爬虫 低难度 推荐 谨慎 行业
数据：科技资讯、创业报道、行业分析、公司动态（RSS+网页抓取）
低 RSS+简单抓取 ⚠️ 版权内容
→ 每日行业简报Agent（自动抓→AI摘要→推送）

百度百科

爬虫 高难度 不推荐 高风险 验证码
数据：百科词条全文、结构化信息框、分类目录
高 Selenium过安全验证 ⚠️ 百度安全防护
→ 已有baike-mirror skill，适合批量爬，但速度慢验证码多
📈 趋势 & 宏观

百度指数（搜索趋势）

爬虫 中难度 谨慎 搜索量 选品
数据：搜索趋势指数（按关键词的日/周/月搜索量趋势曲线，可对比多词）
中 Playwright模拟登录 ⚠️ 需登录+验证码
→ 选品/选题决策：搜"AI应用" vs "ChatGPT" 趋势对比、热点预判

国家统计局 · 月度/年度数据

开放数据 低难度 强烈推荐 CPI GDP 就业
数据：CPI/GDP/人口/就业/行业产值/进出口/固定资产投资/房地产开发/社零等宏观指标（月/季/年发布）
低 data.stats.gov.cn · API+CSV直下 ✅ 政府公开
→ cron自动拉→AI经济简报；市场分析报告数据底座；仲裁宏观背景引用

国家统计局 · 统计年鉴

开放数据 低难度 推荐 年鉴 分省 分行业
数据：《中国统计年鉴》历年完整版——分省/分行业/分城乡的GDP/人口/收入/消费/教育/医疗等（PDF/Excel）
低 stats.gov.cn/sj/ndsj/ · 免费下载 ✅ 政府公开
→ 跨年趋势分析、区域经济对比、城市数据洞察的最权威来源

国家发展统计公报（年度）

开放数据 低难度 强烈推荐 公报 政策 年度
数据：《国民经济和社会发展统计公报》——每年2月发布，含GDP/人口/就业/收入/消费/教育/科技/资源环境等全口径指标+政策解读
低 stats.gov.cn/sj/zxfb/ · 每年自动发布 ✅ 政府公开 · 年度例行
→ 年度必读！比统计局明细数据更浓缩，含城乡居民收支/恩格尔系数/房价收入比等关键指标。直接决定"去年这一年中国到底是什么情况"

国家统计局 · 经济普查/人口普查

开放数据 低难度 推荐 普查 人口 经济
数据：全国人口普查（七普·2020）、经济普查（四经普·2018）——最细到街道级的人口/年龄/教育/行业/法人单位数据
低 stats.gov.cn · 历次普查数据公开 ✅ 政府公开
→ 城市人口结构分析、行业就业分布、区域发展差距（七普街道级数据极有价值）
🌐 白嫖 / 开放互联网数据 这些全是免费可拿的，有些本来是付费产品但公开信息可薅

Wikipedia API

API 低难度 强烈推荐 百科 知识图谱
数据：6000万+多语言词条全文 + 分类树 + 信息框 + Wikidata结构化三元组 + 页面关系图
低 REST · 无限制 · Wikipedia-API ✅ 完全开放
→ 最好的通用知识源，Wikidata三元组可做知识图谱，比百度百科好抓多了

微博公开数据（热搜/博文）

API 低难度 推荐 热搜 社媒
数据：微博热搜榜（每10分钟更新）、热门博文/评论、话题页、用户时间线（开放接口）
低 JSON接口直接抓 ✅ 公开 · 无签名
→ 每天的热搜数据→分析"今天中国人到底在关心什么"，最容易做内容的源

百度热搜 / 微信热榜

API 低难度 推荐 热榜 选品
数据：百度实时热搜榜（首页+移动端）、微信看一看热榜、抖音热榜、B站热门
低 JSON接口·纯GET ✅ 完全公开
→ 四个热榜一起抓→Agent自动分析"今天什么话题在哪个平台火"→选题决策

东方财富 / 同花顺（行情数据）

API 低难度 推荐 股票 宏观
数据：A股/港股/美股行情、宏观经济指标、行业板块数据、龙虎榜（有免费WebSocket/HTTP接口）
低 HTTP GET · 无签名 ✅ 免费 · 非官方但公开
→ 股市行情做内容（"今天A股发生了什么"日更Agent），配合统计局做宏观经济分析

裁判文书网（司法案例）

API 中难度 谨慎 判例 仲裁
数据：中国各级法院裁判文书全文（劳动纠纷/合同纠纷/知识产权等判例）
中 爬虫 · 有反爬/验证码 ⚠️ 近年收紧了访问
→ 仲裁参考：搜"绩效制度 未签字 劳动仲裁"看类似判例的判决结果

豆瓣（书影音数据）

API 低难度 推荐 评分 书单
数据：书/电影/音乐的评分、短评、书单、标签体系、排行榜（页面结构稳定）
低 scrapling/Playwright ✅ 爬取友好
→ 读书会选书→参考豆瓣评分+标签交叉验证；书单Agent自动推荐

微信公众号文章（搜狗/搜一搜）

API 低难度 推荐 文章 内容
数据：微信公众号文章标题/摘要/正文/阅读量——通过搜狗微信搜索或搜一搜接口获取
低 搜狗/搜一搜接口 ✅ 公开索引
→ 行业公众号内容监控·每天"AI行业说了什么"，质量比小红书高

中国天气网 / 和风天气（气象）

API 低难度 推荐 天气 气象
数据：全国3000+城市实时天气/预报/空气质量/预警/历史天气（和风免费版1000次/天）
低 和风API · 注册免费 ✅ 官方免费额度
→ "全国城市空气质量日报"类内容，可视化中国天气地图

天眼查 / 企查查公开页面

API 中难度 谨慎 企业 工商
数据：企业工商信息/法人/股东/股权/变更记录/司法风险/商标（免费版可见基本信息，详情需付费会员）
中 scrapling抓公开页面 ⚠️ 批量触发风控
→ 投公司前查一查、仲裁前查公司底细（认缴资本/诉讼记录），一次查几个没问题

12306（火车票数据）

API 中难度 推荐 交通 春运
数据：列车时刻表/余票/票价/正晚点/站点信息（12306有未公开但稳定的JSON接口）
中 JSON · 需处理验证码 ✅ 运营数据分析
→ "春运大数据分析"类内容——12306数据+统计局客运量=很好用的内容素材
📚 书籍 & 知识库

微信读书 API（逆向）

爬虫 中难度 谨慎 全文提取 灰色
数据：书架、书籍全文、划线/笔记、热门划线（需登录态+模拟翻页）
中 页面JS注入+拦截 ⚠️ 灰色地带
→ 提取书籍全文→知识库索引（已有信息简史实践）

微信读书（截图提取）

爬虫 中难度 谨慎 OCR 阅读
数据：书籍全文（翻页阅读）、热门划线、推荐列表（浏览器登录→截图OCR）
中 browser-ocr-capture流程 ⚠️ 个人阅读使用
→ 已有成熟流程，持续扩展个人图书馆知识库

Project Gutenberg 公版书

开放数据 中难度 推荐 经典 公版
数据：7万+公版英文书籍全文（文学/哲学/科学经典，TXT/EPUB）
中 API搜索+rsync镜像 ✅ 公版合法
→ 已有部分索引，可扩展为经典著作RAG知识库

Wikipedia / Wikidata API

API 低难度 推荐 知识图谱 多语言
数据：百科条目全文、结构化属性、关系图谱、多语言
低 MediaWiki+SPARQL · ≤200/s ✅ CC BY-SA
→ 书库Wiki数据底盘（已有skill）、主题知识图谱补全
🤖 大模型蒸馏数据 从大模型自身生成的数据，无需爬取

指令微调数据（SFT）

蒸馏 低难度 强烈推荐 指令 SFT
数据：用GPT-4/DeepSeek/Claude等强模型生成"指令-回答"对，用来微调自己的小模型
低 API调用 · 结构化Prompt ✅ 成熟方法论
→ 用量越大数据越多，自举训练数据管道（已有开源工具如Self-Instruct）

偏好对齐数据（DPO/RLHF）

蒸馏 中难度 推荐 偏好 对齐
数据：让模型生成多个回答→让强模型/人评判好坏→构造"chosen/rejected"偏好对
中 多次采样+LLM-as-Judge ✅ 可用开源模型做裁判
→ 对齐训练、安全训练、风格迁移——让模型说人话不说废话

推理链数据（CoT）

蒸馏 中难度 推荐 思维链 Reasoning
数据：让模型输出"首先...然后...因此..."的逐步推理过程，蒸馏给弱模型增强推理能力
中 Chain-of-Thought Prompting ✅ 无需标注
→ 蒸馏给本地小模型（如qwen3），让本地模型也能逻辑推理

合成代码训练数据

蒸馏 低难度 推荐 代码 测试
数据：让强模型写代码+写测试用例+写文档，构建代码生成/修复/测试数据集
低 API调用 · 代码校验 ✅ 可自动验证
→ 用来微调编程助手、代码审查Agent、自动测试生成

结构化知识抽取

蒸馏 低难度 推荐 知识图谱 结构化
数据：把杂乱的网页/PDF喂给LLM→输出JSON格式的实体关系、分类标签、摘要
低 LLM+结构化Prompt ✅ 完全可控
→ RAG知识库的结构化补充、仲裁时间线自动构建、行业知识图谱

合成评测集（Benchmark）

蒸馏 中难度 推荐 评测 Benchmark
数据：用强模型生成带标准答案的测试题（数学/逻辑/领域知识），用来评估你自己产品的Agent
中 种子题库+LLM扩展 ✅ 可套娃验证
→ 你可以跑RAG评测，看看"数据源→知识库→回答"每个环节的质量

文本分类/标注数据

蒸馏 低难度 推荐 分类 标注
数据：给LLM设定分类规则→批量自动标注文本的情感/主题/意图（替代人工标注）
低 Few-shot + 批量推理 ✅ 省大量人力
→ 用来训练自己的分类模型，或直接做数据分析管道的预处理层

Embedding 训练数据

蒸馏 中难度 推荐 向量 检索
数据：LLM判断两个文本是否语义相似→构造"query-正例-负例"三元组→训练专用embedding模型
中 检索增强+LLM打分 ✅ 效果显著
→ 替代bge-small-zh-v1.5，训练你自己的中文RAG检索器
🏢 专业数据平台 这些平台本身就卖数据/提供数据集

Kaggle

API 低难度 强烈推荐 竞赛 Notebook
数据：50万+公开数据集+竞赛数据+社区Notebook+模型。全球最大的数据科学社区
低 kagglehub API / 网页下载 ✅ 完全开放
→ 找数据集先去Kaggle搜一圈，覆盖几乎所有领域

AI Studio（百度）

API 低难度 推荐 中文 GPU
数据：百度官方数据集+用户上传数据+免费GPU算力+比赛。中文NLP数据丰富
低 aistudio.baidu.com · 注册免费 ✅ 百度生态
→ 中文NLP/视觉数据集最多的地方，还有飞桨生态

天池（阿里云）

API 低难度 推荐 竞赛 阿里
数据：阿里系真实业务数据脱敏版（电商/支付/物流）+比赛数据集+社区
低 tianchi.aliyun.com · 免费注册 ✅ 阿里开放
→ 电商/推荐系统/风控场景的数据首选

和鲸社区（HeyWhale）

API 低难度 推荐 社区 协作
数据：中国最大的中文数据科学社区之一，开放数据集+竞赛+Kernel+模型部署
低 heywhale.com · 注册免费 ✅ 社区共享
→ 中文数据挖掘竞赛、找中国特色的数据集

ModelScope 魔搭

API 低难度 推荐 模型 数据集
数据：阿里达摩院维护的模型+数据集社区，2万+数据集，中文多模态数据丰富
低 modelscope.cn · 注册免费 ✅ 阿里开源
→ 中文AI模型下载+数据集一站搞定

OpenDataLab（上海AI Lab）

API 低难度 推荐 开放 学术
数据：上海人工智能实验室维护，4000+数据集，含书生Intern系列训练数据
低 opendatalab.com · 注册免费 ✅ 学术开放
→ 高质量中文多模态数据集，可作为HF Datasets的国内备用源

DataFountain（DF）

API 低难度 推荐 竞赛 政务
数据：数据竞赛平台，大数据/政务/工业/交通等领域真实数据集+奖金赛
低 datafountain.cn · 注册免费 ✅ 竞赛数据
→ 政务/工业场景数据集丰富，比赛获奖还有奖金

Papers with Code

API 低难度 推荐 论文 Benchmark
数据：论文+代码+数据集+Bechmark排行榜的关联数据库。找什么模型在什么数据集上排第几
低 paperswithcode.com · 免费 ✅ 开放
→ 选模型/数据集之前先看排行榜，最权威
🔒 自有 & 个人数据

Hermes 对话历史

自有 低难度 强烈推荐 对话 本地
数据：100+会话含完整对话树+工具调用（SQLite直读 ~/.hermes/sessions/）
低 本地SQLite 🔒 完全私密
→ 个人复盘：自动分析每周决策/纠结/改进，做周报

Wiki / Obsidian 笔记库

自有 低难度 强烈推荐 笔记 本地
数据：~200+ Markdown 笔记（~/wiki/）——仲裁/技术/求职/读书
低 文件系统直读 🔒 完全私密
→ 确定性知识层（Wiki）+ 概率检索（LlamaIndex）双路回答

Common Crawl 网页存档

开放数据 高难度 不推荐 海量 S3
数据：数十亿网页HTML+元数据，月度爬取存档（共数百TB）
极高 AWS S3免费·本地下不了 ✅ 公开数据
→ ⚠️ 本地跑不动全量，可用Athena抽样查询，不优先推荐
⛔ 不推荐（成本/风险远大于收益）

微博全量数据

爬虫 高难度 不推荐 高风险 反爬
反爬最严之一（登录验证码+接口签名+法律风险），且流量已被抖音/小红书抢走，数据价值下降。❌
极高不推荐

微信公众号批量抓取

爬虫 高难度 不推荐 高风险 法务
微信生态封闭（搜一搜受限+防转载+法务力度大）。单篇可以，批量自动化不要碰。❌
极高不推荐

淘宝/京东/拼多多比价

爬虫 高难度 不推荐 高风险 法律
淘宝滑块+签名+法律风险（比价网站已被多处起诉），且该赛道已是红海。❌
极高不推荐

🧠 建议路线

  1. 🥇 小红书+B站公开数据 — 反爬弱、数据丰富、品牌投放需求大，最适合做"内容策略AI分析工具"的基座
  2. 🥈 开放API（GitHub/arXiv/Wikipedia/高德/统计局） — 0成本、完全合规，做信息聚合Agent（日报/周报/趋势分析）
  3. 🥉 LLM蒸馏数据 — 不用爬不用花钱，从DeepSeek/Claude蒸馏定制训练集，做你自己的小模型
  4. 🏅 专业数据平台 — Kaggle/天池/和鲸上的开源数据集，拿来即用
  5. 🔒 自有数据（Hermes历史/Wiki/抖音个人号） — 别人拿不到的才是真护城河
  6. ❌ 抖音逆向/微博批量/淘宝比价 — 投入产出比低+法律风险不可控
核心一句话：避开红海逆向，拥抱开放数据 + AI蒸馏 + 自有数据