nodeloc的帖子真的很多啊

爬虫数据楼层 14浏览 141 赞 2发于 2026-10-05 01:21最后回复 2026-10-05 05:57 原帖

贺煦修@user80#12026-10-05 01:21104 阅

rt，本来是想要直接找存档的，但是很显然我并不能找到
只能自己爬取了
（我是问过James的哦）

爬取这种事情就我一个就行了（后面可能有的权限帖子再说吧—）
进度：约 34932 / 49440（71%）
速度：最近一分钟 249 个（4.15/s）
失败：0
剩余约 1.45 万个，预计约 1 小时跑完

后续整理完成我会丢到huggface和GitHub的

James@James#22026-10-05 01:231 赞 · 92 阅

爬的话，直接raw 方便一点。

贺煦修@user80#32026-10-05 01:321 赞 · 82 阅

目前想到的用途
1.做一个本地可搜索的 NodeLoc 历史库。比如问“以前有没有人讨论过 XX”“某个 VPS 商家以前发生过什么”“某个技术问题有没有解决方案”，直接全文搜索/RAG，不需要再翻论坛。
2.可以做社区历史分析，数据分析。比如统计这几年最热门的技术主题、AI 什么时候开始明显爆发、哪些 VPS 商家讨论最多、哪些用户最活跃、某个项目从什么时候开始出现。
3.清洗筛选切词后，微调大模型，或者
直接拿去预训练大模型

大馒头@mantue#42026-10-05 01:3677 阅

有个大佬在做 wiki？感觉也是这个目的

Mike Leone@Mike-Leone#52026-10-05 01:3671 阅

这是侵权的，有些用户不同意。

Chinese-tingfeng@lzA6#62026-10-05 01:3766 阅

我开发一个一键索引爬取等等之类的需要不

Amiya_desi@Amiya_desi#72026-10-05 01:39回复 #374 阅

训练一个loc小助手

贺煦修@user80#82026-10-05 01:47回复 #470 阅

确实，后面让ai分析
要不然怎么能搞wiki呢

catloe9fb7@catloe9fb7#92026-10-05 05:2138 阅

可以问下用什么技术爬的吗

Axi Ma@szanna#102026-10-05 05:2336 阅

肯定多

贺煦修@user80#112026-10-05 05:24回复 #539 阅

本来就是公网啊，我不爬取有人爬取的…
侵权什么啊、

马超@xingyun1000#122026-10-05 05:5432 阅

人多方便啊最近干货也多了

Matsuki_LazyChara@LazyChara#132026-10-05 05:5629 阅

？拿帖子训练ai？？？

Matsuki_LazyChara@LazyChara#142026-10-05 05:57回复 #1133 阅

好奇妙的逻辑，

本页 14 楼，抓取于 2026-10-07 13:28