mirror of
https://github.com/superseriousbusiness/gotosocial.git
synced 2025-10-29 02:12:25 -05:00
d43fef5812
# Description
This PR updates the Chinese documentation to 6c879186 (the latest commit at present).
It also fixed a small typo in the original docs. Since the change is so minor, I didn't make a separate PR.
Last docs/zh update PR: #3884
## Checklist
Please put an x inside each checkbox to indicate that you've read and followed it: `[ ]` -> `[x]`
If this is a documentation change, only the first checkbox must be filled (you can delete the others if you want).
- [x] I/we have read the [GoToSocial contribution guidelines](https://codeberg.org/superseriousbusiness/gotosocial/src/branch/main/CONTRIBUTING.md).
Reviewed-on: https://codeberg.org/superseriousbusiness/gotosocial/pulls/4117
Co-authored-by: cdn0x12 <git@cdn0x12.dev>
Co-committed-by: cdn0x12 <git@cdn0x12.dev>
1.3 KiB
1.3 KiB
Robots.txt
GoToSocial 在主域名上提供一个 robots.txt 文件。该文件包含试图屏蔽已知 AI 爬虫的一些规则，以及其他一些索引器。它还包括一些规则，以确保诸如 API 端点之类的内容不会被搜索引擎索引，因为这些内容没有被索引的必要。
允许/禁止统计数据收集
你可以通过修改配置 instance-stats-mode 来允许或禁止爬虫从 /nodeinfo/2.0 和 /nodeinfo/2.1 端点收集你的实例的统计数据，此设置会修改 robots.txt 文件。更多详情请参见 实例配置。
AI 爬虫
AI 爬虫来自一个社区维护的仓库。目前是手动保持同步的。如果你知道有任何遗漏的爬虫，请给他们提交一个 PR！
众所周知，很多 AI 爬虫在 robots.txt 不允许其 User-Agent 的情况下，仍然会忽略对应规则并继续抓去内容。这意味着 robots.txt 文件并不是确保 AI 爬虫不抓取你的内容的万无一失的方法。除此以外，你可能还需要考虑通过请求标头过滤来阻止对应 User-Agent，以及启用基于工作证明的爬虫防护。