自动访问网站并记录找到的数据的程序使用什么术语？
1996年，Brewster Kahle与Bruce Gilliat共同开发了一款软件，用于抓取和下载所有可公开访问的万维网网页、Gopher层次结构、Netnews（Usenet）公告板系统和可下载软件。这些“爬虫程序”收集的信息并不包括互联网上所有可用的信息，因为大部分数据受发布者的限制或存储在不可访问的数据库中。这些“爬虫程序”也尊重机器人排除标准，即网站所有者选择不显示在搜索结果中或不被缓存的网站。为了克服部分缓存网站的不一致性，2005年，互联网档案馆开发了Archive-It.org，作为一种手段，机构和内容创作者可以自愿收集和保存数字内容，并创建数字档案。
爬虫