10、语言结构与文本处理技术解析

语言结构与文本处理技术解析

一、文件处理与网页内容采集

1.1 文件列表筛选

在文件处理中，输入变量 rexp 是一个字符串，用于指定一个正则表达式，列出的文件名必须与之匹配。输出 fnames 是一个字符串数组，包含文件列表，而输出 location 则是指定或所选目录的绝对路径，文件就位于该目录中。

1.2 网页内容采集与处理

1.2.1 准备工作

使用 help 命令获取 webread 和 websave 的相关信息。选择一个感兴趣的网页，如维基百科、古登堡计划、新闻网站、博客等，这些网站通常包含多个文档或文章的链接。

1.2.2 具体操作步骤

1. 获取感兴趣网页的内容，并使用 htmlTree 进行解析，就像之前示例（5.43b）中所展示的那样。
2. 检索网站内指向其他内容页面的所有链接。可以使用 findElement 和 getAttribute 等函数来选择感兴趣的链接，但首先需要查看示例页面的 HTML 代码，以确定要检索的链接类别。
3. 提取与提取的链接相关的所有页面的文本内容。在脚本中加入延迟函数，避免向目标服务器发送多个连续请求而导致过载。可以考虑使用 pause(random('unif',10,20)) 这样的延迟