柳城博客

用Perl抓取网页和提交表格

这里简单介绍一下用Perl来实现抓好取网页的源代码，以及用POST的方法来提交表格，并返回结果。难的讲不来，讲讲简单的。

这里讲到的Perl模块有：

use LWP::Simple;
use LWP::UserAgent;

用perldoc查看详细的用法。

1，用perl抓取网页

如果只是要拿到某个网页，那使用 LWP::Simple 里的函数是最简单的。通过调用 get($url) 函数，就可以得到相关网址的内容。

my $url = 'http://freshair.npr.org/dayFA.cfm?todayDate=current'

use LWP::Simple;
my $content = get $url;
die "Couldn't get $url" unless defined $content;

#  $content 里是网页内容，下面是对此内容作些分析：

if($content =~ m/jazz/i) {
print "They're talking about jazz today on Fresh Air!\n";
} else {
print "Fresh Air is apparently jazzless today.\n";
}

非常简单易懂。拿网页内容是容易的，难的是用正则过滤需要的内容。

2，通过 POST提交表格

部分HTML表格使用HTML POST 向服务器提交数据，在这里你可以这样：

$response = $browser->post( $url,
   [
     formkey1 => value1,
     formkey2 => value2,
     ...
   ],
 );

实例分析：例如在(http://www.enzim.hu/hmmtop/html/submit.html)提交一段序列并返回结果，用perl来实现。代码如下：

#!/usr/bin/perl

use LWP::UserAgent;
my $browser = LWP::UserAgent->new;
$protein = "MSSSTPFDPYALSEHDEERPQNVQSKSRTAELQAEIDDTVGIMRDNINKVAERGERLTSI";
my $SUSUI_URL = "http://www.enzim.hu/hmmtop/server/hmmtop.cgi";
my $response = $browser->post( $SUSUI_URL,    [ 'if' => $protein, ]  );

if ($response->is_success) {
	print $response->content;
} else {
	print "Bad luck this time\n";
}

通过分析http://www.enzim.hu/hmmtop/html/submit.html的页面可知，这个要提交的input只有一个，就是name=”if”。$protein就是要提交的序列。$response->content就是返回结果。

柳城

《 “用Perl抓取网页和提交表格” 》 有 25 条评论

  3. 恩，这个LWP模块不错~我用Perl写了个CGI程序，实现了TargetScan数据库和KEGG数据库的链接，即输入一个miRNA，可以返回这个miRNA作用的全部pathway，但是运行速度极慢，平均每个miRNA都要处理100个左右的靶基因，然后每个靶基因再去搜索相关的pathway。。柳城兄对此有无比较好的优化速度方法？

  15. #!/usr/bin/perl

    use LWP::UserAgent;
    open STDOUT, “>aas713s”;
    my $browser = LWP::UserAgent->new;
    $protein = “MGDHAWSFLKDFLAGGVAAAVSKTAVAPIERVKLLLQVQHASKQISAEKQYKGIIDCVVR”;
    my $SUSUI_URL = “http://www.ebi.ac.uk/Tools/services/web/toolform.ebi”;
    my $response = $browser->post( $SUSUI_URL, [ ‘sequence’ => $protein,],’tool’=>’iprscan’,’Content_Type’ => ‘form-data’,’sumbit’=>’sumbit’);

    if ($response->is_success) {
    print $response->content;
    } else {
    print “Bad luck this time\n”;

    老师，您好，请帮忙看一下这个程序（始终访问不了这个网站），急盼回复，非常感激！