用Perl抓取网页和提交表格∷柳城

Categorized | 数据分析

Tags | perl

用Perl抓取网页和提交表格

Posted on 25 二月 2010 by 柳城，阅读 820

这里简单介绍一下用Perl来实现抓好取网页的源代码，以及用POST的方法来提交表格，并返回结果。难的讲不来，讲讲简单的。

这里讲到的Perl模块有：

use LWP::Simple;

use LWP::UserAgent;

用perldoc查看详细的用法。

1，用perl抓取网页

如果只是要拿到某个网页，那使用 LWP::Simple 里的函数是最简单的。通过调用 get($url) 函数，就可以得到相关网址的内容。

my $url = 'http://freshair.npr.org/dayFA.cfm?todayDate=current'

use LWP::Simple;
my $content = get $url;
die "Couldn't get $url" unless defined $content;

#  $content 里是网页内容，下面是对此内容作些分析：

if($content =~ m/jazz/i) {
print "They're talking about jazz today on Fresh Air!\n";
} else {
print "Fresh Air is apparently jazzless today.\n";
}

非常简单易懂。拿网页内容是容易的，难的是用正则过滤需要的内容。

2，通过 POST提交表格

部分HTML表格使用HTML POST 向服务器提交数据，在这里你可以这样：

$response = $browser->post( $url,
   [
     formkey1 => value1,
     formkey2 => value2,
     ...
   ],
 );

实例分析：例如在(http://www.enzim.hu/hmmtop/html/submit.html)提交一段序列并返回结果，用perl来实现。代码如下：

#!/usr/bin/perl

use LWP::UserAgent;
my $browser = LWP::UserAgent->new;
$protein = "MSSSTPFDPYALSEHDEERPQNVQSKSRTAELQAEIDDTVGIMRDNINKVAERGERLTSI";
my $SUSUI_URL = "http://www.enzim.hu/hmmtop/server/hmmtop.cgi";
my $response = $browser->post( $SUSUI_URL,    [ 'if' => $protein, ]  );

if ($response->is_success) {
	print $response->content;
} else {
	print "Bad luck this time\n";
}

通过分析http://www.enzim.hu/hmmtop/html/submit.html的页面可知，这个要提交的input只有一个，就是name="if"。$protein就是要提交的序列。$response->content就是返回结果。

有点相关的文章

转载请注明 : 来源于用Perl抓取网页和提交表格 | 柳城

上一篇：新的一年，新的愿望

下一篇：我的入门单反目标：EOS 550D

赞助商

本博客已安家在DownTownHost，有兴趣的点击查看详细介绍。

青番茄--网上实体图书馆。免费借阅，免费送书、还书。

黄金广告位招租￥50/月

21条评论于 “用Perl抓取网页和提交表格”

万戈 Says: 二月 25th, 2010 at 15:31
我甚至连什么是perl都不知道，只好踩个脚印证明我来过～

[回复]
番茄回复: 二月 25th, 2010 at 16:51
我也是。。。

[回复]
Junan 回复: 三月 1st, 2010 at 19:34
我也是~~

[回复]
路人假 Says: 二月 25th, 2010 at 19:02
噢，自动化自动化~

[回复]
D-Horse Says: 二月 26th, 2010 at 00:48
恩，这个LWP模块不错~我用Perl写了个CGI程序，实现了TargetScan数据库和KEGG数据库的链接，即输入一个miRNA，可以返回这个miRNA作用的全部pathway，但是运行速度极慢，平均每个miRNA都要处理100个左右的靶基因，然后每个靶基因再去搜索相关的pathway。。柳城兄对此有无比较好的优化速度方法？

[回复]
柳城回复: 二月 26th, 2010 at 11:09
这个慢是正常的嘛。你把KEGG的数据保存在你本地数据库那就会快了。

[回复]
秦大少 Says: 二月 26th, 2010 at 16:44
看不懂点广告支持下！

[回复]
柳城回复: 二月 28th, 2010 at 07:32

[回复]
www.taobao.com Says: 六月 4th, 2010 at 23:31
可以做百度吗！

[回复]
武汉SEO Says: 六月 20th, 2010 at 00:50
看不懂还看！..哈哈！

[回复]
皮肤保养 Says: 七月 4th, 2010 at 01:38
支持啦。

[回复]
传奇外挂下载 Says: 七月 9th, 2010 at 18:08
看不懂，支持一下。

[回复]
丽水生活网 Says: 七月 13th, 2010 at 15:30
技术活需要的是细心啊

[回复]
电脑资讯网 Says: 七月 21st, 2010 at 23:13

[回复]
解酒药 Says: 八月 3rd, 2010 at 12:55
好东西

[回复]
赣州SEO Says: 八月 18th, 2010 at 21:28
噢，自动化自动化~

[回复]
去黑头 Says: 七月 7th, 2011 at 20:24
功力不到啊

[回复]
美丽说 Says: 七月 9th, 2011 at 16:53
看不太明白啊。

[回复]
西瓜葫芦 Says: 八月 5th, 2011 at 16:35
#!/usr/bin/perl

use LWP::UserAgent;
open STDOUT, ">aas713s";
my $browser = LWP::UserAgent->new;
$protein = "MGDHAWSFLKDFLAGGVAAAVSKTAVAPIERVKLLLQVQHASKQISAEKQYKGIIDCVVR";
my $SUSUI_URL = "http://www.ebi.ac.uk/Tools/services/web/toolform.ebi";
my $response = $browser->post( $SUSUI_URL, [ 'sequence' => $protein,],'tool'=>'iprscan','Content_Type' => 'form-data','sumbit'=>'sumbit');

if ($response->is_success) {
print $response->content;
} else {
print "Bad luck this time\n";

老师，您好，请帮忙看一下这个程序（始终访问不了这个网站），急盼回复，非常感激！

[回复]
柳城回复: 八月 9th, 2011 at 09:42
可以到yunbio.com提问的、、

[回复]
笑熬浆糊 Says: 十月 29th, 2011 at 19:32
技术活需要的是细心啊

[回复]