4．0 国际专业著名刊物
ACM Transactions on Information Systems （TOIS）
ACM Transactions on Database Systems (TODS)
ACM COMPUTING SURVEYS
IEEE/ACM TRANSACTIONS ON NETWORKING
IEEE JOURNAL OF SELECTED AREAS IN COMMUNICATIONS
IEEE Transactions on Knowledge & Data Engineering (TKDE)
Journal of Data Mining & Knowledge Discovery (JKDD)
Data and Knowledge Engineering(DKE)
VLDB Journal (VLDBJ)
Information Processing and Management（IP&M）
3．5 国际专业著名刊物
ACM Transaction on Storage
IEEE Transactions on Parallel Distributed Systems (TPDS)
IEEE Transactions on Computer
ELSEVIER JOURNAL OF NETWORK AND COMPUTER APPLICATIONS
Intl Journal of Concurrency and Computation
Intl Journal of Parallel Distributed System
Intl Journal of Computer Networks
Bioinformatics
3.0国际专业著名刊物
ACM TRANSACTIONS ON COMPUTER SYSTEMS
ACM TRANSACTIONS ON SENSOR NETWORKS
ACM COMPUTER COMMUNICATION REVIEW
ACM JOURNAL OF THE ACM
IEEE Transactions on Computer
IEEE NETWORK
IEEE INTERNET COMPUTING
IEEE TRANSACTIONS ON MOBILE COMPUTING
IEEE WIRELESS COMMUNICATIONS
IEEE TRANSACTIONS ON COMPUTERS
ELSEVIER ad hoc networks
ELSEVIER computer networks
ELSEVIER JOURNAL OF NETWORK AND COMPUTER APPLICATIONS
ELSEVIER Journal of Network and Computer Applications
ELSEVIER Pervasive and Mobile Computing
SPRINGER WIRELESS NETWORKS
SPRINGER MOBILE NETWORKS & APPLICATIONS
Journal of Computer Networks
3．0 国际专业品牌刊物
ACM Intl Symposium on Modeling, Analysis and Simulation of Wireless and Mobile Systems (MSWiM)
ACM ACM TRANSATIONS ON INTERNET TECHNOLOGY
IEEE Transactions on vehicular technology
IEEE Transactions on Computer
ELSEVIER computer communications
ELSEVIER AD HOC AND SENSOR NETWORKS
JOHN WILEY&SONS INC NETWORKS
JOHN WILEY&SONS INC WIRELESS COMMUNICATIONS
Data and Knowledge Engineering (DKE)
Information Systems (IS)
WORLD WIDE WEB Journal
Knowledge and Information Systems (KIS)
Information Retrieval
Journal of Web Semantics
SIGMOD Record
Journal of Computer Networks
Journal of Software and Systems
2．0 国际有一定知名度的刊物/国内重要期刊
Intl Journal of Information Technology，
Journal of Information Science，
Journal of Computer Science and Technology,
Journal of Web Engineering
JOURNAL OF COMPUTER SCIENCE AND TECHNOLOGY （JCST）
KICS JOURNAL OF COMMUNICATIONS AND NETWORKS
IEICE TRANSATION ON COMMUNICATIONS
《中国科学》
《科学通报》
2008-12-28
2008-12-22
互联网是宇宙吗？
如果我们把互联网看成一个宇宙，那么网站就是星系，网页就是恒星。
不过这个还是有点问题，门户网站可以看做一个星系，但是google呢？google和很多搜索引擎，网页目录一样，他们有点像一个核，指向了大多数网站。
最近有研究显示，银河系中心有一个黑洞，而这个黑洞的引力是的银河系的其他恒星围绕这个黑洞旋转。这个模型很适合互联网，而这个黑洞对应了互联网的核。很多重要的网站都在这个核里面。
对于任何有核的结构，比如原子，大家会对核的分裂很感兴趣。如果我们随机的删去核中网页的超级链接，那么这个核是分成几个差不多大的核，还是分成一个大的核已经很多很小的核？
实验表明，是分成一个大的核和很多很小的核。所以，对于互联网的核，不可能一刀劈两半，只能一层层的削，每削一刀，一些不重要的网站就从核中分离出去了。
下面是互联网的结构图，包含了20w个网站，而中间那些红点，是诸如google，sina，baidu，yahoo那些网站
不过这个还是有点问题，门户网站可以看做一个星系，但是google呢？google和很多搜索引擎，网页目录一样，他们有点像一个核，指向了大多数网站。
最近有研究显示，银河系中心有一个黑洞，而这个黑洞的引力是的银河系的其他恒星围绕这个黑洞旋转。这个模型很适合互联网，而这个黑洞对应了互联网的核。很多重要的网站都在这个核里面。
对于任何有核的结构，比如原子，大家会对核的分裂很感兴趣。如果我们随机的删去核中网页的超级链接，那么这个核是分成几个差不多大的核，还是分成一个大的核已经很多很小的核？
实验表明，是分成一个大的核和很多很小的核。所以，对于互联网的核，不可能一刀劈两半，只能一层层的削，每削一刀，一些不重要的网站就从核中分离出去了。
下面是互联网的结构图，包含了20w个网站，而中间那些红点，是诸如google，sina，baidu，yahoo那些网站
这个图经过了1周的迭代，现在已经变成了下面这个样子，这个样子看起来很像一个圆盘
我们将PageRank前10000名的网站标成了黄色。
2008-12-02
Web Crawler 爬虫的困惑：下一步走向何处
最简单的表述，爬虫的作用就是从一个起始页面开始，抓取整个互联网。但是，互联网太大了，一个爬虫显然不可能抓取整个互联网。那么最简单的想法是，先抓取比较重要的网页，然后再抓取比较不重要的网页，同时比较频繁的更新重要的网页。
这样问题就出来了，爬虫怎么知道什么网页是重要的？也许有人说，不是有pagerank算法吗？但是，pagerank是在爬下网页后根据网页之间的超级连接计算出来的，现在爬虫什么也没爬，他怎么知道互联网的拓扑结构。
我们可以把互联网定义为一个世界，而爬虫相当于在一个世界中的探索者，在一开始，爬虫对这个世界一无所知，这时他只能在这个世界中盲目的走来走去，但是他每走一步，都会加深对这个世界的认识，我们把这种认识称为爬虫眼中的世界。所以，在爬虫研究中，最重要就是，如何根据爬虫眼中的世界去判断下一步走向哪里？
那么，就出现了几种不同的爬虫：
1) 广度优先搜索爬虫(BFS)
这种爬虫永远盲目的走下去，他不会利用它已经获得的知识，就是不停的爬...
2) 反向链接爬虫(BackLink)
这种爬虫在走下一步之前，先根据已经掌握的知识，判断在候选链接中那个链接可能会有比较大的反向链接数，然后就选择那个链接爬下去...
3)pagerank爬虫
这种爬虫更聪明一点，他在判断下一步走向哪里前，先根据现有的知识，将候选链接中每个链接的pagerank计算出来，然后选择那个链接爬下去...
这3种爬虫是爬虫界的典型代表，也许大家觉得，效果最差的应该是BFS爬虫，因为这种爬虫很懒，不会利用自己已经获得的知识，其实这种认识是错误的。 根据研究发现，在很多情况下，效果最差的可能是BackLink爬虫，why？
这是因为，互联网拓扑结构实在是太复杂了，一点点知识用不好还不如不用。BackLink爬虫经常会陷入到局部极小。举一个例子，一个backlink爬虫某一天爬进了新浪网，在里面爬了一段时间，他忽然发现，这个网站太好了，很多页面都有比较大的backlink，于是这个爬虫就在sina里不停的爬，由于sina实在是很大，于是这个爬虫便乐不思蜀，永远也不从sina里出来了，而在他眼里，sina似乎就是整个世界。
所以，如何利用爬虫眼中的互联网去估计整个互联网还是很困难的，难就难在互联网实在是太大了。很多算法，稍不注意就会像上面的例子那样限入到以偏概全的错误中去。但是，如果老是盲目的爬下去，似乎又对不起已经获得的一些知识，所以，如何运用已知世界去预测未知世界，是爬虫遇到的最大困难.
那也许有人要问，现在的搜索引擎爬虫不是都爬的挺好的吗，没发现有上面的问题啊。这是因为，在一个搜索引擎系统中，利用了团结就是力量的道理。在一个真正的搜索引擎中，不会只有一个爬虫在爬，而是成千上万个爬虫从互联网的不同角落开始爬，而每爬一段时间，他们还会互相交流一下自己对互联网结构的看法。所以即使一个爬虫会不时的陷入局部极小，但其他爬虫能够把它从坑中拉出来。在这种设计下，一帮很弱的兵整合在一起就会形成一个有战斗力的部队。
但是，对单一爬虫的研究还是很重要的，如果每个爬虫都很强大，那么把他们组合起来，将是一个更强的的部队。
下面这个例子可以很好的说明几种爬虫的区别
这是我们正在研究的爬虫，他能够对世界产生一个整体的认识，而不会局限到某一个聚类中
Best First 可以看到这种爬虫是爬完一个聚类爬下一个，很难形成对世界的整体认识
Bread First 这种爬虫比Best好一点，但效果取决于网页的顺序
这样问题就出来了，爬虫怎么知道什么网页是重要的？也许有人说，不是有pagerank算法吗？但是，pagerank是在爬下网页后根据网页之间的超级连接计算出来的，现在爬虫什么也没爬，他怎么知道互联网的拓扑结构。
我们可以把互联网定义为一个世界，而爬虫相当于在一个世界中的探索者，在一开始，爬虫对这个世界一无所知，这时他只能在这个世界中盲目的走来走去，但是他每走一步，都会加深对这个世界的认识，我们把这种认识称为爬虫眼中的世界。所以，在爬虫研究中，最重要就是，如何根据爬虫眼中的世界去判断下一步走向哪里？
那么，就出现了几种不同的爬虫：
1) 广度优先搜索爬虫(BFS)
这种爬虫永远盲目的走下去，他不会利用它已经获得的知识，就是不停的爬...
2) 反向链接爬虫(BackLink)
这种爬虫在走下一步之前，先根据已经掌握的知识，判断在候选链接中那个链接可能会有比较大的反向链接数，然后就选择那个链接爬下去...
3)pagerank爬虫
这种爬虫更聪明一点，他在判断下一步走向哪里前，先根据现有的知识，将候选链接中每个链接的pagerank计算出来，然后选择那个链接爬下去...
这3种爬虫是爬虫界的典型代表，也许大家觉得，效果最差的应该是BFS爬虫，因为这种爬虫很懒，不会利用自己已经获得的知识，其实这种认识是错误的。 根据研究发现，在很多情况下，效果最差的可能是BackLink爬虫，why？
这是因为，互联网拓扑结构实在是太复杂了，一点点知识用不好还不如不用。BackLink爬虫经常会陷入到局部极小。举一个例子，一个backlink爬虫某一天爬进了新浪网，在里面爬了一段时间，他忽然发现，这个网站太好了，很多页面都有比较大的backlink，于是这个爬虫就在sina里不停的爬，由于sina实在是很大，于是这个爬虫便乐不思蜀，永远也不从sina里出来了，而在他眼里，sina似乎就是整个世界。
所以，如何利用爬虫眼中的互联网去估计整个互联网还是很困难的，难就难在互联网实在是太大了。很多算法，稍不注意就会像上面的例子那样限入到以偏概全的错误中去。但是，如果老是盲目的爬下去，似乎又对不起已经获得的一些知识，所以，如何运用已知世界去预测未知世界，是爬虫遇到的最大困难.
那也许有人要问，现在的搜索引擎爬虫不是都爬的挺好的吗，没发现有上面的问题啊。这是因为，在一个搜索引擎系统中，利用了团结就是力量的道理。在一个真正的搜索引擎中，不会只有一个爬虫在爬，而是成千上万个爬虫从互联网的不同角落开始爬，而每爬一段时间，他们还会互相交流一下自己对互联网结构的看法。所以即使一个爬虫会不时的陷入局部极小，但其他爬虫能够把它从坑中拉出来。在这种设计下，一帮很弱的兵整合在一起就会形成一个有战斗力的部队。
但是，对单一爬虫的研究还是很重要的，如果每个爬虫都很强大，那么把他们组合起来，将是一个更强的的部队。
下面这个例子可以很好的说明几种爬虫的区别
这是我们正在研究的爬虫，他能够对世界产生一个整体的认识，而不会局限到某一个聚类中
Best First 可以看到这种爬虫是爬完一个聚类爬下一个，很难形成对世界的整体认识
Bread First 这种爬虫比Best好一点，但效果取决于网页的顺序
订阅：
博文 (Atom)
