python 爬虫

我把上次写得python的爬虫写得更快了。使用了多线程，可以同时爬5个网站。同时用了配置文件，在配置爬虫的时候只需要修改配置文件就可以了。
下面是配置文件的样子，现在1个小时可以爬10000个网页，和C++的爬虫相比还是很慢，但是对于小的搜索引擎是足够了，嘿嘿。



我现在将berkeley db加入到系统中，基本上已经是一个小型的引擎了。
python与berkeleyDB的接口是bsddb,关于它的讨论可以从Google上获得。

简单数据库设计

最近准备做一个简单的数据库，我们知道数据库的最基本的作用是查找，就是给一个key,返回一个value。其实就是相当于C++中的map。但是由于数据库的存储量巨大，不可能把所有的数据放到内存中，所以我们要做一个基于文件的map。

我用C++定义了这个数据格式。目前已经写出了第一个板本，速度还行。只是目前需要将索引表完全放在内存中，这样耗费的内存还比较大，这一点需要改进。我感觉STL的map比较耗费内存。所以准备写一个不怎么耗内存的map，嘿嘿。