CharpServer简单分析

                                                 CharpServer 的设计与实现

 

目标:

1.       设计一高性能的WEBserver ,支持HTTP协议,简单的动态页面功能

2.       初始版本做为试验性的设计，用来熟悉c语言 和HttpServer构架

3.       支持多cpu的结构

 

一: 概括

       开发的主要平台在linux,内核版本为2.6以上。该server采取事件驱动调度策略。用到的技术有:Epoll,Aio,SmallLangage,Libevnet. 在MemCached的基础上进行设计改进，采用Tux的构架设计方案。

图一为整体够架图

 

 

 

二: 事件驱动机制的实现方法

所涉及到的事件列表

1．  EV_CONNREAD 事件 该事件表示已经建立的Socket连接有数据可以读取

2．  EV_HTTPPARSE  事件 该事件表示已经从Socket连接上读取完数据，需要进行数据分析

3．  EV_HTTPHANDLE 事件 该事件表示已经初步的分析完数据需要进行下一步处理

4．  EV_CACHEMISS 事件 该事件表示请求的数据在Cache中不存在，需要进行下一步处理

5．  EV_AIOWRITE事件，该事件表示可以往硬盘上写数据

6．  EV_AIOREAD 事件, 该事件表示可以从硬盘上读取数据

7．  EV_CONNWRITE  事件，该事件表示服务器端已经处理完毕，可以往客户端发送数据

 

各个队列之间的关系和作用

主线成负责轮训的检查Epoll Event Queue, Event Queue,Aio Active Queue 三个队列。主线程利用Epoll的Event_Wait函数来监视已经建立连接的事件发生情况。具体代码可以参见LibEvent的Epoll.c中的Epoll_Dispach函数。该函数应该进行更改，每处理一个event,必须检查其它Queue中是否有数据，并进行相应的处理。ServerThread负责把Epoll事件转化为Event事件并把它加入到EventQueue中

主线程检查Epoll Event Queue 处理完一个Event后，接下来检查Event Queue中是否有任务如果有，则从队列中得到一个任务并进行处理。

检查完Event Queue后, 接着检查Aio ActiveQueue检查其中是否有读写磁盘的事件如果有则从AIO事件队列中得到一个Io事件，并把该事件转化为Event的事件加入到EventQueue中等待下一步处理。

Aio的事件驱动机制,可以参见

 

执行完一上三个步骤是一个轮训策略，直到EpollEventQueue,EventQueue,AioQueue

中没有可以处理的任务。则主线程Block.监听是否有新的连接到达。

相关连接:

    http://developer.osdl.org/daniel/AIO/

http://lse.sourceforge.net/io/aio.html

http://www.monkey.org/~provos/libevent

http://www.danga.com/memcached/

 

 

 

 

 

 

 

 

 

 

 

 

1．  各种结构的简单设计结构

可以参见LibEvent的事件结构的设计,各个事件对应的十六进制码为

EV_CONNREAD     0x00

EV_HTTPPARSE     0x01

EV_HTTPHANDLE   0x02

EV_CONNWRITE     0x04

EV_AIOREAD        0x08

EV_AIOWRITE         0x0F

Event的结构

      struct event {

       　　TAILQ_ENTRY (event) ev_next;

    　　TAILQ_ENTRY (event) ev_Prev;

           Struct Conn_Struct  *conn;

              int event_count_active;  /* 在EventAtiveQueue中需要处理 */

              struct event_list **activequeues;  /*处于活动中的有优先级事件列表 */

              int nactivequeues;　/*活动的事件的个数*/

              void (*ev_callback)(int short, void *arg);

          short ev_flags;

      };

 

ServerThread结构

Struct ServerThread {

       pthread_t  pthread_id;

       struct epoll_event *events; //Epoll 的队列

       struct event_list **activequeues; event优先级队列

       Int nactivequeues;

       struct io_event events[aio_maxio]; //读写磁盘的事件队列

}

 

 

Struct Conn_Struct{

    int    sfd;

    int    state;

    struct event_list event;

       struct socket *sock;

#define MAX_USERNAME_LEN 16

       char username[MAX_USERNAME_LEN];

       unsigned int username_len;

 

       // http部分

       http_method_t method;

       const char *method_str;

       unsigned int method_len;

 

       http_version_t version;

       const char *version_str;

       unsigned int version_len;

 

       /* requested URI: */

 

       const char *uri_str;

       unsigned int uri_len;

 

       /* Objectname (filename/scriptname) this URI refers to: */

 

#define MAX_OBJECTNAME_LEN 256

       char objectname[MAX_OBJECTNAME_LEN + 4]; // space for .gz as well

       unsigned int objectname_len;

 

       /* Query string within the URI: */

 

       const char *query_str;

       unsigned int query_len;

 

       /* Cookies: */

 

       const char *cookies_str;

       unsigned int cookies_len;

       unsigned int parse_cookies;

 

       /* Content-TYpe */

       const char *content_type_str;

       unsigned int content_type_len;

 

       /* Content-Length: */

 

       const char *contentlen_str;

       unsigned int contentlen_len;

       unsigned int content_len;

 

       /* User-Agent: */

 

       const char *user_agent_str;

       unsigned int user_agent_len;

 

       /* Accept: */

 

       const char *accept_str;

       unsigned int accept_len;

 

       /* Accept-Charset: */

 

       const char *accept_charset_str;

       unsigned int accept_charset_len;

 

       /* Accept-Language: */

 

       const char *accept_language_str;

       unsigned int accept_language_len;

 

       /* Cache-Control: */

 

       const char *cache_control_str;

       unsigned int cache_control_len;

 

       /* If-Modified-Since: */

 

       const char *if_modified_since_str;

       unsigned int if_modified_since_len;

 

       /* If-None-Match: */

       const char *if_none_match_str;

       unsigned int if_none_match_len;

 

       /* If-Range: */

 

       const char *if_range_str;

       unsigned int if_range_len;

 

       /* Negotiate: */

 

       const char *negotiate_str;

       unsigned int negotiate_len;

 

       /* Pragma: */

 

       const char *pragma_str;

       unsigned int pragma_len;

 

       /* Referer: */

 

       const char *referer_str;

       unsigned int referer_len;

 

       /* Accept-Encoding: */

 

       const char *accept_encoding_str;

       unsigned int accept_encoding_len;

       unsigned int may_send_gzip;

       unsigned int content_gzipped;

 

       /* Host */

 

#define MAX_HOST_LEN 128

       char host[MAX_HOST_LEN];

       unsigned int host_len;

 

       /* POSTed data: */

 

       const char *post_data_str;

       unsigned int post_data_len;

 

       unsigned int status;

 

       /* the file being sent */

 

       unsigned int bytes_sent;

#if CONFIG_TUX_DEBUG

       unsigned int bytes_expected;

#endif

       unsigned long first_timestamp;

       unsigned int body_len;

 

       unsigned int user_error;

 

       char error;

       char postponed;

 

       char had_cachemiss;

       char lookup_dir;

       char lookup_404;

 

       char keep_alive;

       struct timer_list keepalive_timer;

       unsigned int total_bytes;

       struct timer_list output_timer;

 

       unsigned int nr_keepalives;

 

       unsigned int event;

       u64 private;

 

       unsigned int magic;

#if CONFIG_TUX_EXTENDED_LOG

       unsigned long accept_timestamp;

       unsigned long parse_timestamp;

       unsigned long output_timestamp;

       unsigned long flush_timestamp;

# define SET_TIMESTAMP(x) do { (x) = jiffies; } while (0)

#else

# define SET_TIMESTAMP(x) do { } while (0)

#endif

}

事件循环的方法

EventLoop()

EventHandle()

本文地址：http://com.8s8s.com/it/it24207.htm