IP电话系统有四个基本组件：终端设备（Terminal）、网关（Gateway）、多点接入控制单元MCU（Multipoint Control Unit）和网闸（Gatekeeper）。
（1） 终端设备是一个IP电话客户终端，可以是软件（如VocalTec公司的IP Phone、Microsoft公司的Netmeeting）或是硬件（如专用的Internet Phone），可以直接连接在IP网上进行实时的语音或多煤体通信。
（2） 网关是通过IP网络提供PC-to-Phone、Phone-to-PC、Phone-to-Phone语音通信的要害设备，是IP网络和PSTN/ISDN/PBX网络之间的接口设备，应具有下列功能： a 具有IP网络接口和与PSTN/ISDN/PBX交换机互联的接口； b 完成实时语音压缩，将64kbit/s的语音信号压缩成低码率语音信号； c 完成寻址和呼叫控制。
（3） 网闸负责用户注册和治理，主要完成以下功能：
a 地址映射：将电话网的E.165地址映射成相应网关的IP地址；
b 呼叫认证和治理：对接入用户的身份进行认证，访止非法用户的接入；
c 呼叫记录：使得运营商有具体的数据进行收费；
d 区域治理：多个网关可以由一个网闸来进行治理。
（4） 多点接入控制单元（MCU）的功能在于利用IP的网络实现多点通信，使得IP电话能够支持诸如网络会议这样一些多点应用。 IP电话采用网关技术，网关的一边连接到传统的电路交换网，如PSTN，可与外部的任意一台电话机通信；网关的另一边连接到包交换网，如Internet、Intranet、Extranet等。
在整个IP电话系统中，网关设立在世界上各个地区，完成当地电话网与Internet的接入与转换处理等功能。网关接收到了标准电话信号以后，经数字化、编码、压缩处理，按IP协议打包到Internet上，根据传输路由，通过Internet发送到对端网关；反之，网关接收到了Internet传来的IP包，经解压处理后还原成模拟语音信号再转到电话网系统。网关可同时接入和转出电话语音信号，实现全双工通信。
网关因其生产厂商不同而有所不同，但基本的组成模块是一样的，包括数据处理主机、语音模块、数据处理模块、数据接续模块和治理软件模块等。网关具有路由治理功能，它把各地区电话区号映射为相应地区网关的IP地址，这些信息存放在一个数据库中。数据接续处理软件将完成呼叫处理、数字语音打包、路由治理等功能。在用户拨打长途电话时，网关根据电话区号数据库资料，确定相应网关的IP地址，并将此IP地址加入IP数据包中，同时选择最佳路由，以减少传输时延，IP数据包经Internet到达目的地的网关。在一些Internet尚未延伸到或未设立网关的地区，可设置路由，由距离最近的网关通过长途电话网进行转接。
