Remote Direct Memory Access (RDMA)

Published on April 15, 2023
Remote Direct Memory Access (RDMA)

Remote Direct Memory Access เป็นเทคโนโลยีที่ทำให้เครื่องคอมพิวเตอร์ที่เชื่อมต่อกันในระบบเครือข่าย ทำการแลกเปลี่ยนข้อมูลที่อยู่ในหน่วยความจำได้โดยตรง และ ไม่จำเป็นที่จะต้องอาศัย cache ใน CPU หรือว่า ระบบปฏิบัติการ RDMA นั้นจะช่วยให้ throughput และ ประสิทธิภาพ เพราะว่า มันช่วยให้มีการปล่อยทรัพยากรนั้นทำได้เร็วขึ้น ทำให้อัตราการส่งข้อมูลนั้นเร็วขึ้น และ latency น้อยลง เพราะฉะนั้นทำให้ทั้งความเร็วในการส่งข้อมูลในระบบเครือข่ายและทั้งการทำงานของ storage นั้นดีขึ้นอย่างมาก

RDMA นั้นมีการใช้ protocol เพื่อที่จะทำให้การส่งข้อมูลทั้ง เข้า และ ออก ระหว่างมีปรสิทธิภาพด้วยการใช้ transport protocol ภายใน network card เลย โดยเราจะเรียกว่า RDMA over Converged Ethernet (RoCE) เพื่อให้เกิดการสื่อสารระหว่าง Network Card

 

แสดงการไหลของข้อมูล RDMA

รูปที่ 1 แสดงการไหลของข้อมูล RDMA

 

RDMA นั้นใช้หลักการที่เรียกว่า zero-copy ซึ่งหลักการก็คือ การอ่านหน่วยความจำของ เครื่องคอมพิวเตอร์ที่ 1 และทำการเขียนไปในหน่วยความจำของเครื่องที่ 2  โดย bypass ระดับชั้น kernel ของระบบปฏิบัติการ ในคอมพิวเตอร์ทั้งสองเครื่อง หลักการของ RDMA นั้นถูกใช้อย่างกว้างขวางใน high-performance computing (HPC) และ hyperconverged (HCI) นอกจากนั้น ก็ยังมีการใช้งานในระบบ cluster และ database ที่จำเป็นต้องใช้ latency ต่ำๆ

การที่เราจะใช้ RDMA ได้นั้นจำเป็นที่จะต้องใช้ NIC ที่สนับสนุน RDMA และ จะต้องใช้ network protocol ซึ่งปัจจุบัน มีอยู่หลายตัวดังต่อไปนี้

  • RDMA over Converged Network (RoCE) ซึ่งเป็นหนึ่งใน protocol ที่จะทำให้ RDMA ทำงานได้บน ethernet โดยปัจจุบัน คือ version 2 (RoCEv2) มันทำงานอยู่บน protocol UDP และ IP อีกชั้นหนึ่ง โดย RoCEv2 นั้นเป็น routable protocol และ ปัจจุบันมันเป็น Protocol ที่แพร่หลายที่สุด ในการใช้งาน RDMA
  • Internet Wide Arewa RDMA Protocol (iWARP) สำหรับ iWARP จะใช้ TCP หรือ SCTP ในการส่งข้อมูล โดยผู้ที่พัฒนา iWARP คือ The Internet Engineering Task Force และ มันทำงานได้โดย ที่ไม่จำเป็นจะต้องอาศัยการสนับสนุน จากทั้ง application และ OS เลย
  • InfiniBand สำหรับ InfiniBand นั้นสนับสนุน RDMA โดย InfiniBand นั้นได้รับความนิยมอย่างกว้างขวางใน HPC เพราะด้วยความที่มันสนับสนุนความเร็วสูงอย่างมาก เช่น 200Gbps

ในปัจจุบันนั้น มีผู้ผลิตหลายรายในตลาดที่ออกผลิตภัณฑ์ที่สนับสนุน RDMA ออกมาในตลาด เช่น

  • Broadcom and Emulex adapters
  • DELL EMC PowerEdge Server
  • Marvell FastLinQ 45000 Ethernet NICs
  • Nvidia ConnectX network adapters และ InfiniBand
  • Chelsio Terminator 6 iWARAP adapters

 

RDMA ที่มีการใช้ flash-based SSDs และ NVDIMMs

สำหรับ flash storage นั้นเป็นระบบ ที่มีความเร็วสูงกว่า storage system ที่ใช้ disk เป็นอย่างมาก แต่อย่างไรก็ตาม แต่อย่างไรก็ตามซอฟต์แวร์ที่รองรับนั้นก็อาจจะเกิดสภาวะคอขวดขึ้นได้

 

Memory overcommitment ทำงานอย่างไร

Memory Overcommitment หรืออีกชื่อหนึ่งคือ Memory Oversubscription นั้นเป็นเทคโนโลยีที่อนุญาตให้ผู้ใช้งานหรือผู้จัดการ hypervisor นั้นสามารถที่จะตั้งค่าหน่วยความจำของ VMs ทั้งหมด...

Read more »

CPU overcommit คืออะไรและมันทำงานอย่างไร

สำหรับผู้ที่ใช้งาน VMware ESXi มาก่อนนั้น ท่านอาจจะคุ้นเคยกับคำว่า CPU Overcommit เนื่องจากเป็นฟีเจอร์หนึ่งที่ถือว่าเป็นจุดขาย เพราะมันทำงานโดย การอนุญาตให้เรากำหนดจำนวน...

Read more »

การเลือกชนิด processor สำหรับ VM บน Proxmox VE

สำหรับผู้ที่เริ่มใช้งาน Proxmox VE นั้นอาจจะต้องพบกับสับสนหลายอย่าง และ หนึ่งในสิ่งที่เจอบ่อยๆ ก็คือ การเลือกชนิด processor หรือเรียกง่ายๆ...

Read more »

สิ่งที่มักเข้าใจผิดเมื่อพูดถึง Virtualization Platforms

Hypervisor Type 1 หรือเรียกว่า Bare-metal Hypervisor คือซอฟต์แวร์ที่รันโดยตรงบนฮาร์ดแวร์ของเครื่องเซิร์ฟเวอร์ โดยไม่ต้องผ่านระบบปฏิบัติการก่อน ทำให้มีประสิทธิภาพสูง เสถียร...

Read more »

Ceph vs Storage Spaces Direct MS S2D

หากพูดถึง Software Defined Storage (SDS) นั้นต้องเรียกว่า มันกำลังได้รับความนิยมมากขึ้นเรื่อยๆ เพราะมันขับเคลื่อนด้วยความต้องการที่จะเปลี่ยนทุกอย่างให้สามารถควบคุมด้วยซอฟต์แวร์ได้ ในตลาดนั้นต้องบอกว่า มีหลายผู้ผลิตที่ทั้งอยู่ในตลาดเดิม...

Read more »

ความนิยมในการใช้งาน Openstack ในยุคที่คลาวด์รุ่งเรือง

OpenStack ยังคงเป็นแพลตฟอร์มคลาวด์โอเพนซอร์สชั้นนำของโลก และมีการใช้งานเพิ่มขึ้นอย่างต่อเนื่องทุกปี จากผลการสำรวจผู้ใช้งาน OpenStack พบว่ามันถูกนำไปใช้งานจริงในระบบมากกว่า 40 ล้านคอร์ จากกว่า 300...

Read more »