เปลี่ยนไฟล์ Parquet และ Delta ให้เป็น API HTTP ที่รวดเร็วและสามารถสอบถามได้
สัมผัสกับเซิร์ฟเวอร์ที่ขับเคลื่อนด้วยการกำหนดค่าซึ่งเปิดเผยไฟล์ Parquet, Delta และ Iceberg เป็น HTTP API ที่มีประเภทพร้อมผลลัพธ์ Arrow หรือ JSON DataPress จากนักพัฒนาของ DataPress มุ่งเป้าไปที่วิศวกรข้อมูลและนักพัฒนาซอฟต์แวร์ที่ต้องการการเข้าถึงข้อมูลคอลัมน์ที่มีความหน่วงต่ำ มันมีเครื่องยนต์การดำเนินการคู่ (DuckDB และ DataFusion), การโหลดร้อนของชุดข้อมูลในหน่วยความจำ และเมตริกในตัว ทำให้เหมาะสำหรับการปรับใช้ในคอนเทนเนอร์และการควบคุมเชิงโปรแกรมจาก Python หรือ CLI.
DataPress จริงๆ แล้วเผยแพร่ข้อมูลอะไรและอย่างไร?
DataPress เผยแพร่ข้อมูลแบบคอลัมน์เป็น HTTP endpoints. มันแปลงชุดข้อมูล Parquet, Delta และ Iceberg เป็น APIs ที่มีประเภทซึ่งคืนค่า JSON หรือ Arrow IPC. เซิร์ฟเวอร์จะอนุมานโครงสร้างเมื่อเริ่มต้นดังนั้นคุณไม่ต้องแมพคอลัมน์ด้วยตนเอง และมันยังเปิดเผย endpoint แบบ raw-SQL ที่เป็นทางเลือกซึ่งตรวจสอบและดำเนินการ joins, window functions และ sub-selects กับไฟล์พื้นฐาน.
มันส่งผลต่อประสิทธิภาพของระบบในระหว่างการสอบถามอย่างไร?
ประสิทธิภาพมุ่งเน้นไปที่หน่วยความจำแบบคอลัมน์และเส้นทาง zero-copy. สร้างขึ้นใน Rust, เครื่องมือใช้ Arrow IPC เพื่อหลีกเลี่ยงค่าใช้จ่ายในการแปลง JSON สำหรับการถ่ายโอนขนาดใหญ่และพึ่งพาฟอร์แมตแบบคอลัมน์เพื่อลดแรงกดดันต่อหน่วยความจำ. คุณสามารถสลับระหว่าง DuckDB และ DataFusion backends เพื่อเปรียบเทียบความหน่วงภายใต้สัญญา API ที่เหมือนกัน และการอัปเดตแบบร้อนจะอัปเดตชุดข้อมูลในหน่วยความจำโดยไม่ต้องรีสตาร์ทเซิร์ฟเวอร์.
มันปลอดภัยที่จะนำไปใช้ในสภาพแวดล้อมการผลิตหรือไม่?
ฟีเจอร์การผลิตรวมถึงการสังเกตการณ์และการควบคุมการเข้าถึง. เซิร์ฟเวอร์เปิดเผยเมตริกและ endpoints ตรวจสอบสุขภาพสำหรับการตรวจสอบและสนับสนุน OAuth2 และ OIDC สำหรับการเข้าถึงชุดข้อมูล. มันยังให้ probes สำหรับ Kubernetes liveness และ readiness และการสนับสนุนการจัดเก็บวัตถุ S3 แบบเนทีฟซึ่งตรงกับรูปแบบการนำไปใช้ใน container และที่เก็บวัตถุคลาวด์ทั่วไป.
ฉันต้องการทักษะ Rust หรือ SQL ที่ลึกซึ้งเพื่อใช้งานมันหรือไม่?
ความซับซ้อนในการดำเนินงานมุ่งไปที่การกำหนดค่าและความคุ้นเคยกับ SQL. คุณจัดการบริการผ่าน CLI แบบสแตนด์อโลนหรือ Python wheel สำหรับการควบคุมโปรแกรม และเซิร์ฟเวอร์ใช้ไฟล์การกำหนดค่าเดียวเพื่อเผยแพร่ชุดข้อมูล. ผู้ใช้ทั่วไปจะต้องเรียนรู้โครงสร้างการกำหนดค่า; ทีมวิเคราะห์และวิศวกรจะได้รับการควบคุมโดยตรงผ่าน endpoint แบบ raw-SQL ที่เป็นทางเลือกและการเลือกเครื่องยนต์ backend.
เหมาะสำหรับวิศวกรที่ต้องการ API ข้อมูลที่รวดเร็วและมีค่าใช้จ่ายต่ำ
DataPress เหมาะสำหรับวิศวกรข้อมูลและนักพัฒนาที่เผยแพร่ชุดข้อมูลแบบคอลัมน์ไปยัง HTTP อย่างรวดเร็วและต้องการการตรวจสอบการผลิตและการตรวจสอบสิทธิ์ คาดว่าจะใช้เวลาในการกำหนดค่าและการเปรียบเทียบแบ็คเอนด์เมื่อปรับแต่งสำหรับภาระงานเฉพาะ ข้อแลกเปลี่ยนคือการควบคุมการดำเนินงานขึ้นอยู่กับทักษะการกำหนดค่าและ SQL แทนที่จะเป็นพื้นผิวการจัดการกราฟิก ดังนั้นจึงเหมาะที่สุดสำหรับทีมที่สะดวกสบายกับโค้ดและโครงสร้างพื้นฐาน.
