سائق أصلي عالي الإنتاجية لتحليلات بحيرة البيانات
تسجل الأيادي دفعات بالإشارة إلى نقل البيانات العمودية مع الحد الأدنى من الحمل على وحدة المعالجة المركزية، موصلة بين دلتا ليك وأباتشي آيسبرغ إلى أدوات التحليل. توفر DeltaForge برنامج تشغيل ADBC لنظام ويندوز وأجهزة الكمبيوتر المكتبية الأخرى، مع موصل Power BI المدمج وروابط لغوية لـ Python و R و C. إن الجاذبية الرئيسية لها هي النقل منخفض الكمون، والنقل بدون نسخ، والوصول المباشر إلى الجداول من تخزين الكائنات، موجهة لمهندسي البيانات ومحللي ذكاء الأعمال الذين يستعلمون عن جداول lakehouse الكبيرة دون تشغيل Spark.
يوفر السائق نقل بيانات Arrow-native بدون نسخ للبيانات من أجل البيانات العمودية
سائق DeltaForge ADBC يسلم دفعات السجلات إلى تطبيقات العميل بالمرجع، مما يزيل عبء تحويل البيانات الموجهة على الصفوف ويحتفظ بالبيانات في الذاكرة العمودية. يقوم السائق بقراءة وكتابة تنسيقات جداول Delta Lake وApache Iceberg ويقدم البيانات كدفعات سجلات Arrow إلى عملاء Python وR أو C. بالنسبة لسير العمل التي تتطلب دفعات عمودية بدلاً من مخازن الصفوف، فإن هذا ينتج عنه زمن تأخير أقل واستخدام أقل لوحدة المعالجة المركزية أثناء الاستخراج.
يقلل من الاعتماد على الكتل الخارجية من خلال تشغيل محرك SQL محلياً
يتضمن السائق محرك SQL يتجاوز الحاجة إلى JVM أو اعتماد Spark، بحيث يمكن أن تعمل الاستعلامات على الأجهزة المحلية أو الأجهزة الافتراضية الموجودة بدلاً من الكتل المدارة. يعلن DeltaForge عن سرعات تم قياسها تزيد عن 13 مرة أسرع من السائقين القياسيين .NET ODBC لأحمال العمل المحددة، مما يدعم حالات الاستخدام حيث ترغب المؤسسات في تجنب الحفاظ على كتلة Spark منفصلة للتحليلات.
التثبيت والتكامل مع BI مباشر ولكنه يفترض إعداداً تقنياً
على نظام Windows، يتم شحن السائق كملف MSI موقع ومتوافر عبر WinGet، كما يوفر موصل Power BI مخصص مجمع لسطح المكتب. التثبيت سهل بالنسبة لمسؤولي النظام، ومع ذلك يتطلب دمج الموصل في خط أنابيب BI المؤسسي تكوين الوصول إلى التخزين (S3، ADLS، أو القرص المحلي) وفهم تخطيط جدول lakehouse. تتيح روابط معيار ADBC للمطورين استدعاء السائق من الكود بمجرد أن تكون بيانات الاعتماد ونقاط النهاية في مكانها.
تتوافق سلامة التشغيل وتأثير النظام مع احتياجات التحليلات عالية الإنتاجية
يقرأ السائق الجداول مباشرة من تخزين الكائنات ويتجنب كتابة بيانات التعريف الخاصة بالكتل، مما يزيل الاعتماد على الكتل الحاسوبية النشطة. لأنه يسلم الدفعات بالمرجع ويتجنب عبء JVM، فإن الضغط على وحدة المعالجة المركزية والذاكرة ينخفض مقارنة بالسائقين المعتمدين على الصفوف أثناء الصادرات الكبيرة. بالنسبة للبيئات التي تحتاج إلى أمان التراجع أو اللقطة، يجب إدارة تلك الحمايات على مستوى التخزين أو الجدول بدلاً من السائق نفسه.
الأفضل للفرق التي يمكنها تشغيل استعلامات ضد تخزين lakehouse؛ يُوصى باختبارها على بيانات تمثيلية
يعد برنامج تشغيل DeltaForge ADBC خيارًا عمليًا لمهندسي البيانات وفرق BI الذين يحتاجون إلى وصول عالي الإنتاجية إلى جداول Delta Lake أو Iceberg دون تشغيل مجموعات Spark. توقع نقل بيانات أسرع واستخدام أقل لوحدة المعالجة المركزية المحلية، على الرغم من أن دمجه يتطلب معرفة بتخطيط التخزين لديك وضوابط الوصول. اختبر الاستعلامات على نسخة من مجموعة بياناتك للتحقق من الأذونات واستخدام الموارد قبل نشرها في الإنتاج. موصى به.
