أكثر

DBMS و ArcSDE Architecture لمجموعة البيانات الكبيرة (معظمها غير مكانية)

DBMS و ArcSDE Architecture لمجموعة البيانات الكبيرة (معظمها غير مكانية)


لدي ما يقارب 1000 نقطة ثابتة تمثل محطات جمع البيانات بأجهزة استشعار متعددة ، وملف csv يساوي 4.5 جيجابايت من القيم بالتنسيق:

معرف مستشعر نقطي قياس قياس الوقت 50345500 درجة حرارة 1/1/2011 13:55 72.81 50346501 درجة حرارة 10/31/2011 14:00 75.65 55457500 gaght 10/31/2011 01:00 6.56

(البيانات مشابهة لمقاييس تدفق هيئة المسح الجيولوجي الأمريكية ، ولكن من شبكة مختلفة وتنسيق مختلف.)

أنا على دراية إلى حد ما بتصميم قاعدة البيانات الجغرافية ، لكن لدي خبرة قليلة في إمكانيات أنظمة DBMS المختلفة التي تعمل مع ArcGIS. أنا أفكر في استخدام نسخة مختلفة من نموذج البيانات البحرية لتصميم قاعدة البيانات الجغرافية ، لكني أشعر ببعض الغموض حول بنية DBMS ArcSDE التي يجب أن أستخدمها.

يبدو أن الجهاز حكيم ، فأنا أريد جهازًا مخصصًا لنظام DBMS و SDE مع اتصال شبكة جيجابت مباشر بجهاز سطح مكتب يعمل بنظام ArcInfo. من أجل التكلفة و "الانفتاح" ، أود استخدام postgreSQL مع postGIS (يتبعها MS SQL Server Express ، لأنني أكثر دراية بـ T-SQL) ، لكنني لست متأكدًا من الآثار المترتبة على وجود مثل هذا الحجم الكبير مجموعة البيانات. أيضًا ، من خلال ما قمت بالبحث عنه ، فإن PostGRE لديها ميزة مدمجة بشكل أفضل في "النافذة" للاستعلامات (على سبيل المثال ، حساب متوسط ​​الفترة الزمنية للنافذة المتحركة لمدة أسبوعين). إذا كان هناك فرق ، أود أن أكون قادرًا على تحميل مجموعة بيانات معينة بالكامل في ذاكرة الوصول العشوائي إذا كنت أعرف أنني سأستخدمها على نطاق واسع لجلسة عمل محددة. (مشابهة لهذه الإجابة المفيدة)

الى حد، الى درجة:

  1. هل هناك انخفاض في الأداء باستخدام PostGIS ، حيث لا يوجد سوى إصدار 32 بت من SDE له؟ هل يمكنني استخدام PostGRE 64 بت ، وتفويضه باستخدام SDE 32 بت ، ثم استخدام اتصال مباشر بـ PostGRE لتجنب "عنق الزجاجة" 32 بت؟
  2. هل هناك ميزة في الاحتفاظ بمعظم البيانات "غير مكانية" ، لذلك يمكنني أن أجعل PostGRE 64 بت يقوم بالاستعلامات ، ثم ضم النتائج إلى النقاط في ArcMap؟
  3. هل هناك نهج شامل أفضل لإدارة كمية كبيرة من البيانات باستخدام postGRE ، مع الأخذ في الاعتبار قيود ArcSDE ذات 32 بت؟

اعتبارات أخرى:

  • أنا أستخدم ArcInfo 10.0 مع SP3 ، ولدي عضوية EDN ، لذا يمكنني التجربة بحرية إلى حد ما بأقل تكلفة. لدي أيضًا MS SQL Server 2008 R2 للمطورين ، إذا لزم الأمر.
  • من الواضح أن جهاز سطح المكتب سيحتاج إلى أن يكون windows ، لكن يمكنني تشغيل windows أو linux لجهاز DBMS إذا كانت هناك ميزة.
  • سيكون هناك عدد من الاستعلامات الثابتة (مثل المتوسط ​​المتحرك لمدة أسبوعين) التي يمكنني تخزين نتائجها ، ولكن أود أيضًا أن أكون قادرًا على إجراء استعلام متخصص بسرعة إذا لزم الأمر. (على سبيل المثال ، ما هو الحد الأدنى لمتوسط ​​درجات الحرارة اليومية من المحطات 003 و 007 و 104 ، بين 1/1/2011 و 1/31/2011.)
  • لقد قرأت هذا الدليل ، لكنني وجدت أنه غالبًا ما يكون غامضًا وغير مفيد للعثور على أي إيجابيات أو سلبيات تتعلق بسيناريوهات معينة (الكثير من المعلومات ، ولكن القليل من الإرشادات المفيدة. هل من المفترض حقًا أن أصدق أنه لا يوجد فرق في الأداء من خلال باستخدام أو عدم استخدام خدمة ArcSDE؟)

هل لديك بالفعل ArcSDE for Postgres؟ هل تحتاجه؟

قد تكون قادرًا على الاحتفاظ بكل ما لديك غير المكاني والمكاني في PostGIS db ، والانضمام إلى البيانات في قاعدة البيانات ، وسحبها إلى خريطة arcmap مثل طبقات الاستعلام في Arc10.

بدلاً من ذلك ، قد تبحث في روابط ST (مزيد من المناقشة هنا وهنا) لربط ArcMap بـ PostGIS مباشرةً.

لن يمنحك أي من هذين الخيارين على الأرجح جميع الوظائف التي تم تضمينها في ArcSDE ، ولكن اعتمادًا على موقفك قد تكون بدائل قابلة للتطبيق.


للتسجيل:

  • كانت مكتبات قواعد البيانات الجغرافية الخاصة بالمؤسسة متاحة لكل من الخوادم 32 بت و 64 بت في 10.0 ، وتم شحنها حصريًا 64 بت منذ ArcGIS 10.1. هناك لديها أبدا كان "عنق الزجاجة 32 بت" في تطبيقات عميل ArcSDE (اعتبارًا من وقت النشر الأصلي ، أدى حجم التعليمات المتزايد 64 بت بالفعل إلى إبطاء الأداء ، على الرغم من أن وحدات المعالجة المركزية الحديثة قد شكلت الفرق في التعادل).
  • نادرًا ما توجد ميزة لتقسيم البيانات المكانية وغير المكانية. دائمًا ما يكون الانضمام إلى الجداول أبطأ والذي لا يجب أن يتم تقسيمه من خلال تصميم قاعدة بيانات مدروس جيدًا.
  • لم يكن هناك قيود 32 بت في ArcSDE - يستخدم عميل قاعدة البيانات صفًا واحدًا فقط في كل مرة (على الرغم من أن واجهة برمجة التطبيقات عادةً ما ترسل صفوفًا أكثر من تلك الموجودة في المخزن المؤقت في وقت واحد ، إلا أنها لا تتعرض لخطر تجاوز مساحة العملية لـ تطبيق 32 بت). يظل ArcGIS Desktop تطبيقًا 32 بت ، ولكن ArcPy مدعوم في نكهة 64 بت (في وحدة معالجة الخلفية 64 بت) ، وكان ArcGIS Server 64 بت حصريًا منذ ArcGIS 10.1. ArcGIS Pro هو تطبيق 64 بت أيضًا.
  • إذا ذكر موقع ويكي System Design أنه لا يوجد فرق بين استخدام خادم تطبيق وعدم استخدامه ، فذلك لأنهم اختبروه بثلاثين طريقة مختلفة ولم يجدوا فرقًا مهمًا من الناحية الإحصائية. هذه النقطة موضع نقاش ، حيث تم إهمال خوادم التطبيقات في 10.2 ، وهي غير متوفرة في 10.3 و 10.4.

شاهد الفيديو: ما هي البيانات الضخمة Big Data مجال الحاضر والمستقبل