ما هي البيانات الضخمة؟

كيف

بواسطةريان دوبي

تاريخ آخر تحديث26 مارس 2020

على مر السنين ، أصبحت الكثير من الكلمات الطنانة شائعة في العديد من الصناعات. هناك القليل الذي أصبح شائعًا جدًا ، ولوقت طويل ، مثل البيانات الضخمة. ولكن ما هي البيانات الضخمة بالضبط؟

تشير البيانات الضخمة إلى محيط افتراضي للمعلومات من مجموعة متنوعة من المصادر ، تم تحليلها وتصفيتها بطريقة تؤدي إلى نتائج ذات مغزى وقابلة للتنفيذ.

يمكن أن تبدو عملية تحويل "البيانات الضخمة" إلى نتائج ذات معنى معقدة وصعبة. ومع ذلك ، بمجرد أن تفهم ما هي البيانات الضخمة وكيف تعمل ، فإن فهم كيفية جعلها ذات معنى لا يبدو معقدًا للغاية.

ما هي البيانات الضخمة؟

عندما تسمع الناس يتحدثون عن "البيانات الضخمة" ، غالبًا ما يكون هناك الكثير من التلويح باليد والكلمات الكبيرة. ولكن عند غليان كل المبالغة ، فإن "البيانات" الفعلية هي في الواقع العديد من تدفقات إدخال البيانات المتعددة.

لفهم هذا ، يمكن أن يساعد مثال. لنفترض أنك تدير شركة تصنيع مظلة. يبحث قسم التسويق عن طريقة للتنبؤ بشكل أفضل عندما يكون الطلب في السوق على وشك الارتفاع.

قبل أيام البيانات الضخمة ، كان المسوقون يدرسون اتجاهات السوق ، ويرسلون استطلاعات العملاء ، والعديد من الأنشطة الأخرى.

سيجمعون كل هذه البيانات ويخزنونها في قواعد البيانات الداخلية لشركتهم. قد يكون شخص ما مسؤولاً عن تحديث بيانات أبحاث التسويق على أساس سنوي أو ربع سنوي.

ومع ذلك ، فإن ظهور البيانات الضخمة يوسع القدرة على إجراء هذا النوع من البحث. على وجه الخصوص ، تعتبر البيانات الضخمة فعالة بشكل خاص في تحديد الاتجاهات أو الأحداث المهمة في الوقت الفعلي تقريبًا.

قد تتضمن مدخلات البيانات لهذا النوع من تحليل "البيانات الكبيرة" تدفقات البيانات في الوقت الفعلي عن طريق كتابة التعليمات البرمجية التي يتم توصيلها في واجهة برمجة التطبيقات (API) العديد من الشركات المختلفة التي جعلت هذه البيانات عامة:

• تويتر وفيسبوك: حدد متى ولماذا يناقش الناس شراء المظلات.
• طقس: تحديد احوال الطقس أو تنبؤات يمكن أن تتحول إلى مبيعات شاملة أعلى.
• سوق الأوراق المالية: التغيرات الموسمية في تكلفة المواد الخام لإنتاج المظلات.
• استخدام الويب للعملاء: استخدام المعلومات من ملفات تعريف الارتباط للكمبيوتر من الأشخاص الذين يزورون كتالوج الشركة لفهم سلوكيات الشراء.
• محفوظات شراء العملاء: تتبع جغرافية ومواسم اتجاهات نقاط البيع من تجار التجزئة.

لاستخدام البيانات الضخمة ، قد يحتاج فريق التسويق في هذه الشركة ، في بعض الحالات ، إلى تثبيت تقنيات جديدة.

البيانات الضخمة والإنترنت

قد يشمل ذلك تقنية إنترنت الأشياء (IoT) لدى بائعي التجزئة الذين يتتبعون سلوك المستهلك ويقدم تقارير عنه. أو قد يتضمن وجود مبرمج يكتب الرمز المطلوب للتفاعل مع واجهة برمجة تطبيقات Twitter لتصفية أي تغريدات تشير إلى "مظلات" أو اسم الشركة.

كل هذه التقنيات متاحة الآن بفضل الإنترنت. يسمح الإنترنت لأي شخص بالاستفادة من تدفقات البيانات من جميع أنحاء العالم.

إليك كيفية عمل الإعداد في مثالنا الخاص في هذه الحالة.

يوضح هذا الرسم البياني كيفية تدفق البيانات إلى "بحيرة البيانات" للشركة من العديد من المصادر المختلفة. قد يتم تنظيم البيانات الواردة بشكل مختلف ، ولكن الشيء المهم هو جمع أكبر قدر ممكن من البيانات من جميع المصادر.

ما هي بحيرة البيانات؟

على عكس قاعدة البيانات ، التي تحتوي على بيانات منظمة منظمة في أعمدة وصفوف محددة ، تعد بحيرة البيانات مستودعًا ضخمًا للعديد من أشكال البيانات المختلفة.

يمكن أن تكون البيانات المخزنة منظمة أو غير منظمة. بمعنى أنه قد يحتوي على صفوف وأعمدة منظمة ، أو قد لا يكون كذلك. يمكن أن تكون البيانات سلاسل تستخدم تنسيقًا محددًا لفصل البيانات. يمكن لكل مصدر بيانات إرسال البيانات إلى بحيرة بيانات بأي شكل يحبه.

تصور بحيرة بيانات مثل مكتبة ضخمة تحتوي على العديد من أشكال الوسائط ، مثل الكتب والصور على الميكروفيش والفيديو على أقراص الفيديو الرقمية.

تخيل مهندس الذكاء الرقمي وتحليل البيانات كمستفيدين لتلك المكتبة. يمكن لهؤلاء المستفيدين سحب البيانات رقميًا من الكتب والميكروفيش وأقراص DVD وإيجاد طرق لمزج هذه البيانات ودمجها وتعلم الأشياء من كيفية ارتباط البيانات.

من تلك التعلمات تأتي ذكاء حقيقي وقابل للتنفيذ. قد تشمل بعض هذه من مثالنا:

• تشير الثرثرة على Twitter و Facebook إلى عاصفة تقترب في مدينة نيويورك ، حيث يخطط الآلاف من العملاء لشراء مظلات.
• تشير بيانات شراء ملفات تعريف الارتباط للكمبيوتر وآلات السحب بالتجزئة إلى أن المشترين في كاليفورنيا على استعداد لدفع المزيد مقابل مظلات المصمم أكثر من الناس في فيرجينيا.
• يشير نمط اقتراب كبير من العاصفة إلى أن معظم الساحل الشرقي سيتم تغطيته بعاصفة مطيرة لمدة أسبوع كامل.

كل هذه الدروس يمكن أن تدفع فريق التسويق للاستثمار في المزيد من الإعلانات جغرافيًا حيث يكون الطلب على المبيعات الشاملة أقوى بكثير. يمكن لعمليات التصنيع أيضًا تحويل جهود الإنتاج إلى تلك المناطق من العالم أقرب إلى حيث من المرجح أن ترتفع المبيعات.

بهذه الطريقة ، باستخدام البيانات الضخمة ، يمكن لأي شركة تبسيط تسويقها وعملياتها.

ما هو هادووب؟

السؤال التالي هو ، كيف تعالج الشركات مثل هذه الكميات الكبيرة من البيانات وتحديد الاتجاهات؟

يتطلب هذا النوع من معالجة البيانات موارد كمبيوتر هائلة. لدرجة أن الشركات لم تعد تستخدم أجهزة الكمبيوتر المركزية الكبيرة في أماكن العمل مثلما اعتادت. يتم الآن شراء العديد من هذه الخدمات من السحابة. تقدم خدمات استخبارات البيانات السحابية مثل Apache Hadoop العديد من عقد الكمبيوتر على شبكة سحابية كبيرة. تساهم كل من هذه العقد في قوة المعالجة المطلوبة لتحليل التدفقات الضخمة من البيانات من مصادر متعددة.

هذا النوع من قوة المعالجة هو قلب الآلة أو الذكاء الرقمي وتحليلات البيانات. Hadoop هو إطار البرنامج الذي يجعل هذه الشبكة بأكملها من القوة الحسابية الضخمة تعمل على النحو المطلوب لمهندسي الذكاء الرقمي.

بمجرد أن ينتج المحرك الحسابي ذكاءًا عمليًا ، يتم تسليمها عادةً إلى الشركة في شكل لوحات تحكم أو تقارير.

البيانات الضخمة ليست مجرد كلمات صدى

الحقيقة هي أن "البيانات الضخمة" هي أكثر من مجرد لغة مشتركة للشركات. تتعلم العديد من الشركات أنه من خلال استخدام البيانات بشكل أفضل ، فإنها قادرة على تحقيق العديد من الإنجازات.

• يمكن للشركات المصنعة تحسين مقاييس الإنتاج المهمة مثل الإنتاجية والجودة والكفاءة.
• يمكن لبائعي التجزئة مواءمة استثمارات التسويق والإعلان والأعمال بشكل أفضل بناءً على إشارات السوق.
• يستطيع الموزعون التنبؤ بالمشاكل المحتملة في سلسلة التوريد لتطوير خطط الطوارئ بشكل استباقي.
• يمكن للمؤسسات الإخبارية التعرف بسرعة على الأحداث المهمة من خلال تحليل الإشارات العامة على الإنترنت.
• خبراء الأمن السيبراني استخدم الإشارات عبر الإنترنت لتحديد الهجمات السيبرانية أثناء تقدمها.

في حين أن الكثير مما أنجزته البيانات الضخمة في السنوات الأخيرة لا يزال غير مرئي للجمهور ، كان للبيانات الضخمة بالفعل تأثير كبير على الحياة اليومية للناس في جميع أنحاء العالم.