أكاديمية محيط البرمجة لعلوم الذكاء الاصطناعي @programmingocea

هل أول طريقة يفكر بها نموذج الذكاء الاصطناعي هي دائمًا الأفضل؟ ليس بالضرورة. في هذه المراجعة البحثية الجديدة، يشرح محمد فهد @programmingoce ورقة Self-Consistency، وهي إحدى أهم التقنيات التي حسّنت قدرات الاستدلال في النماذج اللغوية دون الحاجة إلى إعادة تدريبها. ستتعرف على: • كيف يمكن للنموذج توليد عدة مسارات مختلفة للتفكير بدلًا من الاكتفاء بإجابة واحدة. • لماذا يؤدي تجميع الإجابات النهائية باستخدام تصويت الأغلبية (Majority Voting) إلى نتائج أكثر دقة. • كيف عززت هذه الفكرة أداء Chain-of-Thought Reasoning في المسائل المنطقية والرياضية وأسئلة الاستدلال المعقدة. • ولماذا أصبحت Self-Consistency خطوة أساسية في تطور نماذج التفكير الحديثة. إذا كنت مهتمًا بالذكاء الاصطناعي، وهندسة الموجهات (Prompt Engineering)، أو ترغب في فهم كيف تطورت قدرات الاستدلال في النماذج اللغوية، فهذه الورقة تستحق القراءة. اقرأ المراجعة كاملة وشاركها مع المهتمين بالذكاء الاصطناعي. freecodecamp.org/news/ai-paper-… #الذكاء_الاصطناعي #البحث_العلمي

A language model's first reasoning path isn't always its best one. In this AI paper review, @programmingoce explains Self-Consistency, a decoding strategy that improves Chain-of-Thought reasoning. You'll learn how sampling multiple reasoning paths, aggregating final answers, and using majority voting can improve reasoning without retraining the model. freecodecamp.org/news/ai-paper-…

الورقة العلمية الشهيرة في الرؤية الحاسوبية : Very Deep Convolutional Networks for Large-Scale Image Recognition #الرؤية_الحاسوبية #الذكاء_الاصطناعي

في عام 2017، قدمت Google Brain واحدة من أكثر الأوراق تأثيرًا في تاريخ الترجمة الآلية متعددة اللغات: Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation قبل هذه الورقة، كان من المعتاد تدريب نموذج مستقل لكل زوج من اللغات، مما يعني مئات النماذج مع زيادة عدد اللغات. لكن Google قدمت فكرة بسيطة وعبقرية: نموذج واحد لجميع اللغات. يكفي إضافة رمز يحدد اللغة الهدف مثل <2es> أو <2fr>، بينما تتشارك جميع اللغات نفس الـ Encoder، والـ Attention، والـ Decoder، وقاموس WordPiece. النتيجة كانت مذهلة: نموذج واحد بدلًا من عشرات أو مئات النماذج. انتقال المعرفة بين اللغات (Transfer Learning). تحسين أداء اللغات منخفضة الموارد. والأهم: Zero-Shot Translation. أي أن النموذج أصبح قادرًا على الترجمة بين لغتين لم يشاهد أي بيانات تدريب مباشرة بينهما، لأنه تعلم تمثيلًا دلاليًا مشتركًا للمعنى، وليس مجرد حفظ خرائط ترجمة بين اللغات. هذه الفكرة، المعروفة باسم Interlingua، أصبحت لاحقًا حجر الأساس للعديد من النماذج متعددة اللغات مثل mBART وmT5 وM2M-100 وNLLB. ورغم أن بنية Transformer أصبحت لاحقًا المعيار السائد، فإن هذه الورقة أرست أحد أهم المفاهيم في الذكاء الاصطناعي الحديث: المعنى يمكن مشاركته بين جميع اللغات داخل نموذج واحد. #البحث_العلمي #الذكاء_الاصطناعي

تقسيم البيانات هو أحد أهم أسباب نجاح أي نموذج تعلم آلي. قبل بدء التدريب، تُقسَّم البيانات إلى ثلاث مجموعات مستقلة: • بيانات التدريب (Training): يتعلم منها النموذج. • بيانات التحقق (Validation): تُستخدم لضبط المعاملات واختيار أفضل نموذج. • بيانات الاختبار (Test): تُستخدم مرة واحدة فقط في النهاية لقياس الأداء الحقيقي. القاعدة الذهبية: لا تستخدم بيانات الاختبار أثناء تطوير النموذج أو ضبطه، حتى تبقى نتائج التقييم غير متحيزة. إذا كانت الفئات غير متوازنة (مثل وجود آلاف صور القطط مقابل عشرات صور الحمار الوحشي)، فقد يتعلم النموذج الفئات الكبيرة فقط. الحل هو استخدام Stratified Split للحفاظ على توزيع الفئات في جميع المجموعات، ثم تطبيق WeightedRandomSampler على مجموعة التدريب فقط، بحيث تحصل الفئات النادرة على فرص أكبر أثناء التدريب دون تغيير البيانات الأصلية. بهذه الطريقة نحصل على نموذج أكثر عدالة، وتحسنًا في أداء الفئات النادرة، مع تقييم يعكس الأداء الحقيقي في العالم الواقعي. #الذكاء_الاصطناعي #AI #تعلم_الآلة #MachineLearning

كيف انتقلت الترجمة الآلية من الاعتماد على الإحصاءات إلى فهم اللغة؟ على مدار عقود، اعتمدت أنظمة الترجمة الآلية على ما يُعرف بـ Statistical Machine Translation (SMT)، حيث كانت الترجمة تُبنى من خلال حساب احتمالات ترجمة الكلمات والعبارات اعتمادًا على ملايين الجمل المترجمة مسبقًا. نجحت هذه الأنظمة في تحقيق تقدم كبير، لكنها كانت تعاني من مشكلة جوهرية: لم تكن "تفهم" الجملة، بل كانت تبحث عن أكثر ترجمة احتمالًا لكل جزء منها. لهذا السبب، كانت الترجمة تبدو أحيانًا حرفية، أو غير طبيعية، أو تفقد المعنى عند التعامل مع الجمل الطويلة والسياقات المعقدة. ثم بدأت الثورة. في عام 2014، ظهر مفهوم Neural Machine Translation (NMT) الذي اقترح لأول مرة استخدام شبكة عصبية واحدة تتعلم الترجمة من البداية إلى النهاية، دون الحاجة إلى عشرات المكونات المنفصلة التي كانت تعتمد عليها الأنظمة الإحصائية. وبعد عامين فقط، قدمت Google نظام GNMT الذي أثبت أن الترجمة العصبية يمكن أن تتفوق على الترجمة الإحصائية في التطبيقات الواقعية. اعتمد GNMT على معمارية Encoder-Decoder مع آلية Attention، واستخدم شبكات LSTM عميقة وتقنية WordPiece للتعامل مع الكلمات النادرة، مما أدى إلى ترجمات أكثر دقة وسلاسة وأقرب إلى أسلوب البشر. لم يكن هذا مجرد تحسين في الدقة، بل كان تغييرًا في طريقة التفكير. بدلًا من ترجمة الكلمات والعبارات بشكل منفصل، أصبحت النماذج العصبية تقرأ الجملة كاملة، وتفهم العلاقات بين كلماتها، ثم تولّد الترجمة كلمةً بعد أخرى مع مراعاة السياق الكامل. ومن هذه النقطة، بدأت رحلة التطور السريع: من الترجمة الإحصائية (SMT). إلى الترجمة العصبية (NMT). ثم GNMT. وبعدها جاءت نماذج Transformer التي غيرت مستقبل معالجة اللغات الطبيعية بالكامل. واليوم نعيش عصر النماذج اللغوية الضخمة مثل GPT وGemini وClaude. في هذا الفيديو القصير سنتعرف على هذه الرحلة التاريخية، ونفهم لماذا يُعد الانتقال من Statistical Machine Translation إلى Neural Machine Translation واحدًا من أكبر التحولات في تاريخ الذكاء الاصطناعي. #البحث_العلمي #الذكاء_الاصطناعي

من أكثر المفاهيم التي يُساء فهمها في النماذج اللغوية الكبيرة (LLMs) هو مفهوم Masking. يعتقد كثيرون أن الـ Masking مجرد وسيلة لإخفاء بعض الكلمات أثناء التدريب، لكنه في الحقيقة أحد أهم الأسباب التي جعلت النماذج الحديثة تتعلم فهم اللغة بطريقة تختلف جذريًا عن الأنظمة التقليدية. السؤال الحقيقي هو: كيف يتعلم النموذج التنبؤ بكلمة لا يراها؟ تعتمد الإجابة على نوع النموذج الذي نتحدث عنه. في النماذج ثنائية الاتجاه مثل BERT، يتم إخفاء نسبة من الكلمات داخل الجملة بشكل عشوائي، ثم يُطلب من النموذج استنتاج الكلمات المفقودة بالاعتماد على السياق الذي يسبقها ويتبعها. وبهذه الطريقة يتعلم النموذج العلاقات العميقة بين الكلمات، وليس مجرد ترتيبها. أما في النماذج التوليدية مثل GPT، فالفكرة مختلفة تمامًا. هنا لا يتم إخفاء كلمات عشوائية، بل يُمنع النموذج من رؤية المستقبل باستخدام ما يُعرف بـ Causal Mask أو Look-Ahead Mask. أثناء التنبؤ بالكلمة التالية، يستطيع النموذج رؤية جميع الكلمات السابقة فقط، بينما تكون الكلمات اللاحقة مخفية بالكامل. هذه الآلية تجعل عملية التدريب مطابقة تقريبًا لطريقة الاستخدام الفعلية للنموذج؛ فهو يولد النص كلمة بعد أخرى دون أي معرفة بما سيأتي لاحقًا. لكن عالم الـ Masking لا يتوقف هنا، فهناك عدة أنواع تخدم أهدافًا مختلفة، من أشهرها: Causal Masking: يمنع النموذج من رؤية الكلمات المستقبلية، ويستخدم في GPT وجميع النماذج التوليدية. Random Masking: يخفي كلمات عشوائية لتعليم النموذج إعادة بنائها، كما في BERT. Prefix Masking: يسمح برؤية جزء من المدخلات بينما يُخفى الجزء المطلوب توليده، ويستخدم في بعض مهام التوليد الموجه. Span Masking: يخفي مقاطع كاملة بدلاً من كلمات منفردة، وهو الأسلوب الذي تبنته نماذج مثل T5 لتحسين فهم العلاقات طويلة المدى. Attention Masking: يمنع النموذج من الانتباه إلى رموز الحشو (Padding) أو أجزاء محددة من الإدخال، مما يجعل عملية الانتباه أكثر كفاءة ودقة. ورغم أن كلمة "Mask" تبدو بسيطة، فإنها في الواقع تتحكم في ما يستطيع النموذج "رؤيته" أثناء التعلم، وبالتالي تحدد نوع المعرفة التي سيكتسبها. ولهذا يمكن القول إن اختيار استراتيجية الـ Masking ليس مجرد تفصيل في عملية التدريب، بل هو قرار معماري يؤثر مباشرة في طريقة تفكير النموذج، وقدرته على الفهم أو التوليد، وطبيعة المهام التي سيتفوق فيها. في الفيديو القصير المرفق، سنتعرف على كيفية عمل آليات الـ Masking داخل الـ Transformers، ولماذا كانت أحد أهم الابتكارات التي مهدت الطريق لظهور النماذج اللغوية الحديثة مثل GPT وBERT. #البحث_العلمي #الذكاء_الاصطناعي

كيف استطاعت Google تدريب شبكة عصبية مكونة من 16 طبقة لإحداث ثورة في الترجمة الآلية؟ في عام 2016، كشفت Google عن معمارية GNMT (Google Neural Machine Translation)، وهي ليست مجرد نموذج جديد للترجمة، بل تصميم هندسي متكامل جمع بين عدة أفكار متقدمة جعلته واحدًا من أهم النماذج في تاريخ معالجة اللغات الطبيعية. تعتمد معمارية GNMT على ثلاثة مكونات رئيسية: Encoder يحول الجملة المصدر إلى تمثيل عددي غني بالمعلومات. Attention يسمح للنموذج بالتركيز على الكلمات الأكثر ارتباطًا أثناء توليد كل كلمة في الترجمة. Decoder يولّد الجملة المترجمة كلمةً بعد أخرى اعتمادًا على السياق الذي تعلمه من المكونات السابقة. لكن ما جعل GNMT مختلفًا حقًا هو تفاصيله الهندسية. فقد استخدمت Google ثماني طبقات LSTM في المشفّر و8 طبقات أخرى في المفكّك، مع جعل الطبقة الأولى من المشفّر ثنائية الاتجاه (Bidirectional) لقراءة الجملة من اليسار إلى اليمين ومن اليمين إلى اليسار في الوقت نفسه، مما وفر فهمًا أعمق للسياق. ولتدريب هذا النموذج العميق، أضاف الباحثون Residual Connections بين طبقات LSTM، وهي فكرة ساعدت على تحسين تدفق التدرجات ومنعت تدهور الأداء مع زيادة عمق الشبكة. كما أعادت Google تصميم آلية Attention بحيث تربط الطبقة السفلية في الـ Decoder بالطبقة العليا في الـ Encoder، وهو قرار هندسي ذكي زاد من إمكانية تنفيذ العمليات بالتوازي وسرّع عملية التدريب دون التضحية بالدقة. وللتعامل مع الكلمات النادرة، استخدم GNMT تقنية WordPiece التي تقسم الكلمات إلى وحدات أصغر، مما مكّن النموذج من ترجمة الأسماء والكلمات الجديدة بكفاءة أعلى، وألغى تقريبًا مشكلة الكلمات غير المعروفة (Unknown Words). ولم يتوقف الابتكار عند المعمارية، بل شمل أيضًا خوارزمية Beam Search مع Length Normalization وCoverage Penalty لإنتاج ترجمات أكثر اكتمالًا وطبيعية، بالإضافة إلى استخدام Quantization لتسريع الاستدلال على وحدات TPU دون فقدان ملحوظ في جودة الترجمة. في هذا الفيديو القصير سنفكك معمارية GNMT خطوة بخطوة، ونفهم لماذا أصبحت حجر الأساس الذي بُنيت عليه العديد من النماذج اللغوية التي جاءت بعدها، قبل أن يبدأ عصر الـ Transformers. #البحث_العلمي #الذكاء_الاصطناعي

هل تعلم أن Google Translate لم يكن دائمًا يعتمد على الشبكات العصبية؟ قبل GNMT، كانت الترجمة تعتمد على ما يُعرف بـ Statistical Machine Translation (SMT)، وهو نظام يحاول ترجمة الجملة من خلال تجميع وترتيب الكلمات والعبارات اعتمادًا على إحصائيات ضخمة من النصوص المترجمة مسبقًا. لكن GNMT غيّر هذه الفلسفة بالكامل. بدلاً من ترجمة الجملة كلمةً أو عبارةً بعبارة، أصبح النموذج يقرأ الجملة كاملة ويفهم سياقها العام أولاً، ثم يولّد الترجمة كلمة بعد أخرى باستخدام آلية الانتباه (Attention). الفرق الجوهري بين النظامين: • SMT يعتمد على قواعد واحتمالات إحصائية ومكونات منفصلة كثيرة. • GNMT يتعلم الترجمة من البداية إلى النهاية داخل نموذج عصبي واحد. • SMT يركز على ترجمة العبارات. • GNMT يركز على فهم معنى الجملة بالكامل وسياقها. • SMT يواجه صعوبة مع الكلمات النادرة والأسماء الجديدة. • GNMT استخدم تقنية WordPiece للتعامل مع الكلمات غير المألوفة بكفاءة أكبر. • SMT كثيرًا ما ينتج ترجمات تبدو صحيحة نحويًا لكنها غير طبيعية للبشر. • GNMT أنتج ترجمات أكثر سلاسة وقربًا من اللغة البشرية. كانت النتيجة أن نظام GNMT خفّض أخطاء الترجمة البشرية بنحو 60% مقارنة بنظام Google الإحصائي السابق، معلنًا بداية عصر جديد في الترجمة الآلية. في هذا الفيديو القصير سنرى كيف انتقلت الترجمة الآلية من عصر الإحصاء والقواعد إلى عصر الشبكات العصبية العميقة، ولماذا يُنظر إلى GNMT باعتباره إحدى أهم المحطات التي مهدت الطريق للنماذج اللغوية الحديثة التي نستخدمها اليوم. #البحث_العلمي #الذكاء_الاصطناعي

هل تعلم أن آلية Attention التي أصبحت اليوم أساس نماذج الذكاء الاصطناعي الحديثة لم تبدأ مع Transformers؟ في عام 2015 نشر باحثو جامعة ستانفورد ورقة بحثية بعنوان: Effective Approaches to Attention-based Neural Machine Translation قدّمت هذه الورقة واحدة من أهم المحطات في تاريخ الذكاء الاصطناعي، حيث طوّرت مفهوم الانتباه (Attention) في الترجمة الآلية العصبية وجعلته أكثر كفاءة وفعالية. الفكرة كانت بسيطة لكنها ثورية: بدلاً من إجبار النموذج على ضغط الجملة كاملة داخل متجه واحد، يمكنه أثناء توليد كل كلمة أن "ينظر" إلى الكلمات الأكثر أهمية في الجملة الأصلية. وقدّمت الورقة نوعين رئيسيين من الانتباه: • Global Attention: ينظر إلى جميع كلمات الجملة المصدرية. • Local Attention: يركز فقط على جزء صغير ومهم من الجملة في كل خطوة. النتيجة؟ تحسن كبير في جودة الترجمة وصل إلى +5 نقاط BLEU مقارنة بالنماذج التقليدية آنذاك، مع تحقيق نتائج قياسية جديدة في مهام الترجمة بين الإنجليزية والألمانية. الأهم من ذلك أن هذه الأفكار مهدت الطريق لاحقًا لظهور نماذج Transformer الشهيرة، والتي تعتمد بالكامل تقريبًا على مفهوم Attention. إذا كنت تدرس تاريخ الذكاء الاصطناعي أو تريد فهم الجذور الحقيقية للـ Transformers، فهذه الورقة من الأوراق التي لا يمكن تجاوزها. #الذكاء_الاصطناعي #التعلم_العميق #MachineLearning #DeepLearning #Attention #Transformers #NeuralNetworks #NLP #AIResearch

قبل عام 2015، كانت نماذج الترجمة العصبية تحاول ضغط الجملة كاملة داخل متجه واحد ثابت الحجم. لكن هنا ظهر سؤال بسيط غيّر كل شيء: كيف يمكن للنموذج أن يتذكر كل تفاصيل الجمل الطويلة داخل تمثيل واحد فقط؟ في هذه الورقة التاريخية، قدّم Bahdanau وCho وBengio آلية جديدة سمحت للنموذج بالتركيز على الكلمات الأكثر أهمية أثناء الترجمة بدلًا من الاعتماد على تمثيل ثابت للجملة بالكامل. الفكرة كانت ثورية: عند توليد كل كلمة في الترجمة، ينظر النموذج إلى أجزاء مختلفة من الجملة الأصلية ويحدد أين يجب أن يوجّه انتباهه. النتيجة؟ تحسن كبير في ترجمة الجمل الطويلة. محاذاة تلقائية بين الكلمات المصدر والكلمات المترجمة. قفزة نوعية جعلت نماذج الترجمة العصبية تنافس الأنظمة التقليدية المتقدمة في ذلك الوقت. ما نعرفه اليوم باسم Attention لم يكن مجرد تحسين هندسي، بل كان نقطة التحول التي مهدت الطريق لظهور Transformer وGPT وChatGPT وكل جيل النماذج اللغوية الحديثة. بعض الأوراق العلمية تحسن الأداء. وهناك أوراق قليلة تعيد تعريف المجال بالكامل. هذه الورقة كانت واحدة منها. #البحث_العلمي #الذكاء_الاصطناعي

في عام 2022 نُشرت واحدة من أكثر الأوراق البحثية تأثيراً في تاريخ نماذج اللغة الحديثة: "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models". وقدمت هذه الورقة فكرة بسيطة ظاهرياً، لكنها غيرت طريقة تعامل الباحثين مع قدرات الاستدلال في النماذج اللغوية الكبيرة. قبل هذه الدراسة، كان الاعتقاد السائد أن تحسين الأداء في المهام المعقدة يتطلب نماذج أكبر أو تدريباً إضافياً. لكن الباحثين في Google Research طرحوا سؤالاً مختلفاً: ماذا لو شجعنا النموذج على التفكير خطوة بخطوة قبل إعطاء الإجابة النهائية؟ الفكرة الأساسية في Chain-of-Thought Prompting هي مطالبة النموذج بإنتاج خطوات استدلال وسيطة تقوده إلى الحل بدلاً من القفز مباشرة إلى الإجابة. وأظهرت النتائج أن العديد من قدرات الاستدلال التي بدت غائبة في النماذج اللغوية لم تكن مفقودة فعلياً، بل كانت تحتاج إلى أسلوب تفاعل مختلف لاستدعائها. أحد أهم إسهامات الورقة أنها أثبتت إمكانية تحسين الأداء بشكل كبير في مسائل الرياضيات والمنطق والاستدلال العام دون أي تدريب إضافي أو تعديل في بنية النموذج، وإنما عبر تصميم أفضل للمحفزات (Prompts) فقط. كما كشفت أن هذه القدرات تظهر بشكل أوضح مع النماذج كبيرة الحجم، مما عزز فهم الباحثين للعلاقة بين التوسع في النماذج وقدرات الاستدلال الناشئة. لم يتوقف تأثير الورقة عند تحسين حل المسائل الحسابية، بل أصبحت الأساس الذي بُنيت عليه مجموعة واسعة من الأبحاث اللاحقة مثل Self-Consistency وProcess Supervision وVerification-Based Reasoning، وصولاً إلى النماذج الحديثة المصممة خصيصاً للاستدلال متعدد الخطوات. تمثل هذه الورقة نقطة تحول مهمة في تاريخ الذكاء الاصطناعي، لأنها نقلت التركيز من سؤال "ما الإجابة؟" إلى سؤال أكثر عمقاً: "كيف توصل النموذج إلى هذه الإجابة؟". وما زالت آثارها واضحة حتى اليوم في معظم تقنيات الاستدلال الحديثة المستخدمة في النماذج اللغوية المتقدمة. #برمجة #تقنية #ChainOfThought freecodecamp.org/news/ai-paper-…

من أكثر الأفكار إثارة للاهتمام في ورقة DistilBERT أن الباحثين لم يعتمدوا على دالة خسارة واحدة أثناء التدريب، بل صمموا دالة خسارة ثلاثية (Triple Loss) لنقل أكبر قدر ممكن من المعرفة من BERT إلى النموذج الأصغر. تتكون دالة الخسارة من ثلاثة أجزاء: • Masked Language Modeling Loss (Lmlm): تساعد النموذج على تعلم فهم اللغة من خلال التنبؤ بالكلمات المخفية. • Distillation Loss (Lce): تجعل DistilBERT يتعلم من التوزيع الاحتمالي الكامل الذي ينتجه BERT، وليس فقط من الإجابة الصحيحة، مما يسمح له باكتساب المعرفة التي تعلمها النموذج الأكبر. • Cosine Embedding Loss (Lcos): تهدف إلى جعل التمثيلات الداخلية (Hidden States) في DistilBERT أقرب ما تكون إلى التمثيلات التي ينتجها BERT. أظهرت تجارب الباحثين أن إزالة أي مكون من هذه المكونات يؤدي إلى انخفاض الأداء، مما يؤكد أن قوة DistilBERT لا تأتي من تقليل عدد الطبقات فقط، بل من الطريقة الذكية التي نُقلت بها المعرفة من النموذج المعلم إلى النموذج الطالب. #الذكاء_الاصطناعي #معالجة_اللغة_الطبيعية #تعلم_الآلة

ما الذي جعل DistilBERT واحدًا من أنجح نماذج ضغط النماذج اللغوية؟ بدلًا من تدريب نموذج صغير من الصفر، استخدم الباحثون نموذج BERT كـ "معلم" لتوجيه عملية التدريب. تم بناء DistilBERT بنصف عدد الطبقات تقريبًا، ثم جرى تهيئة أوزانه من طبقات BERT نفسها عبر أخذ طبقة واحدة من كل طبقتين. خلال التدريب، لم يتعلم DistilBERT من البيانات فقط، بل تعلم أيضًا من مخرجات BERT وتمثيلاته الداخلية. ولتحقيق ذلك، استخدم الباحثون دالة خسارة ثلاثية تجمع بين: تعلم مهمة اللغة المقنّعة (Masked Language Modeling) محاكاة تنبؤات نموذج BERT (Distillation Loss) محاذاة التمثيلات الداخلية بين النموذجين (Cosine Loss) كما تم تدريب النموذج على نفس بيانات BERT، وهي Wikipedia وBookCorpus، مع الاستفادة من تقنيات تدريب حديثة مثل Dynamic Masking والأحجام الكبيرة للدفعات التدريبية. النتيجة كانت نموذجًا أصغر بنسبة 40% وأسرع بنسبة 60%، مع الاحتفاظ بحوالي 97% من أداء BERT، مما جعل DistilBERT مثالًا بارزًا على قوة تقطير المعرفة في بناء نماذج أكثر كفاءة. #البحث_العلمي #الذكاء_الاصطناعي

كيف تتعلم التعلم الآلي (Machine Learning) من الصفر؟ خارطة طريق عملية للمبتدئين يبدو مجال التعلم الآلي ضخماً في البداية، لكن الوصول إليه أسهل مما تتخيل إذا اتبعت خطة واضحة ومنظمة. في هذا الفيديو القصير أستعرض خارطة طريق عملية من 5 مراحل لتعلم Machine Learning بدءاً من تعلم Python وأدوات التعامل مع البيانات، مروراً بالرياضيات الأساسية والخوارزميات الكلاسيكية، وصولاً إلى بناء المشاريع الحقيقية وإنشاء معرض أعمال احترافي. إذا كنت مبتدئاً في الذكاء الاصطناعي أو علوم البيانات، فهذا الفيديو سيساعدك على معرفة ما يجب أن تتعلمه أولاً وما يمكنك تأجيله حتى تتقدم في رحلتك التعليمية. النجاح في التعلم الآلي لا يأتي من مشاهدة الدورات فقط، بل من كتابة الكود وبناء المشاريع خطوة بخطوة. #التعلم_الآلي #الذكاء_الاصطناعي

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5) في عام 2020، قدم باحثو Google واحدة من أكثر الأوراق تأثيرًا في تاريخ معالجة اللغة الطبيعية، والتي عُرفت باسم: T5: Text-to-Text Transfer Transformer لم تكن هذه الورقة مجرد نموذج جديد، بل أعادت تعريف الطريقة التي ننظر بها إلى مهام معالجة اللغة الطبيعية بالكامل. الفكرة الرئيسية اقترحت الورقة مفهومًا بسيطًا لكنه ثوري: بدلًا من تصميم نموذج مختلف لكل مهمة لغوية، لماذا لا نحول جميع المهام إلى مشكلة واحدة موحدة؟ أي مهمة تصبح: نص يدخل إلى النموذج → نص يخرج من النموذج سواء كانت المهمة: ترجمة تلخيص تصنيف النصوص الإجابة عن الأسئلة تحليل المشاعر الاستدلال اللغوي فجميعها تُعالج بنفس الصيغة. على سبيل المثال: Input: Translate English to German: That is good. Output: Das ist gut. أو: Input: Summarize: [Article] Output: Summary أهداف البحث ركزت الورقة على عدة أسئلة أساسية: ما أفضل طريقة للاستفادة من التعلم بالنقل (Transfer Learning) في معالجة اللغة؟ ما تأثير حجم النموذج على الأداء؟ ما أفضل أهداف التدريب المسبق؟ ما أفضل أنواع البيانات المستخدمة في التدريب؟ هل يمكن بناء إطار موحد يعمل على عشرات المهام المختلفة دون الحاجة إلى نماذج متخصصة؟ أهم الإنجازات 1. توحيد جميع مهام NLP قدمت الورقة إطارًا موحدًا يحول كل المهام اللغوية إلى صيغة Text-to-Text، مما جعل التدريب والتطوير أكثر بساطة واتساقًا. 2. تقديم نموذج T5 تم بناء نموذج Transformer Encoder-Decoder قادر على التعامل مع مجموعة واسعة من المهام باستخدام نفس البنية ونفس آلية التدريب. 3. إنشاء مجموعة بيانات C4 قدمت Google مجموعة بيانات ضخمة جديدة باسم: Colossal Clean Crawled Corpus (C4) وهي نسخة نظيفة ومنقحة من بيانات Common Crawl تحتوي على مئات الجيجابايت من النصوص الإنجليزية عالية الجودة. 4. دراسة شاملة للتعلم بالنقل لم تكتفِ الورقة بتقديم نموذج جديد، بل أجرت مقارنة منهجية واسعة بين: أهداف التدريب المختلفة البنى المعمارية المختلفة أحجام النماذج طرق نقل المعرفة مجموعات البيانات مما جعلها مرجعًا أساسيًا لفهم أفضل الممارسات في المجال. 5. تحقيق نتائج رائدة حقق T5 نتائج متقدمة على العديد من أشهر الاختبارات العالمية في: Question Answering Summarization Text Classification Machine Translation Natural Language Understanding 6. التوسع إلى نماذج ضخمة وسعت الدراسة حجم النماذج حتى: 11 Billion Parameters وأظهرت بوضوح أن زيادة الحجم مع البيانات المناسبة تؤدي إلى تحسينات كبيرة في الأداء. لماذا تعتبر هذه الورقة مهمة؟ لأنها نقلت المجال من التفكير في: "ما النموذج المناسب لكل مهمة؟" إلى: "كيف نصوغ المهمة كنص إلى نص؟" هذا التحول الفكري أصبح لاحقًا أساسًا للعديد من النماذج الحديثة، وأسهم في ترسيخ مفهوم النماذج العامة القادرة على تنفيذ مهام متعددة باستخدام إطار موحد. أخيرا: تُعد ورقة T5 واحدة من أهم الأوراق البحثية في تاريخ النماذج اللغوية الحديثة. فقد أثبتت أن توحيد جميع مهام معالجة اللغة تحت إطار Text-to-Text ليس ممكنًا فقط، بل يمكن أن يحقق أداءً ينافس أو يتفوق على الأساليب المتخصصة، مما مهد الطريق للجيل الجديد من النماذج اللغوية واسعة القدرات. #البحث_العلمي #الذكاء_الاصطناعي

تعلم التعلم العميق لا يبدأ ببناء الشبكات العصبية، بل يبدأ ببناء الأساس العلمي الصحيح. هذه الخريطة توضح المراحل الأساسية التي يحتاجها كل من يريد دخول عالم الذكاء الاصطناعي والتعلم العميق: الرياضيات الإحصاء الجبر الخطي الاحتمالات التفاضل والتكامل المشتقات خوارزميات الذكاء الاصطناعي مكتبة PyTorch المشاريع العملية يقفز الكثير من المبتدئين مباشرة إلى النماذج والأدوات الحديثة، لكن الفهم الحقيقي يأتي من استيعاب المفاهيم الرياضية التي تجعل هذه النماذج قادرة على التعلم واتخاذ القرارات. كل خطوة في هذه الخريطة تبني ما بعدها. فعندما تتقن الرياضيات والإحصاء والاحتمالات، يصبح فهم الشبكات العصبية وخوارزميات التعلم العميق أكثر سهولة ووضوحًا. وعندما تصل إلى مرحلة المشاريع العملية، تبدأ بتحويل المعرفة النظرية إلى حلول حقيقية. التعلم العميق رحلة طويلة تتطلب الصبر والاستمرارية، لكن النتائج تستحق الجهد. في أي مرحلة من هذه الخريطة أنت الآن؟ #التعلم_العميق #الذكاء_الاصطناعي #تعلم_الآلة #علوم_البيانات #بايثون #PyTorch #الشبكات_العصبية #برمجة #مطورين #تقنية #تعلم_البرمجة

الجزء الثاني: XLNet: Generalized Autoregressive Pretraining for Language Understanding في عام 2019 قدمت ورقة XLNet واحدة من أهم الأفكار في تاريخ النماذج اللغوية، حيث سعت إلى معالجة القيود الموجودة في BERT مع الحفاظ على قدرته القوية في فهم السياق ثنائي الاتجاه. اعتمدت الورقة على ملاحظة أن استخدام الرموز المخفية (MASK) أثناء التدريب يخلق فجوة بين مرحلة التدريب ومرحلة الاستخدام الفعلي للنموذج. كان الهدف الرئيسي من XLNet هو الجمع بين مزايا النماذج التوليدية Autoregressive Models ومزايا نماذج التشفير الذاتي Autoencoding Models. ولتحقيق ذلك، قدم الباحثون مفهومًا جديدًا يسمى Permutation Language Modeling، والذي يسمح للنموذج بالتعلم من ترتيبات مختلفة للكلمات داخل الجملة، مما يمكنه من الاستفادة من المعلومات القادمة من الجهتين دون الحاجة إلى إخفاء الكلمات كما يحدث في BERT. كما قدمت الورقة آلية Two-Stream Attention التي تسمح للنموذج بفهم السياق الكامل مع منع الوصول المباشر إلى الكلمة المطلوب التنبؤ بها، إضافة إلى دمج تقنيات Transformer-XL للاستفادة من سياقات نصية أطول والاحتفاظ بالمعلومات عبر مقاطع متعددة من النصوص. أظهرت النتائج أن XLNet تفوق على BERT في العديد من المهام المهمة مثل فهم النصوص، والإجابة عن الأسئلة، والاستدلال اللغوي، وتحليل المشاعر. ولم تقتصر مساهمة الورقة على تحسين الأداء فقط، بل قدمت طريقة جديدة للتفكير في مرحلة ما قبل التدريب للنماذج اللغوية، وأسهمت في دفع أبحاث التعلم العميق ومعالجة اللغة الطبيعية نحو نماذج أكثر قوة وقدرة على الفهم والاستدلال. #البحث_العلمي #الذكاء_الإصطناعي

الجزء الثالث: الحل الذي قدمته الورقة: XLNet: Generalized Autoregressive Pretraining for Language Understanding في عام 2019 قدمت ورقة XLNet واحدة من أهم الأفكار في تاريخ النماذج اللغوية، حيث سعت إلى معالجة القيود الموجودة في BERT مع الحفاظ على قدرته القوية في فهم السياق ثنائي الاتجاه. اعتمدت الورقة على ملاحظة أن استخدام الرموز المخفية (MASK) أثناء التدريب يخلق فجوة بين مرحلة التدريب ومرحلة الاستخدام الفعلي للنموذج. كان الهدف الرئيسي من XLNet هو الجمع بين مزايا النماذج التوليدية Autoregressive Models ومزايا نماذج التشفير الذاتي Autoencoding Models. ولتحقيق ذلك، قدم الباحثون مفهومًا جديدًا يسمى Permutation Language Modeling، والذي يسمح للنموذج بالتعلم من ترتيبات مختلفة للكلمات داخل الجملة، مما يمكنه من الاستفادة من المعلومات القادمة من الجهتين دون الحاجة إلى إخفاء الكلمات كما يحدث في BERT. كما قدمت الورقة آلية Two-Stream Attention التي تسمح للنموذج بفهم السياق الكامل مع منع الوصول المباشر إلى الكلمة المطلوب التنبؤ بها، إضافة إلى دمج تقنيات Transformer-XL للاستفادة من سياقات نصية أطول والاحتفاظ بالمعلومات عبر مقاطع متعددة من النصوص. أظهرت النتائج أن XLNet تفوق على BERT في العديد من المهام المهمة مثل فهم النصوص، والإجابة عن الأسئلة، والاستدلال اللغوي، وتحليل المشاعر. ولم تقتصر مساهمة الورقة على تحسين الأداء فقط، بل قدمت طريقة جديدة للتفكير في مرحلة ما قبل التدريب للنماذج اللغوية، وأسهمت في دفع أبحاث التعلم العميق ومعالجة اللغة الطبيعية نحو نماذج أكثر قوة وقدرة على الفهم والاستدلال. #البحث_العلمي #الذكاء_الاصطناعي

XLNet: Generalized Autoregressive Pretraining for Language Understanding في عام 2019 قدمت ورقة XLNet واحدة من أهم الأفكار في تاريخ النماذج اللغوية، حيث سعت إلى معالجة القيود الموجودة في BERT مع الحفاظ على قدرته القوية في فهم السياق ثنائي الاتجاه. اعتمدت الورقة على ملاحظة أن استخدام الرموز المخفية (MASK) أثناء التدريب يخلق فجوة بين مرحلة التدريب ومرحلة الاستخدام الفعلي للنموذج. كان الهدف الرئيسي من XLNet هو الجمع بين مزايا النماذج التوليدية Autoregressive Models ومزايا نماذج التشفير الذاتي Autoencoding Models. ولتحقيق ذلك، قدم الباحثون مفهومًا جديدًا يسمى Permutation Language Modeling، والذي يسمح للنموذج بالتعلم من ترتيبات مختلفة للكلمات داخل الجملة، مما يمكنه من الاستفادة من المعلومات القادمة من الجهتين دون الحاجة إلى إخفاء الكلمات كما يحدث في BERT. كما قدمت الورقة آلية Two-Stream Attention التي تسمح للنموذج بفهم السياق الكامل مع منع الوصول المباشر إلى الكلمة المطلوب التنبؤ بها، إضافة إلى دمج تقنيات Transformer-XL للاستفادة من سياقات نصية أطول والاحتفاظ بالمعلومات عبر مقاطع متعددة من النصوص. أظهرت النتائج أن XLNet تفوق على BERT في العديد من المهام المهمة مثل فهم النصوص، والإجابة عن الأسئلة، والاستدلال اللغوي، وتحليل المشاعر. ولم تقتصر مساهمة الورقة على تحسين الأداء فقط، بل قدمت طريقة جديدة للتفكير في مرحلة ما قبل التدريب للنماذج اللغوية، وأسهمت في دفع أبحاث التعلم العميق ومعالجة اللغة الطبيعية نحو نماذج أكثر قوة وقدرة على الفهم والاستدلال. #البحث_العلمي #الذكاء_الإصطناعي