مبادرة البداية · المحاضرة 1 · مقال المذاكرة التفاعلي

المصطلحات والـ Features والـ Matrices، بالأمثلة

كل فكرة من المحاضرة الأولى بكلام بسيط، ومعاها مثال محلول بالأرقام ورسمة تقدر تحركها بنفسك وتشوف إيه اللي بيحصل.

ليه بنبدأ بالرياضة؟ Why maths first

الـ AI علم بيجمع حاجات كتير مع بعض: رياضة وإحصاء وبرمجة وفهم للمشكلة نفسها. وده مش جديد: إقليدس وصف الفراغ على إنه مسطح، نيوتن بنى عليه قوانينه، وبعدين أينشتاين لقى إن مدار عطارد مش ماشي مظبوط مع حسابات نيوتن، فاستخدم معادلات رياضية بحتة كانت موجودة من قبله عشان يوصف الفراغ والزمن على إنهم منحنيين. يعني الرياضة اللي حد كتبها بدري ممكن تبقى هي المفتاح لمشكلة جديدة خالص.

وأهم فكرة هناخدها من تاريخ الأرقام: المصريين القدماء كانوا بيعدوا حاجات ملموسة. بعدين ظهرت الأرقام السالبة عشان تعبر عن الدين (1 − 2 = −1)، وده لسه على نفس المحور لأنه نفس الـ feature: فلوس معاك أو عليك. وبعدين الصفر عشان يعبر عن "مفيش". لكن لما ظهرت الأرقام التخيلية (Cardano) مكانش ينفع نحطها بعد 9000 على نفس الخط، فاحتجنا محور جديد عمودي (orthogonal) على الأولاني.

الفكرة اللي هتفضل معانا طول الكورس: كل محور جديد = feature جديدة = dimension جديدة. والمحاور عمودية على بعض عشان الزيادة على محور ماتعنيش زيادة على محور تاني: كل محور بيقول معلومة مستقلة.
▶ شوفها في المحاضرة 1 عند 7:40

Class و Feature و Sample From one dog to a feature space

ليه إحنا بنتعلمها؟

أي برنامج AI مابيشوفش كلب ولا صورة ولا كلام زينا: بيشوف أرقام بس. لما موبايلك يفتح بوجهك، هو بيحول وجهك لشوية أرقام ويقارنها بالأرقام اللي حافظها عنك. تحويل أي حاجة لأرقام هو أول خطوة في أي AI.
ولو حاجة في الصفحة دي لسه مش واضحة 100% دلوقتي، ده طبيعي جدا: كمل عادي. كل فكرة هنا هتتربط بحاجات أكبر وهتوضح أكتر مع كل محاضرة.

تخيل إنك قابلت كلب ووزنته: 3 كيلو. هنا الـ class (الفئة) هو الكلب، والوزن ده feature: قياس أخدناه منه. رقم واحد = نقطة على خط واحد (1D)، وده اسمه univariate.

لو قسنا كمان الطول يبقى عندنا two features (bivariate)، والكلب بقى نقطة في مستوى 2D. ولو زودنا السرعة يبقى 3D (multivariate). مهما زادت الـ dimensions، الكلب ده لسه sample واحد، والأرقام بتاعته مع بعض اسمها feature vector، والفراغ اللي عايش فيه اسمه feature space.

جرب: غير الـ features بتاعة الكلب بتاعك وشوف مكانه بين الكلاب والقطط
الرسمة بتوري محورين بس (الوزن والطول). السرعة محور تالت عمودي عليهم، والكلب نقطة واحدة في 3D.
مثال محلول: من الكلاب لجدول

قسنا 3 كلاب وقطة. كل صف sample، وكل عمود feature، والعمود الأخير هو الـ true label (كلب = 1، قطة = 0):

sampleweight (kg)height (cm)speed (km/h)label
1330121
2942251
3638201
4424150
  1. الـ feature vector للكلب الأول: [3, 30, 12]، يعني نقطة في feature space فيها 3 dimensions.
  2. الجدول كله مصفوفة 4 × 3 (من غير الـ label): 4 samples و 3 features.
  3. عشان عندنا الـ label الحقيقي لكل sample، المسألة دي supervised. لو شلنا عمود الـ label وسبنا الـ machine تدور على مجموعات لوحدها (clustering) تبقى unsupervised.

الـ scalar رقم واحد (0D)، الـ vector صف أرقام (1D)، الـ matrix جدول (2D)، والـ tensor هو الاسم العام لأي عدد من الـ dimensions. مجرد اسم.

▶ شوفها في المحاضرة 1 عند 16:29 ▶ شوفها في المحاضرة 1 عند 26:23

أنواع الداتا Data types

ليه إحنا بنتعلمها؟

نوع الداتا بيحدد نوع البرنامج اللي هنستخدمه. الصور والكلام محتاجين نوع من الـ models (زي اللي في ChatGPT)، والجداول زي جداول البنوك محتاجة نوع تاني.

الداتا يا إما structured (جدول، كل عمود ليه اسم: وزن، طول)، يا إما unstructured زي الصور والصوت والفيديو: pixel واحدة لوحدها مش feature ليها اسم. والـ structured نوعين:

Numeric: إما discrete (عدد صحيح: 1، 2، 3) أو continuous (أي قيمة في مدى: السن، الإضاءة). Categorical: إما binary (اتنين بس)، أو ordinal (فيه ترتيب: الأول قبل التاني)، أو nominal (من غير ترتيب: قميص وبنطلون، مفيش حاجة فيهم قبل التانية).

اختبر نفسك: دوس على كل حاجة عشان تشوف نوعها
خلي بالك: multi-class (الـ label ليه أكتر من فئتين: كلب، قطة، حصان) غير multivariate (الـ sample ليه أكتر من feature).
▶ شوفها في المحاضرة 1 عند 47:06

الـ Vector: Cartesian و Polar Two ways to describe the same arrow

ليه إحنا بنتعلمها؟

ChatGPT بيحول كل كلمة لـ vector: قائمة طويلة من الأرقام. الكلمات اللي معناها قريب بيبقى ليها vectors قريبة من بعض. يعني الـ vector هو اللغة اللي الـ AI بيفكر بيها.

الـ vector سهم طالع من نقطة الأصل. نقدر نوصفه بطريقتين: Cartesian: قيمته على x وقيمته على y، زي (−3, 1). أو Polar: طوله (magnitude) والزاوية اللي بيعملها مع محور x (phase). الفيزيا بتحب الـ polar، لكن لما الـ dimensions تكتر الزوايا بتكتر وتتعقد، فإحنا في الـ machine learning بنشتغل بالـ Cartesian.

حرك x و y وشوف الطول والزاوية
مثال محلول: v = (−3, 1)
  1. الطول من فيثاغورس: |v| = √((−3)² + 1²) = √10 ≈ 3.16
▶ شوفها في المحاضرة 1 عند 12:38

ضرب Scalar في Vector و الـ Span Scaling stays on the line

ليه إحنا بنتعلمها؟

جوه ChatGPT وأي AI تاني، أبسط عملية بتتكرر مليارات المرات هي: اضرب كل رقم في رقم تاني. ده بالظبط ضرب الـ scalar في الـ vector.

لما تضرب رقم في vector بتضرب كل قيمة فيه: 2 × (1, 2) = (2, 4). الطول بيتغير، ولو الرقم سالب الاتجاه بيتقلب، لكن عمرك ما هتخرج بره الخط اللي ماشي عليه الـ vector. كل النتايج الممكنة مع بعض اسمها الـ span بتاع الـ vector ده.

غير الـ scalar c وشوف c × v بيتحرك على الخط بس
مثال محلول
  1. v = (1, 2): 3v = (3, 6)، 0.5v = (0.5, 1)، −1v = (−1, −2).
  2. هل (2, 5) في الـ span بتاع v؟ لازم c × 1 = 2 يعني c = 2، بس 2 × 2 = 4 ≠ 5، يبقى لأ: النقطة دي مش على الخط.
▶ شوفها في المحاضرة 1 عند 55:03

جمع وطرح الـ Vectors Head to tail

ليه إحنا بنتعلمها؟

العملية التانية اللي بتتكرر جوه أي AI هي الجمع. وفي حاجة لطيفة: لو أخدت vector كلمة "ملك" وطرحت منه "راجل" وجمعت "ست"، بتوصل لحاجة قريبة جدا من "ملكة".

الجمع قيمة بقيمة: (2, 1) + (2, 3) = (4, 4). وبالرسم: حط ديل التاني عند راس الأول (head to tail)، والنتيجة سهم من الأصل لآخر راس. الطرح هو إنك تقلب التاني وتجمع: A − B = A + (−B).

حرك A و B
▶ شوفها في المحاضرة 1 عند 59:01

الـ Dot Product و Cosine Similarity و Euclidean Distance How similar are two samples?

ليه إحنا بنتعلمها؟

لما تكتب "بحر" في معرض الصور في موبايلك ويطلعلك صور البحر، أو YouTube يرشحلك فيديو شبه اللي اتفرجت عليه، البرنامج بيدور على أقرب vectors للي إنت عايزه. وده بالظبط اللي بنتعلم نقيسه هنا.

لو عندنا two samples، إزاي نقول هما شبه بعض قد إيه؟ أول أداة: الـ dot product: اضرب كل عنصر في اللي قصاده واجمع، والنتيجة رقم واحد:

A · B = a₁b₁ + a₂b₂ + … = |A| |B| cos φ

المشكلة إنه بيتأثر بالأطوال والزاوية مع بعض. عشان كده عندنا cosine similarity: بنقسم على الطولين فيفضل الاتجاه بس، وقيمتها من −1 لـ 1. ولو المحورين عموديين (φ = 90°) الـ similarity صفر: زي محور x ومحور y، مفيش بينهم أي حاجة مشتركة.

والأداة التالتة: Euclidean distance: المسافة بين راسين الـ vectors بفيثاغورس.

لف B وغير الأطوال: لاحظ إن الـ cosine مابيتأثرش بالطول
جرب تكبر طول B للضعف: الـ dot product بيتضاعف، والـ cosine similarity ثابتة. ولما تلف B، المسافة بتكبر وبعدين تصغر، والـ cosine بتقل وبعدين تزيد.
مثال محلول
  1. [1, 2, 3] · [1, 2, 3] = 1 + 4 + 9 = 14، والطول √14، يبقى cosine هي 14 / (√14 × √14) = 1: نفس الاتجاه بالظبط.
  2. (1, 0) · (0, 1) = 0، يبقى cosine هي 0: محورين عموديين.
  3. المسافة بين (1, 2) و (4, 6): √(3² + 4²) = √25 = 5.
  4. (1, 1) و (3, 3): cosine هي 1 (نفس الاتجاه) لكن المسافة √8 ≈ 2.83. يعني الأداتين بيقولوا حاجتين مختلفتين.
▶ شوفها في المحاضرة 1 عند 1:02:19 ▶ شوفها في المحاضرة 1 عند 1:07:09

Linear Classification و الـ Decision Boundary A line that separates dogs from cats

ليه إحنا بنتعلمها؟

Gmail بيقرر كل رسالة spam ولا لأ، والعربيات اللي بتسوق نفسها بتقرر الإشارة حمرا ولا خضرا. ده اسمه classification: إننا نحط كل حاجة في الفئة بتاعتها. وأبسط طريقة ليه خط بيفصل بين فئتين.

ارسم الكلاب والقطط بالوزن والطول. عايزين خط يفصلهم: اللي فوق الخط نقول عليه كلب، واللي تحته قطة. الخط ده اسمه decision boundary. الـ machine بتبدأ بخطوط وحشة وبتتعلم من غلطها لحد ما توصل لخط كويس. جرب إنت تبقى الـ machine:

حرك الخط: height = slope × weight + intercept
النقط المليانة هي الـ training set (الـ machine بتتعلم منها). النقط اللي ليها حلقة بس هي الـ testing set: بنخبيها ونختبر عليها في الآخر.
مثال محلول: الخط height = 2 × weight + 18
  1. كلب وزنه 6 وطوله 38: الخط عند 2 × 6 + 18 = 30، و 38 > 30، يبقى فوق الخط: كلب ✓
  2. قطة وزنها 4 وطولها 24: الخط عند 2 × 4 + 18 = 26، و 24 < 26، يبقى تحت: قطة ✓
  3. لو من 10 test samples الخط غلط في 5، الـ accuracy هي 5/10 = 50%: زي ما تكون بترمي عملة.
▶ شوفها في المحاضرة 1 عند 32:15 ▶ شوفها في المحاضرة 1 عند 37:15

Linear Regression Predicting a number, not a class

ليه إحنا بنتعلمها؟

لما Uber يقولك الرحلة هتاخد 23 دقيقة، أو موقع عقارات يقدر سعر شقة، ده توقع رقم مش فئة، واسمه regression.

فصل فيه طلبة: كل طالب ذاكر عدد ساعات (x) وجاب درجة (y). بنرسم خط يمشي وسط النقط، ولما يجي طالب جديد ذاكر 15 ساعة نقرا الدرجة من الخط. هنا بنتوقع رقم فده regression، مش classification.

الأسامي: الـ statistician يقول على x predictor والمهندس يقول input، والاتنين اسمهم برضه independent variable. و y اسمها response أو target أو dependent variable.

حرك الخط وحاول تقلل الـ error
الخطوط الحمرا هي الغلط لكل طالب (الدرجة الحقيقية − اللي الخط توقعه). الـ MSE متوسط مربعات الغلط ده.
مثال محلول: الخط y = 0.4x + 0.3
  1. طالب ذاكر 2 ساعة وجاب 1: التوقع 0.4 × 2 + 0.3 = 1.1، والغلط 1 − 1.1 = −0.1.
  2. طالب ذاكر 7 ساعات وجاب 3: التوقع 0.4 × 7 + 0.3 = 3.1، والغلط −0.1.
  3. الطالب الجديد (15 ساعة): 0.4 × 15 + 0.3 = 6.3.
▶ شوفها في المحاضرة 1 عند 40:12

ضرب المصفوفات Many dot products at once

ليه إحنا بنتعلمها؟

كل كلمة بيكتبها ChatGPT وراها مليارات عمليات ضرب وجمع، متنظمة على شكل ضرب مصفوفات. وعشان كده كروت الشاشة (GPUs) بقت أهم حاجة في الـ AI: لأنها بتعمل العملية دي بسرعة رهيبة.

ضرب مصفوفتين مش حاجة جديدة: هو dot products كتير. كل صف من الأولى × كل عمود من التانية = رقم واحد في النتيجة. عشان كده عدد أعمدة الأولى لازم يساوي عدد صفوف التانية. وأي AI model جواه ملايين من العمليات دي.

جرب الأحجام: (n × m) · (m' × k)
مثال محلول
[[1, 2], [3, 4]] · [[5, 6], [7, 8]]
  1. صف 1 · عمود 1: 1×5 + 2×7 = 19. صف 1 · عمود 2: 1×6 + 2×8 = 22.
  2. صف 2 · عمود 1: 3×5 + 4×7 = 43. صف 2 · عمود 2: 3×6 + 4×8 = 50.
  3. النتيجة [[19, 22], [43, 50]].
▶ شوفها في المحاضرة 1 عند 1:13:52

المصفوفة كتحويل و الـ Determinant و الـ Inverse What a matrix does to space

ليه إحنا بنتعلمها؟

الـ AI بيتعلم يحرك الداتا ويمطها ويلفها لحد ما الحاجات المختلفة تبعد عن بعض ويبقى سهل يفرق بينها. والمصفوفة هي الأداة اللي بتعمل الحركة دي.

لما تضرب مصفوفة في vector بتحركه لمكان جديد. مثلا [[2, 0], [0, 1]] · (1, 0) = (2, 0): المصفوفة دي بتمط محور x للضعف. والـ determinant ad − bc هو المعامل اللي المساحة بتتضرب فيه: هنا 2، يعني المربع مساحته بقت الضعف.

والـ inverse هو اللي بيرجعك: زي 3 × 1/3 = 1، و A · A⁻¹ = I (الـ identity، المصفوفة اللي مابتغيرش حاجة). للـ 2×2: بدل a و d، اقلب إشارة b و c، واقسم على الـ determinant.

غير a و b و c و d وشوف المربع بيتحول لإيه
الثقب الأسود: لما المساحة تتعصر لصفر (determinant = 0) كل المربع بيقع على خط، ومفيش حاجة تقدر ترجعه زي ما كان. زي اللي يعدي الـ event horizon بتاع الثقب الأسود ويوصل للـ singularity: مفيش رجوع. عشان كده المصفوفة دي اسمها singular وملهاش inverse.
مثال محلول: inverse بتاع A = [[2, 1], [1, 1]]
  1. det = 2×1 − 1×1 = 1 (مش صفر، يبقى ليها inverse).
  2. بدل a و d واقلب إشارة b و c: [[1, −1], [−1, 2]]، واقسم على 1.
  3. تأكد: [[2, 1], [1, 1]] · [[1, −1], [−1, 2]] = [[2−1, −2+2], [1−1, −1+2]] = [[1, 0], [0, 1]] = I ✓
  4. و [[2, 1], [4, 2]]: det = 4 − 4 = 0، singular، ملهاش inverse.
▶ شوفها في المحاضرة 1 عند 1:17:55 ▶ شوفها في المحاضرة 1 عند 1:23:26 ▶ شوفها في المحاضرة 1 عند 1:37:46

Linear Dependence و الـ Rank Does this feature add anything new?

ليه إحنا بنتعلمها؟

مش كل الأرقام اللي بنجمعها مفيدة: ساعات feature بتتحسب من features تانية، فمش بتضيف جديد وبتاخد مساحة على الفاضي. الـ rank بيقولك فيه كام معلومة جديدة فعلا. ونفس الفكرة بتساعد إننا نعدل models ضخمة بجزء صغير من الأرقام.

لو عندك feature C دايما بتساوي 2A + B، يبقى C linear combination من A و B، ومش بتضيف أي معلومة جديدة: لو عرفت A و B تعرف C من غير ما تقيسها. الـ rank هو عدد الـ features (الأعمدة) اللي مستقلة فعلا. ولو كل feature بتضيف حاجة جديدة نقول الـ matrix full rank. ولو features مرتبطة ببعض جامد (مش بالظبط) ده اسمه multicollinearity وهنشوفه بعدين.

حرك الـ vector التاني لحد ما يبقى على نفس خط الأول
مثال محلول
ABC = 2A + BD
1025
2151
0332
4197
  1. كل صف: C = 2A + B (مثلا 2×2 + 1 = 5).
  2. A و B و D مستقلين، و C مش بتضيف جديد، يبقى rank = 3 مش 4.
  3. لو شلنا C مش هنخسر أي معلومة.
▶ شوفها في المحاضرة 1 عند 1:31:37 ▶ شوفها في المحاضرة 1 عند 1:35:08

الـ Quantization Continuous values in a finite machine

ليه إحنا بنتعلمها؟

model كبير ممكن يحتاج أكتر من 14 GB، ومش هيشتغل على موبايلك. لما نقلل الدقة بتاعة كل رقم (quantization)، الحجم بيقل لحوالي الربع، وده اللي بيخلي برامج AI تشتغل على موبايل أو laptop من غير إنترنت.

الكمبيوتر بيخزن كل رقم في عدد محدود من الـ bits، فأي قيمة continuous (زي 0.73519...) بتتقرب لأقرب قيمة يقدر يكتبها. كل bit زيادة بيضاعف عدد القيم اللي يقدر يكتبها، فالدقة تزيد، بس كل رقم ياخد مساحة أكبر في الذاكرة: زي ما تكون شايل سيف تقيل، أقوى بس أبطأ وأتقل.

والـ quantization إننا نقلل عدد الـ bits لكل رقم جوه الـ model (مثلا من 16 bit لـ 4 bits)، فالـ model يبقى أصغر وأسرع، وفي المقابل بنفقد شوية دقة. الشطارة إننا نقلل لحد ما الفرق في النتيجة مايبانش.

قلل الـ bits وشوف المنحنى الناعم بيتحول لسلالم: كل سلمة قيمة واحدة الكمبيوتر يقدر يكتبها
▶ شوفها في المحاضرة 1 عند 50:47
مبادرة البداية · © Mahmoud Abdellahi