Data Engineer | Azure & Databricks | Data Warehousing & Lakehouse
Logfile
Joined October 2023
- Tweets3.8K
- Following4.1K
- Followers1.3K
- Likes5.8K
Pinned Tweet
الفترة الاخيرة جاتني أسئلة كثير:
كيف نبدا في هندسة البيانات؟👾
🔥 إذا أنت من اللي يتساءلون كيف تدخل عالم هندسة البيانات وتبدأ تبني مستقبل مهني او تتعلم تعلم شخصي، فأنت بالمكان الصح تعال معي نستكشف سوا أسرار الطريق ونمشّي خطوة بخطوة وتبدأ من الصفر الين توصل للإحتراف بأذن الله.
1️⃣/ وش هي هندسة البيانات؟
هندسة البيانات هي تصميم وبناء وصيانة الأنظمة والبنى التحتية التي تجمع وتخزن وتنظف وتحول البيانات الخام إلى معلومات قيّمة لدعم اتخاذ القرارات الذكية.
2️⃣/ المرحلة الأولى: الأساسيات
•البرمجة: تعلم لغة برمجة مثل Python ضروري، ومعها مكتبات قوية مثل Pandas وNumPy. بعدها تعلم لغات ثانية زي java و c++ عشان تحسن مستواك البرمجي.
•المفاهيم العامة: لا تنسون تتعلمون أساسيات مثل الخوارزميات وهياكل البيانات، لأنها العمود الفقري لكل التقنيات💡.
3️⃣/ قواعد البيانات وأنواعها
•Relational Databases: تعلم SQL عشان تقدرون تتعاملون مع Relational Databases مثل MySQL أو PostgreSQL.
•NoSQL Databases: تعلم على NoSQL Databases مثل MongoDB أو Cassandra لمعالجة بيانات ضخمة ومتنوعة.
4️⃣/ مرحلة الـETL (Extract, Transform, Load)
تعلموا كيف تسحبون البيانات من مصادر مختلفة وتنظفونها وتحولونها عشان تصير جاهزة للتحليل.
•جربوا أدوات مثل Apache Airflow وApache NiFi، ولا تنسون Luigi كبديل ممتاز لتنظيم عمليات ETL بشكل سلس.
5️⃣/ عالم البيانات الضخمة (Big Data)
إذا عندكم شغف بالتعامل مع بيانات كبيرة:
•تعلموا منصات مثل Apache Hadoop وApache Spark.
•ولا تنسون Databricks، اللي يجمع بين قوة Spark وإدارة Data Lake بواجهة سهلة الاستخدام 🔥.
6️⃣/ مشاريع عملية
ما فيه أحلى من التطبيق العملي:
•ابداوا بمشاريع بسيطة مثل جمع بيانات الطقس، الأسهم، أو تقييمات المنتجات من الإنترنت، ونظفوها وحللوا النتائج.
•مع الوقت، تحدوا نفسكم بمشاريع أكبر مثل تحليل سلوك المستخدمين أو توقعات السوق.
7️⃣/ تعلم خدمات السحابة (Cloud)
الأنظمة اليوم تعتمد بشكل كبير على خدمات السحابة:
•استكشفوا منصات مثل AWS، Google Cloud أو Azure.
•تعلموا خدمات تخزين البيانات مثل AWS Redshift، Google BigQuery، وحتى Snowflake كخيار متطور لمعالجة البيانات ☁️.
8️⃣/ أدوات تصوير البيانات (Data Visualization)
عرض المعلومات بشكل مبسط وواضح مهم جدًا:
•استخدموا أدوات مثل Tableau، Power BI، ومع مكتبات Python مثل Matplotlib وSeaborn لتحليل البيانات بشكل بصري.
9️⃣/ خليكم جزء من مجتمع المهندسين
لا تبخلوا بمشاركة معرفتكم واستفيدوا من تجارب غيركم:
•تابعوا مجتمعات على GitHub، Stack Overflow، Reddit، وتويتر زي مجتمعي مثلا🫣
•شاركوا في المجتمع واسألوا، لأن التواصل يفتح لكم آفاق جديدة.
1️⃣0️⃣/ التعليم المستمر
مجال هندسة البيانات يتطور بسرعة:
•سجلوا بدورات على منصات مثل Coursera، Udemy أو edX.
•اقرأوا مقالات وكتب وشوفوا فيديوهات تعليمية عشان تواكبوا أحدث التقنيات والأدوات.
1️⃣1️⃣/ أدوات بتحتاجها كثير ومعروفة:
أ. أدوات التطوير والبيئة العملية:
•Visual Studio Code: محرر كود خفيف وقوي مع إضافات تدعم كل لغات البرمجة.
•Jupyter Notebook وGoogle Colab: لتجربة الأفكار وتحليل البيانات بشكل سريع وتجريبي.
•Git وGitHub/GitLab: لتنظيم الكود ومتابعة التغييرات بشكل احترافي.
•DataGrip: أداة مميزة لإدارة قواعد البيانات بكل أنواعها.
ب. أدوات الحاويات والتوزيع:
•Docker: لتعبئة تطبيقاتكم ونقلها بين البيئات بدون عناء.
•Docker Compose: لتنسيق تشغيل عدة حاويات مع بعض بسهولة.
•Kubernetes: لإدارة وتنسيق الحاويات في بيئة الإنتاج بشكل متقدم.
ج. أدوات الأتمتة والتنسيق:
•Apache Airflow وLuigi: لتنظيم وجدولة عمليات ETL بشكل آلي ومريح.
•Jenkins، GitHub Actions، أو حتى CircleCI: لتفعيل التكامل المستمر (CI) والنشر التلقائي (CD).
د. أدوات المراقبة وتحليل الأداء:
•Prometheus وGrafana: لمراقبة أداء الأنظمة وتنبيهكم عند حدوث أي خلل.
•ELK Stack (Elasticsearch, Logstash, Kibana): لتحليل سجلات النظام واكتشاف المشاكل بسرعة.
•ولو تبون حل شامل، جربوا Datadog للمراقبة وتحليل الأداء.
هـ. أدوات إدارة البنية التحتية:
•Terraform: لأتمتة إنشاء وإدارة البنية التحتية ككود.
•Ansible: لتنسيق النشر وإدارة الإعدادات عبر بيئات متعددة.
•ولا تنسون Chef أو Puppet إذا تبون حلول أتمتة متقدمة.
——-
أتمنى يكون هالثريد أجابة كافية ووافية على سؤالكم
،وبالتوفيق لكم في رحلة التعلم واي شي عندنا مجتمع (هندسة البيانات T3X) نتشارك ونتعلم من بعض 🙏
سبارك 4.3 نزل رسميًا
وش الجديد فيه؟ خلونا نبسطها بأمثلة
1ـ Real-Time Mode صار يدعم عمليات تتذكر البيانات السابقة
يعني تجمع مبيعات الفرع أول بأول بـ aggregation وتمنع تكرار نفس الطلب بـ dropDuplicates وتتابع نشاط العميل بـ transformWithState المتاح هنا لـ Scala وJava
وفي اختبارات محددة وصل التأخير لأقل من 150ms
2ـ Auto CDC صار يدعم SCD Type 2
لو العميل نقل من جدة للرياض تحتفظ بسجله القديم والجديد وفترة كل واحد
كذا تعرف مدينته وقت الشراء مو بس مدينته الحالية
3ـ Project Feather لتخفيف وقت تنفيذ الاستعلامات الصغيرة
مثلا تجرب تجميع المبيعات على ملف صغير
التحسينات الاختيارية تقلل خطوات التنفيذ الزايدة للاستعلامات المناسبة
4ـ تحسينات Spark Connect
واجهات REST لمتابعة الجلسات والعمليات ودعم أوسع في JDBC
مثلا تتابع عملية شغالة عن بعد أو تقرأ نتيجة فيها ARRAY وSTRUCT من تطبيق يستخدم JDBC
5ـ إصدارات المزايا صارت كل 3 أشهر بدل 6
يعني التحسينات الجاهزة توصلك بشكل أسرع بدل تنتظر نصف سنة
تفاصيل اكثر:
databricks.com/blog/introduc…
тЗх | هندسة البيانات retweeted
More ways to build, validate, and manage data preparation workflows in Lakeflow Designer 🫡
Our October roundup highlights the latest enhancements:
• Guardrails for data quality checks, with control over what happens when checks fail
• No-code operators for cleaning and deduplication
• Multi-table joins in a single operator
• Parameterized inputs and outputs
• Visual version history to easily review workflow changes
databricks.com/blog/whats-ne…
тЗх | هندسة البيانات retweeted
[DEMO] With the Databricks Excel Add-in, bring the right Databricks data into Excel with more flexibility and less repetitive work:
→ Generate cascading filter values to narrow data before importing
→ Reuse existing Databricks SQL queries directly in Excel
→ Use custom functions like DATABRICKS.SQL and DATABRICKS.Table to import data into your workbook
Watch the full demo to see how they work: youtu.be/GKQt543lGDg
• Azure + Databricks
ADF → ADLS → Databricks → Delta Lake → Power BI
• AWS
Glue / Airflow → S3 → Spark / EMR → Redshift
• GCP
Composer → GCS → Dataflow / Dataproc → BigQuery
• Snowflake Modern Stack
Fivetran / Airbyte → Snowflake → dbt → BI
• Open Source Stack
Airbyte → S3 / MinIO → Spark → Iceberg → Trino
• Streaming Stack
Kafka → Flink → Iceberg / Delta Lake → Trino / Databricks
• Microsoft Fabric
Data Factory → OneLake → Fabric Lakehouse → Fabric Warehouse → Power BI
الـ الادوات تختلف، لكن الـ Concepts خلفها متشابهة.
لا تتعلم اداة فقط، افهم دورها في الـ Architecture، وليش تستخدم، وإيش البدائل لها.
هنا تبدأ تفكر كـ Data Engineer، مو كمستخدم لأداة معينة.
إذا تبي تكون مهندس بيانات شاطر وأساسك قوي، هذي المواضيع خذها وتعلم منها وأقرأ فيها وافهمها زين، وحاول تطبق كل مفهوم في مشروع عملي.
1) Storage & Warehousing
• OLTP
• OLAP
• ACID Transactions
• Data Warehouse
• Data Lake
• Data Lakehouse
• Cloud Data Warehouses
• Compute and Storage Separation
• Storage Layer
• Three Vs
• Object Storage
• Block Storage
• File Storage
• Partitioning
• Bucketing
• Clustering
• Compression
• Data Retention
• Data Archiving
• Hot, Warm & Cold Storage
• Data Warehouse Cost Optimization
2) Open Table & File Formats
• Data Lake File Formats
• Data Lake Table Format
• Apache Parquet
• Apache Arrow
• Apache Avro
• Apache ORC
• Apache Iceberg
• Delta Lake
• Apache Hudi
• Time Travel
• Schema Evolution
• Partition Evolution
• Compaction
• Small Files Problem
• Metadata Management
3) Data Architectures & Stacks
• Data Engineering Architecture
• Modern Data Stack
• Open Data Stack
• Declarative Data Stack
• Medallion Architecture
• Data Mesh
• Data Fabric
• Lambda Architecture
• Kappa Architecture
• Event-Driven Architecture
• Microservices Data Architecture
• Microsoft Fabric
• Inmon vs Kimball
• Centralized vs Decentralized Data Architecture
• Batch vs Streaming Architecture
4) Data Modeling
• Data Modeling
• Different Levels of Data Modeling
• Entity Relationship Diagram (ERD)
• Dimensional Modeling
• Data Vault
• Anchor Modeling
• Entity-Centric Data Modeling (ECM)
• Activity Schema
• Relational Model
• Normalization
• Denormalization
• Fact Table
• Dimensions
• Slowly Changing Dimension
• Bus Matrix
• Granularity
• Cardinality
• Primary Key
• Foreign Key
• Surrogate Key
• Natural Key
• Composite Key
• Degenerate Dimension
• Junk Dimension
• Role-Playing Dimension
• Bridge Table
• Snapshot Fact Table
• Transaction Fact Table
• Accumulating Snapshot
• Star Schema
• Snowflake Schema
• Data Modeling for Analytics
• Data Modeling for Machine Learning
5) Ingestion, Movement & CDC
• ETL
• ELT
• EtLT
• Reverse ETL
• ETL vs ELT
• Change Data Capture (CDC)
• Delta-Load Options
• Full Load
• Incremental Load
• Batch Ingestion
• Real-Time Ingestion
• Stream Processing
• Apache Kafka
• Apache Pulsar
• Amazon Kinesis
• Webhooks
• APIs
• Database Replication
• Log-Based CDC
• Timestamp-Based Incremental Loading
• Watermarks
• Late-Arriving Data
• Out-of-Order Events
• Backfill
• Replay
• Dead-Letter Queue
• Retry Mechanisms
• MapReduce
• Hadoop
6) Transformation, Orchestration & Pipelines
• Data Orchestration
• DAG
• Software-Defined Asset
• Functional Data Engineering
• Declarative vs Imperative
• Apache Airflow
• Dagster
• Prefect
• dbt
• SQLMesh
• Notebooks
• Idempotency
• Dependency Management
• Scheduling
• Event-Based Triggers
• Sensors
• Retries
• Timeouts
• Failure Handling
• Backfills
• Data Pipeline Testing
• CI/CD for Data Pipelines
• AI Orchestrators
• Pipeline Reusability
• Parameterized Pipelines
• Metadata-Driven Pipelines
7) Data Quality, Observability & Reliability
• Data Quality
• Data Validation
• Data Profiling
• Data Observability
• Data Freshness
• Data Completeness
• Data Accuracy
• Data Consistency
• Data Uniqueness
• Data Integrity
• Data Anomaly Detection
• Data Quality Dimensions
• Data Quality Checks
• Great Expectations
• Soda
• Monte Carlo
• Elementary
• Data SLAs
• Data SLOs
• Data SLIs
• Incident Management
• Root Cause Analysis
• Data Downtime
• Data Reliability Engineering
• Data Reconciliation
• Data Testing
• Unit Tests
• Integration Tests
• Regression Tests
• Contract Tests
8) Data Management & Governance
• Data Governance
• Data Catalog
• Data Contracts
• Data Lineage
• Data Product
• Master Data Management
• Schema Evolution
• Schema Registry
• Schema Drift
• DataOps
• Data Ownership
• Data Stewardship
• Data Classification
• Data Discovery
• Data Documentation
• Business Glossary
• Data Policies
• Data Standards
• Data Retention Policies
• Data Lifecycle Management
• Data Access Management
• Data Privacy
• Data Masking
• Data Anonymization
• Personally Identifiable Information (PII)
• Sensitive Data
• Data Residency
• Regulatory Compliance
• GDPR
• Data Act
• Audit Trails
9) Security & Privacy
• Data Security
• Identity and Access Management (IAM)
• Role-Based Access Control (RBAC)
• Attribute-Based Access Control (ABAC)
• Least Privilege
• Authentication
• Authorization
• Encryption at Rest
• Encryption in Transit
• Key Management
• Secrets Management
• Network Security
• Private Endpoints
• VPC
• Firewalls
• Row-Level Security
• Column-Level Security
• Dynamic Data Masking
• Tokenization
• Data Loss Prevention (DLP)
• Security Monitoring
• Threat Detection
• Zero Trust Architecture
10) Semantic Layer, Metrics & Federation
• Semantic Layer
• Modern Semantic Layer
• Metrics Layer
• Metrics
• SQL Query Engine
• Analytics API
• Semantic SQL
• Data Federation
• Business Metrics
• Metric Definitions
• Dimensions and Measures
• Metric Governance
• Metric Consistency
• Headless BI
• Data Virtualization
• Query Federation
• Cross-Database Queries
• Self-Service Analytics
11) OLAP, BI & Analytics Evolution
• Traditional OLAP Cubes
• Modern OLAP Systems
• Cube
• Business Intelligence
• BI Tools
• Pivot Table
• Dashboards
• Reports
12) Performance & Engine Internals
• CAP Theorem
• Push-downs
• Predicate Pushdown
• Projection Pushdown
• Partition Pruning
• Materialized Views
• CTE
• Full Table Scan
• Query Optimization
• Query Execution Plans
• Indexes
• Join Strategies
• Broadcast Join
• Shuffle
• Sort-Merge Join
• Hash Join
• Caching
• Result Caching
• Query Compilation
• Vectorized Execution
• Columnar Storage
• Parallel Processing
• Distributed Computing
• Memory Management
• Spill to Disk
• Workload Management
• Concurrency
• Resource Queues
• Cost-Based Optimization
• Query Performance Monitoring
13) Cloud & Distributed Systems
• Cloud Computing
• Infrastructure as Code
• Containers
• Docker
• Kubernetes
• Serverless Computing
• Virtual Machines
• Object Storage
• Cloud Networking
• Availability Zones
• Regions
• High Availability
• Fault Tolerance
• Disaster Recovery
• Backup and Restore
• Replication
• Multi-Region Architecture
• Scalability
• Elasticity
• Horizontal Scaling
• Vertical Scaling
• Load Balancing
• Distributed Systems
• Consensus
• Eventual Consistency
• Strong Consistency
• Distributed Transactions
• Exactly-Once Processing
• At-Least-Once Processing
• At-Most-Once Processing
14) Programming & Core Technical Skills
• SQL
• Advanced SQL
• Python
• Bash
• Git
• Linux
• Data Structures
• Algorithms
• Object-Oriented Programming
• Functional Programming
• APIs
• REST
• GraphQL
• JSON
• YAML
• Regular Expressions
• Networking Basics
• HTTP
• Authentication Methods
• Software Design Patterns
• Clean Code
• Code Review
• Documentation
• Debugging
• Logging
• Error Handling
• Package Management
• Virtual Environments
إذا تستخدم Oracle SQL Developer، الإصدار 26.2 متاح للتحميل.
ومع توجه Oracle للانتقال إلى إضافة SQL Developer على VS Code، يمكن هذا وقت مناسب تجربها وتتعود عليها.
الإضافة موجودة من 2024، لكن التوجه الآن نحو الاعتماد عليها بدل البرنامج المستقل.
oracle.com/it/database/sqlde…
١/ أول ما يداوم،يشيك على الـ alerts. هل الـ pipelines اشتغلت؟ الـ jobs خلصت؟ والبيانات وصلت بوقتها؟ هذي أول أشياء يطالعها.
٢/ إذا لقى مشكلة، يبدأ يدور وين صارت: من الـ source؟ وقت الـ ingestion؟ ولا في الـ transformation؟ يفتح الـ logs، ويقارن الـ counts والتوقيت لين يعرف وش السالفة.
٣/ بعدها يشوف طلبات الفريق. فيه تقرير يحتاج data جديدة؟ جدول يبغاله تعديل؟ أو business rule تغيّرت؟ يحاول يفهم المطلوب زين قبل لا يبدأ يكتب SQL أو يغيّر في الـ pipeline.
٤/ بعدها يدخل في شغله: يبني أو يعدل الـ pipelines، ويسوي transformations، ويتأكد إن البيانات طالعة صح حسب الـ business rules. وأحيانًا يشتغل على الـ performance عشان الـ jobs تخلص أسرع وتكلفتها تقل.
٥/ قبل لا يسلم أي تعديل، يجربه في development أو UAT، ويقارن النتائج، ويتأكد إنه ما لخبط جداول أو تقارير ثانية.
٦/ وبين ذا كله، فيه اجتماعات ومتابعة مع الفرق. لازم يفهم وش يقصدون بالبيانات وكيف بيستخدمونها، لأن الموضوع مو بس ربط جدول بجدول.
٧/ وقبل يطلع، يشيك على الـ jobs المهمة، ويوثق وش غير، ويبلغ عن أي مشكلة تحتاج أحد يتابعها. لأن الـ query لو اشتغل لحاله ما يكفي؛ المهم البيانات تكون صح وتوصل بوقتها.
هذا تقريبًا يوم مهندس البيانات: شوي متابعة، شوي تطوير، وكثير حل مشاكل. وكل يوم يطلع له شيء ما كان بالحسبان.
وش الفرق بين WHERE وHAVING في SQL؟
WHERE تفلتر الصفوف قبل التجميع، وHAVING تفلتر النتائج بعد التجميع.
في الصورة:
WHERE تستبعد المبالغ الأقل من 50، بعدها نحسب مجموع كل قسم، وHAVING تبقي الأقسام اللي مجموعها أكبر من 100.
متى نستخدمهم مع بعض؟
لو تبي العملاء اللي عندهم أكثر من 5 طلبات مكتملة خلال سبتمبر:
• WHERE تختار الطلبات المكتملة خلال الشهر.
• GROUP BY تجمعها حسب العميل.
• HAVING تُبقي العملاء اللي عدد طلباتهم أكبر من 5.
ونفس الفكرة تنفع لمعرفة الأقسام اللي متوسط رواتبها يتجاوز مبلغ معين، أو كشف المفاتيح المكررة باستخدام COUNT(*) > 1 مع HAVING.
тЗх | هندسة البيانات retweeted
من على الرمضا مشى حافي القدم يستاهلك
توحيد السعودية (23 سبتمبر 1932م) 🇸🇦
مهندس بيانات؟ او ناوي تدخل المجال 📊👨🏼💻
هذي شهادات مرتبطة بمجالك ومذكورة بدليل «هدف»:
هندسة البيانات والبيانات الضخمة:
• Databricks Data Engineer: Associate وProfessional
• AWS Data Engineer Associate
• Google Professional Data Engineer
• DASCA: ABDE، SBDE، ABDA، SBDA
• CCC Big Data Foundation
إدارة البيانات والتحليلات:
• CDMP، PL-300، CDSP، CAP
• Tableau Data Analyst
• SAS Data Scientist
• CompTIA Data+
• SAP Analytics Cloud Data Analyst
• Le Wagon Data Science
قواعد البيانات والمراقبة:
• Oracle: APEX، Database Administration 2019، Database Security OCE، Machine Learning using Autonomous Database
• Datadog: Fundamentals، Log Management Fundamentals
طبعاً تختبر و تسترد قيمتها بس راجع شروطهم
hrdf.org.sa/media/mnylz0ry/p…