Power Query & M Language
کامپیوتر
معرفی دورهPower Query & M Language
مقدمه:
در بسیاری از سازمانها، بخش قابلتوجهی از زمان کارشناسان صرف دریافت، مرتبسازی، پاکسازی و آمادهسازی دادهها در فایلهای Excel میشود؛ بهخصوص زمانی که اطلاعات از چند فایل، چند واحد سازمانی یا منابع مختلف دریافت شده باشد.
Power Query یکی از ابزارهای قدرتمند Excel برای دریافت، پاکسازی، تبدیل و ترکیب دادههاست که امکان طراحی فرآیندهای قابل تکرار و قابل بهروزرسانی را فراهم میکند. در کنار آن، زبان M به فراگیر کمک میکند منطق Transformهای انجامشده را درک کرده و در موارد موردنیاز، کدهای تولیدشده توسط Power Query را ویرایش یا تکمیل کند.
این دوره با رویکرد کاملاً کاربردی طراحی شده است تا فراگیر بتواند از دادههای خام و نامنظم، دادهای استاندارد و آماده گزارشگیری ایجاد کند و فرآیند آمادهسازی داده را تا حد زیادی خودکار و قابل Refresh نماید.
هدف دوره:
هدف این دوره، توانمندسازی فراگیر برای کار حرفهایتر با دادههای Excel و آمادهسازی داده برای گزارشگیری و تحلیل است.
در پایان دوره، فراگیر میتواند:
• دادهها را از فایلهای Excel، CSV، Text و Folder دریافت کند.
• اطلاعات چند فایل و چند منبع را با یکدیگر ترکیب کند.
• دادههای نامنظم و خام را پاکسازی و استانداردسازی کند.
• دادههای تکراری، Null و خطاها را مدیریت کند.
• انواع Transformهای کاربردی روی دادهها انجام دهد.
• ستونها و ردیفها را ایجاد، حذف، تقسیم، ترکیب و تبدیل کند.
• دادهها را Pivot و Unpivot کند.
• با Group By و Aggregate اطلاعات را خلاصهسازی کند.
• با Merge و Append دادههای چند جدول یا چند فایل را ترکیب کند.
• انواع Joinهای موردنیاز در سناریوهای واقعی را بهکار ببرد.
• فرآیندهای آمادهسازی داده را بهصورت قابل Refresh طراحی کند.
• ساختار و منطق زبان M را درک کند.
• کد M تولیدشده توسط Power Query را بخواند و درک کند.
• کدهای M را در موارد موردنیاز اصلاح یا تکمیل کند.
• از Expression، Variable، let/in، if/then/else، Function و each در سطح کاربردی استفاده کند.
• با List، Record و Table در زبان M کار کند.
• خطاهای رایج در Power Query و زبان M را مدیریت کند.
• خروجی آماده گزارشگیری را به Excel منتقل و بهروزرسانی کند.
پیشنیاز دوره:
• آشنایی با کار با رایانه و محیط Windows
• آشنایی با Excel مقدماتی و Excel پیشرفته
• توانایی کار با فرمولها، توابع، Table و PivotTable در Excel
• آشنایی اولیه با مفاهیم داده و گزارشگیری
برای استفاده مؤثر از بخش زبان M، داشتن دانش برنامهنویسی الزامی نیست؛ مباحث موردنیاز زبان M در طول دوره بهصورت کاربردی آموزش داده میشوند.
سرفصل های دوره:
بخش اول: مبانیPower Query
1. Power Query چیست و چه مسئلهای را حل میکند؟
2. جایگاه Power Query در آمادهسازی داده و ETL
3. تفاوت روشهای سنتی Excel با Power Query
4. آشنایی با Power Query Editor
5. Query، Source و Applied Steps
6. مفهوم Transform
7. Load و Refresh
8. ارتباط Power Query با Excel
9. ساختار صحیح داده برای ورود به Power Query
بخش دوم: دریافت و اتصال به داده
10. دریافت داده از Excel
11. دریافت داده از CSV
12. دریافت داده از Text
13. دریافت داده از Folder
14. دریافت داده از چند فایل
15. Combine Files
16. مدیریت Source و مسیر فایلها
17. مدیریت Connection
18. Refresh و بهروزرسانی منابع
19. طراحی فرآیند دریافت داده قابل تکرار
بخش سوم: پاکسازی و Transform داده
20. Change Data Type
21. Remove Rows
22. Remove Columns
23. Remove Duplicates
24. Replace Values
25. Fill Down
26. Fill Up
27. مدیریت Null و Missing Values
28. مدیریت Errorها
29. Trim و Clean
30. Split Column
31. Merge Column
32. Extract
33. Format
34. تبدیل و استانداردسازی دادههای متنی
35. تبدیل دادههای عددی
36. تبدیل و استخراج دادههای تاریخ و زمان
37. Conditional Column
38. Custom Column
39. Sort و Filter
40. Group By
41. Aggregate
42. Pivot Column
43. Unpivot Column
44. Transpose
45. Index Column
بخش چهارم: ترکیب دادهها و Join
46. Append Queries
47. Merge Queries
48. مفهوم Join
49. Left Outer Join
50. Right Outer Join
51. Inner Join
52. Full Outer Join
53. Left Anti Join
54. Right Anti Join
55. انتخاب Join مناسب برای مسئله
56. ترکیب اطلاعات ماهها و واحدهای مختلف
57. ترکیب چند فایل مشابه
58. سناریوهای عملی Merge و Append
بخش پنجم: مبانی زبانM
59. زبان M و رابطه آن با Power Query
60. ساختار کد M
61. Query Step و Expression
62. Value و Expression
63. Variables و Constants
64. نامگذاری متغیرها
65. کاراکترهای خاص و Escape Characters
66. Comments
67. Evaluate
68. Function Call
69. ساختار let / in
70. if / then / else
71. Operators
72. Numeric، Text و Logical Operators
73. List، Record و Table Operators
74. Indexer و دسترسی به دادهها
بخش ششم: Data Types، List، Record، Table و Function
75. Data Types در M
76. Number
77. Text
78. Logical
79. Date
80. DateTime
81. DateTimeZone
82. Duration
83. Null
84. تبدیل Data Typeها
85. List و ساختار آن
86. دسترسی به عناصر List
87. Record و ساختار آن
88. دسترسی به فیلدهای Record
89. Table و ساختار آن
90. ارتباط List، Record و Table
91. Function در M
92. Parameters و Return Value
93. Explicit و Implicit Parameters
94. each
95. Function Values
96. ساخت Custom Function ساده
97. استفاده مجدد از Function
بخش هفتم: توابع M و مدیریت خطا
98. Text Functions
99. Number Functions
100. Date و DateTime Functions
101. Duration Functions
102. Conversion Functions
103. List Functions
104. Record Functions
105. Table Functions
106. Selection Functions
107. Transformation Functions
108. Replacer
109. Splitter
110. Combiner
111. Information Functions در حد کاربردی
112. Comparer در حد کاربردی
113. مدیریت Error در M
114. try / otherwise
115. Error Handling
بخش هشتم: M کاربردی، اتوماسیون و پروژه نهایی
116. مشاهده و تحلیل کد تولیدشده توسط Power Query
117. خواندن و درک ساختار کد M
118. ویرایش کد M تولیدشده
119. ایجاد Stepهای جدید با M
120. استفاده از Variable و let / in در مسائل واقعی
121. استفاده کاربردی از each
122. ایجاد و استفاده از Custom Function
123. Parameters در Query
124. ساخت Queryهای قابل استفاده مجدد
125. Query Dependencies
126. بهینهسازی مراحل Transform
127. مدیریت فرآیندهای Refreshable
128. طراحی فرآیندهای تکرارشونده برای گزارشهای دورهای
129. استفاده از M برای Transformهای پیشرفتهتر
130. مدیریت خطاهای رایج Power Query و M
131. Load به Excel Worksheet
132. Load به PivotTable
133. آشنایی با Load to Data Model
134. Refresh و Refresh All
135. پروژه جامع نهایی:
- دریافت چند فایل خام و نامنظم سازمانی
- استانداردسازی ساختار داده
- پاکسازی دادهها
- حذف خطا و Duplicate
- Transform
- Merge
- Append
- Unpivot
- استفاده از توابع و Expressionهای M
- ایجاد Query قابل Refresh
- تولید خروجی نهایی برای گزارشگیری
- اتصال خروجی به Excel و گزارش مدیریتی
فرصتهای شغلی و مسیر ارتقای شغلی:
این دوره بهتنهایی فرد را به یک Data Analyst تبدیل نمیکند، اما یک مهارت مهم برای ورود به مسیر حرفهای تحلیل و گزارشگیری داده ایجاد میکند.
پس از تسلط بر Excel و Power Query، فراگیر میتواند برای موقعیتهایی مانند موارد زیر آمادهتر شود:
• کارشناس گزارشگیری
• کارشناس MIS
• کارشناس گزارش و داشبورد
• کارشناس برنامهریزی و گزارشگیری
• کارشناس کنترل و پایش عملکرد
• کارشناس امور اداری و گزارشهای مدیریتی
• کارشناس عملیات و گزارشگیری
• کارشناس تهیه و آمادهسازی داده
• کارشناس گزارشهای منابع انسانی
• کارشناس گزارشهای فروش و عملکرد
همچنین این مهارتها میتوانند زمینه ارتقای شغلی فرد در سازمانهایی را فراهم کنند که بخش قابلتوجهی از فرآیند گزارشگیری و آمادهسازی اطلاعات آنها بر پایه Excel و دادههای جدولی انجام میشود.
مسیر پیشنهادی برای تبدیل شدن به Data Analyst:
Power Query و زبان M پایان مسیر تحلیل داده نیست، بلکه یکی از مراحل مهم آمادهسازی داده است. برای رسیدن به سطح حرفهای Data Analyst، پیشنهاد میشود پس از این دوره مسیر آموزشی زیر دنبال شود:
1. SQL
• مفاهیم پایگاه داده
• SELECT و Filtering
• JOIN
• GROUP BY و Aggregation
• Subquery و CTE
• Window Functions
2. آمار و مفاهیم پایه تحلیل داده
• آمار توصیفی
• میانگین، میانه و پراکندگی
• توزیع داده
• همبستگی
• مفاهیم احتمال و استنباط آماری در حد موردنیاز تحلیل داده
3. تحلیل داده با Python
• Python مقدماتی
• NumPy
• Pandas
• Data Cleaning
• Exploratory Data Analysis
• Visualization
4. Power BI
• دریافت و آمادهسازی داده
• Data Modeling
• ساخت Relationship
• طراحی گزارش و Dashboard
• Visualization
5. DAX
• Measures
• Calculated Columns
• Context
• توابع و محاسبات تحلیلی DAX
6. پروژههای واقعی تحلیل داده
• دریافت داده خام
• پاکسازی و آمادهسازی
• تحلیل
• استخراج شاخصها و KPI
• ساخت گزارش و Dashboard
• ارائه و تفسیر نتایج
جمعبندی مسیر:
Excel مقدماتی
↓
Excel پیشرفته
↓
Power Query + زبان M
↓
SQL
↓
آمار و تحلیل داده
↓
Python و Pandas
↓
Power BI
↓
DAX و Data Modeling
↓
پروژههای واقعی
↓
Data Analyst