Підготовка метеорологічних даних для навчання моделі штучного інтелекту
DOI:
https://doi.org/10.18664/ikszt.v29i4.320375Ключові слова:
API метеоресурсів, попередня обробка метеоданих, статистичний аналіз, бібліотеки Python, MongoDB AtlasАнотація
Прогнозування метеоумов за допомогою сучасних моделей штучного інтелекту потребує попередьої обробки великої кількості даних різних типів. Перед використанням метеоданих для навчання моделей, метеодані мають бути зібрані, об’єднані та структуровані. У статті розглянута підготовка метеоданих для подальшого використання при навчанні графових нейронних мереж з метою прогнозування метеоумов - визначення джерел історичних метеоданих, засобів збору даних, обробки та зберігання у базі даних. Описано властивості метеоресурсів даних вільного використання, з яких здійснюється збір метеоданих, а також підхід до підготовки даних щодо використання. Особлива увага приділяється аспектам забезпечення різноманіття даних для забезпечення навчання моделей штучного інтелекту та росту прогностичних можливостей моделей. Наведено розрахунок статистичних характеристик метеопоказнику «температура» засобами Python. Запропоновано використання бази даних MongoDB Atlas для збереження різноманітних метеоданих.
Посилання
Brotzge J. et al. Challenges and Opportunities in Numerical Weather Prediction. URL: https://journals.ametsoc.org/view/journals/bams/104/3/BAMS-D-22-0172.1.xml (Last accessed: 20.09.2024)
Bochenek B., Ustrnul Z. Machine Learning in Weather Prediction and Climate Analyses - Applications and Perspectives. URL: https://www.mdpi.com/2073-4433/13/2/180 (Last accessed: 22.09.2024)
Keisler R. Forecasting Global Weather with Graph Neural Networks. URL: https://arxiv.org/abs/2202.07575 (Last accessed: 21.09.2024)
Yang O. et al. Multi-modal graph neural networks for localized off-grid weather forecasting. URL: https://arxiv.org/abs/2410.12938 (Last accessed: 1.11.24)
Structured vs unstructured data. URL: https://www.ibm.com/think/topics/structuredvs-unstructureddata#:~:text=Storage%3A%20Structured%20data%20is%20stored,databases%2C%20which%20require%20more%20space (Last accessed: 22.11.2024)
Structured vs Unstructured Data: An Overvie w. URL: https://www.mongodb.com/resources/basics/unstructured-data/structured-vs-unstructured (Last accessed: 22.11.2024)
Unstructured Data. URL: https://www.mongodb.com/resources/basics/unstructured-data (Last accessed: 22.11.2024)
Parsons N. MongoDB Atlas - Technical Overview & Benefits. URL: https://medium.com/@nparsons08/mongodbatlas-technical-overview-benefits-9e4cff27a75e (Last accessed: 22.09.2024)
European Centre for Medium-Range Weather Forecasts. URL: https://www.ecmwf.int/en/about (Last accessed: 21.09.2024)
National Oceanic and Atmospheric Administration. URL: https://www.noaa.gov/about-our-agency (Last accessed: 21.09.2024)
Introduction. WeatherAPI. URL: https://www.weatherapi.com/docs/ (Last accessed: 22.09.2024)
Lawton G. What is data preprocessing? URL: https://www.techtarget.com/searchdatamanagement/definition/datapreprocessing#:~:text=What%20is%20data%20preprocessing%3F,for%20the%20data%20mining%20process (Last accessed: 1.11.24)
A Comprehensive Guide to Data Preprocessing. URL: https://neptune.ai/blog/data-preprocessingguide (Last accessed: 1.11.24)
Feature Engineering. URL: https://www.heavy.ai/technicalglossary/feature-engineering. (Last accessed: 1.11.24)
ChecaGarcia R. Statistics for Weather and Climate: Introduction. URL: https://www.researchgate.net/publication/312490308_Statistics_for_Weather_and_Climate_Introduction (Last accessed: 1.11.24)
Jayakumar R., Saravanan R. Weather data an alysis data preprocessing. URL: https://www.pnrjournal.com/index.php/home/article/download/4548/5018/5589 (Last accessed: 1.11.24)
Juneja A., Das N. Big Data Quality Framework: Pre-Processing Data in Weather Monitoring Application. URL: https://ieeexplore.ieee.org/document/8862267 (Last accessed: 1.11.24)
Labeeb K. et al. Pre-Processing Data In Weather Monitoring Application By Using Big Data Quality Framework. URL: https://doi.org/10.1109/WIECONECE52138.2020.9397990
Thosar S., Bhoyar B., Patil T. Pre-Processing of Data to achieve Quality in Weather Monitoring App. URL: https://www.irjet.net/archives/V7/i5/IRJETV7I51394.pdf (Last accessed: 1.11.24)
Paranjape A., Katta P., Ohlenforst M. Automated Data Preprocessing for Machine Learning Based Analyses. COLLA 2022: The Twelfth Intern. Conf. on Advanced Collaborative Networks, Systems and Applications. IARIA, 2022. URL: https://www.researchgate.net/publication/361026018_Automated_Data_Preprocessing_for_Machine_Learning_Based_Analyses (Last accessed: 1.11.24)
pandas.DataFrame.describe. URL: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.describe.html (Last accessed: 1.11.24)
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Ця робота ліцензується відповідно до Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
