Published By
Created On
5 Nov 2021 14:40:17 UTC
Transaction ID
Cost
Safe for Work
Free
Yes
More from the publisher
從開放數據閱讀台灣能源
PyCon APAC 2022|一般演講 Talks|國泰金控 Cathay Financial Holdings / 美光科技 Micron 冠名贊助
✏️ 共筆 Note:https://hackmd.io/@pycontw/B1b9L6Xkj
?? Slido:https://app.sli.do/event/5g8dZM48PmmBP5C1tU9fNu
? 投影片 Slides:https://github.com/PatrickFu0302/pycon2022_taiwan_energy/blob/main/%E5%BE%9E%E9%96%8B%E6%94%BE%E6%95%B8%E6%93%9A%E9%96%B1%E8%AE%80%E5%8F%B0%E7%81%A3%E8%83%BD%E6%BA%90%20.pdf
? 語言 Language:中文演講/英文投影片 Chinese talk w. English slides
? 層級 Level:中階 Intermediate
? 分類 Category:應用 Application
? 摘要 Abstract ?
能源預測和不確定性風險評估一直是業界和學術上熱門的議題, 尤其他們與碳排放減量和能源供應等等的實際議題相關。在台灣, 各式各樣的開放數據已經對外公布了數年, 已累積不少的良好應用案例。與能源相關的開放數據更是累積了超過五年以上, 包含用電、氣象和行事曆等。然而對於這些能源數據的深入分析和模型實際應用卻不是相當常見, 多半只停留在少數的學校論文探討之中。為了展示能源開放數據的應用潛力, 本演講將會用 Python 實踐數據爬取 (Data scrpaing) 和建立常見的機器學習模型, 以及從數據挖掘有價值的觀點和應用潛力。將會從簡單的 Explorative Data Analysis (EDA) 開始, 藉由資料視覺化和敘述統計分析能源數據的性質。接著, 由氣象預報和行事曆建立能源預測模型, 並比較模型和台電 API 的預測準確度。除了藉此案例宣傳能源開放數據的潛力外, 也預計帶給聽眾 Python 應用於數據模型專案的常用工具和經驗分享。
? 說明 Description ?
台灣的開放數據平台已經行之有年, 關於能源的供需都累積了超過五年的充足數據量可供應用。此外, 作為影響能源的重要變因, 如氣象數據和行事曆數據, 也都分別可以在開放數據平台取得。因此, 以這些充足的數據為基礎, 台灣的能源數據應用具有相當好的潛力, 尤其以能源預測和風險管理又最為重要。由於供電能力需要根據隔日預測做好電廠的排程, 過大的供電能力會造成電力浪費、過小的供電能力則會讓電網有斷電的風險。而近年來的電力能源問題時常浮出檯面, 台電供電能力時常受到質疑。因此, 本演講將以台灣能源的可預測性和不確定性的風險評估作為主軸, 和台電的能源預測評估作性能比較。另外, 也向聽眾宣傳台灣能源數據的來源和可應用的潛力。
目前既有的開放數據集,包括了來自台灣北中南東四區的逐十分鐘的台電能源數據、台灣各縣市的氣象站數據、和人事行政局提供的行事曆數據。此外,作者也有存取了超過一年的氣象預報和能源預報數據,可以做為測試模型應用潛力的比較對象。這些數據來源有些是來自政府資料開放平臺的官方 API,有些來自於網站界接前台視覺呈現的 API,爬取過程和 Python 中常用到的工具也都會一併介紹。除了能源和氣象數據高度相關, 溫度越高會造成用電量的攀升之外, 能源和人的行為也有密切關係, 國定假日和平日也都會有用電行為的差異。此演講將以這些數據集進行預測模型的建構。建立預測模型之前, 會先進行資料的探索性分析, 透過視覺化和統計成果讓聽眾了解能源和氣象與人員行為的關連性。根據對數據的了解, 會建立以氣象數據和人員行為為因子的預測模型。 並以保留一年的能源數據作為驗證, 評估模型的誤差及預測不確定性。這些誤差和不確定性也會與台電的API預測性能作比較。最後, 以能源模型預測的成果準確度作為結尾, 提出台電的預測服務是否有應用其他開放數據的潛力。並且在考慮預測不確定性的風險下, 台電的預測服務是否有進步的空間。
※ 註:以上的內容都是在python環境中配合相關的packages實踐, 因此對於這些 packages 和如何應用都會有順帶的提及介紹。但受限於時間, 本演講主要的重點還是在於推廣開放數據和其應用潛力, 相關的 code 會用 Jupyter notebooks 提供給聽眾作為演講後的實踐參考。
Github link: https://github.com/PatrickFu0302/pycon2022_taiwan_energy
? 講者介紹 About Speaker - Wei Lin ?
嗨大家, 我是傅群! 目前是國立新加坡大學 (National University of Singapore) 的 PhD 學生, 主要在玩建築相關的大數據應用。 在就讀博士班前, 曾在台灣的一間小公司擔任了三年的數據科學家, 致力於建築相關大數據的研發 (包含異常偵測、能源預測、視覺化等)。 目前研究方向為建築相關的大數據分析及機器學習應用, 包含建築能源 (building energy)、建築營運 (building operation) 及 IoT 等數據。
#pycontw #pyconapac2022 #python #jupyternotebook #opendata
Follow “PyCon Taiwan”
⭐️ Official Website: https://tw.pycon.org
⭐️ Facebook: https://www.facebook.com/pycontw
⭐️ Instagram: https://www.instagram.com/pycontw
⭐️ Twitter: https://twitter.com/PyConTW
⭐️ LinkedIn: https://www.linkedin.com/company/pycontw
⭐️ Blogger: https://pycontw.blogspot.com
...
https://www.youtube.com/watch?v=gKaaQj86P0k
Transaction
Created
1 year ago
Content Type
Language
video/mp4
zh