PyCon Taiwan 2023｜Talk 演講｜Day 1, R1 13:05–13:35 ? 說明 Description ? 公司長期以來存在某些工作排程需要較長的執行時間，由於專案使用的資料表本身就較為肥大，大家很容易"自然"的就接受了這些排程需要較長執行時間、資源的現狀。然而隨著上線的工作排程數量的快速增加，系統負擔、效能的問題也就開始受到越來越多的重視。在盲目加大硬體資源的處理方案外，其實我們還可以從 spark的資源配置、pyspark參數設定以及程式邏輯等面向進行優化，讓工作排程能有最佳的執行效率，同時又不佔用過多的系統資源 用說的很簡單，實際要開始優化程式時還是得先了解 spark 的運作邏輯，以及 pyspark 提供的 API 參數意義開始。在這次的演講中我將以公司某項工作排程為例，和大家分享我分析這項工作排程的思路，並說明我逐步測試、優化的過程，最終成功將排程的執行時間從 5 小時大幅縮短至 30 分鐘。希望通過這次的分享幫助資料科學家、商業分析師與資料工程師更有效率的完成手上的工作! ? 投影片 Slides：https://speakerdeck.com/tlyu0419/why-we-want-to-become-pycon-tw-volunteers ? 講者介紹 About Speaker - 游騰林 ? Hi, I'm a Data scientist from Cathay United Bank in Taiwan. I have over eight years of hands-on experience in large-scale backend and AI/ML technology applications in digital marketing and customer service. Follow “PyCon Taiwan” ⭐️ Official Website: https://tw.pycon.org ⭐️ Facebook: https://www.facebook.com/pycontw ⭐️ Instagram: https://www.instagram.com/pycontw ⭐️ Twitter: https://twitter.com/PyConTW ⭐️ LinkedIn: https://www.linkedin.com/company/pycontw ⭐️ Blogger: https://conf.python.tw/ ... https://www.youtube.com/watch?v=R9yKhgsiSS4

Day 3, R2 11:30–12:00 Today, there are many tasks to repeat in the company/community. In addition, we often use chat such as Slack for daily communication. So, I created a chatbot([PyCon JP Bot](https://github.com/pyconjp/pyconjpbot)) to automate various boring tasks related to holding PyCon JP. In this talk, I will first explain how to create a chatbot using [slackbot](https://github.com/lins05/slackbot). I will tell you how to registers bot's integration on Slack and how to create a simple bot in Python that responds to specific keywords. And as a specific case, I will explain how to make a bot command to perform the following operations and technical problems. - Emoji reaction - Calculator: SymPy - Karma(plusplus): Peewee - Search issues, display issue details: JIRA API - Create multiple issues from a template: JIRA API, Sheets Spreadsheet API - Search files from Google Drive: Google Drive API - Account management of G Suite(user, alias, group and member): G Suite API - etc. Slides: https://gitpitch.com/takanory/slides?p=20190922pycontw#/ Speaker: Takanori Suzuki Takanori is a Vice Chairperson of PyCon JP Committee(www.pycon.jp). He is also a director of BeProud Inc.(www.beproud.jp), and his title is "Python Climber". Takanori held PyCon JP 2014 to 2016 as the chairperson. Currently he teaches Python to beginners as a lecturer at Python Boot Camp(pycamp.pycon.jp) all over Japan. In addition, he published several Python books. Tananori plays trumpet, climbs boulder, loves Lego, ferrets and beer. ... https://www.youtube.com/watch?v=XGHR4D8_fjQ

Day 3, R1 10:50–11:20 這不是教學。我希望為曾經使用過 web API 的人，不論是哪一種 API，都能帶來一些啟發，以及微笑。 我會先簡述一下過往用 Python 寫裸 API，到 REST API，到目前 GraphQL 的心路歷程，再展示 iCHEF 在 GraphQL 的《**三**》代演進，以及一些後見之明，為來者鋪路。 聽完應該會對 GraphQL 在 web 前後端與 mobile 的應用場景有更多的掌握，在 API 的設計與使用多一些他山之石，以及用 Graphene 與 Django 實作 GraphQL schema 時能預想到一些細節與工具。 It's NOT a tutorial. Hoping it can bring some delights to people who ever used Python to call the web API, whatever kind that API is. I will brief my experience of writing Python from raw API, REST API, to current GraphQL API. **3** generations of iCHEF GraphQL will be demonstrated to pave the road of followers. It should bring more understanding of GraphQL interaction between web frontend, backend, and mobile clients, more examples of API design & usage, and details of GraphQL schema implement in Graphene & Django. Slides not uploaded by the speaker. Speaker: Keith Yang 最近覺得邊騎室內腳踏車邊用電腦，離開臉書與 IG 的精神（神經？）生活很不賴。讓這隻小白鼠從大眾心理控制實驗學裡喘了一小口氣。 Recently he enjoys skateboard commute, still coffee-achemy, and indoor cycle while programming or gaming, an awesome mind vocation of leaving FB and IG. Keith is the founder and co-organizer of Taipei.py, largest Python user group in Taiwan, a Lead Software Engineer at iCHEF, and was Chairperson of PyCon APAC 2015. His work mostly focuses on web/backend/cloud services since 2006, and he hands on kernel tools of virtualization on hypervisors in 2016. ... https://www.youtube.com/watch?v=LBhgBx0WnLQ

PyCon APAC 2022｜一般演講 Talks｜國泰金控 Cathay Financial Holdings / 美光科技 Micron 冠名贊助 ✏️ 共筆 Note：https://hackmd.io/@pycontw/rJrRUaQJs ?? Slido：https://app.sli.do/event/gFHqR4nX2VJNiGfcJBXvg8 ? 語言 Language：中文演講/英文投影片 Chinese talk w. English slides ? 層級 Level：入門 Novice ? 分類 Category：應用 Application ? 摘要 Abstract ? 在這個大數據時代，數據量也是與日俱增，如何確保 Data Quality（資料品質）成為各企業的重要課題，在這個 Talk 中，我們會簡介什麼是資料品質以及國泰金控的目前正在發展的 Data Quality Tool，最後介紹 Data Quality Tool 的未來發展。 ? 說明 Description ? 敝公司作為金控業的龍頭，台灣金融數位轉型的領頭羊，手中握有巨量的數據，每天使用這些數據為我們的客戶提供更好的服務，如何確保資料的品質成為重要的課題。這場Talk將會介紹什麼是 Data Quality，我們 Lab 自主研發的 Data Quality Tool 現況以及 Data Quality Tool 未來的發展。目前 Data Quality Tool 使用 PySpark 作為核心運算引擎，以因應巨量資料處理，而使用者僅需會 SQL 語法，即可輕鬆上手； 而未來我們也會將 Data Sketch 演算法，ML 等相關技術應用在資料品質這個領域，以期待Data Quality Tool 成為全集團的資料團隊守護神，保護我們不會取得 Dirty Data，產生 Dirty Result。 ? 講者介紹 About Speaker - Mark Yang ? 目前服務於國泰數數發的資料科學研研發科，是個 Python 初學者。 以前不懂事，都在寫 Scala；現在長大了，開始學 Python。請大家多多指教！！ #pycontw #pyconapac2022 #python #dataquality #pyspark #datasketch Follow “PyCon Taiwan” ⭐️ Official Website: https://tw.pycon.org ⭐️ Facebook: https://www.facebook.com/pycontw ⭐️ Instagram: https://www.instagram.com/pycontw ⭐️ Twitter: https://twitter.com/PyConTW ⭐️ LinkedIn: https://www.linkedin.com/company/pycontw ⭐️ Blogger: https://pycontw.blogspot.com ... https://www.youtube.com/watch?v=O575nmw8QP8