ลองเขียน pyspark application 1 บรรทัดแรก พร้อมทั้งเรียนรู้ pyspark และ Python ไปพร้อมกัน
บรรทัดแรกที่แนะนำสำหรับการใช้ pyspark เป็นครั้งแรก
ในการเรียกใช้แพ็กเกจของ Python นั้น ชื่อเป็นกุญแจสำคัญ ต้องรู้ให้ได้ว่า สำหรับงานของเรา จะเรียกชื่ออะไร สำหรับแพ็กเกจชื่อ pyspark ได้ค้นมาแล้วว่า ให้เริ่มต้นด้วยชื่อ pyspark.sql และ SparkSession ตามเว็บไซต์ทางการของ pyspark (url 1 ท้ายบทความนี้)
การ import ทำให้รู้จักชื่อ SparkSession
Fig 1 - the 1st line (no error)
ไม่รู้จักชื่อ SparkSession ถ้าไม่ import
Fig 2 - the 1st line (name not defined)
เมื่อเจอคำว่า from . . . import . . . ของ Python
สิ่งที่อยู่ข้างหลัง from คือ ชื่อของโมดูล
สิ่งที่อยู่ข้างหลัง import คือ ชื่อของสิ่งที่อยู่ภายในโมดูล
ในมุมมองของสิ่งที่อยู่ในฮาร์ดดิสก์ บางทีโมดูลก็เป็นไฟล์ บางทีโมดูลก็เป็นไดเรกทอรี บางทีโมดูลก็เป็นไดเรกทอรีย่อย (คือเป็นไดเรกทอรีอยู่ในไดเรกทอรีอื่น)
บรรทัดแรกของเรา คือ
from pyspark.sql import SparkSession
SparkSession คือ ชื่อของสิ่งที่อยู่ใน pyspark.sql
pyspark.sql เป็น ชื่อของโมดูล ถ้าดูในฮาร์ดดิสก์ จะเห็นว่า pyspark.sql เป็นไดเรกทอรี sql อยู่ในไดเรกทอรี pyspark
รูปแสดง sql ในฮาร์ดดิสก์
Fig 3 - sql is a directory
เมื่อเราเขียนบรรทัดว่า from pyspark.sql import SparkSession ความหมาย ใน Python คือ บรรทัดต่อจากนี้ไป ชื่อ SparkSession จะเป็นที่รู้จักและเรียกให้มาทำงานให้เราได้ แต่บรรทัดก่อนหน้าจะไม่รู้จัก
จบตอนนี้เราทราบแล้วว่า SparkSession คือ สิ่งที่อยู่ในโมดูล pyspark.sql และได้เห็นว่าโมดูล ก็คือ ไฟล์ หรือ ไดเรกทอรี ในฮาร์ดดิสก์ ว่าแต่ว่า SparkSession คืออะไร? ทำอะไรให้เราได้บ้าง? และเรียกใช้เค้าอย่างไร? พบกันใหม่ครั้งต่อไป
url 1:
- 1
ดูเพิ่มเติมในซีรีส์
โฆษณา
- ดาวน์โหลดแอปพลิเคชัน
- © 2024 Blockdit
