100% 환불 보증으로 2023 년 1 월 21 일 [Q22-Q45] 실제 데이터 브릭스 준 개발자 - 아파치 - 스파크 시험 문제 받기 : 최고 시험 컬렉션 : http://blog.topexamcollection.com

이 페이지는 상위 시험 컬렉션에서 내보낸 페이지입니다. [ http://blog.topexamcollection.com ]
Export date: Sun Feb 23 17:30:54 2025 / +0000 GMT

100% 환불 보장, 2023년 1월 21일 [Q22-Q45] 실제 데이터브릭스 준회원-개발자-아파치-스파크 시험 문제 받기

100% 환불 보장, 2023 년 1 월 21 일 실제 데이터 브릭스 준 개발자 - 아파치 - 스파크 시험 문제 받기

Associate-Developer-Apache-Spark 덤프 PDF 특별 할인 혜택 받기

데이터브릭스 준회원 개발자 아파치 스파크 시험의 연봉은 얼마입니까?

데이터브릭스 준개발자 아파치 스파크 전문가의 국가별 평균 연봉입니다:

인도 - 연간 INR 3516457
영국 - 연간 33288파운드
미국 - 연간 USD 84,000

중요성에 대해 자세히 알아보기

데이터 과학을 쉽게 배우고 실습할 수 있도록 최고의 데이터 과학 강좌 목록을 준비했습니다. 이 과정은 해당 분야에서 다년간의 경험을 가진 전문가가 설계한 것으로, 최상의 교육을 제공할 수 있습니다. 좁은 배포는 객체 클러스터를 반환하고 블록 변수 준비 노드가 단일 블록 열 올바른 메모리 모드 작업자 오류 코드에 응답하기 위해 정의 된 발생을 결정합니다.

오늘날의 세상에는 매일 수많은 신기술이 쏟아져 나오고 있습니다. 배워야 할 것이 많습니다. 하지만 성공하려면 최신 기술이 무엇인지, 그리고 이를 업무에 어떻게 적용할 수 있는지 확실히 알고 있어야 합니다. 이 방법을 모른다면 일자리를 찾는 데 매우 어려움을 겪을 것입니다. 그리고 일자리를 찾더라도 그 일자리를 유지하는 데 매우 어려움을 겪을 것입니다. 끊임없이 새로운 것을 배우고 자신의 기술과 능력을 변화시켜야 하기 때문입니다. 그렇기 때문에 올바른 자격 증명을 가지고 있는지 확인하는 것이 중요합니다.

1.itemsDfSchema = StructType([
2. StructField("itemId", IntegerType()),
3. StructField("attributes", StringType()),
4. StructField("supplier", StringType())])
5.
6.itemsDf = spark.read.schema(itemsDfSchema).parquet(filePath)

1.itemsDfSchema = StructType([
2. StructField("itemId", IntegerType),
3. StructField("attributes", ArrayType(StringType)),
4. StructField("supplier", StringType)])
5.
6.itemsDf = spark.read.schema(itemsDfSchema).parquet(filePath)

1.itemsDf = spark.read.schema('itemId 정수, 속성 , 공급자 문자열').parquet(filePath)

1.itemsDfSchema = StructType([
2. StructField("itemId", IntegerType()),
3. StructField("attributes", ArrayType(StringType())),
4. StructField("supplier", StringType())])
5.
6.itemsDf = spark.read.schema(itemsDfSchema).parquet(filePath)

1.itemsDfSchema = StructType([
2. StructField("itemId", IntegerType()),
3. StructField("attributes", ArrayType([StringType()])),
4. StructField("supplier", StringType())])
5.
6.itemsDf = spark.read(schema=itemsDfSchema).parquet(filePath).

Q23. 아래에 표시된 코드 블록에 오류가 있습니다. 이 코드 블록은 분할을 위한 키로 storeId 열을 사용하여 /FileStore/transactions_split 위치의 쪽모이 세공 파일로 데이터 프레임 transactionsDf를 디스크에 쓰려고 합니다. 오류를 찾아보세요.
코드 블록:
트랜잭션Df.쓰기.형식("마루").파티션온("storeId").저장("/파일저장소/transactions_split")A.

여기서 format("parquet") 표현식을 사용하기에는 부적절하며, save() 연산자의 첫 번째 인수로 "parquet"을 전달하고 두 번째 인수로 "/FileStore/transactions_split"을 전달해야 합니다.

storeId를 기준으로 데이터를 분할하는 것은 partitionBy 표현식을 사용하면 가능하므로 partitionOn을 partitionBy로 대체해야 합니다.

storeId를 기준으로 데이터를 분할하는 것은 bucketBy 표현식을 사용하면 가능하므로 partitionOn을 bucketBy로 대체해야 합니다.

partitionOn("storeId")을 쓰기 작업 전에 호출해야 합니다.

format("parquet") 표현식을 제거하고 대신 쓰기 표현식에 다음과 같이 정보를 추가해야 합니다: write("parquet").

Q24. 아래 표시된 코드 블록은 DataFrame 트랜잭션Df에서 storeId 열의 값이 25인 행을 최대 5개까지 Python 목록으로 변환해야 합니다. 이를 수행하려면 코드 블록의 빈칸을 올바르게 채우는 답을 선택하세요.
코드 블록:
transactionsDf.__1__(__2__).__3__(__4__)

1. 필터
2. "storeId"==25
3. 수집
4. 5

1. 필터
2. col("storeId")==25
3. toLocalIterator
4. 5

1.
2. storeId==25
3. 머리
4. 5

1. 필터
2. col("storeId")==25
3.
4. 5

1. 필터
2. col("storeId")==25
3. 수집
4. 5

Q25. 아래 표시된 코드 블록은 데이터 프레임 트랜잭션Df에서 트랜잭션Id, predError, value 및 f 열이 있는 데이터 프레임을 반환해야 합니다. 이를 위해 코드 블록의 빈칸을 올바르게 채우는 답을 선택하세요.
transactionsDf.__1__(__2__)

1. 필터
2. "transactionId", "predError", "value", "f"

1.
2. "트랜잭션아이디, 프레드에러, 값, f"

1.
2. ["transactionId", "predError", "value", "f"]

1. 어디
2. col("transactionId"), col("predError"), col("value"), col("f")

1.
2. col(["transactionId", "predError", "value", "f"])

Q26. 다음 코드 블록 중 데이터 프레임 트랜잭션Df의 열 predError와 값 사이의 피어슨 상관 계수를 나타내는 열 corr만 있는 단일 행 데이터 프레임을 반환하는 코드 블록은?

트랜잭션Df.select(corr(["predError", "value"]).alias("corr")).first()

트랜잭션Df.select(corr(col("predError"), col("value")).alias("corr")).first()

트랜잭션Df.select(corr(predError, value).alias("corr"))

트랜잭션Df.select(corr(col("predError"), col("value")).alias("corr")) (올바른)

트랜잭션Df.select(corr("predError", "value"))

설명
난이도 면에서 이 문제는 시험에서 기대할 수 있는 수준보다 높습니다. 이 문제 NO:
가 여러분에게 알려주고 싶은 것은 문서에 포함된 유용한 세부 정보에 주의를 기울이는 것입니다.
pyspark.sql.corr은 매우 일반적인 방법은 아니지만 흥미로운 방식으로 Spark의 데이터 구조를 처리합니다.
이 명령은 집계 함수와 유사하게 여러 행에 걸쳐 두 개의 열을 가져와 하나의 행을 반환합니다. 문서(아래 링크)를 살펴보면 이 코드 예제를 찾을 수 있습니다:
a = 범위(20)
b = [범위(20) 내 x의 경우 2 * x]
df = spark.createDataFrame(zip(a, b), ["a", "b"])
df.agg(corr("a", "b").alias('c')).collect()
[Row(c=1.0)]
corr이 어떻게 단일 행만 반환하는지 보셨나요? 이 점을 이해했다면, 단일 행을 선택할 필요가 없으므로 first()가 포함된 답변에 대해 의심해 보아야 합니다. 이러한 답변을 배제해야 하는 이유는 질문에서 요청한 대로 DataFrame.first()가 DataFrame이 아닌 Row 유형의 객체를 반환하기 때문입니다.
transactionsDf.select(corr(col("predError"), col("value")).alias("corr")) 정답! 피어슨 상관 계수를 계산한 후 결과 열의 이름이 corr로 올바르게 변경되었습니다.
트랜잭션Df.select(corr(predError, value).alias("corr"))
아니요. 이 답변에서 Python은 열 이름 predError와 value를 변수 이름으로 해석합니다.
transactionsDf.select(corr(col("predError"), col("value")).alias("corr")).first() 잘못되었습니다. first()는 데이터 프레임이 아닌 행을 반환합니다(위 및 아래 링크된 문서 참조).
트랜잭션Df.select(corr("predError", "value"))
Wrong. 이 문은 원하는 모양의 DataFrame을 반환하므로 열의 이름은 corr(predError, value)가 아닌 corr(predError, value)가 됩니다.
transactionsDf.select(corr(["predError", "value"]).alias("corr")).first() False. 이 코드 블록은 first()가 행을 반환하는 것 외에도 두 개의 인수(연관시킬 두 개의 열)를 취하는 명령 corr에 대해 잘못된 호출 구조를 사용합니다.
자세한 정보:
- pyspark.sql.functions.corr - 파이스파크 3.1.2 문서
- pyspark.sql.DataFrame.first - PySpark 3.1.2 문서
정적 노트북 | 동적 노트북: 테스트 3 참조

Q27. 아래에 표시된 코드 블록에 오류가 있습니다. 코드 블록은 첫 번째 행을 열 머리글로 사용하고 열을 가장 적절한 유형으로 캐스팅하여 데이터/transactions.csv 경로에 있는 csv 파일을 DataFrame transactionsDf로 읽어야 합니다. 오류를 찾습니다.
트랜잭션.csv의 처음 3행:
1.transactionId;storeId;productId;name
2.1;23;12;녹색 잔디
3.2;35;31;노란 태양
4.3;23;12;녹색 잔디
코드 블록:
트랜잭션Df = spark.read.load("data/transactions.csv", sep=";", format="csv", header=True)

데이터프레임리더에 올바르게 액세스하지 못했습니다.

트랜잭션은 느리게 평가되므로 파일이 읽히지 않습니다.

Spark에서 파일 형식을 이해할 수 없습니다.

코드 블록이 모든 열을 캡처할 수 없습니다.

결과 데이터프레임에는 적절한 스키마가 없습니다.

Q28. 아래에 표시된 코드 블록에 오류가 있습니다. 코드 블록은 데이터 프레임 트랜잭션Df를 반환해야 하지만 storeId 열의 이름이 storeNumber로 변경되었습니다. 오류를 찾아보세요.
코드 블록:
트랜잭션Df.withColumn("storeNumber", "storeId")

withColumn 대신 withColumnRenamed 메서드를 사용해야 합니다.

인수 "storeNumber" 및 "storeId"는 각각 col() 연산자로 래핑해야 합니다.

인자 "storeId"는 첫 번째 인자이고 인자 "storeNumber"는 withColumn 메서드의 두 번째 인자여야 합니다.

withColumn 연산자를 copyDataFrame 연산자로 대체해야 합니다.

withColumn 대신 withColumnRenamed 메서드를 사용해야 하며, 인자 "storeId"를 첫 번째 인자로, "storeNumber"를 해당 메서드의 두 번째 인자로 사용해야 합니다.

1. 필터
2. col("supplier").isin("Sports")
3. "itemName"
4. explode(col("attributes"))

1. 어디
2. col("supplier").contains("Sports")
3. "itemName"
4. "속성"

1. 어디
col(supplier).contains("Sports")
3. 폭발(속성)
4. 항목 이름

1. 어디
2. "Sports".isin(col("Supplier"))
3. "itemName"
4. array_explode("attributes")

1. 필터
2. col("supplier").contains("Sports")
3. "itemName"
4. explode("attributes")

설명
올바른 코드 블록 출력:
+———————————-+——+
|아이템명 |콜 |
+———————————-+——+
|눈 위를 걷기 위한 두꺼운 코트|파란색 |
|눈 속을 걷기 위한 두꺼운 코트|겨울|
|눈 속을 걷기 위한 두꺼운 코트 | 아늑한 |
|아웃도어 백팩 |그린 |
|아웃도어 배낭 |여름|
|아웃도어 배낭 |여행|
+———————————-+——+
이 문제를 해결하기 위한 핵심은 Spark의 explode 연산자에 대해 아는 것입니다. 이 연산자를 사용하면 배열에서 단일 행으로 값을 추출할 수 있습니다. 다음 안내는 첫 번째 빈칸부터 마지막 빈칸까지 체계적으로 답을 설명합니다. 틈새 문제를 풀고 오답을 걸러내는 방법에는 여러 가지가 있으며, 항상 첫 번째 틈새부터 걸러낼 필요는 없고 명백한 문제가 있는 일부 답은 제외할 수도 있습니다.
첫 번째 빈칸에 대한 답은 필터와 위치라는 두 가지 옵션이 있습니다. 이 두 가지는 실제로 PySpark에서 동의어이므로 둘 중 하나를 사용해도 괜찮습니다. 따라서 이 문제에 대한 답 옵션은 정답을 선택하는 데 도움이 되지 않습니다.
두 번째 간격이 더 흥미롭습니다. 한 가지 답변 옵션은 "Sports".isin(col("Supplier"))입니다. 이 구문은 파이썬의 문자열에 isin 메서드가 없기 때문에 작동하지 않습니다. 또 다른 옵션은 col(supplier)를 포함합니다. 여기서 파이썬은 공급업체를 변수로 해석하려고 시도합니다. 이 변수를 설정하지 않았으므로 실행 가능한 답변이 아닙니다. 그러면 col("supplier").contains("Sports") 및 col("supplier").isin("Sports")을 포함하는 답변 옵션이 남게 됩니다. 질문은 이름에 Sports가 포함된 공급업체를 찾고 있다고 명시하고 있으므로 여기에 포함 연산자를 사용해야 합니다.
공급업체 이름 목록의 모든 항목과 일치하는 공급업체 이름을 필터링하려는 경우 ISIN 연산자를 사용합니다.
마지막으로, 세 번째 빈칸은 "itemName"으로 채우고 네 번째 빈칸은 explode("attributes") 또는 "attributes"로 채우는 두 가지 답이 남습니다. 두 가지 모두 올바른 Spark 구문이지만, 폭발("속성")만이 목표를 달성하는 데 도움이 됩니다. 특히 이 질문은 행당 열 속성에서 하나의 속성을 요청하는데, 이것이 바로 explode() 연산자가 하는 일입니다.
하나의 답변 옵션에는 PySpark에서 유효한 연산자가 아닌 array_explode()도 포함되어 있습니다.
추가 정보: pyspark.sql.functions.explode - PySpark 3.1.2 문서
정적 노트북 | 동적 노트북: 테스트 3 참조

Q30. 다음 중 가장 효율적인 방법으로 데이터프레임의 파티션 크기를 16개에서 8개로 조정하는 방법을 설명하는 것은?

DataFrame.repartition(8) 함수를 사용하여 데이터 프레임을 셔플하고 파티션 수를 줄입니다.

데이터프레임을 완전히 섞고 파티션 수를 줄이려면 DataFrame.coalesce(8) 함수를 사용합니다.

좁은 변환을 사용하여 파티션 수를 줄이세요.

와이드 변환을 사용하여 파티션 수를 줄이세요.
DataFrame.coalesce(0.5) 함수를 사용하여 데이터프레임의 파티션 수를 절반으로 줄입니다.

Q31. 다음 코드 블록 중 12개의 파티션을 24개의 파티션으로 효율적으로 변환하는 데이터 프레임 트랜잭션Df를 효율적으로 변환하는 것은?

트랜잭션Df.재파티션(24, boost=True)

트랜잭션Df.재파티션()

트랜잭션Df.재파티션("itemId", 24)

트랜잭션Df.coalesce(24)

트랜잭션Df.재파티션(24)

Q32. 다음 중 실행자에 대한 설명 중 올바른 것은 무엇인가요?

실행기는 드라이버에 의해 실행됩니다.

실행기는 기본적으로 애플리케이션이 완료되면 중지됩니다.

각 노드는 단일 실행기를 호스팅합니다.

실행기는 데이터를 메모리에만 저장합니다.

실행기는 여러 애플리케이션에 서비스를 제공할 수 있습니다.

Q33. 다음 중 클러스터에서 실행 중인 애플리케이션이 하나뿐인 경우 대량의 데이터를 처리할 때 Spark의 성능을 개선할 수 있는 실행 가능한 방법은 무엇인가요?

spark.default.parallelism 및 spark.sql.shuffle.partitions 속성의 값을 늘립니다.

spark.default.parallelism 및 spark.sql.partitions 속성의 값을 줄입니다.

spark.sql.parallelism 및 spark.sql.partitions 속성의 값을 늘립니다.

spark.sql.parallelism 및 spark.sql.shuffle.partitions 속성의 값을 늘립니다.

spark.dynamicAllocation.maxExecutors, spark.default.parallelism 및 spark.sql.shuffle.partitions 속성의 값을 늘립니다.

Q34. 아래 표시된 코드 블록은 열 사이의 구분 기호로 탭(t 문자)을 사용하고, 누락된 값을 문자열 n/a로 표현하며, 열 이름이 있는 헤더 행을 생략하여 DataFrame transactionsDf를 단일 CSV 파일로 csvPath 경로의 디스크에 기록해야 합니다. 이 작업을 수행하려면 코드 블록의 빈칸을 올바르게 채우는 답을 선택하세요.
transactionsDf.__1__.write.__2__(__3__, ” “).__4__.__5__(csvPath)

1. 합치다(1)
2. 옵션
3. "sep"
4. option("header", True)
5. 경로

1. 합치다(1)
2. 옵션
3. "COLSEP"
4. option("nullValue", "n/a")
5. 경로

1. 재분할(1)
2. 옵션
3. "sep"
4. option("nullValue", "n/a")
5. csv
(정답)

1. csv
2. 옵션
3. "sep"
옵션("빈값", "n/a")
5. 경로
* 1. 재분할(1)
2. 모드
3. "sep"
4. mode("nullValue", "n/a")
5. csv

Q35. 원과 숫자로 레이블이 지정된 요소 중 오류가 있거나 잘못 표시된 것은 무엇인가요?

1, 10

1, 8

7, 9, 10

1, 4, 6, 9

Q36. 아래 표시된 코드 블록은 value 및 productId 열이 없고 값이 5인 추가 열 associateId가 있는 DataFrame transactionsDf의 복사본을 반환해야 합니다. 이를 달성하려면 코드 블록의 빈칸을 올바르게 채우는 답을 선택하세요.
transactionsDf.__1__(__2__, __3__).__4__(__5__, 'value')

1. withColumn
2. 'associateId'
3. 5
4. 제거
5. 'productId'

위드뉴컬럼
2. associateId
3. lit(5)
4. 드롭
5. productId

1. withColumn
2. 'associateId'
3. lit(5)
4. 드롭
5. 'productId'

1. withColumnRenamed
2. 'associateId'
3. 5
4. 드롭
5. 'productId'

1. withColumn
2. col(associateId)
3. lit(5)
4. 드롭
5. col(productId)

Q37. 아래 표시된 코드 블록은 디렉터리 경로가 .png로 끝나는 모든 파일을 Spark로 읽어들여야 합니다.
이를 위해 코드 블록의 빈칸을 올바르게 채우는 답을 선택하세요.
spark.__1__.__2__(__3__).option(__4__, “*.png”).__5__(path)

1. read()
2. 형식
3. "binaryFile"
4. "recursiveFileLookup"
5. 로드

1. 읽기
2. 형식
3. "binaryFile"
4. "경로글로브필터"
5. 로드

1. 읽기
2. 형식
3. binaryFile
4. 경로 글로브 필터
5. 로드

1. 열기
2. 형식
3. "이미지"
4. "fileType"
5. 열기

1. 열기
2. as
3. "binaryFile"
4. "경로글로브필터"
5. 로드

Q38. 다음 중 셔플의 속성을 설명하는 것은 무엇인가요?

셔플과 관련된 작업은 결코 느슨하게 평가되지 않습니다.

셔플에는 단일 파티션만 포함됩니다.

셔플은 "전체 변환"이라는 클래스에 속합니다.

셔플은 스파크의 여러 작업 중 하나입니다.

셔플에서 Spark는 데이터를 디스크에 씁니다.

Q39. 아래 표시된 코드 블록은 데이터 프레임 트랜잭션Df에 있는 약 15% 행의 무작위 하위 집합에 대한 대체 없이 평균 예측 오류(열 predError)만을 반환해야 합니다. 이를 달성하기 위해 코드 블록의 빈칸을 올바르게 채우는 답을 선택하세요.
transactionsDf.__1__(__2__, __3__).__4__(avg(‘predError’))

1. 샘플
2. True
3. 0.15
4. 필터

1. 샘플
2. False
3. 0.15
4.

1. 샘플
2. 0.85
3. False
4.

1. 분수
2. 0.15
3. True
4. 어디

1. 분수
2. False
3. 0.85
4.

Q40. 다음 중 메모리와 디스크에서 이전에 캐시된 DataFrame 트랜잭션Df를 즉시 제거하는 코드 블록은?

array_remove(transactionsDf, "*")

트랜잭션Df.언퍼지스트()
(정답)

델 트랜잭션Df

트랜잭션Df.clearCache()

트랜잭션Df.persist()

Q41. 다음 코드 블록 중 각 열의 값의 표준 편차 및 최소값을 포함하여 DataFrame transactionsDf의 모든 열에 대한 다양한 집계 통계를 표시하는 것은?

트랜잭션Df.요약()

transactionsDf.agg("count", "mean", "stddev", "25%", "50%", "75%", "min")

transactionsDf.summary("count", "mean", "stddev", "25%", "50%", "75%", "max").show()

transactionsDf.agg("count", "mean", "stddev", "25%", "50%", "75%", "min").show()

트랜잭션Df.summary().show()

Q42. 다음 중 데이터 세트 API의 특징을 설명하는 것은 무엇인가요?

데이터 집합 API는 구조화되지 않은 데이터를 지원하지 않습니다.

파이썬에서 데이터세트 API는 주로 판다의 데이터프레임 API와 유사합니다.

Python에서 데이터 집합 API의 스키마는 유형 힌트를 통해 구성됩니다.

데이터 집합 API는 Scala에서 사용할 수 있지만 Python에서는 사용할 수 없습니다.

데이터 집합 API는 컴파일 타임 유형 안전성을 제공하지 않습니다.

Q43. 아래에 표시된 코드 블록에 오류가 있습니다. 코드 블록은 DataFrame 트랜잭션Df의 모든 행을 반환해야 하지만 storeId 및 predError 열만 포함해야 합니다. 오류를 찾습니다.
코드 블록:
spark.collect(transactionsDf.select("storeId", "predError"))

선택 대신 필터 연산자를 사용하여 데이터프레임 트랜잭션Df를 필터링해야 합니다.

storeId 및 predError 열은 파이썬 목록으로 표현해야 하므로 괄호([])로 묶어야 합니다.

수집 메서드 대신 테이크 메서드를 사용해야 합니다.

수집 대신 collectAsRows를 호출해야 합니다.

수집 메서드는 SparkSession 객체의 메서드가 아닙니다.

Q44. 다음 중 RDD에 대한 설명 중 올바르지 않은 것은 무엇인가요?

RDD는 단일 파티션으로 구성됩니다.

상위 수준의 데이터프레임 API는 하위 수준의 RDD API 위에 구축됩니다.

RDD는 변경할 수 없습니다.

RDD는 탄력적인 분산 데이터세트의 약자입니다.

RDD는 Spark에 쿼리 수행 방법을 정확하게 지시하는 데 유용합니다.

Q45. 다음 중 데이터프레임 트랜잭션Df에서 단일 행을 반환하는 코드 블록은 무엇인가요?
전체 데이터프레임 트랜잭션Df:
1.+————-+———+—–+——-+———+—-+
2.|transactionId|predError|value|storeId|productId| f|
3.+————-+———+—–+——-+———+—-+
4.| 1| 3| 4| 25| 1| null|
5.| 2| 6| 7| 2| 2| null|
6.| 3| 3| 널| 25| 3| 널|
7.| 4| 널| 널| 3| 2| 널|
8.| 5| 널| 널| 널| 널| 2| 널|
9.| 6| 3| 2| 25| 2| null|
10.+————-+———+—–+——-+———+—-+

transactionsDf.where(col("storeId").between(3,25))

transactionsDf.filter((col("storeId")!=25) | (col("productId")==2))

트랜잭션Df.filter(col("storeId")==25).select("predError","storeId").distinct()

트랜잭션Df.select("productId", "storeId").where("storeId == 2 OR storeId != 25")

트랜잭션Df.where(col("value").isNull()).select("productId", "storeId").distinct())