아아— 죽이는 NAND다. [983 ZET 960GB & SZ983 240GB]

이전에 말한 것과 같이 Z-NAND를 사용하는 Z-SSD를 가져왔습니다. 이 SSD는 제게 나름 인상깊은 SSD이기도 합니다. 제 돈으로 처음 구입해본 SSD였거든요. 

물론 처음 사용해본 SSD는 아닙니다. 그냥 제가 처음으로 돈 주고 샀던 SSD입니다. 이전에도 사용하던 컴퓨터에 SSD는 달려있었지만, 제 돈으로 구입하지 않은 노트북에 달려있던 것이라서 말이죠.

아무튼 이러저러한 이유로 이 친구는 제가 좀 아끼는 친구이기도 합니다. 그런데 SSD 아껴뒀다 뭐합니까? 팍팍 써야죠. 앞으로는 더 좋은게 많이 나올건데...

물론, 이 친구를 일부 워크로드에서 이기기 위해서는 평범한 NAND로는 아직 나가야할 길이 멉니다. Z-NAND에 관한 자세한 내용은 제가 작성한 "Samsung Z-NAND" 게시물을 참고해주셨으면 좋겠습니다.

아무튼, 이 리뷰를 마지막으로 삼성 SSD의 리뷰는 한동안 올라오지 않을 것 같네요. 남은 SSD들이 대개 인텔 제품이란 것을 생각해보면, 이제 인텔을 쳐낼 차례가 될 것 같습니다.

머리를 쥐어짠 잡담을 슬 여기서 마무리하고, 당시 삼성이 3D XPoint에 대항해 공개했던 Z-SSD가 어떤 성능을 보여줄지 확인해봅시다.

Appearance

SZ983 240GB

처음으로 다루는 M.2 22110 폼팩터입니다. 일반적으로 cSSD에서는 M.2 22110을 사용하지 않는 편이지만, eSSD는 여러 이유로 2280보단 22110이 더 흔한 편입니다. 물론, 지금은 사장되어 가고있죠.

983 ZET 960GB

HHHL 타입인 983 ZET입니다. PM1725 리뷰에서도 볼 수 있었습니다만, 외관상으로는 큰 차이가 없어보이기도 합니다. 

대신, 히트싱크에 부착된 써멀패드의 경우에는 983 ZET 쪽이 더 부실해보입니다. 이 정도만 있으면 충분하다, 라는 의미일 수도 있겠네요.

Internal Components

문외한의 입장에서 일부 IC만 찾아보았으며, 제조시기 등에 따라 변경될 가능성이 있습니다.
맞지 않을 확률이 상당히 높으니 재미로만 읽어주세요. 

SZ983 240GB

컨트롤러는 Samsung PHOENIX를 사용합니다. 계속 해서 보아온 그 컨트롤러입니다. 큰 이변이 없다면 이 컨트롤러를 보는 것은 드디어 마지막이 될 것 같네요. 자세한 설명은 생략하겠습니다.

DRAM은 Samsung K4F4E3S4HF-BGCH입니다. LPDDR4 512MB 제품인데, L2P 테이블을 생각하면 많은 용량일 수 있습니다. 참고로, PM981과 PM981a 256GB 모델과 동일한 친구입니다.

Z-SSD의 구현에서 가장 중요한 Z-NAND입니다. PN은 Samsung K9QHGB8J1M-1CK0이며, 4개가 실장되었습니다. Z-NAND는 애초에 한 세대 뿐이니 1세대라고 하기도 애매하네요. 64Gb SLC Die를 8개 패키징하여 칩당 512Gb=64GB를 구현했습니다. 총 256GB의 Raw Capacity라고 할 수 있겠네요. 다만, 7%의 Over Provisioning이 할당되어, 240GB의 용량이 사용가능합니다.

PLP를 위한 Capacitor는 Panasonic 35TQS47MEU를 사용했으며, 35V 47µF의 스펙으로 7개가 실장되었습니다. 참고로, PM983 960GB 모델에서는 동일한 친구가 10개 있습니다.

PMIC는 BIU7NB라는 마킹이 되어있었는데, S2FPS05A01일 확률이 높습니다. 물론, 맞다고 하더라도 상세 스펙을 알 수는 없습니다.

Adesto Technologies AT25DL161은 2MB의 SPI NOR 플래시입니다. 100k P/E Cycle과 20년의 데이터 보존기간을 자랑하는데, 펌웨어와 같은 데이터가 저장될 것으로 예상됩니다.

그외는 제가 알 수 없었던 소자들입니다.

983 ZET 960GB

노린 것은 아닌데, 생산 주차가 18년 19주차로 동일했습니다. 

컨트롤러는 역시 Samsung PHOENIX를 사용합니다. 

DRAM은 Samsung K4F2E3S4HA-BGCH입니다. LPDDR4 1.5GB 모델로, PM983 960GB에 적용된 친구와 동일합니다. 970 PRO는 1GB 모델이 사용되었다는 것을 생각해보면, PHOENIX 컨트롤러를 사용하는 삼성 eSSD에는 cSSD와 다르게 추가 역할이 있는 것으로도 생각됩니다. DRAM의 사용사례는 무궁무진하니까요.

Z-SSD의 구현에서 가장 중요한 Z-NAND입니다. PN은 Samsung K9QHGB8J1M-1CK0이며, SZ983에 사용된 것과 동일합니다만, 개수가 더 많이 실장되었습니다. 여기선 전면에 8개가 실장되었네요.
개당 64GB의 용량을 가지고 있으니, 전면에서는 총 512GB의 Raw Capacity가 구현됩니다.

PLP를 위한 Capacitor는 Nippon Chemi-Con HHXA350ARA271MJA0G을 사용했으며, 35V 270µF의 스펙으로 3개가 실장되었습니다. PM1725와 동일한 파트이지만, 개수는 더 적습니다. 

MPS MP8869S는 I2C로 제어 가능한 Step-Down DC-DC Converter입니다. 

Texas Instruments TPS3897는 Single channel의 Voltage Monitor입니다.

onsemi CAT24C512는 1000k PE Cycle과 100년의 데이터 보존 기간을 자랑하는 64kB EEPROM입니다.

PMIC는 BIU7VC라는 마킹으로 후면에 위치합니다. 

NAND는 전면과 마찬가지로 Samsung K9QHGB8J1M-1CK0를 사용했으며, 동일하게 8개 실장되어 전면과 후면을 합쳐, 총합 1024GB의 Raw Capacity가 실장되었습니다. 물론, 7% OP가 더해져 실제 사용자 공간은 960GB입니다.

Texas Instruments TPS62130는 Step-Down DC-DC Converter입니다.

Adesto Technologies AT25DL161은 SZ983에 실장된 것과 동일한 2MB의 SPI NOR 플래시입니다.

Texas Instruments TPS3897은 전면과 동일한 소자입니다.

Datasheet

983 ZET은 Warranty 조건이 약간 특이합니다. 960GB 모델은 10DWPD인 반면, 480GB 모델은 8.5DWPD입니다.
다만, 삼성의 eSSD임을 생각해보면 보증이고 뭐고 아무것도 없으니 사용하는 개인에게 있어 큰 의미있는 수치는 아닙니다.

순차 성능은 특출난 것이 없지만, SCM(Storage Class Memory)를 표방하는 Z-SSD답게 랜덤성능이 우수해... 보이나요? 용량을 생각하면 확실히 우수하지만, 당시 TLC를 사용했던 PM983의 고용량 모델과 크게 차이나지 않는 것 같습니다.

SZ983은 대외적으로 공개되지 않았습니다. 하지만 SZ985는 있었죠. 랜덤 쓰기에서 983 ZET보다 더 우수한 것을 볼 수 있으며, 내구성 또한 30DWPD에 달합니다. OP가 더 할당된 것이라 생각되네요.

거기에 더해 지연시간도 확인할 수 있습니다. 읽기에선 12 ~ 20µs, 쓰기에선 16µs. 상당히 우수한 수치입니다.

Notable Points

Power-Loss-Protection Time

많은 eSSD는 PLP를 위한 기술이 적용됩니다. 갑작스러운 전원 차단에 대해 어느 정도의 백업 시간을 가질 수 있는지 알아봅시다.

폼팩터 때문일까요? 983 ZET가 어떤 상황에서도 50ms 이상의 시간을 유지할 수 있으리라 보입니다. 특히 IDLE 소모량에서는 100ms에 가까운 시간을 보여주는 것도 인상적입니다.

983 ZET PCB

SZ983은 양면이란 점에서 240GB까지 지원할 수 있을 것입니다. 실제로 M.2 폼팩터의 SZ983은 240GB 모델이 있죠. 하지만, 983 ZET는 최대 960GB 모델까지 있습니다. PCB는 솔직하게 빈공간을 보이지만 말이죠.
동일한 칩으로 도배한다면 1.92TB의 용량을 기대할 수 있겠지만... 1세대 Z-SSD에서는 이 용량이 최대였습니다. 

거기에 더해, 983 ZET의 PCB에는 재밌는 점이 하나 더 있습니다. MZPJB800HMG0라고 새겨져있는 것이죠. SZ985의 PN으로 추정됩니다. 

SW Report

983 ZET의 읽기량이 심상치 않아보이는데요, Homelab에서 ESXi의 데이터스토어로 사용했던 이력이 있습니다. 잘 사용하다가 지금은 랩의 구성을 변경해 잠깐 쉬고 있는 청년이죠.

smartmontools와 NVMe-CLI의 id-ctrl 결과는 GitHub에 첨부하도록 하겠습니다.

DUT Summary

벤치마크를 진행할 SSD에 관한 요약입니다.

특이하게도, 제 SZ983은 LBA=4096B만 지원했습니다. 어떤 이유에서인지는 모르겠지만, 이 친구의 고객이 Meta였던 것과 관련이 있는걸까요?

그와 다르게, 일반 모델에 속하는 983 ZET는 LBA=512B만 지원합니다.

PS는 8W로 동일하지만, Warning Temp, Critical Temp가 다른 점이 인상적입니다.

Comparison Device

비교군은 아래와 같습니다.

삼성에서 제시한 것과 동일하게 48L인 V3 NAND를 채용한 친구들을 비교군으로 삼는다는 선택지가 좋겠지만, 제가 가지고 있지 않기 때문에 동일한 컨트롤러를 기준으로 하겠습니다.

비교군은 둘 다 64L인 V4 NAND이기에 I/O 인터페이스 자체는 DUT가 밀리는 편입니다.

추가로, 983 ZET는 사용 가능한 공간을 800GB로 줄여 벤치마크를 추가 진행했습니다.

cSSD Benchmarking

벤치마크 방법에 대한 것은 이전 리뷰를 참고해주시기 바랍니다.

CrystalDiskMark 9.0.1

FOB(Fresh Out of Box) 상태에서 NVMe 프로필로 진행합니다. 

SZ983과 983 ZET는 용량 차이가 많이 나지만, 성능 자체는 크게 차이가 나지 않았습니다.

다만, NAND의 I/O 인터페이스의 한계인지 순차 읽기에선 비교군들에 뒤쳐지는 모습이었습니다. 그럼에도 불구하고 깊은 QD의 랜덤 읽기는 한계까지 올라갑니다.

랜덤 QD1의 경우엔 예상대로 Z-SSD들이 가장 우세했습니다. 

하지만 CDM에서는 28% OP의 효과를 볼 수 없었네요.

3DMark Storage Benchmark

CDM의 측정이 종료된 드라이브를 75% 채우고 진행합니다.

여기선 약간 달라집니다. 983 ZET와 SZ983 사이엔 큰 차이가 없었지만, 28% OP를 가한 것에선 약간의 차이를 보였습니다. 물론, 노력은 했지만 오차일 가능성도 부정할 수는 없습니다.

SPECworkstation 4.0

3DM이 종료된 드라이브에 휴식을 부여하고 진행됩니다. 75%의 공간이 이미 사용 중인 셈이죠.

SZ983은 LBA=4096B이기에 이 벤치마크에서 이상할 정도로 낮은 점수가 나옵니다.
OP를 추가로 할당하지 않은 983 ZET의 경우엔 1.22라는 Ratio가 나왔는데, 1.0이 기준점이라는 것을 생각해보면 약간 아쉽기도 합니다.

상세 결과를 보면 OP를 추가 할당해 이득을 보는 워크로드가 어떤 것인지 구분이 가능합니다. 7zip과 같은 워크로드는 순차 성능에 상당히 의존한다는 것도 추정할 수 있죠. 

Fill Drive

나래온 더티테스트와 비슷한 벤치마크입니다. FOB상태로 시작하여, SEQ 128k QD256으로 드라이브 전체를 2회 채우며, 0.1s 단위로 값을 측정합니다. 휴식은 충분히 부여됩니다.

이번엔 DUT가 좀 많은 만큼 종합 그래프를 제시합니다. 첫 번째 패스에서는 Z-SSD들이 가장 우수한 값을 보여주었습니다.

하지만, 두 번째 패스에선 970 PRO의 자리로 내려오게 되었죠.

의외로 Foreground GC 정책을 채택하지 않은 것일까요? PM983에서는 패스에 관계없이 유사한 속도를 보여주었는데 말이죠. 결론을 내리기엔 좀 더 고민해봐야할 것 같습니다.

평균값은 첫 번째 패스 덕분에 Z-SSD들이 상위권을 차지했습니다. 대부분의 워크로드에선 그렇겠지만, SLC, MLC, TLC 순서를 볼 수 있습니다.

Sync Performance

순차와 랜덤 성능은 자체 Pre-Conditioning 이후에 해당 영역에 한해서 측정됩니다.

동기 쓰기의 경우엔 eSSD들이 PLP가 구현된 만큼 압도적인 모습을 보여줍니다. 다만, Z-SSD들 사이에선 크게 성능 차이가 나지 않는 것도 계속해서 확인이 가능합니다. 

Low QD Performance by RW Ratio 

Performance versus QD

이전과 마찬가지로 Pre-Conditioning 이후에 측정하며, 데이터의 양은 올바른 Burst 성능을 측정하기 위해서 GB단위가 되지 않습니다.

전부 가져왔습니다. SZ983과 983 ZET가 약간 다른 그래프의 형태를 띄는 것이 보이나요?
QD=1에선 유사하지만, QD=2에선 983 ZET가 볼록 튀어나온 그래프의 형태를 보입니다. 그리고 수치를 자세히 보면, SZ983과 다르게 983 ZET에선 쓰기 성능이 약간 떨어지는데요, QD=4에선 또 다르게 983 ZET가 더 우수합니다. 

다만, OP를 더 준 것에 대한 이점은 확인할 수 없었습니다.

Weighted Graph 

QD1 70%, QD2 20%, QD4 10%로 가중치를 부여해 보기 쉽게 나타냅니다.

QD=2에서의 결과가 반영되어, 쓰기에 한정해서는 983 ZET보다 SZ983이 더 우수한 결과를 보였습니다. 다만, 쓰기는 다른 비교군들도 따라잡거나 뛰어넘는 것을 확인할 수 있습니다.

물론, 읽기나 혼합 작업에선 추종을 불허합니다.

평균값도 상당히 큰 차이로 Z-SSD들이 우수했습니다. 뭐, 당연한 결과네요.

eSSD Benchmarking

일부 워크로드에 대한 Steady State를 측정해봅시다. 벤치마크 방법에 대한 것은 마찬가지로 이전 리뷰를 참고해주시기 바랍니다.

SEQ Pre-Conditioning

앞서 Fill Drive에서 확인할 수 있던 것처럼, Z-SSD들은 두 번째 패스에 접어들며 속도가 떨어집니다만, Steady State에는 진입할 수 있습니다. 

eSSD이니 당연한거죠. 유사한 용량인 983 ZET, 970 PRO, PM983 중에서는 983 ZET가 가장 빠르게 진입했습니다. 

SEQ Performance

순차 읽기입니다. 의외로 Z-SSD들의 성능이 낮습니다. 거기에, 983 ZET가 가장 나쁜 성적을 보여주었습니다. 우울하네요. 

거기에 983 ZET는 스펙 성능인 3400MB/s에는 도달하지 못하는 결과였습니다.

순차 쓰기입니다. TLC인 PM983이 낮은 것은 다들 예상했을 것입니다. 하지만, QD=1에 한정하면 970 PRO가 Z-SSD들 보다 우수한 성적을 보여주었습니다.
물론, QD=2부터 바로 역전되지만, 그렇게 꿀리는 값은 아닙니다.

순차 읽기와 마찬가지로, 983 ZET는 스펙 성능인 3000MB/s에는 도달하지 못하는 결과였습니다.

RND Pre-Conditioning

제가 진행하는 벤치마크 단계 중 가장 오랜 시간이 걸리는 파트입니다. 결과를 다 때려박아보았는데, 지연시간 그래프에선 PM983이 방해해서 아무것도 보이질 않죠?

0초부터 1500초까지로 한정하고 적절한 값을 기준으로 잘랐습니다. 다들 괴랄하게 절벽을 그리며 떨어집니다. SZ983은 최악까지 다다르진 않지만, 983 ZET는 순간 속도가 급락하는 타이밍이 있는 것을 확인할 수 있습니다. 

하지만, OP를 추가 할당한 경우는 다릅니다. 값이 최악으로 떨어진 상태가 비교군의 Steady State보다도 더 우수한 성능을 기록할만큼 말이죠.

이는 지연시간 그래프에서 더욱 확연하게 나타납니다. 큰 이변없이 Steady State로 향하는 모습은 굉장히 인상적이네요.

헌데, IOPS Consistency와 같은 경우는 PM983이 압도했습니다. PM1725의 리뷰를 진행할 때도 PM983이 평균인 줄 알았는데, Z-SSD들의 벤치마크를 진행하며 PM983이 평균치가 아니라는 것을 알았습니다.

아쉽게도, PM983은 이제 제 손에 없어서 IOPS Consistency를 직접적으로 측정하진 못했습니다. 그럼 Z-SSD들은 측정했냐고요? 네, 그렇습니다. 간단하게 설명하고 넘어가겠습니다.

IOPS Consistency

그래프를 하나 제시하겠습니다. 지연시간은 낮을수록 좋죠. 그런 관점에서 보면 970 PRO < PM983 < PM1725라는 결과가 도출됩니다.

하지만, 그래프 자체가 깔끔한 것은 PM983이 제일입니다. IOPS의 변동이 덜한거죠. 기존에 제가 하던 방식, 이 부분에 대해서 결과를 제시하지 못합니다. 그저 Pre-Conditioning의 그래프만 제시할 수 있죠.

이를 수치화하여 직접적으로 제시할 수 있도록 했습니다. Pre-Conditioning과 동일하게 0.1초 단위로 데이터를 수집합니다. 결과값 도출은 삼성이 제시하는 것에서 따와 다음과 같이 계산합니다.

IOPS Consistency (%) = (99.9% IOPS) / (Average IOPS) * 100

처음엔 지연시간으로도 Consistency를 제시할까 고민했는데, 실질적으로 SSD 성능으로 자주 제시되는 것은 IOPS 이기에 이렇게 진행했습니다. 지연시간보다 이게 더 직접적으로 와닿을 것 같기도 해서 말이죠.

다만, QoS와는 약간 다릅니다. 위 그래프에서 970 PRO는 안정적인 모습을 보이지 못하고 계속해서 튀는 값이 검출됩니다. 99.9%의 세밀함에서는 이를 검출하기 약간 힘들 수도 있습니다. 이는 QoS 단락에서 모든 I/O의 지연시간을 때려박아 제시합니다.
다만, 저도 정말 아쉽지만, 여러 한계로 인해 QoS는 보통 SSD 데이터시트에서 제시하는 QD1만으로 진행합니다. 로또 당첨되게 해주세요.

RND Performance

랜덤 읽기입니다. 드디어 Z-SSD의 우수함이 드러나기 시작하네요. QD=1에서 비교군들의 QD=2보다 더 우수한 IOPS를 보여줍니다. 지연시간은 덤이고요. QD=16까지 별탈없이 흘러가다가 QD=32부터 지연시간이 증가합니다.

983 ZET의 랜덤 읽기는 최대 750k IOPS가 명시되어 있었는데, 이를 넘는 모습을 보여주었습니다. 순차와는 다르네요.

QD=256에서의 IOPS Consistency는 아래와 같습니다.

랜덤 쓰기입니다. 읽기에서는 Z-SSD의 성능을 보여주었다면, 이번엔 추가 할당된 OP의 힘을 보여줍니다. QD=1에서는 큰 차이가 나지 않았지만 QD=2부터 무섭게 상승하는 랜덤 쓰기 성능을 보여줍니다. 

또한, 여기서는 SZ983과 983 ZET의 차이가 눈에 띄게 드러났습니다. 983 ZET의 스펙 성능인 75k IOPS 초과하여 달성하는 모습을 보여주었습니다.

28% OP로 SZ985와 용량을 맞춰주었을 때는 SZ985의 스펙 성능인 170k IOPS를 딱 맞추어 보여주었습니다. 정확히는 170626 IOPS였지만요.

QD=256에서의 IOPS Consistency는 아래와 같습니다. 

혼합 성능입니다. 일반적인 NAND 기반 SSD와 다른 그래프의 형상을 보여주는데, 높은 QD에서 SZ983의 후퇴하는 성능은 약간 안타깝습니다. 

다른 그래프의 형상이라는 것은 직각에 가까운 모습 뿐만이 아닙니다.

그래프를 50µs까지 확대해보았습니다. 잘 보이지도 않지만, QD=16 ~ QD=64 부근에 점이 밀집되어 있는 것이 보이나요? 이들은 실제로 IOPS, 지연시간이 크게 차이나지 않는 값들이었습니다.
이러한 상황은 가정하지 않았는데, 이 그래프에서는 한계가 여기서 드러나는 것 같습니다.

따라서, 이전 방식의 그래프도 함께 제시합니다. 지연시간 그래프 같은 경우는 굉장히 특이하죠? QD=64까지 Z-SSD 모두가 겹쳐있는 것처럼 보입니다.

실상은 이렇습니다. QD=16 ~ QD=64까지 거의 동일하게 보이는 지연시간이 그래프에서의 밀집된 점을 만들었습니다.

Quality of Service

QD1에서의 지연시간을 IO단위로 모두 분석해서 때려박았습니다.

쓰기는 그렇게까지 특출난 그래프는 아니지만, 읽기와 혼합 작업에서는 굉장히 우수한 QoS 관리 능력입니다. 특히, 읽기의 경우엔 11µs로 시작하는 것도 Z-NAND의 우수함을 보여주고 있네요. 

혼합 작업도 99.999%에서 100µs급의 우수함을 보여줍니다. 저 위쪽은 데이터가 조금만 틀어져도 크게 튀는 값이라는 것을 생각하면, NAND가 보여줄 수 있는 최고의 QoS가 아닌가 싶습니다.

데이터시트에는 적절한 값이 제시되지 않아, SZ985의 수치도 가져왔습니다. 그리고 비교도 각각 알맞게 983 ZET의 추가 OP버전과 983 ZET의 기본 버전으로 진행했습니다.

983 ZET는 모두 스펙시트의 QoS에 부합하는 값을 보여주었습니다. OP를 추가한 983 ZET의 경우, SZ985에 대비해 랜덤 읽기는 정말로 약간 벗어났지만, 쓰기는 더 우수한 결과를 보여주었습니다.

Closing

이것이 NAND다! -희망편- 입니다. Z-NAND에 대해서 제가 하고 싶은 말은 이전 글에 작성해놔서 크게 할 말은 없네요. 성능 측정 소감은... 과연, 3D XPoint에 대항해 나올만한 존재라고 할 수 있을 것 같습니다.

리뷰를 읽으시면서 3D XPoint에 대항하여 나왔는데, 3D XPoint 기반의 SSD는 왜 비교군에 없냐는 의문을 가지신 분들도 계실 것 같습니다. 그리고, 그런 의문을 품은 분들께 감사드리고 싶습니다. 제 리뷰를 제대로 읽어주고 계신다는 뜻일테니까요. 

그래서, 다음 리뷰는 인텔의 Optane SSD입니다. 

다만, 개강을 비롯해 여러 일이 맞물려 이제부터 상당히 바빠질 예정입니다. 일단 목표는 2주에 리뷰를 하나씩 투고하는 것이지만, 계획대로 풀릴지는 모르겠네요. 

슬슬 졸업과 진로에 대해 고민할 시기입니다. 로또에 당첨되어서 SSD 리뷰만 편하게 할 수 있는 날이 오길 바랍니다.

내 돈 내고, 내가 사서, 내가 리뷰하고, 내가 처분한다.
Z-NAND는 NAND의 신입니다. 반박하고 싶으면 나한테 XL-FLASH를 사용한 SSD의 샘플을 주세요, KIOXIA.