AI용 컴퓨터 구매했다, 윈도우 엔비디아 드라이버 설치 후 처음 깔아야 하는 것 : CUDA CuDNN (엔비디아 희소매물 RTX3080ti 조

요즘 인공지능을 배우는 중이다. 좋은 기회에 엔비디아 RTX3080ti를 구해서 나머지는 컴퓨존에서 빠르게 구매 개발자 분이 계셔서 호다닥 그분께 컴퓨터 조립 부탁드렸고, 모니터까지 고민 후 구매 완료. 거의 3일만에 모든게 전광석화로 완료되었다. 그리고, 드디어 오늘 컴퓨터가 내 손에 들어왔다...
 
광속으로 윈도우, 엔비디아 드라이버 올 설치 완료에 이어 CUDA, cuDNN를 설치해야 한다.

NVIDIA엔비디아 CUDA쿠다와 cuDNN은 딥러닝 및 과학 , 공학 계산과 같은 복잡한 연산을 수행하는데 사용되는 중요한 소프트웨어 라이브러리다.

특히 cuDNN은 딥러닝 관련 기술, 특히 CNN이라고 불리는 Convolutional Neural Network와 같은 이미지 처리 작업에서 큰 역할을 수행한다. 에이아이 딥러닝 모델 학습, 추론 속도를 높이는 데 큰 기여를 하는데, 나는 Stable Diffusion이라고 불리는 오픈 에이아이를 돌려야 해서, 슉슉 빠르게 서치 후 제일 간단한 영상을 하나 데리고 왔다.
https://youtu.be/hqc9VJY_n54
 
영상 자막 자동생성 AI인 Whisper-WebUI나 Vicuna와 같은 LLM을 사용할 때도 CUDA와 cuDNN설치는 필수입니다.
GPU를 활용해야 하는데, (실제로 돌리다보면 지피유 메모리가 엄청나게 돌아간다.) 이게 깔려야 모든 요소들이 정상 작동한다.

 
 
쿠다 툴키트 CUDA toolkit 까는 주소 공유
https://developer.nvidia.com/cuda-toolkit

CUDA Toolkit - Free Tools and Training

cuDNN 까는 주소 공유
https://developer.nvidia.com/rdp/cudnn-archive

cuDNN Archive

 
 
Microsoft Windows [Version ***]
(c) Microsoft Corporation. All rights reserved.

C:\Users\********>nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Wed_Aug_14_10:26:51_Pacific_Daylight_Time_2024
Cuda compilation tools, release 12.6, V12.6.68
Build cuda_12.6.r12.6/compiler.34714021_0
 
그리고 깃허브에 들어가 스테이블 디퓨전 포지를 다운 받고 7Z를 풀어준다.
(7Z 압축파일 푸는 것도 찾는거 오래 걸렸다.. 내일 소개해보겠다.)
https://github.com/lllyasviel/stable-diffusion-webui-forge

GitHub - lllyasviel/stable-diffusion-webui-forge

 
드디어 모두 깔았다. 완전 뿌듯... 이제 에이아이 SD 나도 직접 돌려본다.