2024/10/01 - GAN 추가 변환

GAN 변환을 위한 임시 이미지셋 생성

import os
import shutil

# 원본 이미지 폴더 경로 및 출력 폴더 경로
input_folder = './image'
output_folder = './image_parts_3000'
emotions = ['amusement', 'anger', 'awe', 'contentment', 'disgust', 'excitement', 'fear', 'sadness']

# 최대 가져올 이미지 개수
max_images = 3000

# 이미지 최대 크기 3MB = 3 * 1024 * 1024 bytes
max_file_size = 3 * 1024 * 1024  # 3MB

def copy_images(emotion):
    src_dir = os.path.join(input_folder, emotion)
    dest_dir = os.path.join(output_folder, emotion)
    
    # 폴더가 없으면 생성
    if not os.path.exists(dest_dir):
        os.makedirs(dest_dir)

    # 이미지 파일 이름 패턴 설정
    counter = 0
    index = 0
    
    while counter < max_images:
        # 이미지 이름 형식 맞추기 (00000 -> 00001 등)
        file_name = f"{emotion}_{index:05d}.jpg"
        file_path = os.path.join(src_dir, file_name)

        # 이미지 파일이 존재하고, 크기가 3MB 이하일 때만 복사
        if os.path.exists(file_path):
            file_size = os.path.getsize(file_path)
            if file_size <= max_file_size:
                shutil.copy(file_path, os.path.join(dest_dir, file_name))
                counter += 1
            else:
                print(f"Skipping {file_path}, size: {file_size / 1024 / 1024:.2f} MB")
        
        # 다음 파일로 넘어감
        index += 1

        # 더 이상 이미지 파일이 없다면 중단
        if index > 100000:  # 큰 숫자로 안전한 한계 설정
            break

    print(f"{emotion}: {counter} images copied to {dest_dir}")

# 모든 감정 폴더에 대해 이미지 처리
for emotion in emotions:
    copy_images(emotion)

print("Image splitting completed.")

CycleGAN - image to monet style

커맨드 라인

python test.py --dataroot ./datasets/mydata --name style_monet_pretrained --model test --input_nc 3 --no_dropout --results_dir ./output_dir --preprocess none --num_test 30000

결과

find ./output_dir/style_monet_pretrained/ -name "*_real*" -delete

이미지 분류

import os
import shutil

# 원본 이미지가 있는 폴더 경로
source_folder = './output_dir/style_monet_pretrained/test_latest/images'

# 감정 목록과 각 감정에 해당하는 폴더 경로
emotions = ['amusement', 'anger', 'awe', 'contentment', 'disgust', 'excitement', 'fear', 'sadness']
destination_base_folder = './output_dir_sorted'

# 감정에 맞는 폴더를 생성하는 함수
def create_folders():
    for emotion in emotions:
        emotion_folder = os.path.join(destination_base_folder, emotion)
        if not os.path.exists(emotion_folder):
            os.makedirs(emotion_folder)

# 이미지 파일을 각 감정에 맞는 폴더로 이동하는 함수
def sort_images():
    for filename in os.listdir(source_folder):
        # 파일 이름에서 감정을 추출 (예: 'anger_00001.jpg')
        for emotion in emotions:
            if filename.startswith(emotion):
                source_path = os.path.join(source_folder, filename)
                destination_folder = os.path.join(destination_base_folder, emotion)
                destination_path = os.path.join(destination_folder, filename)
                
                # 파일 이동
                shutil.move(source_path, destination_path)
                print(f"Moved {filename} to {destination_folder}")
                break

# 메인 실행 부분
if __name__ == "__main__":
    # 감정별 폴더 생성
    create_folders()
    
    # 이미지 분류 및 이동
    sort_images()

    print("Image sorting completed.")

push_to_hub

준비 단계 - rename

• 현재 이미지들의 이름은 {감정}_00000_fake.jpg 이다. 이 이름을 새롭게 정의하고 중간중간 숫자가 없어 비어있는 인덱싱도 제대로 rename할 것이다.

import os

# 이미지가 저장된 폴더 경로
base_folder_path = 'E:\\EmoSet-118K_MonetStyle\\Image'

# 새로운 파일 이름 형식
new_name_format = '{}_{:05d}_GAN_monetstyle.jpg'

# 감정 리스트
emotions = ['amusement', 'anger', 'awe', 'contentment', 'disgust', 'excitement', 'fear', 'sadness']

def rename_images(emotion):
    # 감정 폴더 경로
    src_dir = os.path.join(base_folder_path, emotion)
    
    if not os.path.exists(src_dir):
        print(f"Directory {src_dir} does not exist.")
        return
    
    # 감정별로 새로운 인덱스를 0부터 시작
    new_index = 0

    # 감정별로 파일을 정렬하여 순서대로 처리
    image_files = sorted([f for f in os.listdir(src_dir) if f.endswith('.jpg') or f.endswith('.png')])

    for filename in image_files:
        # 원본 파일 경로
        old_file_path = os.path.join(src_dir, filename)

        # 새 파일 이름 형식 지정 (감정 이름, 새로운 인덱스 사용)
        new_filename = new_name_format.format(emotion, new_index)
        new_file_path = os.path.join(src_dir, new_filename)

        # 파일 이름 변경
        os.rename(old_file_path, new_file_path)
        print(f"Renamed {filename} to {new_filename}")

        # 인덱스 증가
        new_index += 1

# 모든 감정 폴더에 대해 이미지 이름 변경
for emotion in emotions:
    rename_images(emotion)

print("Image renaming completed.")

→ 이 코드를 통해서 이름을 {감정}_00000_GAN_monetstyle.jpg로 변경하였다!

준비 단계 - json파일 생성

• 각 감정 폴더 내에 각 이미지에 대응하는 info를 저장한 {감정}.json파일을 생성한다

import os
import json

# 이미지가 저장된 기본 폴더 경로
base_folder_path = 'E:\\EmoSet-118K_MonetStyle\\Image'

# 감정 목록과 대응되는 label 값
emotions = ['amusement', 'anger', 'awe', 'contentment', 'disgust', 'excitement', 'fear', 'sadness']
emotion_to_label = {emotion: idx for idx, emotion in enumerate(emotions)}

# JSON 파일을 생성하는 함수
def create_json_for_emotion(emotion):
    # 감정 폴더 경로
    src_dir = os.path.join(base_folder_path, emotion)
    
    if not os.path.exists(src_dir):
        print(f"Directory {src_dir} does not exist.")
        return
    
    # 감정별로 3000개 이미지를 처리
    image_files = sorted([f for f in os.listdir(src_dir) if f.endswith('.jpg') or f.endswith('.png')])
    
    json_data_list = []  # JSON 데이터 리스트

    for filename in image_files[:3000]:  # 최대 3000개만 처리
        # 원본 파일 이름에서 확장자를 제외한 부분
        base_filename = os.path.splitext(filename)[0]

        # 새로운 경로를 포함한 이미지 파일 이름
        new_image_path = f"image/{emotion}/{filename}"

        # label 값 설정 (감정에 따른 숫자)
        label = emotion_to_label[emotion]

        # 이미지에 맞는 JSON 구조 생성
        json_data = {
            "image": new_image_path,
            "emotion": emotion,
            "label": label,
            "image_id": base_filename
        }

        # JSON 데이터 리스트에 추가
        json_data_list.append(json_data)

    # JSON 파일 이름 설정
    json_filename = os.path.join(base_folder_path, f"{emotion}_data.json")

    # JSON 파일 쓰기
    with open(json_filename, 'w') as json_file:
        json.dump(json_data_list, json_file, indent=4)

    print(f"Created JSON for {emotion} with {len(json_data_list)} images.")

# 모든 감정에 대해 JSON 생성
for emotion in emotions:
    create_json_for_emotion(emotion)

print("JSON creation completed.")

→ json파일 생성, 각 감정 폴더 내에 위치.



{
        "image": "image/amusement/amusement_00000_GAN_monetstyle.jpg",
        "emotion": "amusement",
        "label": 0,
        "image_id": "amusement_00000_GAN_monetstyle"
},

→ json 파일 내 내용물은 이렇게 구성되어 있음. 데이터 학습에 있어 label은 숫자로 되어있어야 하기에 이렇게 구성하였음…
 

본론 - push_to_hub() 사용

Package            Version
------------------ -----------
aiohappyeyeballs   2.4.0
aiohttp            3.10.6
aiosignal          1.3.1
async-timeout      4.0.3
attrs              24.2.0
certifi            2024.8.30
charset-normalizer 3.3.2
colorama           0.4.6
datasets           3.0.0
dill               0.3.8
filelock           3.16.1
frozenlist         1.4.1
fsspec             2024.6.1
huggingface-hub    0.25.1
idna               3.10
multidict          6.1.0
multiprocess       0.70.16
numpy              2.0.2
packaging          24.1
pandas             2.2.3
pillow             10.4.0
pip                24.2
pyarrow            17.0.0
python-dateutil    2.9.0.post0
pytz               2024.2
PyYAML             6.0.2
requests           2.32.3
setuptools         75.1.0
six                1.16.0
tqdm               4.66.5
typing_extensions  4.12.2
tzdata             2024.2
urllib3            2.2.3
wheel              0.44.0
xxhash             3.5.0
yarl               1.12.1

import os
import json
from datasets import Dataset, Features, Image, Value, concatenate_datasets
from huggingface_hub import HfApi

# Hugging Face API 키 설정 (옵션)
api_token = "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"
api = HfApi()

# 업로드할 감정 목록
emotions = ["amusement", "anger", "awe", "contentment", "disgust", "excitement", "fear", "sadness"]

# 리포지토리 ID 설정
repo_id = "xodhks/Emoset118K_MonetStyle"

# 기존 데이터셋 불러오기 (옵션)
try:
    existing_dataset = load_dataset(repo_id, split='train')  # 'train' 스플릿만 불러옴
except:
    existing_dataset = None

# 각 감정에 대해 데이터를 처리
for emotion in emotions:
    json_path = f"E:/EmoSet-118K_MonetStyle/image/{emotion}/{emotion}_data.json"

    # JSON 파일 로드
    with open(json_path, 'r') as f:
        emotion_data = json.load(f)

    # 이미지 파일 경로와 JSON에서 읽은 메타데이터를 결합
    data = {
        "image": [],
        "emotion": [],
        "label": [],
        "image_id": []
    }

    for item in emotion_data:
        # JSON 데이터에서 이미지 경로를 가져오고, 메타데이터를 추가
        image_file = item["image"]  # 이미지는 full path로 저장되어 있음
        data["image"].append(image_file)
        data["emotion"].append(item["emotion"])
        data["label"].append(item["label"])  # label은 이미 숫자
        data["image_id"].append(item["image_id"])

    # 새로운 Dataset 생성
    features = Features({
        "image": Image(),           # 이미지 필드
        "emotion": Value("string"), # 감정 필드
        "label": Value("int32"),    # 라벨 필드 (숫자)
        "image_id": Value("string") # 이미지 ID 필드
    })
    new_dataset = Dataset.from_dict(data, features=features)

    # 기존 데이터셋과 병합
    if existing_dataset:
        combined_dataset = concatenate_datasets([existing_dataset, new_dataset])
    else:
        combined_dataset = new_dataset

    existing_dataset = combined_dataset

# 병합된 데이터셋을 Hugging Face Hub에 업로드
existing_dataset.push_to_hub(
    repo_id=repo_id,  # 동일한 리포지토리에 업로드
    token=api_token,
    max_shard_size="1GB"  # 데이터셋이 큰 경우 샤딩 설정
)

print("All emotion datasets have been merged and uploaded successfully.")

push_to_hub()를 사용할 때 데이터 셋의 구조는 어떻게 되어있을까?

데이터셋의 구조에 대해 물어보았다

Json파일이 어떻게 처리가 되는지 물어보았다.

data = {
    "image": [],
    "emotion": [],
    "label": [],
    "image_id": []
}

for item in emotion_data:
    image_file = item["image"]  # 이미지를 경로로 저장
    data["image"].append(image_file)
    data["emotion"].append(item["emotion"])
    data["label"].append(item["label"])  # 라벨은 이미 숫자로 저장됨
    data["image_id"].append(item["image_id"])

features = Features({
    "image": Image(),           # 이미지 필드
    "emotion": Value("string"), # 감정 필드
    "label": Value("int32"),    # 라벨 필드
    "image_id": Value("string") # 이미지 ID 필드
})

new_dataset = Dataset.from_dict(data, features=features)

if existing_dataset:
    combined_dataset = concatenate_datasets([existing_dataset, new_dataset])
else:
    combined_dataset = new_dataset

existing_dataset.push_to_hub(
    repo_id=repo_id,  # 동일한 리포지토리에 업로드
    token=api_token,
    max_shard_size="1GB"  # 데이터셋이 큰 경우 샤딩 설정
)