import pandas as pd

from pathlib import Path

# 파일 경로 설정 (절대 경로)

data_path = Path(r'C:\Users\user\Desktop\otto-recommender-system')

train_file_path = data_path / 'train.jsonl'

# 파일 존재 여부 확인

if not train_file_path.exists():

raise FileNotFoundError(f"파일이 존재하지 않습니다: {train_file_path}")

# 전체 라인 수 계산

num_lines = sum(1 for line in open(train_file_path, 'r', encoding='utf-8'))

print(f'전체 라인 수: {num_lines:_}')

# 청크 크기와 청크 수 설정

chunksize = 100_000

num_chunks = int(np.ceil(num_lines / chunksize))

print(f'청크 수: {num_chunks:_}')

# 처음 두 청크 읽기 및 병합

n = 2

train_sessions = pd.DataFrame()

chunks = pd.read_json(train_file_path, lines=True, chunksize=chunksize)

for e, chunk in enumerate(chunks):

if e < n:

train_sessions = pd.concat([train_sessions, chunk])

else:

break

# 데이터프레임 설정

train_sessions = train_sessions.set_index('session', drop=True).sort_index()

# 결과 출력

print(train_sessions.head())