jack/Chan
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

add more files

Browse Source
This commit is contained in:
jackyu66git
2025-04-25 21:39:24 +08:00
parent 761d73cdac
commit bb0b70fa44
12 changed files with 787 additions and 108 deletions
Download Patch File Download Diff File Expand all files Collapse all files
ChanLun_Classifier.py
+78 -14
View File
@@ -49,17 +49,15 @@ class ChanLunClassifier:
train_df = dataframe.iloc[:train_size].copy()
# 获取训练集特征和标签
X_train, y_train = self.get_feature_data(train_df)
save_csv = True if data_file_path else False
X_train, y_train = self.get_feature_data(train_df, save_csv=save_csv, csv_path=data_file_path if data_file_path else 'feature_data.csv')
if len(X_train) == 0:
print("没有提取到足够的特征数据进行训练")
return None
# 保存特征数据（可选）
if data_file_path:
feature_df = pd.DataFrame(X_train)
feature_df['label'] = y_train
feature_df.to_csv(data_file_path, index=False)
# 保存特征数据的步骤已经移到get_feature_data方法中处理
# 以下是原有代码
#{'eta': 0.03, 'max_depth': 4, 'subsample': 0.8, 'colsample_bytree': 0.8, 'gamma': 0.1, 'min_child_weight': 3, 'alpha': 1, 'lambda': 3},
# 默认XGBoost参数
default_params = {
@@ -210,10 +208,12 @@ class ChanLunClassifier:
else:
self.model = xgb.Booster()
self.model.load_model(model_file_path)
def find_best_params(self, dataframe=None):
def find_best_params(self, dataframe=None, save_csv=False, csv_path_prefix='param_'):
"""
寻找最佳参数组合
:param dataframe: 输入的DataFrame，如果为None则使用初始化时的dataframe
:param save_csv: 是否保存特征数据到CSV文件
:param csv_path_prefix: CSV文件保存路径前缀，会自动添加参数信息
:return: 最佳参数
"""
# 不同参数组合
@@ -234,9 +234,13 @@ class ChanLunClassifier:
best_params = None
best_model = None
for params in param_combinations:
for i, params in enumerate(param_combinations):
print(f"\n尝试参数组合: {params}")
model = self.train_model(dataframe=dataframe, custom_params=params)
# 生成CSV文件名，包含一些参数信息
param_info = f"eta{params['eta']}_depth{params['max_depth']}"
train_csv_path = f"{csv_path_prefix}train_{param_info}.csv" if save_csv else None
model = self.train_model(dataframe=dataframe, data_file_path=train_csv_path, custom_params=params)
# 分割数据集，后20%用于测试
if dataframe is None:
@@ -246,7 +250,8 @@ class ChanLunClassifier:
test_df = dataframe.iloc[train_size:].copy()
# 获取测试集特征和标签
X_test, y_test = self.get_validate_feature_data(test_df)
test_csv_path = f"{csv_path_prefix}test_{param_info}.csv" if save_csv else None
X_test, y_test = self.get_validate_feature_data(test_df, save_csv=save_csv, csv_path=test_csv_path)
if len(X_test) == 0:
print("没有提取到足够的测试特征数据")
@@ -272,10 +277,12 @@ class ChanLunClassifier:
return best_params
def get_feature_data(self, dataframe):
def get_feature_data(self, dataframe, save_csv=False, csv_path='feature_data.csv'):
"""
从dataframe提取特征数据
:param dataframe: 输入的DataFrame
:param save_csv: 是否保存特征数据到CSV文件
:param csv_path: CSV文件保存路径
:return: 特征矩阵X和标签y
"""
# 使用ChanLun获取bi_list
@@ -285,6 +292,7 @@ class ChanLunClassifier:
# 筛选方向为UP的bi的起始klc
feature_data = []
labels = []
feature_keys = [] # 用于保存特征名称
bi_index = 1
sample_list = []
@@ -301,6 +309,10 @@ class ChanLunClassifier:
# 提取特征
features = klc.get_feature_data()
# 保存第一个样本的特征名称，用于CSV列名
if len(feature_keys) == 0:
feature_keys = list(features.keys())
# 将特征转换为模型可用的格式
feature_vec = []
for key, value in features.items():
@@ -323,15 +335,38 @@ class ChanLunClassifier:
feature_data.append(feature_vec)
labels.append(label)
# 如果需要保存到CSV
if save_csv:
# 创建DataFrame保存特征数据
# 只保留数值型特征
numeric_feature_keys = [key for i, key in enumerate(feature_keys)
if i < len(feature_data[0]) if isinstance(feature_data[0][i], (int, float))]
# 创建特征数据的DataFrame
df_features = pd.DataFrame(feature_data, columns=numeric_feature_keys)
# 添加标签列
df_features['label'] = labels
# 添加时间信息便于分析
if len(sample_list) > 0:
times = [klc.start_time for klc in sample_list]
df_features['time'] = times
# 保存到CSV
df_features.to_csv(csv_path, index=False)
print(f"特征数据已保存到 {csv_path}")
# 在return前添加
positive_count = np.sum(labels)
print(f"正样本数量: {positive_count}, 负样本数量: {len(labels) - positive_count}")
print("Trainning data: ", len(feature_data), klc_list[-1].start_time, klc_list[-1].klc_fx_type , "---------------------")
return np.array(feature_data), np.array(labels)
def get_validate_feature_data(self, dataframe):
def get_validate_feature_data(self, dataframe, save_csv=False, csv_path='validate_feature_data.csv'):
"""
从dataframe提取特征数据
:param dataframe: 输入的DataFrame
:param save_csv: 是否保存特征数据到CSV文件
:param csv_path: CSV文件保存路径
:return: 特征矩阵X和标签y
"""
# 使用ChanLun获取bi_list
@@ -341,6 +376,8 @@ class ChanLunClassifier:
# 筛选方向为UP的bi的起始klc
feature_data = []
labels = []
feature_keys = [] # 用于保存特征名称
bi_index = 1
sample_list = []
for klc in klc_list:
@@ -353,6 +390,10 @@ class ChanLunClassifier:
# 提取特征
features = klc.get_feature_data()
# 保存第一个样本的特征名称，用于CSV列名
if len(feature_keys) == 0:
feature_keys = list(features.keys())
# 将特征转换为模型可用的格式
feature_vec = []
# 与get_feature_data保持一致，只使用相同的特征集
@@ -373,12 +414,35 @@ class ChanLunClassifier:
feature_data.append(feature_vec)
labels.append(label)
# 如果需要保存到CSV
if save_csv:
# 创建DataFrame保存特征数据
# 只保留数值型特征
numeric_feature_keys = [key for i, key in enumerate(feature_keys)
if i < len(feature_data[0]) if isinstance(feature_data[0][i], (int, float))]
# 创建特征数据的DataFrame
df_features = pd.DataFrame(feature_data, columns=numeric_feature_keys)
# 添加标签列
df_features['label'] = labels
# 添加时间信息便于分析
if len(sample_list) > 0:
times = [klc.start_time for klc in sample_list]
df_features['time'] = times
# 保存到CSV
df_features.to_csv(csv_path, index=False)
print(f"验证特征数据已保存到 {csv_path}")
print("Validating data: ", len(feature_data), klc_list[-1].start_time, klc_list[-1].klc_fx_type , "---------------------")
return np.array(feature_data), np.array(labels)
def validate_model(self, dataframe=None):
def validate_model(self, dataframe=None, save_csv=False, csv_path='validate_feature_data.csv'):
"""
使用dataframe后20%的数据验证模型
:param dataframe: 输入的DataFrame，如果为None则使用初始化时的dataframe
:param save_csv: 是否保存特征数据到CSV文件
:param csv_path: CSV文件保存路径
:return: 验证结果
"""
if self.model is None:
@@ -393,7 +457,7 @@ class ChanLunClassifier:
test_df = dataframe.iloc[train_size:].copy()
# 获取测试集特征和标签
X_test, y_test = self.get_validate_feature_data(test_df)
X_test, y_test = self.get_validate_feature_data(test_df, save_csv=save_csv, csv_path=csv_path)
if len(X_test) == 0:
print("没有提取到足够的测试特征数据")