80萬元獎金、名企實習&作品孵化機會！中國石化第一屆人工智能創新大賽Baseline詳解（1）

賽題背景

本文分享賽題來自“中國石化第一屆人工智能創新大賽”，大賽由中國石油化工集團有限公司主辦，聚焦能源化工產業。賽題覆蓋了產業鏈上中下游的不同任務，包括勘探開發、煉化生產、油品銷售、智能營銷和智能金融等關鍵支撐環節。

目前大賽全部10道賽題均已上線，開放數據集下載、提交評測，來自全國頂級高校、科研院所以及人工智能領域研發企業的學者、研究人員、技術開發者將共同參與賽事角逐，集智創新。

本次大賽設置了豐厚的大賽獎勵，總獎金80萬元人民幣，其中每個賽道獎金8萬元人民幣，分設一等獎、二等獎、三等獎。此外，獲獎團隊還將獲得組委會頒發的榮譽證書，有機會獲得名企實習機會，作品孵化機會等，針對應用潛力大的優秀項目團隊有機會獲得額外激勵。

大賽官網：https://aicup.sinopec.com/?source=bl03

賽題Baseline分享

Baseline代碼下載：https://pan.baidu.com/s/1GYcrdGEE3H1cBgmtawgW7g?pwd=smv3

本期講者從賽題介紹、評價指標、數據集解讀以及解題思路（baseline代碼講解）四個方面進行分享。

一、賽題介紹

1.背景

地下石油并非儲存在巨大的油湖中，而是分布于巖石的微小孔隙內。油田開發初期依賴地層自身的天然壓力進行開采，但隨著壓力逐漸衰竭，油井產量會大幅下降。為維持產量，工程師采用水驅開發技術，即通過注水井向油層注水，以補充地壓、驅趕原油。本次競賽的數據就來自于一個進入水驅開發中后期的油藏，其動態調控的復雜性和重要性尤為突出。

水驅開發的核心挑戰在于，水的流動性比油更好。若注采調控不當，注入水會沿高滲透通道直接流竄到生產井，形成無效水循環，大幅降低石油的最終采收率。因此，如何精確地協同調控多口注水井的注水量和生產井的產液量，以最大限度地驅替石油而非“水”本身，是決定油田開發經濟效益的關鍵技術難題。

目前，注采參數的優化主要依賴工程師的經驗和耗時的數值模擬，難以實時捕捉多口井之間的動態干擾。本次競賽旨在探索一種新的解決方案：要求選手利用提供的油藏歷史數據，構建人工智能模型，精準預測在給定的未來注采計劃下，油井的含水率將如何變化，從而為油田的智能化決策提供支持。

2.競賽任務

參賽選手需利用提供的油藏歷史數據集，構建一個高精度的時空預測模型。具體任務是：依據油藏的靜態地質數據和油井、水井動態數據。在給定各油井日度數據作為輸入條件的前提下，精準預測出油井日度含水率(%)。

本賽題并非簡單的建模問題，是在時間和空間上都是有一定的難度的。所以我們在構建模型的時候需要考慮到業務的背景。

二、評價指標

本次比賽將采用均方根誤差 (Root Mean Squared Error, RMSE) 作為核心的、決定排名的唯一評價指標。

RMSE是衡量模型預測值與真實值之間差異的常用指標。對于本賽題，它將被用來計算所有測試井在所有測試月份的預測含水率與真實含水率之間的總體誤差。

• N: 是需要預測的總數據點數量，即 (測試的油井總數) × (測試的總月數)。

• y_i : 是第 i 個數據點的真實含水率(%)。

• y ^ {hat}_ i : 是參賽選手針對第 i 個數據點提交的預測含水率(%)。

三、數據集介紹

本次比賽數據集包含了多個文件，分別是靜態數據和動態數據。靜態數據是指:這部分數據在短期內不會發生變化的，比如說油井的具體的位置以及井與井之間的三維空間關系；在具體的位置和它的傾角以及方位角的關系；以及每口井在不同深度下的地質分層，以及歷史的射孔作業記錄等等，這些是短時間不會發生變化的。

在這部分的數據里面有一個比較特別的信息，對地質的分層有一個命名的體系。所以我們在對于這部分數據集做處理的時候，需要單獨的對地質分層的數據這個字符串進行處理。靜態數據雖然說短時間不會發生改變，但是在歷史的射孔數據集中間也是存在不同的時間段的，所以可以被視為一種動態數據。

動態數據包含月度以及日度的油、水井的注水記錄和一些參數的調整記錄。動態數據分為兩部分，一部分是訓練集，一部分是驗證集。

接下來我們直接觀察下比賽的原始數據集，我們可以看到數據集包含了多個字段，這些字段分別對應特定的邏輯含義，可以在賽題的主頁面（https://aicup.sinopec.com/competition/SINOPEC-03/）找到詳細的介紹，另一方面也可以借助于一些專業資料或者大模型來看一看這些字段具體的含義。

數據集中包含了井號，也就是每口油、水井的編號，還有一些是特定的三維信息，以數值形式做呈現。還有生產層位，剛才我們提到的，它是石油行業以及地質行業中特定的帶有邏輯的一串編碼，我們需要去對它進行具體的解析。其次在數據集中也是包含了日期，我們可以看到對于訓練集而言，包含了每口油、水井在某個生產層位的某一天的采集情況，以及含水率的記錄。這是我們的數據集的大體情況。

通過上述的介紹，相信各位參賽選手對比賽進行有了一定的了解。接下來我們就來看一看這場比賽我們應該以什么樣的思路去解決。

四、解題思路（Baseline代碼詳解）

我們先來看一下賽題的特點。首先本次賽題是一個比較典型的數據挖掘的題目，一方面原始數據以表格的形式進呈現，另一方面數據也都是都是比較規整的，這是賽題數據集的特點。

其次數據集中包含了兩部分的關鍵因素，一個關于時間的，另一個是關于空間的信息。所以我們在建模的時候，如果想要做額外的特征工程，則需要從這兩方面去進行考慮，這是第二個特點。

第三點是一些時間以及與時間相關的信息。如果我們仔細去觀察數據集的話會發現賽題數據集是每口油、水井的的觀測信息，也具備相關的射孔作業的信息。這意味著每口油、水井可能在不同的時間下，采用不同的流程去進行采集石油，或者說進行注水的操作，這意味著每口油水井自身的一些屬性可能也會存在著一定的變化。

所以在建模時，我們需要去按照時間的維度，然后考慮對油、水井以及不同的層位做一個簡單的、按照時間維度的排序。

此外比賽的數據集其實包含了很多關鍵信息。所有的數據集雖然是表格數據，并且以非常規整的形式進行存儲，但是如果我們想要從原始數據集中間挖掘出一些關鍵的信息，則需要自己去寫代碼完成，然后挖掘出其中關鍵的特征，再進行建模。最后再進行機器學習建模的部分。

本次賽題仍然是一個典型的數據挖掘任務，所以我們仍然非常建議各位參賽選手可以用一些機器學習的模型進行建模，那么下面我們就開始賽題思路及代碼的具體演示。

各位參賽選手如果已經配置好環境之后，就可以開始動手去寫代碼了。只需要有4GB 內存的CPU就可以參加本次比賽，不需要有額外的 GPU以及其他的硬件要求。

首先我們用Pandas讀取一下比賽的數據集，可以看一看數據的一些基礎信息。

import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from lightgbm import LGBMRegressor
from sklearn.model_selection import cross_val_predict
from sklearn.metrics import mean_absolute_error
well_info = pd.read_csv("初賽發布/坐標_well_info.csv") # 井位坐標數據表
well_info = well_info.rename({"井  號": "井號"}, axis=1)
well_deviation = pd.read_csv("初賽發布/井斜_well_deviation.csv") # 井斜數據表
well_perforation = pd.read_csv("初賽發布/射孔數據表_well_perforation.csv") # 射孔數據表
train_monthly_oil = pd.read_csv("初賽發布/單井油井月度數據__monthly_oil.csv")
train_monthly_water = pd.read_csv("初賽發布/單井水井月度數據_monthly_water.csv", encoding="gbk")
train_daily_oil = pd.read_csv("初賽發布/單井油井日度數據train_daily_oil.csv")
train_daily_water = pd.read_csv("初賽發布/單井水井日度數據_daily_water.csv")
train_daily_water['日期'] = pd.to_datetime(train_daily_water['日期'])
validation_daily_oil = pd.read_csv("初賽發布/單井油井日度待預測數據_validation_without_truth.csv")
sample_submission = pd.read_csv("初賽發布/sample_submission.csv")
# Print the first few rows of each dataframe to verify they have been loaded correctly
print("Well Info:")
print(well_info.head())
print(well_info.columns, well_deviation.shape)
print("\nWell Deviation:")
print(well_deviation.head())
print(well_deviation.columns, well_deviation.shape)
print("\nWell Perforation:")
print(well_perforation.head())
print(well_perforation.columns, well_perforation.shape)
print("\nMonthly Oil (Train):")
print(train_monthly_oil.head())
print(train_monthly_oil.columns, train_monthly_oil.shape)
print("\nMonthly Water (Train):")
print(train_monthly_water.head())
print(train_monthly_water.columns, train_monthly_water.shape)
print("\nDaily Oil (Train):")
print(train_daily_oil.head())
print(train_daily_oil.columns, train_daily_oil.shape)
print("\nDaily Water (Train):")
print(train_daily_water.head())
print(train_daily_water.columns, train_daily_water.shape)
print("\nDaily Oil (Validation):")
print(validation_daily_oil.head())
print(validation_daily_oil.columns, validation_daily_oil.shape)
print("\nSample Submission:")
print(sample_submission.head())
print(sample_submission.columns, sample_submission.shape)

最上面展示的是靜態數據，包括了井位的坐標，它和我們的本次比賽是緊密相關的，因為這個坐標其實已經是做了一個匿名的處理，可能和經緯度有一定的關聯，但可能還是有差異。

坐標信息代表了每口井在地面上的精確的位置，也反映了每口井之間的相互的聯系，因為油、水井之間的一個距離會最終影響到產油量。所以每口井之間的相互位置是一個非常重要的基礎信息。通過坐標，我們可以換算出兩口水井之間的距離和相對的范圍。

其次是井斜數據，因為每口油井的方向可能不是垂直向下，可能會存在明顯的三維軌跡，所以在第二個數據里面記錄了傾斜和方位角的一些信息。

第三部分是射孔數據，這部分數據非常非常關鍵。我們在最終去做預測的時候實際上是對每一口井的層位去做一個建模。射孔是流入井的通道中在鋼制套管上打的一些孔眼，它對應了不同的位置。這部分數據也包括了射孔的一些具體的層以及它的厚度等信息。同時射孔數據的起止時間也非常關鍵。

接下來是動態數據。這一部分包括了按照月度的日度的每口井在不同生產層位的具體的日產油、日產液以及含水率。從原始數據集中可以大致看到，我們最終去做建模的時候，其實是以每口井在不同的生產層位，對應的不同時間下的含水率。

所以這一部分包含了油水井在生產和注入過程中間各項指標隨著時間的變化，并且需要與井號和生產層位關聯在一起，因為不同的井號、不同生產層位對應的數據不一樣。我們可以大致可以看出一個規律，隨著時間的推移，井在生產層位中的含水率是逐步增加的，并且增加的頻次不會特別大。

最終需要提交兩列 ID和predict，ID是和驗證集的數據表相關聯的，也就是我們需要去提交的格式是某口井在某個生產層位下的某一天的含水率。

如果我們把日度數據的訓練集和驗證集一起打印出來，可以得到一個規律。

通過對比，對于訓練集而言，每口井在不同層位的生產時間可能早于驗證集，所以驗證集的時間劃分可能跟訓練集在時間上存在交叉，因為每口井的觀測時間是不一樣的。所以賽題的時間信息是來自于日期，空間信息則來自于井號和生產的層位。所以時空信息在這些字段上面可以體現出來。

接下來我們挑選數據集中的某一口井的某一個層位做可視化處理，按照 x軸是時間，y軸是含水率以及日產油，如果我們把它匯聚在一起可以看到這兩個曲線的整體趨勢是相反的，大家可以猜一猜這兩條曲線分別哪一條代表代表的是含水率，哪一條代表的是日產油？

上面的這條曲線代表的是它的含水率，下面的一條曲線代表的是日產油。因為在本賽題中石油開采過程是一個不斷注水的過程，我們需要保證地下的壓力足夠讓石油采集出來，所以在開采時會不斷地注水或者是一些含水的泥漿進去。

在這個過程中隨著時間的推移，某口油井在某個層位的含水率就會不斷增加。也就是隨著注入水的增加，對應能夠采集的石油也就越少，總體上是這樣的一個邏輯。所以從可視化的角度以及相關性的角度都可以得到類似的結論，含水率和日產油以及時間是負相關的。

接下來我們來看生產層位這一字段，中間的“-”代表采集是從其中一個層位到另一個層位。通過查閱一些資料我們可以了解到層位是與地質的一些信息相關聯，比如代表地下巖層的年份、巖層的編號，即可以對應時間以及距離。

我們可以看到一些油井的開采位置可能在單一層位進行開采，也可能是在多層一起開采。所以生產層位的字段是一個復雜的字符串，對于這部分數據我們需要單獨做處理。

我們可以去提取生產層位的大層位以及小層位以及開采的位置，以及開采的某一層到另一層位的距離信息，我們可以使用正則表達式提取這部分關鍵信息。

接下來我們就可以基于上述的一些發現去做一些建模了。首先我們在做建模的時候，一定要明確我們最終的樣本，或者是我們預測的維度是什么。我們需要預測的樣本是某口井，在某個層位，在某個時間的含水率，這是我們需要去做一個建模的最小樣本的含義。

所以我們可以從多個角度去做特征工程，比說從井的角度，我們可以統計這口井的深度以及三維信息；我們從某一位的角度，可以從某一層去做特征提?。灰部梢詮哪硞€時間上面去統計它歷史的含水率的變化。

所以在接下來的特征工程，我們也是按照這種思路，圍繞著我們樣本的含義去做特征工程。我們將這些特征合并完成之后就可以去進行訓練和驗證。

需要注意的是在本次比賽中，數據集樣本數量比較少，在訓練的時候可能整體的波動性比較大。

最終我們需要去預測1,708個樣本，訓練集大約是11萬個樣本。通過上述的特征工程，我們可以構建一個回歸模型，在回歸模型中用決策樹去做預測，然后進行提交評測?？偨Y來說本次賽題的基礎思路是圍繞樣本的組成，從時間維度、空間維度去提取一些特征工程去做建模。

train_set = pd.merge(train_daily_oil, well_info, on = "井號", how="left")
train_set["日期"] = pd.to_datetime(train_set["日期"])
train_set["日期"] = train_set["日期"].dt.to_period('M')
train_set["日期"] = train_set['日期'].dt.to_timestamp()
 
well_deviation_agg = well_deviation.groupby("井號").agg({
"測點深度": ["min", "max"],
"井斜角": ["max", "nunique"],
"方位角": ["max", "nunique"]
})
well_deviation_agg.columns = [x[0] + "_" + x[1] for x in well_deviation_agg.columns]
well_deviation_agg = well_deviation_agg.reset_index()
train_set = pd.merge(train_set, well_deviation_agg, on = ["井號"], how="left")
 
train_daily_water_agg = train_daily_water.groupby(["井號", "日期"]).agg({
 '干壓(Mpa)': ["min", "max", "sum"],
 '油壓(Mpa)': ["min", "max", "sum"],
 '日配注(m3)': ["min", "max", "sum"],
 '日注水(m3)': ["min", "max", "sum"],
})
train_daily_water_agg.columns = [x[0] + "_" + x[1] for x in train_daily_water_agg.columns]
train_daily_water_agg = train_daily_water_agg.reset_index()
train_set = pd.merge(train_set, train_daily_water_agg, on = ["井號", "日期"], how="left")
 
train_monthly_oil['年月'] = train_monthly_oil['年月'].astype(str)
train_monthly_oil['年月'] = pd.to_datetime(train_monthly_oil['年月'], format='%Y%m')
train_monthly_oil['日期'] = train_monthly_oil['年月'].dt.to_period('M')
train_monthly_oil["日期"] = train_monthly_oil['日期'].dt.to_timestamp()
train_set = pd.merge(train_set, train_monthly_oil, on = ["井號", "日期"], how="left")
 
train_set = train_set.drop(["ID", "井號", "日期", "生產層位", "年月", "層位"], axis=1)
 
test_set = pd.merge(validation_daily_oil, well_info, on = "井號", how="left")
test_set["日期"] = pd.to_datetime(test_set["日期"])
test_set["日期"] = test_set["日期"].dt.to_period('M')
test_set["日期"] = test_set['日期'].dt.to_timestamp()
 
test_set = pd.merge(test_set, well_deviation_agg, on = ["井號"], how="left")
test_set = pd.merge(test_set, train_daily_water_agg, on = ["井號", "日期"], how="left")
test_set = pd.merge(test_set, train_monthly_oil, on = ["井號", "日期"], how="left")
test_set = test_set.drop(["id","井號", "日期", "生產層位", "年月", "層位", ], axis=1)
 
pred = cross_val_predict(LGBMRegressor(), train_set.drop(['含水'], axis=1).fillna(0), train_set["含水"])
mean_absolute_error(train_set["含水"].values, pred)
 
model = LinearRegression()
model.fit(train_set.drop(['含水', "日產油(t)"], axis=1).fillna(0), train_set["含水"])
 
pred = model.predict(test_set.fillna(0)).astype(int)
 
validation_daily_oil["predict"] = pred
 
validation_daily_oil[["id", "predict"]].to_csv("result.csv", index=None)

五、進階思路

本次賽題仍然是一個數據挖掘的回歸類型的賽題，baseline中沒有做很多的特征工程，后續大家如果想去做一些改進，可以考慮圍繞著空間和時間去增加更多的特征。

當然特征也需要考慮進行一些篩選，因為數據集本身是非常離散的，特征提取的維度可以從每口井和不同井之間的距離以及一些空間地理位置。

如果從可視化角度，可以看到某一口井的生產層位的含水率不會波動特別大，可能是逐步穩步上升的，所以我們在做特征工程的時候也可以考慮以某口井某個生產層為的歷史含水率，直接去構建一個線性模型。也就是在做建模的時候僅利用含水率與時間做線性回歸。