feat: canlı veri — ilan.gov.tr açık ihale + EKAP doğrudan temin (22/d)
- server/index.js: ilan.gov.tr proxy (açık ihale + kira/satış), TLS zincir düzeltmesi - server/dt-worker.mjs: EKAP doğrudan temin toplayıcı (Playwright, imzasız oturum içi fetch) - server/dt-store.mjs + il-plaka.mjs: DT verisini tender modeline çevirme - src/services/tenderApi.js + AppContext: mock veri yerine canlı API - Doğrudan Temin sekmesi 256 gerçek 22/d kaydıyla dolu
This commit is contained in:
@@ -0,0 +1,298 @@
|
||||
/**
|
||||
* ihaleist Doğrudan Temin (22/d) Worker
|
||||
*
|
||||
* EKAP'ın doğrudan temin verisini toplar. İmzalı v2 API'ye ihtiyaç duymaz:
|
||||
* Playwright ile YeniIhaleArama.aspx açılarak oturum (ASP.NET_SessionId +
|
||||
* BIG-IP TS çerezi) kurulur, ashx çağrıları sayfanın İÇİNDEN fetch ile yapılır —
|
||||
* böylece TLS parmak izi ve çerezler gerçek tarayıcıya aittir.
|
||||
* (Yöntem referansı: alizorlu/ekap-dt-service)
|
||||
*
|
||||
* Kullanım:
|
||||
* node server/dt-worker.mjs # liste + eksik detayları çek
|
||||
* node server/dt-worker.mjs --pages 5 # ilk 5 liste sayfası
|
||||
* node server/dt-worker.mjs --details 20 # bu turda en fazla 20 detay
|
||||
*
|
||||
* Veri: server/data/dt.sqlite (node:sqlite, ek bağımlılık yok)
|
||||
* Bağımlılık: playwright (npm i -D playwright && npx playwright install chromium)
|
||||
*/
|
||||
|
||||
import { DatabaseSync } from 'node:sqlite';
|
||||
import fs from 'node:fs';
|
||||
import path from 'node:path';
|
||||
import { fileURLToPath } from 'node:url';
|
||||
import { chromium } from 'playwright';
|
||||
|
||||
const __dirname = path.dirname(fileURLToPath(import.meta.url));
|
||||
const DATA_DIR = path.join(__dirname, 'data');
|
||||
const DB_PATH = path.join(DATA_DIR, 'dt.sqlite');
|
||||
|
||||
const BASE_URL = 'https://ekap.kik.gov.tr';
|
||||
const SEARCH_PAGE = '/EKAP/YeniIhaleArama.aspx';
|
||||
const DATA_HANDLER = '/EKAP/Ortak/YeniIhaleAramaData.ashx';
|
||||
|
||||
const args = process.argv.slice(2);
|
||||
const argVal = (name, def) => {
|
||||
const i = args.indexOf(name);
|
||||
return i >= 0 && args[i + 1] ? Number(args[i + 1]) : def;
|
||||
};
|
||||
const MAX_PAGES = argVal('--pages', 10);
|
||||
const MAX_DETAILS = argVal('--details', 40);
|
||||
const DELAY_BASE_MS = 2000;
|
||||
const DELAY_JITTER_MS = 1500;
|
||||
|
||||
// ---------------------------------------------------------------------------
|
||||
// SQLite
|
||||
// ---------------------------------------------------------------------------
|
||||
fs.mkdirSync(DATA_DIR, { recursive: true });
|
||||
const db = new DatabaseSync(DB_PATH);
|
||||
db.exec(`
|
||||
CREATE TABLE IF NOT EXISTS dt_tenders (
|
||||
dogrudan_temin_id TEXT PRIMARY KEY,
|
||||
idare_id TEXT,
|
||||
dtn TEXT,
|
||||
isin_adi TEXT,
|
||||
idare_adi TEXT,
|
||||
turu TEXT,
|
||||
durumu TEXT,
|
||||
ili TEXT,
|
||||
dt_tarihi TEXT,
|
||||
yayim_tarihi TEXT,
|
||||
list_json TEXT,
|
||||
detail_json TEXT,
|
||||
detail_fetched_at TEXT,
|
||||
created_at TEXT DEFAULT (datetime('now')),
|
||||
updated_at TEXT DEFAULT (datetime('now'))
|
||||
);
|
||||
CREATE INDEX IF NOT EXISTS idx_dt_tarihi ON dt_tenders (dt_tarihi);
|
||||
`);
|
||||
|
||||
const upsertList = db.prepare(`
|
||||
INSERT INTO dt_tenders (dogrudan_temin_id, idare_id, dtn, isin_adi, idare_adi, turu, durumu, ili, dt_tarihi, yayim_tarihi, list_json)
|
||||
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
|
||||
ON CONFLICT(dogrudan_temin_id) DO UPDATE SET
|
||||
dtn = excluded.dtn, isin_adi = excluded.isin_adi, idare_adi = excluded.idare_adi,
|
||||
turu = excluded.turu, durumu = excluded.durumu, ili = excluded.ili,
|
||||
dt_tarihi = excluded.dt_tarihi, yayim_tarihi = excluded.yayim_tarihi,
|
||||
list_json = excluded.list_json, updated_at = datetime('now')
|
||||
`);
|
||||
|
||||
const setDetail = db.prepare(`
|
||||
UPDATE dt_tenders SET detail_json = ?, detail_fetched_at = datetime('now'), updated_at = datetime('now')
|
||||
WHERE dogrudan_temin_id = ?
|
||||
`);
|
||||
|
||||
// ---------------------------------------------------------------------------
|
||||
// EKAP oturumu (Playwright)
|
||||
// ---------------------------------------------------------------------------
|
||||
const sleep = (ms) => new Promise((r) => setTimeout(r, ms));
|
||||
const humanDelay = () => sleep(DELAY_BASE_MS + Math.floor(Math.random() * DELAY_JITTER_MS));
|
||||
|
||||
async function openSession() {
|
||||
const browser = await chromium.launch({
|
||||
headless: true,
|
||||
args: [
|
||||
'--disable-blink-features=AutomationControlled',
|
||||
'--no-first-run',
|
||||
'--no-default-browser-check',
|
||||
'--disable-dev-shm-usage',
|
||||
],
|
||||
});
|
||||
const context = await browser.newContext({
|
||||
userAgent:
|
||||
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36',
|
||||
locale: 'tr-TR',
|
||||
timezoneId: 'Europe/Istanbul',
|
||||
viewport: { width: 1920, height: 1080 },
|
||||
extraHTTPHeaders: { 'Accept-Language': 'tr-TR,tr;q=0.9,en-US;q=0.8,en;q=0.7' },
|
||||
});
|
||||
await context.addInitScript(() => {
|
||||
Object.defineProperty(navigator, 'webdriver', { get: () => undefined });
|
||||
window.chrome = window.chrome || { runtime: {} };
|
||||
Object.defineProperty(navigator, 'languages', { get: () => ['tr-TR', 'tr', 'en-US', 'en'] });
|
||||
Object.defineProperty(navigator, 'plugins', { get: () => [1, 2, 3, 4, 5] });
|
||||
});
|
||||
const page = await context.newPage();
|
||||
console.log(`[dt-worker] EKAP oturumu açılıyor: ${BASE_URL}${SEARCH_PAGE}`);
|
||||
const resp = await page.goto(BASE_URL + SEARCH_PAGE, {
|
||||
waitUntil: 'domcontentloaded',
|
||||
timeout: 60000,
|
||||
});
|
||||
if (!resp || !resp.ok()) throw new Error(`EKAP arama sayfası açılamadı: HTTP ${resp?.status()}`);
|
||||
await sleep(2500 + Math.floor(Math.random() * 1500)); // BIG-IP TS çerezinin oturması için
|
||||
console.log('[dt-worker] oturum hazır');
|
||||
return { browser, page };
|
||||
}
|
||||
|
||||
const searchPage = (sess, i) =>
|
||||
fetchAshx(sess, `?ES=&ihaleidListesi=&dtBilgiSecim=1&metot=dtAra&orderBy=10&pageIndex=${i}`);
|
||||
|
||||
const fetchDetail = (sess, dtId, idareId) =>
|
||||
fetchAshx(
|
||||
sess,
|
||||
`?dogrudanTeminId=${encodeURIComponent(dtId)}&idareId=${encodeURIComponent(idareId)}&metot=dtDetayGetir`,
|
||||
);
|
||||
|
||||
// ashx çağrısını sayfanın içinden yapar (çerezler otomatik gider).
|
||||
// Ara sıra BIG-IP challenge HTML'i döner; sayfayı tazeleyip 3 kez dener.
|
||||
async function fetchAshx(sess, query) {
|
||||
for (let attempt = 1; attempt <= 3; attempt++) {
|
||||
let status = 0;
|
||||
let text = '';
|
||||
try {
|
||||
const raw = await sess.page.evaluate(async (url) => {
|
||||
const res = await fetch(url, {
|
||||
method: 'GET',
|
||||
credentials: 'include',
|
||||
headers: {
|
||||
Accept: 'application/json, text/plain, */*',
|
||||
'Cache-Control': 'no-cache',
|
||||
Pragma: 'no-cache',
|
||||
},
|
||||
});
|
||||
return JSON.stringify({ status: res.status, text: await res.text() });
|
||||
}, DATA_HANDLER + query);
|
||||
({ status, text } = JSON.parse(raw));
|
||||
} catch (err) {
|
||||
if (attempt === 3) throw err;
|
||||
}
|
||||
|
||||
if (status === 200 && text && !text.trimStart().startsWith('<')) {
|
||||
return JSON.parse(text);
|
||||
}
|
||||
|
||||
if (attempt < 3) {
|
||||
console.warn(`[dt-worker] beklenmeyen yanıt (HTTP ${status}, ${text.length} kr), oturum tazeleniyor (deneme ${attempt})`);
|
||||
await refreshSession(sess);
|
||||
await sleep(3000 * attempt);
|
||||
} else {
|
||||
throw new Error(`EKAP ashx beklenmeyen yanıt (HTTP ${status}, ${text.length} kr), denemeler tükendi`);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// Aynı context içinde sayfayı yeniden yükleyerek oturumu tazeler.
|
||||
async function refreshSession(sess) {
|
||||
try {
|
||||
await sess.page.goto(BASE_URL + SEARCH_PAGE, { waitUntil: 'domcontentloaded', timeout: 60000 });
|
||||
await sleep(2500 + Math.floor(Math.random() * 1500));
|
||||
} catch (err) {
|
||||
console.warn(`[dt-worker] oturum tazeleme hatası: ${err.message}`);
|
||||
}
|
||||
}
|
||||
|
||||
// dtAra listesi alanları obfuscate edilmiş (E1..E14). Çözülmüş konum eşlemesi:
|
||||
// E1=DTN E2=işin adı E3=idare adı E4=tür kodu E7=DT tarihi E8=yayım tarihi
|
||||
// E10=dogrudanTeminId E11=idareId E12=il plaka kodu E13=ilan var E14=e-ihale
|
||||
const TUR_KODU = { 1: 'Mal Alımı', 2: 'Hizmet Alımı', 3: 'Konaklama/Hizmet', 4: 'Danışmanlık' };
|
||||
const IL_PLAKA = {
|
||||
1: 'Adana', 6: 'Ankara', 7: 'Antalya', 16: 'Bursa', 21: 'Diyarbakır', 25: 'Erzurum',
|
||||
26: 'Eskişehir', 27: 'Gaziantep', 34: 'İstanbul', 35: 'İzmir', 38: 'Kayseri', 41: 'Kocaeli',
|
||||
42: 'Konya', 44: 'Malatya', 55: 'Samsun', 61: 'Trabzon', 65: 'Van', 63: 'Şanlıurfa',
|
||||
};
|
||||
|
||||
function mapListRow(r) {
|
||||
const plaka = Number(r.E12);
|
||||
return {
|
||||
dogrudanTeminId: String(r.E10 ?? ''),
|
||||
idareId: String(r.E11 ?? ''),
|
||||
dtn: String(r.E1 ?? ''),
|
||||
isinAdi: r.E2 ?? null,
|
||||
idareAdi: r.E3 ?? null,
|
||||
turu: TUR_KODU[Number(r.E4)] || (r.E4 ? `Tür ${r.E4}` : null),
|
||||
durumu: null, // liste durum vermiyor; detayda geliyor
|
||||
ili: IL_PLAKA[plaka] || (plaka ? `Plaka ${plaka}` : null),
|
||||
dtTarihi: r.E7 ?? null,
|
||||
yayimTarihi: r.E8 ?? null,
|
||||
};
|
||||
}
|
||||
|
||||
function extractRows(listResponse) {
|
||||
if (Array.isArray(listResponse)) return listResponse;
|
||||
// dtAra yanıtı: { sp, yeniDogrudanTeminAramaResultList: [...] }
|
||||
if (Array.isArray(listResponse?.yeniDogrudanTeminAramaResultList)) {
|
||||
return listResponse.yeniDogrudanTeminAramaResultList;
|
||||
}
|
||||
for (const v of Object.values(listResponse || {})) {
|
||||
if (Array.isArray(v) && v.length && typeof v[0] === 'object') return v;
|
||||
}
|
||||
return [];
|
||||
}
|
||||
|
||||
// ---------------------------------------------------------------------------
|
||||
// Ana akış
|
||||
// ---------------------------------------------------------------------------
|
||||
async function run() {
|
||||
const { browser, page } = await openSession();
|
||||
const sess = { browser, page };
|
||||
try {
|
||||
// 1) Liste taraması
|
||||
let newCount = 0;
|
||||
for (let i = 0; i < MAX_PAGES; i++) {
|
||||
const data = await searchPage(sess, i);
|
||||
const rows = extractRows(data);
|
||||
if (i === 0 && rows[0]) {
|
||||
const s = mapListRow(rows[0]);
|
||||
console.log(`[dt-worker] ilk sayfa: ${rows.length} kayıt; örnek: ${s.dtn} / ${(s.isinAdi || '').slice(0, 40)} / ${s.ili}`);
|
||||
}
|
||||
if (rows.length === 0) {
|
||||
console.log(`[dt-worker] sayfa ${i}: boş, tarama bitti`);
|
||||
break;
|
||||
}
|
||||
let pageNew = 0;
|
||||
for (const r of rows) {
|
||||
const m = mapListRow(r);
|
||||
if (!m.dogrudanTeminId) continue;
|
||||
const existed = db
|
||||
.prepare('SELECT 1 FROM dt_tenders WHERE dogrudan_temin_id = ?')
|
||||
.get(m.dogrudanTeminId);
|
||||
upsertList.run(
|
||||
m.dogrudanTeminId, m.idareId, m.dtn, m.isinAdi, m.idareAdi,
|
||||
m.turu, m.durumu, m.ili, m.dtTarihi, m.yayimTarihi, JSON.stringify(r),
|
||||
);
|
||||
if (!existed) {
|
||||
pageNew++;
|
||||
newCount++;
|
||||
}
|
||||
}
|
||||
console.log(`[dt-worker] sayfa ${i}: ${rows.length} kayıt, ${pageNew} yeni`);
|
||||
if (pageNew === 0 && i > 0) {
|
||||
console.log('[dt-worker] sayfadaki tüm kayıtlar zaten mevcut, tarama durdu');
|
||||
break;
|
||||
}
|
||||
await humanDelay();
|
||||
}
|
||||
|
||||
// 2) Eksik detaylar
|
||||
const pending = db
|
||||
.prepare(
|
||||
`SELECT dogrudan_temin_id, idare_id FROM dt_tenders
|
||||
WHERE detail_json IS NULL AND idare_id != '' LIMIT ?`,
|
||||
)
|
||||
.all(MAX_DETAILS);
|
||||
console.log(`[dt-worker] ${pending.length} detay çekilecek`);
|
||||
let ok = 0;
|
||||
for (const row of pending) {
|
||||
try {
|
||||
const detail = await fetchDetail(sess, row.dogrudan_temin_id, row.idare_id);
|
||||
setDetail.run(JSON.stringify(detail), row.dogrudan_temin_id);
|
||||
ok++;
|
||||
} catch (err) {
|
||||
console.warn(`[dt-worker] detay hatası (${row.dogrudan_temin_id}): ${err.message}`);
|
||||
}
|
||||
await humanDelay();
|
||||
}
|
||||
|
||||
const total = db.prepare('SELECT COUNT(*) AS c FROM dt_tenders').get().c;
|
||||
console.log(
|
||||
`[dt-worker] bitti: ${newCount} yeni kayıt, ${ok} detay; toplam DB: ${total} doğrudan temin`,
|
||||
);
|
||||
} finally {
|
||||
await browser.close();
|
||||
db.close();
|
||||
}
|
||||
}
|
||||
|
||||
run().catch((err) => {
|
||||
console.error('[dt-worker] ölümcül hata:', err.message);
|
||||
process.exit(1);
|
||||
});
|
||||
Reference in New Issue
Block a user