sql-100knocks-farm

HTMLのパースによるデータの抽出

このプロジェクトがもとにしているデータサイエンス100本ノックでは、問題文や回答例のSQL、回答例の実行結果はHTMLとして提供されています。 このHTMLには規則性があり問題ごとのデータが取得しやすそうだったので、deno-domというライブラリを使用してデータをJSONに変換してファイルに保存するスクリプトを書いています。

現時点ではデータサイエンス100本ノックのうち実行結果がランダムになる問題や複数のSQLの実行を要求する問題には対応しておらず、問題数は74です。 前者は難しいかもしれませんが、後者は回答例のSQLをくっつけて一つのSQLにすることで対応できるかもしれません。

AsyncLocalStorageを使用したコンテキスト管理

CLIの設定ファイルや、上の項目で保存したファイルから読み取ったデータの管理はAsyncLocalStorageで行っています。CLIの起動時に設定ファイルや問題データが書き込まれたファイルから読み取ったデータをAsyncLocalStorageに保存することで、プログラムの様々な箇所から読み取ることができ、テスト用のコンテキストを用意することでグローバル変数を使用するよりも容易にテストを行うことができます。

例えば設定データの管理の実装は以下のようになっています。

ts

// --- コンテキストの定義 --- 

const configContext = new AsyncLocalStorage<Config>();

async function loadConfig(): Promise<Config> {
    // 設定ファイルから設定データを読み込む
}

export async function withConfigContext(callback: () => void) {
    const config = await loadConfig();
    configContext.run(config, callback);
}

export function getConfig(): Config {
    const config = configContext.getStore();
    if (!config) {
        logger.error("Config context not found");
        Deno.exit(1);
    }
    return config;
}

// --- 使用方法 ---

async function main() {
    const config = getConfig();

    // メインの処理...
}

withConfigContext(main);

このようなコードで、main関数内のすべての関数でgetConifg()を呼び出して設定データにアクセスすることができますし、 withConfigContext()のような関数を他にも定義してラップしていくことで様々な種類のデータを管理できます。

グローバル変数ではないので、上のコードで言うとconfigContextをexportしなければ他のファイルから勝手にデータが書き換えられてしまうことも防げます。 また、withConfigContext()を使用せずに、configContext.run()にダミーのデータを渡すことでテストも行いやすくなると思います。 例えば上のコードで言うとmain()のテストを実行する際にI/Oを減らすために、 ファイルからデータを読み取るloadConfg()を使用せず、静的なデータをconfigContext.run()に渡すなどが考えられます。

コマンドのパースと実行

コマンドをパースして実行するために、CliffyというDenoのライブラリを使用しています。 コマンド名と対応する処理を複数渡してコマンドのインスタンスを作成し、入力として受け取った文字列をパースしてコマンドに対応する処理を実行できます。

コマンドは入れ子に対応しているため、コマンドごとにファイルを分割することもできます。

ts
const helpCommand = new Command().action(() => { /* ... */ });
const exitCommand = new Command().action(() => { /* ... */ });
const startCommand = new Command()
    .arguments("<problemNo:number>")
    .action((_, problemNo) => {
        // ...
    });

while(true) {
    const command = new Command()
        .command("help", helpCommand)
        .command("exit", exitCommand)
        .command("start", startCommand);

    const input = prompt("skf>");
    await command.parse(input.split(" "));

    // ...
}

このプロジェクトでは、上のように各コマンドを別のファイルに分割してコマンドを実装しています。 それぞれのコマンドで外からデータを受け取りたいときには、コマンドを返す関数として定義し、引数でデータをもらっています。

このライブラリはワンショット型のCLIを想定しているみたいで、コマンドのパースに失敗するとDeno.exit()が呼ばれます。 このプロジェクトではエラーが起きてもできるだけ次のコマンドの入力を受け付けるようにしたかったため、.noExit()で抑制しています。

エラーハンドリングは、想定していないエラーや復旧できなそうなエラーには例外を使用し、それ以外のエラーは自作のResultを使用しています。 関数型ではなく手続き型で書くことを許容しているので、シンプルなResult型と、Result型の値を生成するResult.ok()・Result.err()という関数、判定のためのisErr()という関数だけを作っています。

SQLの実行と結果の比較

start <問題の番号>コマンドを実行すると、指定されたエディタで問題のSQLファイルが開かれます。 そのファイルにはコメントとして問題文が書かれているため、それを満たすようなSQLを書いたあと、runコマンドを実行するとSQLが実行できます。

CLIの起動時にdocker composeでPostgreSQLを立ち上げているので、そこに向けてクエリを発行します。 データベースの内容が変更されないように、コマンド実行前にトランザクションを貼って、実行後にロールバックしています。

SQLの実行結果は{ columns: string[]; rows: string[][] }のような型に変換して解答と比較します。 問題の解答データはCSVファイルとして保存されているので、比較する際にそのファイルをパースして列と行を取得します。 Denoは標準ライブラリにcsvのパーサーがあって便利だなぁと思っていました。

実行結果を比較する際には、列名や列の順番は一致していなくても良いようにしました。 まず実行結果と解答データの一行目を取得して値を比較し、対応する列のindexのペアを取得したあと、それを使用して全体を比較しています。 実行結果や解答データの一行目に同じ値が複数ある可能性もあるため、すべてのペアの組み合わせを取得し、それぞれで比較しています。

SQLの実行後には、実行結果と解答データそれぞれをテーブル形式にフォーマットしてファイルに保存します。 これは、Node.jsのconsole.table()が出力する形式の文字列をそのまま利用しています。 Denoにはないのですが、Node.jsにはConsoleクラスというものがあり、そのクラスを作成する際に標準出力を指定できます。 ここに、書き込まれた際に文字列を追記していくWritableStreamを作って渡すと、console.table()の呼び出しで文字列を取得できます。

実行結果と解答データが一致しなかった場合には、それぞれのファイルを開きます。 2つのファイルを比較するオプションが渡されていた場合には、それを使用します。