-
Notifications
You must be signed in to change notification settings - Fork 1
Commit
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Merge pull request #13 from fatiiates/fatih
0.1.0 Release
- Loading branch information
Showing
12 changed files
with
117 additions
and
1,454 deletions.
There are no files selected for viewing
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
|
@@ -104,3 +104,5 @@ dist | |
.tern-port | ||
|
||
/outputs | ||
/proje.pdf | ||
/getlinks.js |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
@@ -0,0 +1,107 @@ | ||
<h1 align="center"> Scraping 8notes web site with NodeJS</h1> | ||
<p align="center"> | ||
<b> A scraping tool by instrument (classic), style or artist on 8notes website developed with NodeJS | ||
</b> | ||
</p> | ||
|
||
- [EN description](#en) | ||
- [TR açıklama](#tr) | ||
|
||
# EN | ||
|
||
  There will be a translation here. | ||
|
||
# TR | ||
|
||
# GEREKSİNİMLER | ||
|
||
- NodeJS ^14.15.1 | ||
- npm ^6.14.8 | ||
|
||
# AÇIKLAMA | ||
|
||
 Araca Komut satırından verilen argümanlara bakarak classical instrumentlara göre: | ||
|
||
+ classical piano | ||
+ classical guitar | ||
+ classical violin | ||
+ classical flute | ||
+ classical saxophone | ||
+ classical voice | ||
+ classical clarinet | ||
+ classical trumpet | ||
|
||
 veya komut satırından verilen argümanlara bakarak music stylelerine göre: | ||
|
||
+ classical style | ||
+ Rock and pop styles | ||
+ christmas style | ||
|
||
  veya komut satırından verilen argümanlara bakarak artistlere göre: | ||
|
||
+ classical Bach | ||
+ classical Beethoven | ||
+ classical Mozart | ||
+ classical Tchaikovsky | ||
+ classical Scott Joplin | ||
+ classical Chopin | ||
|
||
arama yapan bir scraping aracı. | ||
|
||
# KURULUM VE KULLANIM | ||
|
||
## UBUNTU 20.04 için NodeJS | ||
|
||
## NODEJS KURULUMU | ||
NODEJS KURARKEN ROOT KULLANICISI OLARAK OTURUM AÇIN | ||
|
||
NVM(Node Version Manager) kurulumu için çalıştırın. | ||
|
||
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.35.3/install.sh | bash | ||
|
||
NVM başarıyla kurulduktan sonra NVM'i kullanabilmek için aşağıdaki komutu çalıştırın ya da sunucunuzu yeniden başlatın. | ||
|
||
source ~/.bashrc | ||
|
||
veya | ||
|
||
reboot | ||
|
||
Daha sonra kuracağınız NodeJS sürümünü bulmak için aşağıdaki komutu çalıştırabilirsiniz.(Eğer sürümünüzü biliyorsanız komutu çalıştırmanıza gerek yok.) | ||
|
||
nvm ls-remote | ||
|
||
Nodejs sürümünüzü bulduktan sonra aşağıdaki komut ile sunucunuza kurabilirsiniz.(V14.15.1 tavsiye edilir) | ||
|
||
nvm install <nodejs_sürümü> | ||
|
||
NodeJS kurulduktan sonra 'node' komutu ile test edebilirsiniz. | ||
|
||
NodeJS root için kurulduğunda diğer kullanıcıların da kullanabilmesini sağlamak için aşağıdaki betiği çalıştırın. | ||
|
||
n=$(which node);n=${n%/bin/node}; chmod -R 755 $n/bin/*; sudo cp -r $n/{bin,lib,share} /usr/local | ||
|
||
## ARAÇ KURULUMU ve KULLANIMI | ||
|
||
1. Bilgisayarınızın komut satırı arayüzünü açın. | ||
2. Dizin değiştirerek deponun bulunduğu dizinin içine gelin. | ||
3. Paketleri kurmak için öncelikle aşağıdaki komutu çalıştırın. | ||
|
||
npm i | ||
|
||
4. Site üzerinde tarama yapmak için; | ||
|
||
- Enstrümanlara göre tarama yapmak için aşağıdaki komutu çalıştırın. | ||
|
||
node index.js search --style="<your_artist>" | ||
|
||
- Stile göre tarama yapmak için aşağıdaki komutu çalıştırın. | ||
|
||
node index.js search --style="<your_style>" | ||
|
||
- Sanatçıya göre tarama yapmak için aşağıdaki komutu çalıştırın. | ||
|
||
node index.js search --style="<your_artist>" | ||
|
||
|
||
5. İşlemler internet hızınıza, bilgisayarınızın özelliklerine ve sitenin isteklere yanıt verme hızına göre biraz uzun sürebilir. |
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Original file line number | Diff line number | Diff line change |
---|---|---|
|
@@ -3,12 +3,15 @@ require('dotenv').config() | |
|
||
class Database { | ||
|
||
static #CONNECTION_STRING = `mongodb+srv://${process.env.DATABASE_USER}:${process.env.DATABASE_PASS}@${process.env.DATABASE_URL}/${process.env.DATABASE_DB}?retryWrites=true&w=majority`; | ||
|
||
static #CONNECTION_STRING = `mongodb+srv://root:[email protected]/8notes?retryWrites=true&w=majority`; | ||
|
||
//static #CONNECTION_STRING = `mongodb+srv://${process.env.DATABASE_USER}:${process.env.DATABASE_PASS}@${process.env.DATABASE_URL}/${process.env.DATABASE_DB}?retryWrites=true&w=majority`; | ||
static client = new MongoClient(this.#CONNECTION_STRING, {useNewUrlParser: true, useUnifiedTopology: true}); | ||
|
||
static connect = async () => { | ||
try { | ||
|
||
console.log(process.env); | ||
await this.client.connect() | ||
.then(() => console.log("Connection succesful!")) | ||
.catch((err) => {throw err}); | ||
|
This file was deleted.
Oops, something went wrong.
3 changes: 0 additions & 3 deletions
3
outputs/pieces_dump_1619991272689_1deb6b28-1f5f-4608-9146-b57ce01d3e41.json
This file was deleted.
Oops, something went wrong.
40 changes: 0 additions & 40 deletions
40
outputs/pieces_dump_1619991372259_b4d90ff9-bc24-4d85-868e-27ce24a044ec.json
This file was deleted.
Oops, something went wrong.
76 changes: 0 additions & 76 deletions
76
outputs/pieces_dump_1619991615263_ea1b0fff-3785-4a51-82da-327aecf8adc1.json
This file was deleted.
Oops, something went wrong.
Oops, something went wrong.