Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Spørsmål: Mulig å utvide write_pandas? #132

Open
Olavabr opened this issue Mar 19, 2024 · 1 comment
Open

Spørsmål: Mulig å utvide write_pandas? #132

Olavabr opened this issue Mar 19, 2024 · 1 comment

Comments

@Olavabr
Copy link

Olavabr commented Mar 19, 2024

Hei! Prøvde å markere at dette er mer et spørsmål enn et issue.. uanset:
Hadde det vært mulig å gjort litt om på funksjonen write_pandas slik at man kunne gjort det mulig for folk å skrive parquet-filer uten index? Altså beholt default som preserve_index = True, men med mulighet til å velge å sette den til False fra det overordnede funksjonskallet. Så vidt jeg ser er ikke dette mulig per dags dato? Det er jo noen verktøy som ikke er så glad i pandas-indexer, typ spark.

Link til preserve_index = True:
https://github.com/statisticsnorway/dapla-toolbelt/blame/41574e589cf5eedc99477c960c08a395d6d842f5/src/dapla/pandas.py#L172

Sender inn issuet etter at jeg fikk noen feilmeldinger fra pyspark som ble løst med litt ad-hoc fjerning av index. Kan så klart har vært noe annet

@Jonathan7SSB
Copy link
Member

Jeg støtter meg veldig på dette @Olavabr. Jeg har irritert meg lenge over dette, men har ikke vært i situasjoner som gir meg problemer med det riktig enda. Men jeg har tilnærmet lik aldri bruk for å lagre indexen fra pandas, så det ses på som unødvendig å lagre noe du sjeldent har bruk for... I tillegg får du ikke helt sendt inn filter på en ev. index du setter, med mindre du vet at kolonnen da blir navngitt index ellerno. Jeg vet ikke hva hovedgrunnen er til at man har landet på det, men har vært slik veldig lenge.
Tanker @mallport og @bjornandre? :-)

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants